Gemma 3 12B Instruct
GoogleGemmaОткрытые весаGemma · Коммерческое использование
Описание
Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.
Дата выхода
2025-03-12
Параметры
12.0B
Длина контекста
131K
Модальности
image, text
Радар способностей
21
general
10
coding
31
reasoning
22
science
25
agents
80
multimodal
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 600 | 8.0 | AA |
| Общий рейтинг | 565 | 22.0 | AA |
| Мультимодальный рейтинг | 119 | 38.0 | LS |
| Наука | 600 | 17.0 | AA |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Chat
IFEvalGoogle Research (2023)
88.9%Сам.
Factuality
SimpleQA
6.3%Сам.
General
Global-MMLU-Lite
69.5%Сам.
Language
MMLU-Pro
60.6%Сам.
WMT24++
51.6%Сам.
ECLeKTic
10.3%Сам.
Math
GSM8k
94.4%Сам.
MATH
83.8%Сам.
MathVista-Mini
62.9%Сам.
HiddenMath
54.5%Сам.
Reasoning
BIG-Bench Hard
85.7%Сам.
HumanEvalOpenAI (2021)
85.4%Сам.
Natural2Code
80.7%Сам.
FACTS Grounding
75.8%Сам.
ChartQAMasry et al. (2022)
75.7%Сам.
MBPP
0.73 / 100Сам.
Bird-SQL (dev)
47.9%Сам.
GPQANYU + Cohere + Anthropic (2023)
40.9%Сам.
LiveCodeBench
24.6%Сам.
BIG-Bench Extra Hard
16.3%Сам.
Vision
DocVQADocVQA (2020)
87.1%Сам.
AI2D
84.2%Сам.
VQAv2 (val)
71.6%Сам.
TextVQA
67.7%Сам.
InfoVQA
64.9%Сам.
MMMU (val)
59.6%Сам.
Индексы оценки AA
(Artificial Analysis)Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))85.3
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))59.5
Ifbench(Google Research (2023))36.7
Gpqa(NYU + Cohere + Anthropic (2023))34.9
Aime(MAA (Mathematical Association of America))22.0
Aime 25(MAA (Mathematical Association of America))18.3
Math Index(Artificial Analysis)18.3
Scicode(UIUC + Argonne National Lab (2024))16.4
Livecodebench(UC Berkeley + MIT + Cornell (2024))13.7
Tau2(Sierra + U Toronto + Vector Institute (2025))10.8
Lcr(Artificial Analysis)8.3
Coding Index(Artificial Analysis)5.8
Hle(Center for AI Safety + Scale AI (2025))4.2
Intelligence Index(Artificial Analysis)3.8
Tau Banking0.8
Terminalbench Hard(Stanford × Laude Institute (2026))0.8
Terminalbench V2 10.0
Terminalbench V4 00.0
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Chat90
Instruction Following90
Structured Output90
Image To Text80
Grounding80
Math70
Multimodal70
Vision70
Legal60
Reasoning60
Finance60
General60
Healthcare60
Code60
Language50
Physics40
Factuality40
Biology40
Chemistry40
Цены
Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно
Скорость
Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
2 провайдеров
Самый дешевый: DeepInfraСамый дорогой: Neon
ПровайдерВводВывод
1DeepInfraСамый дешевый
$0
$0
2Neon
$0.15
$0.5
Сравнение цен разных API-провайдеров для этой модели.