Перейти к основному содержанию
AITier

Gemma 3 12B Instruct

GoogleGemmaОткрытые весаGemma · Коммерческое использование

Описание

Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

Дата выхода
2025-03-12
Параметры
12.0B
Длина контекста
131K
Модальности
image, text

Радар способностей

22
general
10
coding
31
reasoning
23
science
25
agents
80
multimodal

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга519
8.0
AA
Общий рейтинг474
25.0
AA
Мультимодальный рейтинг57
43.0
LS
Наука501
21.0
AA

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)40.9%Сам.

Code

HumanEvalOpenAI (2021)85.4%Сам.
LiveCodeBench24.6%Сам.

Factuality

FACTS Grounding75.8%Сам.
SimpleQA6.3%Сам.

Finance

MMLU-Pro60.6%Сам.

General

IFEvalGoogle Research (2023)88.9%Сам.
Natural2Code80.7%Сам.
MBPP0.73 / 100Сам.
Global-MMLU-Lite69.5%Сам.
MMMU (val)59.6%Сам.
BIG-Bench Extra Hard16.3%Сам.

Image To Text

DocVQADocVQA (2020)87.1%Сам.
VQAv2 (val)71.6%Сам.
TextVQA67.7%Сам.

Language

BIG-Bench Hard85.7%Сам.
WMT24++51.6%Сам.
ECLeKTic10.3%Сам.

Math

GSM8k94.4%Сам.
MATH83.8%Сам.
MathVista-Mini62.9%Сам.
HiddenMath54.5%Сам.

Multimodal

AI2D84.2%Сам.
ChartQAMasry et al. (2022)75.7%Сам.
InfoVQA64.9%Сам.

Reasoning

Bird-SQL (dev)47.9%Сам.

Индексы оценки AA

(Artificial Analysis)
Math Index(Artificial Analysis)
18.3
Coding Index(Artificial Analysis)
5.8
Intelligence Index(Artificial Analysis)
5.5
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.9
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))
0.6
Ifbench(Google Research (2023))
0.4
Gpqa(NYU + Cohere + Anthropic (2023))
0.3
Aime(MAA (Mathematical Association of America))
0.2
Aime 25(MAA (Mathematical Association of America))
0.2
Scicode(UIUC + Argonne National Lab (2024))
0.2
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.1
Tau2(Sierra + U Toronto + Vector Institute (2025))
0.1
Lcr(Artificial Analysis)
0.1
Hle(Center for AI Safety + Scale AI (2025))
0.0
Tau Banking
0.0
Terminalbench Hard(Stanford × Laude Institute (2026))
0.0
Terminalbench V2 1
0.0

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Structured Output
90
Instruction Following
90
Image To Text
80
Grounding
80
Math
70
Multimodal
70
Vision
70
Legal
60
Reasoning
60
Finance
60
General
60
Healthcare
60
Code
60
Language
50
Physics
40
Factuality
40
Biology
40
Chemistry
40

Цены

Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно

Скорость

Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

1 провайдеров

ПровайдерВводВывод
1Neon
$0.15
$0.5

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки

LLM StatsArtificial Analysis