Перейти к основному содержанию
AITier

Gemma 3 12B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

Описание

Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

Дата выхода
2025-03-12
Параметры
12.0B
Длина контекста
131K
Модальности
image, text

Радар способностей

23
general
10
coding
31
reasoning
23
scienceоцен.
0
agents
80
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Code Ranking430
9.0
AA
General Ranking400
25.0
AA
Math Reasoning256
32.0
AA
Multimodal Ranking41
76.0
LS
Reasoning91
48.0
LS
Science403
23.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA40.9%Сам.

Code

HumanEval85.4%Сам.
LiveCodeBench24.6%Сам.

Factuality

FACTS Grounding75.8%Сам.
SimpleQA6.3%Сам.

Finance

MMLU-Pro60.6%Сам.

General

IFEval88.9%Сам.
Natural2Code80.7%Сам.
MBPP0.73 / 100Сам.
Global-MMLU-Lite69.5%Сам.
MMMU (val)59.6%Сам.
BIG-Bench Extra Hard16.3%Сам.

Image To Text

DocVQA87.1%Сам.
VQAv2 (val)71.6%Сам.
TextVQA67.7%Сам.

Language

BIG-Bench Hard85.7%Сам.
WMT24++51.6%Сам.
ECLeKTic10.3%Сам.

Math

GSM8k94.4%Сам.
MATH83.8%Сам.
MathVista-Mini62.9%Сам.
HiddenMath54.5%Сам.

Multimodal

AI2D84.2%Сам.
ChartQA75.7%Сам.
InfoVQA64.9%Сам.

Reasoning

Bird-SQL (dev)47.9%Сам.

Индексы оценки AA

Math Index
18.3
Intelligence Index
8.8
Coding Index
6.3
Math 500
0.9
Mmlu Pro
0.6
Ifbench
0.4
Gpqa
0.3
Aime
0.2
Aime 25
0.2
Scicode
0.2
Livecodebench
0.1
Tau2
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

Оценки категорий LLM Stats

Structured Output
90
Instruction Following
90
Grounding
80
Image To Text
80
Vision
70
Math
70
Multimodal
70
Code
60
Finance
60
Healthcare
60
Legal
60
Reasoning
60
General
50
Language
50
Biology
40
Chemistry
40
Factuality
40
Physics
40

Цены

Цена ввода$0.09 / 1M tokens
Цена вывода$0.29 / 1M tokens
Смешанная цена (3:1)$0.14 / 1M tokens

Скорость

Токенов/сек27.2 tokens/s
Задержка первого токена1.77s
Время до первого ответа1.77s

Доступные провайдеры

(Внутренние единицы LS)

Нет данных провайдеров

Внешние ссылки

LLM Stats