Перейти к основному содержанию
AITier

Gemma 3 4B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

Описание

Gemma 3 4B is a 4-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

Дата выхода
2025-03-12
Параметры
4.0B
Длина контекста
131K
Модальности
image, text

Радар способностей

17
general
6
coding
22
reasoning
17
scienceоцен.
0
agents
70
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Code Ranking448
6.0
AA
General Ranking467
15.0
AA
Math Reasoning291
24.0
AA
Multimodal Ranking67
65.0
LS
Reasoning96
36.0
LS
Science451
15.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA30.8%Сам.

Code

HumanEval71.3%Сам.
LiveCodeBench12.6%Сам.

Factuality

FACTS Grounding70.1%Сам.
SimpleQA4.0%Сам.

Finance

MMLU-Pro43.6%Сам.

General

IFEval90.2%Сам.
Natural2Code70.3%Сам.
MBPP0.63 / 100Сам.
Global-MMLU-Lite54.5%Сам.
MMMU (val)48.8%Сам.
BIG-Bench Extra Hard11.0%Сам.

Image To Text

DocVQA75.8%Сам.
VQAv2 (val)62.4%Сам.
TextVQA57.8%Сам.

Language

BIG-Bench Hard72.2%Сам.
WMT24++46.8%Сам.
ECLeKTic4.6%Сам.

Math

GSM8k89.2%Сам.
MATH75.6%Сам.
MathVista-Mini50.0%Сам.
HiddenMath43.0%Сам.

Multimodal

AI2D74.8%Сам.
ChartQA68.8%Сам.
InfoVQA50.0%Сам.

Reasoning

Bird-SQL (dev)36.3%Сам.

Индексы оценки AA

Math Index
12.7
Intelligence Index
6.3
Coding Index
2.9
Math 500
0.8
Mmlu Pro
0.4
Gpqa
0.3
Ifbench
0.3
Aime 25
0.1
Livecodebench
0.1
Scicode
0.1
Aime
0.1
Lcr
0.1
Hle
0.1
Tau2
0.1
Terminalbench Hard
0.0

Оценки категорий LLM Stats

Structured Output
90
Instruction Following
90
Grounding
70
Image To Text
70
Vision
60
Math
60
Multimodal
60
Healthcare
50
Reasoning
50
Code
40
Factuality
40
Finance
40
General
40
Language
40
Legal
40
Biology
30
Chemistry
30
Physics
30

Цены

Цена ввода$0.04 / 1M tokens
Цена вывода$0.08 / 1M tokens
Смешанная цена (3:1)$0.05 / 1M tokens

Скорость

Токенов/сек30.0 tokens/s
Задержка первого токена1.19s
Время до первого ответа1.19s

Доступные провайдеры

(Внутренние единицы LS)

Нет данных провайдеров

Внешние ссылки

LLM Stats