Перейти к основному содержанию
AITier

Gemma 3 27B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

Описание

Gemma 3 27B is a 27-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for complex question answering, summarization, reasoning, and image understanding tasks.

Дата выхода
2025-03-12
Параметры
27.0B
Длина контекста
131K
Модальности
image, text

Радар способностей

26
general
12
coding
34
reasoning
28
scienceоцен.
0
agents
70
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Code Ranking410
12.0
AA
General Ranking396
26.0
AA
Math Reasoning248
35.0
AA
Multimodal Ranking40
76.0
LS
Reasoning79
54.0
LS
Science376
28.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA42.4%Сам.

Code

HumanEval87.8%Сам.
LiveCodeBench29.7%Сам.

Factuality

FACTS Grounding74.9%Сам.
SimpleQA10.0%Сам.

Finance

MMLU-Pro67.5%Сам.

General

IFEval90.4%Сам.
Natural2Code84.5%Сам.
Global-MMLU-Lite75.1%Сам.
MBPP0.74 / 100Сам.
MMMU (val)64.9%Сам.
BIG-Bench Extra Hard19.3%Сам.

Image To Text

DocVQA86.6%Сам.
VQAv2 (val)71.0%Сам.
TextVQA65.1%Сам.

Language

BIG-Bench Hard87.6%Сам.
WMT24++53.4%Сам.
ECLeKTic16.7%Сам.

Math

GSM8k95.9%Сам.
MATH89.0%Сам.
MathVista-Mini67.6%Сам.
HiddenMath60.3%Сам.

Multimodal

AI2D84.5%Сам.
ChartQA78.0%Сам.
InfoVQA70.6%Сам.

Reasoning

Bird-SQL (dev)54.4%Сам.

Индексы оценки AA

Math Index
20.7
Intelligence Index
10.3
Coding Index
9.6
Math 500
0.9
Mmlu Pro
0.7
Gpqa
0.4
Ifbench
0.3
Aime
0.3
Scicode
0.2
Aime 25
0.2
Livecodebench
0.1
Tau2
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

Оценки категорий LLM Stats

Structured Output
90
Instruction Following
90
Math
80
Vision
70
Finance
70
Grounding
70
Healthcare
70
Image To Text
70
Legal
70
Multimodal
70
Code
60
General
60
Language
60
Reasoning
60
Biology
40
Chemistry
40
Factuality
40
Physics
40

Цены

Цена ввода$0.11 / 1M tokens
Цена вывода$0.25 / 1M tokens
Смешанная цена (3:1)$0.145 / 1M tokens

Скорость

Токенов/сек31.4 tokens/s
Задержка первого токена0.73s
Время до первого ответа0.73s

Доступные провайдеры

(Внутренние единицы LS)

Нет данных провайдеров

Внешние ссылки

LLM Stats