メインコンテンツへスキップ
AITier

Gemma 3 27B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

説明

Gemma 3 27B is a 27-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for complex question answering, summarization, reasoning, and image understanding tasks.

リリース日
2025-03-12
パラメータ
27.0B
コンテキスト長
131K
モダリティ
image, text

能力レーダー

26
general
12
coding
34
reasoning
28
science推定
0
agents
70
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking410
12.0
AA
General Ranking396
26.0
AA
Math Reasoning248
35.0
AA
Multimodal Ranking40
76.0
LS
Reasoning79
54.0
LS
Science376
28.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA42.4%自己申告

Code

HumanEval87.8%自己申告
LiveCodeBench29.7%自己申告

Factuality

FACTS Grounding74.9%自己申告
SimpleQA10.0%自己申告

Finance

MMLU-Pro67.5%自己申告

General

IFEval90.4%自己申告
Natural2Code84.5%自己申告
Global-MMLU-Lite75.1%自己申告
MBPP0.74 / 100自己申告
MMMU (val)64.9%自己申告
BIG-Bench Extra Hard19.3%自己申告

Image To Text

DocVQA86.6%自己申告
VQAv2 (val)71.0%自己申告
TextVQA65.1%自己申告

Language

BIG-Bench Hard87.6%自己申告
WMT24++53.4%自己申告
ECLeKTic16.7%自己申告

Math

GSM8k95.9%自己申告
MATH89.0%自己申告
MathVista-Mini67.6%自己申告
HiddenMath60.3%自己申告

Multimodal

AI2D84.5%自己申告
ChartQA78.0%自己申告
InfoVQA70.6%自己申告

Reasoning

Bird-SQL (dev)54.4%自己申告

AA評価指数

Math Index
20.7
Intelligence Index
10.3
Coding Index
9.6
Math 500
0.9
Mmlu Pro
0.7
Gpqa
0.4
Ifbench
0.3
Aime
0.3
Scicode
0.2
Aime 25
0.2
Livecodebench
0.1
Tau2
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

LLM Statsカテゴリスコア

Structured Output
90
Instruction Following
90
Math
80
Vision
70
Finance
70
Grounding
70
Healthcare
70
Image To Text
70
Legal
70
Multimodal
70
Code
60
General
60
Language
60
Reasoning
60
Biology
40
Chemistry
40
Factuality
40
Physics
40

価格設定

入力価格$0.11 / 1M tokens
出力価格$0.25 / 1M tokens
混合価格（3:1）$0.145 / 1M tokens

速度

トークン/秒31.4 tokens/s
初トークン遅延0.73s
初回答遅延0.73s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats