メインコンテンツへスキップ
AITier

Gemma 3 4B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

説明

Gemma 3 4B is a 4-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

リリース日
2025-03-12
パラメータ
4.0B
コンテキスト長
131K
モダリティ
image, text

能力レーダー

17
general
6
coding
22
reasoning
17
science推定
0
agents
70
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking448
6.0
AA
General Ranking467
15.0
AA
Math Reasoning291
24.0
AA
Multimodal Ranking67
65.0
LS
Reasoning96
36.0
LS
Science451
15.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA30.8%自己申告

Code

HumanEval71.3%自己申告
LiveCodeBench12.6%自己申告

Factuality

FACTS Grounding70.1%自己申告
SimpleQA4.0%自己申告

Finance

MMLU-Pro43.6%自己申告

General

IFEval90.2%自己申告
Natural2Code70.3%自己申告
MBPP0.63 / 100自己申告
Global-MMLU-Lite54.5%自己申告
MMMU (val)48.8%自己申告
BIG-Bench Extra Hard11.0%自己申告

Image To Text

DocVQA75.8%自己申告
VQAv2 (val)62.4%自己申告
TextVQA57.8%自己申告

Language

BIG-Bench Hard72.2%自己申告
WMT24++46.8%自己申告
ECLeKTic4.6%自己申告

Math

GSM8k89.2%自己申告
MATH75.6%自己申告
MathVista-Mini50.0%自己申告
HiddenMath43.0%自己申告

Multimodal

AI2D74.8%自己申告
ChartQA68.8%自己申告
InfoVQA50.0%自己申告

Reasoning

Bird-SQL (dev)36.3%自己申告

AA評価指数

Math Index
12.7
Intelligence Index
6.3
Coding Index
2.9
Math 500
0.8
Mmlu Pro
0.4
Gpqa
0.3
Ifbench
0.3
Aime 25
0.1
Livecodebench
0.1
Scicode
0.1
Aime
0.1
Lcr
0.1
Hle
0.1
Tau2
0.1
Terminalbench Hard
0.0

LLM Statsカテゴリスコア

Structured Output
90
Instruction Following
90
Grounding
70
Image To Text
70
Vision
60
Math
60
Multimodal
60
Healthcare
50
Reasoning
50
Code
40
Factuality
40
Finance
40
General
40
Language
40
Legal
40
Biology
30
Chemistry
30
Physics
30

価格設定

入力価格$0.04 / 1M tokens
出力価格$0.08 / 1M tokens
混合価格（3:1）$0.05 / 1M tokens

速度

トークン/秒30.0 tokens/s
初トークン遅延1.19s
初回答遅延1.19s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats