मुख्य सामग्री पर जाएं
AITier

Gemma 3 12B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

विवरण

Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

रिलीज़ तिथि
2025-03-12
पैरामीटर
12.0B
संदर्भ लंबाई
131K
मोडैलिटीज़
image, text

क्षमता रडार

23
general
10
coding
31
reasoning
23
scienceअनुमानित
0
agents
80
multimodal

समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science तर्क प्रॉक्सी का उपयोग करके अनुमान लगाता है।

रैंकिंग

डोमेन#रैंकस्कोरस्रोत
Code Ranking430
9.0
AA
General Ranking400
25.0
AA
Math Reasoning256
32.0
AA
Multimodal Ranking41
76.0
LS
Reasoning91
48.0
LS
Science403
23.0
AA

बेंचमार्क स्कोर (LLM Stats)

Biology

GPQA40.9%स्वयं

Code

HumanEval85.4%स्वयं
LiveCodeBench24.6%स्वयं

Factuality

FACTS Grounding75.8%स्वयं
SimpleQA6.3%स्वयं

Finance

MMLU-Pro60.6%स्वयं

General

IFEval88.9%स्वयं
Natural2Code80.7%स्वयं
MBPP0.73 / 100स्वयं
Global-MMLU-Lite69.5%स्वयं
MMMU (val)59.6%स्वयं
BIG-Bench Extra Hard16.3%स्वयं

Image To Text

DocVQA87.1%स्वयं
VQAv2 (val)71.6%स्वयं
TextVQA67.7%स्वयं

Language

BIG-Bench Hard85.7%स्वयं
WMT24++51.6%स्वयं
ECLeKTic10.3%स्वयं

Math

GSM8k94.4%स्वयं
MATH83.8%स्वयं
MathVista-Mini62.9%स्वयं
HiddenMath54.5%स्वयं

Multimodal

AI2D84.2%स्वयं
ChartQA75.7%स्वयं
InfoVQA64.9%स्वयं

Reasoning

Bird-SQL (dev)47.9%स्वयं

AA मूल्यांकन सूचकांक

Math Index
18.3
Intelligence Index
8.8
Coding Index
6.3
Math 500
0.9
Mmlu Pro
0.6
Ifbench
0.4
Gpqa
0.3
Aime
0.2
Aime 25
0.2
Scicode
0.2
Livecodebench
0.1
Tau2
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

LLM Stats श्रेणी स्कोर

Structured Output
90
Instruction Following
90
Grounding
80
Image To Text
80
Vision
70
Math
70
Multimodal
70
Code
60
Finance
60
Healthcare
60
Legal
60
Reasoning
60
General
50
Language
50
Biology
40
Chemistry
40
Factuality
40
Physics
40

मूल्य निर्धारण

इनपुट मूल्य$0.09 / 1M tokens
आउटपुट मूल्य$0.29 / 1M tokens
मिश्रित मूल्य (3:1)$0.14 / 1M tokens

गति

टोकन/सेकंड27.2 tokens/s
पहले टोकन में देरी1.77s
पहले उत्तर में देरी1.77s

उपलब्ध प्रदाता

(LS आंतरिक इकाइयाँ)

कोई प्रदाता डेटा उपलब्ध नहीं

बाहरी लिंक

LLM Stats