Gemma 3 12B Instruct
GoogleGemmaOpen WeightGemma · Commercial OK
설명
Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.
출시일
2025-03-12
파라미터
12.0B
컨텍스트 길이
131K
모달리티
image, text
능력 레이더
23
general
10
coding
31
reasoning
23
science추정
0
agents
80
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 430 | 9.0 | AA |
| General Ranking | 400 | 25.0 | AA |
| Math Reasoning | 256 | 32.0 | AA |
| Multimodal Ranking | 41 | 76.0 | LS |
| Reasoning | 91 | 48.0 | LS |
| Science | 403 | 23.0 | AA |
벤치마크 점수 (LLM Stats)
Biology
GPQA
40.9%자체 보고
Code
HumanEval
85.4%자체 보고
LiveCodeBench
24.6%자체 보고
Factuality
FACTS Grounding
75.8%자체 보고
SimpleQA
6.3%자체 보고
Finance
MMLU-Pro
60.6%자체 보고
General
IFEval
88.9%자체 보고
Natural2Code
80.7%자체 보고
MBPP
0.73 / 100자체 보고
Global-MMLU-Lite
69.5%자체 보고
MMMU (val)
59.6%자체 보고
BIG-Bench Extra Hard
16.3%자체 보고
Image To Text
DocVQA
87.1%자체 보고
VQAv2 (val)
71.6%자체 보고
TextVQA
67.7%자체 보고
Language
BIG-Bench Hard
85.7%자체 보고
WMT24++
51.6%자체 보고
ECLeKTic
10.3%자체 보고
Math
GSM8k
94.4%자체 보고
MATH
83.8%자체 보고
MathVista-Mini
62.9%자체 보고
HiddenMath
54.5%자체 보고
Multimodal
AI2D
84.2%자체 보고
ChartQA
75.7%자체 보고
InfoVQA
64.9%자체 보고
Reasoning
Bird-SQL (dev)
47.9%자체 보고
AA 평가 지수
Math Index18.3
Intelligence Index8.8
Coding Index6.3
Math 5000.9
Mmlu Pro0.6
Ifbench0.4
Gpqa0.3
Aime0.2
Aime 250.2
Scicode0.2
Livecodebench0.1
Tau20.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
LLM Stats 카테고리 점수
Structured Output90
Instruction Following90
Grounding80
Image To Text80
Vision70
Math70
Multimodal70
Code60
Finance60
Healthcare60
Legal60
Reasoning60
General50
Language50
Biology40
Chemistry40
Factuality40
Physics40
가격
입력 가격$0.09 / 1M tokens
출력 가격$0.29 / 1M tokens
혼합 가격 (3:1)$0.14 / 1M tokens
속도
토큰/초27.2 tokens/s
첫 토큰 지연1.77s
첫 응답 지연1.77s
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다