Gemma 3 27B Instruct
GoogleGemmaOpen WeightGemma · Commercial OK
설명
Gemma 3 27B is a 27-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for complex question answering, summarization, reasoning, and image understanding tasks.
출시일
2025-03-12
파라미터
27.0B
컨텍스트 길이
131K
모달리티
image, text
능력 레이더
26
general
12
coding
34
reasoning
28
science추정
0
agents
70
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 410 | 12.0 | AA |
| General Ranking | 396 | 26.0 | AA |
| Math Reasoning | 248 | 35.0 | AA |
| Multimodal Ranking | 40 | 76.0 | LS |
| Reasoning | 79 | 54.0 | LS |
| Science | 376 | 28.0 | AA |
벤치마크 점수 (LLM Stats)
Biology
GPQA
42.4%자체 보고
Code
HumanEval
87.8%자체 보고
LiveCodeBench
29.7%자체 보고
Factuality
FACTS Grounding
74.9%자체 보고
SimpleQA
10.0%자체 보고
Finance
MMLU-Pro
67.5%자체 보고
General
IFEval
90.4%자체 보고
Natural2Code
84.5%자체 보고
Global-MMLU-Lite
75.1%자체 보고
MBPP
0.74 / 100자체 보고
MMMU (val)
64.9%자체 보고
BIG-Bench Extra Hard
19.3%자체 보고
Image To Text
DocVQA
86.6%자체 보고
VQAv2 (val)
71.0%자체 보고
TextVQA
65.1%자체 보고
Language
BIG-Bench Hard
87.6%자체 보고
WMT24++
53.4%자체 보고
ECLeKTic
16.7%자체 보고
Math
GSM8k
95.9%자체 보고
MATH
89.0%자체 보고
MathVista-Mini
67.6%자체 보고
HiddenMath
60.3%자체 보고
Multimodal
AI2D
84.5%자체 보고
ChartQA
78.0%자체 보고
InfoVQA
70.6%자체 보고
Reasoning
Bird-SQL (dev)
54.4%자체 보고
AA 평가 지수
Math Index20.7
Intelligence Index10.3
Coding Index9.6
Math 5000.9
Mmlu Pro0.7
Gpqa0.4
Ifbench0.3
Aime0.3
Scicode0.2
Aime 250.2
Livecodebench0.1
Tau20.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
LLM Stats 카테고리 점수
Structured Output90
Instruction Following90
Math80
Vision70
Finance70
Grounding70
Healthcare70
Image To Text70
Legal70
Multimodal70
Code60
General60
Language60
Reasoning60
Biology40
Chemistry40
Factuality40
Physics40
가격
입력 가격$0.11 / 1M tokens
출력 가격$0.25 / 1M tokens
혼합 가격 (3:1)$0.145 / 1M tokens
속도
토큰/초31.4 tokens/s
첫 토큰 지연0.73s
첫 응답 지연0.73s
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다