메인 콘텐츠로 건너뛰기
AITier

Gemma 3 4B Instruct

GoogleGemmaOpen WeightGemma · Commercial OK

설명

Gemma 3 4B is a 4-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

출시일
2025-03-12
파라미터
4.0B
컨텍스트 길이
131K
모달리티
image, text

능력 레이더

17
general
6
coding
22
reasoning
17
science추정
0
agents
70
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
Code Ranking448
6.0
AA
General Ranking467
15.0
AA
Math Reasoning291
24.0
AA
Multimodal Ranking67
65.0
LS
Reasoning96
36.0
LS
Science451
15.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA30.8%자체 보고

Code

HumanEval71.3%자체 보고
LiveCodeBench12.6%자체 보고

Factuality

FACTS Grounding70.1%자체 보고
SimpleQA4.0%자체 보고

Finance

MMLU-Pro43.6%자체 보고

General

IFEval90.2%자체 보고
Natural2Code70.3%자체 보고
MBPP0.63 / 100자체 보고
Global-MMLU-Lite54.5%자체 보고
MMMU (val)48.8%자체 보고
BIG-Bench Extra Hard11.0%자체 보고

Image To Text

DocVQA75.8%자체 보고
VQAv2 (val)62.4%자체 보고
TextVQA57.8%자체 보고

Language

BIG-Bench Hard72.2%자체 보고
WMT24++46.8%자체 보고
ECLeKTic4.6%자체 보고

Math

GSM8k89.2%자체 보고
MATH75.6%자체 보고
MathVista-Mini50.0%자체 보고
HiddenMath43.0%자체 보고

Multimodal

AI2D74.8%자체 보고
ChartQA68.8%자체 보고
InfoVQA50.0%자체 보고

Reasoning

Bird-SQL (dev)36.3%자체 보고

AA 평가 지수

Math Index
12.7
Intelligence Index
6.3
Coding Index
2.9
Math 500
0.8
Mmlu Pro
0.4
Gpqa
0.3
Ifbench
0.3
Aime 25
0.1
Livecodebench
0.1
Scicode
0.1
Aime
0.1
Lcr
0.1
Hle
0.1
Tau2
0.1
Terminalbench Hard
0.0

LLM Stats 카테고리 점수

Structured Output
90
Instruction Following
90
Grounding
70
Image To Text
70
Vision
60
Math
60
Multimodal
60
Healthcare
50
Reasoning
50
Code
40
Factuality
40
Finance
40
General
40
Language
40
Legal
40
Biology
30
Chemistry
30
Physics
30

가격

입력 가격$0.04 / 1M tokens
출력 가격$0.08 / 1M tokens
혼합 가격 (3:1)$0.05 / 1M tokens

속도

토큰/초30.0 tokens/s
첫 토큰 지연1.19s
첫 응답 지연1.19s

사용 가능한 프로바이더

(LS 내부 단위)

프로바이더 데이터가 없습니다

외부 링크

LLM Stats