Gemini 1.5 Pro (Sep '24)
GoogleGeminiProprietary
설명
Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.
출시일
2024-09-24
파라미터
—
컨텍스트 길이
1.0M
모달리티
audio, file, image, text, video
능력 레이더
32
general
27
coding
50
reasoning
38
science추정
0
agents
80
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 222 | 38.0 | AA |
| General Ranking | 258 | 41.0 | AA |
| Math Reasoning | 162 | 56.0 | AA |
| Multimodal Ranking | 32 | 79.0 | LS |
| Reasoning | 4 | 93.0 | LS |
| Science | 283 | 39.0 | AA |
벤치마크 점수 (LLM Stats)
Biology
GPQA
59.1%자체 보고
Code
HumanEval
84.1%자체 보고
Finance
MMLU
85.9%자체 보고
MMLU-Pro
75.8%자체 보고
General
Natural2Code
85.4%자체 보고
MRCR
82.6%자체 보고
MMMU
65.9%자체 보고
Vibe-Eval
53.9%자체 보고
Healthcare
WMT23
75.1%자체 보고
Language
BIG-Bench Hard
89.2%자체 보고
FLEURS
0.07 / 100자체 보고
Math
GSM8k
90.8%자체 보고
MGSM
87.5%자체 보고
MATH
86.5%자체 보고
DROP
74.9%자체 보고
MathVista
68.1%자체 보고
FunctionalMATH
64.6%자체 보고
PhysicsFinals
63.9%자체 보고
HiddenMath
52.0%자체 보고
AMC_2022_23
46.4%자체 보고
Multimodal
Video-MME
78.6%자체 보고
Reasoning
HellaSwag
93.3%자체 보고
Safety
XSTest
98.8%자체 보고
AA 평가 지수
Coding Index23.6
Intelligence Index16.0
Math 5000.9
Mmlu Pro0.8
Gpqa0.6
Livecodebench0.3
Scicode0.3
Aime0.2
Hle0.0
LLM Stats 카테고리 점수
Safety100
Code80
Finance80
Healthcare80
Legal80
Long Context80
Math80
Reasoning80
Vision70
General70
Language70
Multimodal70
Biology60
Chemistry60
Physics60
Speech To Text10
가격
입력 가격무료
출력 가격무료
혼합 가격 (3:1)무료
속도
토큰/초0.0 tokens/s
첫 토큰 지연0.00s
첫 응답 지연0.00s
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다