Gemini 1.5 Pro (Sep '24)
GoogleGeminiProprietary
설명
Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.
출시일
2024-09-24
파라미터
—
컨텍스트 길이
—
모달리티
image, text
능력 레이더
80
general
80
coding
80
reasoning
51
science추정
80
agents
80
multimodal
전용 과학 벤치마크가 없을 때 Science는 LLM Stats 과학 점수 또는 추론 능력에서 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| 멀티모달 랭킹 | 82 | 49.0 | LS |
벤치마크 점수 (LLM Stats)
(LLM Stats (zeroeval))General
MMLU
85.9%자체 보고
Language
FLEURS
93.3%자체 보고
MMLU-Pro
75.8%자체 보고
WMT23
75.1%자체 보고
Long Context
MRCR
82.6%자체 보고
Math
GSM8k
90.8%자체 보고
MGSM
87.5%자체 보고
MATH
86.5%자체 보고
MathVista
68.1%자체 보고
FunctionalMATH
64.6%자체 보고
HiddenMath
52.0%자체 보고
AMC_2022_23
46.4%자체 보고
Multimodal
Video-MME
78.6%자체 보고
MMMU
65.9%자체 보고
Vibe-Eval
53.9%자체 보고
Physics
PhysicsFinals
63.9%자체 보고
Reasoning
HellaSwagAI2 (2019)
93.3%자체 보고
BIG-Bench Hard
89.2%자체 보고
Natural2Code
85.4%자체 보고
HumanEvalOpenAI (2021)
84.1%자체 보고
DROP
74.9%자체 보고
GPQANYU + Cohere + Anthropic (2023)
59.1%자체 보고
Safety
XSTest
98.8%자체 보고
AA 평가 지수
(Artificial Analysis)AA 평가 데이터가 없습니다
LLM Stats 카테고리 점수
(LLM Stats (zeroeval))Safety100
Speech To Text90
Language80
Legal80
Long Context80
Math80
Reasoning80
Finance80
General80
Healthcare80
Code80
Multimodal70
Vision70
Physics60
Biology60
Chemistry60
가격
가격 데이터가 없습니다
속도
속도 데이터가 없습니다
공급자 가격 순위
프로바이더 데이터가 없습니다