Gemini 1.5 Pro (Sep '24)
GoogleGeminiProprietary
説明
Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.
リリース日
2024-09-24
パラメータ
—
コンテキスト長
—
モダリティ
image, text
能力レーダー
29
general
27
coding
50
reasoning
38
science
43
agents
80
multimodal
ランキング
| ドメイン | #順位 | スコア | ソース |
|---|---|---|---|
| コーディングランキング | 343 | 31.0 | AA |
| 総合ランキング | 349 | 37.0 | AA |
| マルチモーダルランキング | 39 | 50.0 | LS |
| 科学 | 367 | 38.0 | AA |
ベンチマークスコア (LLM Stats)
(LLM Stats (zeroeval))Biology
GPQANYU + Cohere + Anthropic (2023)
59.1%自己申告
Code
HumanEvalOpenAI (2021)
84.1%自己申告
Finance
MMLU
85.9%自己申告
MMLU-Pro
75.8%自己申告
General
Natural2Code
85.4%自己申告
MRCR
82.6%自己申告
MMMU
65.9%自己申告
Vibe-Eval
53.9%自己申告
Healthcare
WMT23
75.1%自己申告
Language
FLEURS
93.3%自己申告
BIG-Bench Hard
89.2%自己申告
Math
GSM8k
90.8%自己申告
MGSM
87.5%自己申告
MATH
86.5%自己申告
DROP
74.9%自己申告
MathVista
68.1%自己申告
FunctionalMATH
64.6%自己申告
PhysicsFinals
63.9%自己申告
HiddenMath
52.0%自己申告
AMC_2022_23
46.4%自己申告
Multimodal
Video-MME
78.6%自己申告
Reasoning
HellaSwagAI2 (2019)
93.3%自己申告
Safety
XSTest
98.8%自己申告
AA評価指数
(Artificial Analysis)Coding Index(Artificial Analysis)23.6
Intelligence Index(Artificial Analysis)9.9
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))0.9
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))0.8
Gpqa(NYU + Cohere + Anthropic (2023))0.6
Livecodebench(UC Berkeley + MIT + Cornell (2024))0.3
Scicode(UIUC + Argonne National Lab (2024))0.3
Aime(MAA (Mathematical Association of America))0.2
Hle(Center for AI Safety + Scale AI (2025))0.0
LLM Statsカテゴリスコア
(LLM Stats (zeroeval))Safety100
Speech To Text90
Legal80
Long Context80
Math80
Reasoning80
Language80
Finance80
General80
Healthcare80
Code80
Multimodal70
Vision70
Physics60
Biology60
Chemistry60
価格設定
入力価格無料
出力価格無料
混合価格（3:1）無料
速度
トークン/秒0.0
初トークン遅延0.00s
初回答遅延0.00s
プロバイダー価格ランキング
プロバイダーデータがありません