メインコンテンツへスキップ
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

説明

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

リリース日
2024-09-24
パラメータ
—
コンテキスト長
1.0M
モダリティ
audio, file, image, text, video

能力レーダー

32
general
27
coding
50
reasoning
38
science推定
0
agents
80
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking222
38.0
AA
General Ranking258
41.0
AA
Math Reasoning162
56.0
AA
Multimodal Ranking32
79.0
LS
Reasoning4
93.0
LS
Science283
39.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA59.1%自己申告

Code

HumanEval84.1%自己申告

Finance

MMLU85.9%自己申告
MMLU-Pro75.8%自己申告

General

Natural2Code85.4%自己申告
MRCR82.6%自己申告
MMMU65.9%自己申告
Vibe-Eval53.9%自己申告

Healthcare

WMT2375.1%自己申告

Language

BIG-Bench Hard89.2%自己申告
FLEURS0.07 / 100自己申告

Math

GSM8k90.8%自己申告
MGSM87.5%自己申告
MATH86.5%自己申告
DROP74.9%自己申告
MathVista68.1%自己申告
FunctionalMATH64.6%自己申告
PhysicsFinals63.9%自己申告
HiddenMath52.0%自己申告
AMC_2022_2346.4%自己申告

Multimodal

Video-MME78.6%自己申告

Reasoning

HellaSwag93.3%自己申告

Safety

XSTest98.8%自己申告

AA評価指数

Coding Index
23.6
Intelligence Index
16.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

LLM Statsカテゴリスコア

Safety
100
Code
80
Finance
80
Healthcare
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Vision
70
General
70
Language
70
Multimodal
70
Biology
60
Chemistry
60
Physics
60
Speech To Text
10

価格設定

入力価格無料
出力価格無料
混合価格（3:1）無料

速度

トークン/秒0.0 tokens/s
初トークン遅延0.00s
初回答遅延0.00s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats