メインコンテンツへスキップ

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

説明

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

リリース日
2024-09-24
パラメータ
—
コンテキスト長
—
モダリティ
image, text

能力レーダー

80
general
80
coding
80
reasoning
51
science推定
80
agents
80
multimodal

専用の科学ベンチマークがない場合、Science は LLM Stats の科学スコアまたは推論能力から推定します。

ランキング

ドメイン#順位スコアソース
マルチモーダルランキング82
49.0
LS

ベンチマークスコア (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU85.9%自己申告

Language

FLEURS93.3%自己申告
MMLU-Pro75.8%自己申告
WMT2375.1%自己申告

Long Context

MRCR82.6%自己申告

Math

GSM8k90.8%自己申告
MGSM87.5%自己申告
MATH86.5%自己申告
MathVista68.1%自己申告
FunctionalMATH64.6%自己申告
HiddenMath52.0%自己申告
AMC_2022_2346.4%自己申告

Multimodal

Video-MME78.6%自己申告
MMMU65.9%自己申告
Vibe-Eval53.9%自己申告

Physics

PhysicsFinals63.9%自己申告

Reasoning

HellaSwagAI2 (2019)93.3%自己申告
BIG-Bench Hard89.2%自己申告
Natural2Code85.4%自己申告
HumanEvalOpenAI (2021)84.1%自己申告
DROP74.9%自己申告
GPQANYU + Cohere + Anthropic (2023)59.1%自己申告

Safety

XSTest98.8%自己申告

AA評価指数

(Artificial Analysis)

AA評価データがありません

LLM Statsカテゴリスコア

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

価格設定

価格データがありません

速度

速度データがありません

プロバイダー価格ランキング

プロバイダーデータがありません

外部リンク