跳轉到主要內容

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

描述

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

發布日期
2024-09-24
參數規模
上下文長度
支援模態
image, text

能力雷達圖

29
general
27
coding
50
reasoning
38
science估算
43
agents
80
multimodal

Science 在缺少專門科學評測時使用推理能力代理估算。

排行榜排名

領域#排名分數來源
程式碼能力榜283
31.0
AA
通用能力榜291
37.0
AA
數學推理162
56.0
AA
科學能力306
38.0
AA

基準測試分數 (LLM Stats)

Biology

GPQA59.1%自報

Code

HumanEval84.1%自報

Finance

MMLU85.9%自報
MMLU-Pro75.8%自報

General

Natural2Code85.4%自報
MRCR82.6%自報
MMMU65.9%自報
Vibe-Eval53.9%自報

Healthcare

WMT2375.1%自報

Language

FLEURS93.3%自報
BIG-Bench Hard89.2%自報

Math

GSM8k90.8%自報
MGSM87.5%自報
MATH86.5%自報
DROP74.9%自報
MathVista68.1%自報
FunctionalMATH64.6%自報
PhysicsFinals63.9%自報
HiddenMath52.0%自報
AMC_2022_2346.4%自報

Multimodal

Video-MME78.6%自報

Reasoning

HellaSwag93.3%自報

Safety

XSTest98.8%自報

AA 評測指數

Coding Index
23.6
Intelligence Index
10.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

LLM Stats 分類評分

Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
Healthcare
80
Code
80
Multimodal
70
General
70
Vision
70
Physics
60
Biology
60
Chemistry
60

定價

輸入價格免費
輸出價格免費
混合價格(3:1)免費

速度

Tokens/秒0.0
首Token延遲0.00s
首回答延遲0.00s

供應商價格排行

暫無提供商資料

外部連結