跳转到主要内容

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

描述

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

发布日期
2024-09-24
参数规模
上下文长度
1.0M
支持模态
audio, file, image, text, video

能力雷达图

32
general
27
coding
50
reasoning
38
science估算
0
agents
80
multimodal

Science 在缺少专门科学评测时使用推理能力代理估算。

排行榜排名

领域#排名分数来源
代码能力榜222
38.0
AA
通用能力榜258
41.0
AA
数学推理162
56.0
AA
多模态榜32
79.0
LS
推理能力4
93.0
LS
科学能力283
39.0
AA

基准测试分数 (LLM Stats)

Biology

GPQA59.1%自报

Code

HumanEval84.1%自报

Finance

MMLU85.9%自报
MMLU-Pro75.8%自报

General

Natural2Code85.4%自报
MRCR82.6%自报
MMMU65.9%自报
Vibe-Eval53.9%自报

Healthcare

WMT2375.1%自报

Language

BIG-Bench Hard89.2%自报
FLEURS0.07 / 100自报

Math

GSM8k90.8%自报
MGSM87.5%自报
MATH86.5%自报
DROP74.9%自报
MathVista68.1%自报
FunctionalMATH64.6%自报
PhysicsFinals63.9%自报
HiddenMath52.0%自报
AMC_2022_2346.4%自报

Multimodal

Video-MME78.6%自报

Reasoning

HellaSwag93.3%自报

Safety

XSTest98.8%自报

AA 评测指数

Coding Index
23.6
Intelligence Index
16.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

LLM Stats 分类评分

Safety
100
Code
80
Finance
80
Healthcare
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Vision
70
General
70
Language
70
Multimodal
70
Biology
60
Chemistry
60
Physics
60
Speech To Text
10

定价

输入价格免费
输出价格免费
混合价格(3:1)免费

速度

Tokens/秒0.0 tokens/s
首Token延迟0.00s
首回答延迟0.00s

可用提供商

(LS 内部计价单位)

暂无提供商数据

外部链接