Saltar al contenido principal
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Descripción

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Fecha de lanzamiento
2024-09-24
Parámetros
—
Longitud del contexto
1.0M
Modalidades
audio, file, image, text, video

Radar de capacidades

32
general
27
coding
50
reasoning
38
scienceest.
0
agents
80
multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio#PosiciónPuntuaciónFuente
Code Ranking222
38.0
AA
General Ranking258
41.0
AA
Math Reasoning162
56.0
AA
Multimodal Ranking32
79.0
LS
Reasoning4
93.0
LS
Science283
39.0
AA

Puntuaciones de benchmarks (LLM Stats)

Biology

GPQA59.1%Aut.

Code

HumanEval84.1%Aut.

Finance

MMLU85.9%Aut.
MMLU-Pro75.8%Aut.

General

Natural2Code85.4%Aut.
MRCR82.6%Aut.
MMMU65.9%Aut.
Vibe-Eval53.9%Aut.

Healthcare

WMT2375.1%Aut.

Language

BIG-Bench Hard89.2%Aut.
FLEURS0.07 / 100Aut.

Math

GSM8k90.8%Aut.
MGSM87.5%Aut.
MATH86.5%Aut.
DROP74.9%Aut.
MathVista68.1%Aut.
FunctionalMATH64.6%Aut.
PhysicsFinals63.9%Aut.
HiddenMath52.0%Aut.
AMC_2022_2346.4%Aut.

Multimodal

Video-MME78.6%Aut.

Reasoning

HellaSwag93.3%Aut.

Safety

XSTest98.8%Aut.

Índices de evaluación AA

Coding Index
23.6
Intelligence Index
16.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

Puntuaciones por categoría LLM Stats

Safety
100
Code
80
Finance
80
Healthcare
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Vision
70
General
70
Language
70
Multimodal
70
Biology
60
Chemistry
60
Physics
60
Speech To Text
10

Precios

Precio de entradaGratis
Precio de salidaGratis
Precio mixto (3:1)Gratis

Velocidad

Tokens/seg0.0 tokens/s
Retraso del primer token0.00s
Tiempo hasta la respuesta0.00s

Proveedores disponibles

(Unidades internas LS)

No hay datos de proveedores disponibles

Fuentes externas

LLM Stats