Passer au contenu principal
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Description

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Date de sortie
2024-09-24
Paramètres
—
Longueur du contexte
—
Modalités
image, text

Radar de capacités

29
general
27
coding
50
reasoning
38
scienceest.
43
agents
80
multimodal

Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine#RangScoreSource
Classement codage283
31.0
AA
Classement général291
37.0
AA
Raisonnement mathématique162
56.0
AA
Science306
38.0
AA

Scores de benchmarks (LLM Stats)

Biology

GPQA59.1%Aut.

Code

HumanEval84.1%Aut.

Finance

MMLU85.9%Aut.
MMLU-Pro75.8%Aut.

General

Natural2Code85.4%Aut.
MRCR82.6%Aut.
MMMU65.9%Aut.
Vibe-Eval53.9%Aut.

Healthcare

WMT2375.1%Aut.

Language

FLEURS93.3%Aut.
BIG-Bench Hard89.2%Aut.

Math

GSM8k90.8%Aut.
MGSM87.5%Aut.
MATH86.5%Aut.
DROP74.9%Aut.
MathVista68.1%Aut.
FunctionalMATH64.6%Aut.
PhysicsFinals63.9%Aut.
HiddenMath52.0%Aut.
AMC_2022_2346.4%Aut.

Multimodal

Video-MME78.6%Aut.

Reasoning

HellaSwag93.3%Aut.

Safety

XSTest98.8%Aut.

Indices d'évaluation AA

Coding Index
23.6
Intelligence Index
10.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

Scores par catégorie LLM Stats

Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
Healthcare
80
Code
80
Multimodal
70
General
70
Vision
70
Physics
60
Biology
60
Chemistry
60

Tarification

Prix d'entréeGratuit
Prix de sortieGratuit
Prix mixte (3:1)Gratuit

Vitesse

Tokens/sec0.0
Délai du premier token0.00s
Temps de réponse0.00s

Classement des Prix par Fournisseur

Aucune donnée de fournisseur disponible

Sources externes

LLM StatsArtificial Analysis