Gemini 1.5 Pro (May '24)
GoogleGemini
Description
Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.
Date de sortie
2024-05-15
Paramètres
—
Longueur du contexte
—
Modalités
—
Radar de capacités
24
general
22
coding
32
reasoning
27
scienceest.
29
agents
80
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Classement codage | 322 | 25.0 | AA |
| Classement général | 369 | 30.0 | AA |
| Raisonnement mathématique | 238 | 37.0 | AA |
| Classement multimodal | 37 | 79.0 | LS |
| Raisonnement | 4 | 93.0 | LS |
| Science | 393 | 28.0 | AA |
Scores de benchmarks (LLM Stats)
Biology
GPQA
59.1%Aut.
Code
HumanEval
84.1%Aut.
Finance
MMLU
85.9%Aut.
MMLU-Pro
75.8%Aut.
General
Natural2Code
85.4%Aut.
MRCR
82.6%Aut.
MMMU
65.9%Aut.
Vibe-Eval
53.9%Aut.
Healthcare
WMT23
75.1%Aut.
Language
FLEURS
93.3%Aut.
BIG-Bench Hard
89.2%Aut.
Math
GSM8k
90.8%Aut.
MGSM
87.5%Aut.
MATH
86.5%Aut.
DROP
74.9%Aut.
MathVista
68.1%Aut.
FunctionalMATH
64.6%Aut.
PhysicsFinals
63.9%Aut.
HiddenMath
52.0%Aut.
AMC_2022_23
46.4%Aut.
Multimodal
Video-MME
78.6%Aut.
Reasoning
HellaSwag
93.3%Aut.
Safety
XSTest
98.8%Aut.
Indices d'évaluation AA
Coding Index19.8
Intelligence Index6.3
Math 5000.7
Mmlu Pro0.7
Gpqa0.4
Scicode0.3
Livecodebench0.2
Aime0.1
Hle0.0
Scores par catégorie LLM Stats
Safety100
Speech To Text90
Language80
Legal80
Long Context80
Math80
Reasoning80
Finance80
Healthcare80
Code80
Multimodal70
General70
Vision70
Physics60
Biology60
Chemistry60
Tarification
Prix d'entréeGratuit
Prix de sortieGratuit
Prix mixte (3:1)Gratuit
Vitesse
Tokens/sec0.0
Délai du premier token0.00s
Temps de réponse0.00s
Classement des Prix par Fournisseur
Aucune donnée de fournisseur disponible