Passer au contenu principal

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Description

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Date de sortie
2024-09-24
Paramètres
—
Longueur du contexte
—
Modalités
image, text

Radar de capacités

80
general
80
coding
80
reasoning
51
scienceest.
80
agents
80
multimodal

Science est estimé à partir des scores scientifiques de LLM Stats ou du raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine#RangScoreSource
Classement multimodal82
49.0
LS

Scores de benchmarks (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU85.9%Aut.

Language

FLEURS93.3%Aut.
MMLU-Pro75.8%Aut.
WMT2375.1%Aut.

Long Context

MRCR82.6%Aut.

Math

GSM8k90.8%Aut.
MGSM87.5%Aut.
MATH86.5%Aut.
MathVista68.1%Aut.
FunctionalMATH64.6%Aut.
HiddenMath52.0%Aut.
AMC_2022_2346.4%Aut.

Multimodal

Video-MME78.6%Aut.
MMMU65.9%Aut.
Vibe-Eval53.9%Aut.

Physics

PhysicsFinals63.9%Aut.

Reasoning

HellaSwagAI2 (2019)93.3%Aut.
BIG-Bench Hard89.2%Aut.
Natural2Code85.4%Aut.
HumanEvalOpenAI (2021)84.1%Aut.
DROP74.9%Aut.
GPQANYU + Cohere + Anthropic (2023)59.1%Aut.

Safety

XSTest98.8%Aut.

Indices d'évaluation AA

(Artificial Analysis)

Aucune donnée d'évaluation AA disponible

Scores par catégorie LLM Stats

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

Tarification

Aucune donnée de prix disponible

Vitesse

Aucune donnée de vitesse disponible

Classement des Prix par Fournisseur

Aucune donnée de fournisseur disponible

Sources externes