Saltar al contenido principal

Gemini 1.5 Flash (May '24)

GoogleGemini

Descripción

Gemini 1.5 Flash is a fast and versatile multimodal model for scaling across diverse tasks. It supports audio, images, video, and text input, and produces text output. The model is optimized for generating code, extracting data, editing text, and more, making it ideal for narrow, high-frequency tasks.

Fecha de lanzamiento
2024-05-14
Parámetros
Longitud del contexto
Modalidades

Radar de capacidades

21
general
19
coding
28
reasoning
22
scienceest.
25
agents
80
multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio#PosiciónPuntuaciónFuente
Ranking de codificación357
21.0
AA
Ranking general410
25.0
AA
Razonamiento matemático257
32.0
AA
Ranking multimodal44
76.0
LS
Razonamiento16
87.0
LS
Ciencia437
21.0
AA

Puntuaciones de benchmarks (LLM Stats)

Biology

GPQA51.0%Aut.

Code

HumanEval74.3%Aut.

Finance

MMLU78.9%Aut.
MMLU-Pro67.3%Aut.

General

Natural2Code79.8%Aut.
MRCR71.9%Aut.
MMMU62.3%Aut.
Vibe-Eval48.9%Aut.

Healthcare

WMT2374.1%Aut.

Language

FLEURS90.4%Aut.
BIG-Bench Hard85.5%Aut.

Math

GSM8k86.2%Aut.
MGSM82.6%Aut.
MATH77.9%Aut.
MathVista65.8%Aut.
PhysicsFinals57.4%Aut.
FunctionalMATH53.6%Aut.
HiddenMath47.2%Aut.
AMC_2022_2334.8%Aut.

Multimodal

Video-MME76.1%Aut.

Reasoning

HellaSwag86.5%Aut.

Safety

XSTest97.0%Aut.

Índices de evaluación AA

Intelligence Index
4.9
Mmlu Pro
0.6
Math 500
0.6
Gpqa
0.3
Livecodebench
0.2
Scicode
0.2
Aime
0.1
Hle
0.0

Puntuaciones por categoría LLM Stats

Safety
100
Speech To Text
90
Language
80
Legal
70
Long Context
70
Math
70
Reasoning
70
Finance
70
General
70
Healthcare
70
Code
70
Multimodal
60
Vision
60
Physics
50
Biology
50
Chemistry
50

Precios

Precio de entradaGratis
Precio de salidaGratis
Precio mixto (3:1)Gratis

Velocidad

Tokens/seg0.0
Retraso del primer token0.00s
Tiempo hasta la respuesta0.00s

Ranking de Precios por Proveedor

No hay datos de proveedores disponibles

Fuentes externas