Gemini 1.5 Flash (May '24)
GoogleGemini
Описание
Gemini 1.5 Flash is a fast and versatile multimodal model for scaling across diverse tasks. It supports audio, images, video, and text input, and produces text output. The model is optimized for generating code, extracting data, editing text, and more, making it ideal for narrow, high-frequency tasks.
Дата выхода
2024-05-14
Параметры
—
Длина контекста
—
Модальности
—
Радар способностей
21
general
19
coding
28
reasoning
22
scienceоцен.
25
agents
80
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 357 | 21.0 | AA |
| Общий рейтинг | 410 | 25.0 | AA |
| Математическое мышление | 257 | 32.0 | AA |
| Мультимодальный рейтинг | 44 | 76.0 | LS |
| Рассуждения | 16 | 87.0 | LS |
| Наука | 437 | 21.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
51.0%Сам.
Code
HumanEval
74.3%Сам.
Finance
MMLU
78.9%Сам.
MMLU-Pro
67.3%Сам.
General
Natural2Code
79.8%Сам.
MRCR
71.9%Сам.
MMMU
62.3%Сам.
Vibe-Eval
48.9%Сам.
Healthcare
WMT23
74.1%Сам.
Language
FLEURS
90.4%Сам.
BIG-Bench Hard
85.5%Сам.
Math
GSM8k
86.2%Сам.
MGSM
82.6%Сам.
MATH
77.9%Сам.
MathVista
65.8%Сам.
PhysicsFinals
57.4%Сам.
FunctionalMATH
53.6%Сам.
HiddenMath
47.2%Сам.
AMC_2022_23
34.8%Сам.
Multimodal
Video-MME
76.1%Сам.
Reasoning
HellaSwag
86.5%Сам.
Safety
XSTest
97.0%Сам.
Индексы оценки AA
Intelligence Index4.9
Mmlu Pro0.6
Math 5000.6
Gpqa0.3
Livecodebench0.2
Scicode0.2
Aime0.1
Hle0.0
Оценки категорий LLM Stats
Safety100
Speech To Text90
Language80
Legal70
Long Context70
Math70
Reasoning70
Finance70
General70
Healthcare70
Code70
Multimodal60
Vision60
Physics50
Biology50
Chemistry50
Цены
Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно
Скорость
Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s
Рейтинг цен провайдеров
Нет данных провайдеров