Gemini 1.5 Flash (Sep '24)
GoogleGeminiProprietary
Описание
Gemini 1.5 Flash is a fast and versatile multimodal model for scaling across diverse tasks. It supports audio, images, video, and text input, and produces text output. The model is optimized for generating code, extracting data, editing text, and more, making it ideal for narrow, high-frequency tasks.
Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text
Радар способностей
29
general
27
coding
43
reasoning
31
scienceоцен.
0
agents
80
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Code Ranking | 268 | 30.0 | AA |
| General Ranking | 316 | 35.0 | AA |
| Math Reasoning | 180 | 51.0 | AA |
| Multimodal Ranking | 39 | 76.0 | LS |
| Reasoning | 16 | 87.0 | LS |
| Science | 350 | 31.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
51.0%Сам.
Code
HumanEval
74.3%Сам.
Finance
MMLU
78.9%Сам.
MMLU-Pro
67.3%Сам.
General
Natural2Code
79.8%Сам.
MRCR
71.9%Сам.
MMMU
62.3%Сам.
Vibe-Eval
48.9%Сам.
Healthcare
WMT23
74.1%Сам.
Language
BIG-Bench Hard
85.5%Сам.
FLEURS
0.10 / 100Сам.
Math
GSM8k
86.2%Сам.
MGSM
82.6%Сам.
MATH
77.9%Сам.
MathVista
65.8%Сам.
PhysicsFinals
57.4%Сам.
FunctionalMATH
53.6%Сам.
HiddenMath
47.2%Сам.
AMC_2022_23
34.8%Сам.
Multimodal
Video-MME
76.1%Сам.
Reasoning
HellaSwag
86.5%Сам.
Safety
XSTest
97.0%Сам.
Индексы оценки AA
Intelligence Index13.8
Math 5000.8
Mmlu Pro0.7
Gpqa0.5
Livecodebench0.3
Scicode0.3
Aime0.2
Hle0.0
Оценки категорий LLM Stats
Safety100
Code70
Finance70
General70
Healthcare70
Legal70
Long Context70
Math70
Reasoning70
Vision60
Language60
Multimodal60
Biology50
Chemistry50
Physics50
Speech To Text10
Цены
Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно
Скорость
Токенов/сек0.0 tokens/s
Задержка первого токена0.00s
Время до первого ответа0.00s
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров