Gemini 1.5 Flash (Sep '24)
GoogleGeminiProprietary
Описание
Gemini 1.5 Flash is a fast and versatile multimodal model for scaling across diverse tasks. It supports audio, images, video, and text input, and produces text output. The model is optimized for generating code, extracting data, editing text, and more, making it ideal for narrow, high-frequency tasks.
Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text
Радар способностей
25
general
27
coding
43
reasoning
31
science
38
agents
80
multimodal
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 345 | 30.0 | AA |
| Общий рейтинг | 398 | 32.0 | AA |
| Мультимодальный рейтинг | 46 | 46.0 | LS |
| Наука | 430 | 30.0 | AA |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Biology
GPQANYU + Cohere + Anthropic (2023)
51.0%Сам.
Code
HumanEvalOpenAI (2021)
74.3%Сам.
Finance
MMLU
78.9%Сам.
MMLU-Pro
67.3%Сам.
General
Natural2Code
79.8%Сам.
MRCR
71.9%Сам.
MMMU
62.3%Сам.
Vibe-Eval
48.9%Сам.
Healthcare
WMT23
74.1%Сам.
Language
FLEURS
90.4%Сам.
BIG-Bench Hard
85.5%Сам.
Math
GSM8k
86.2%Сам.
MGSM
82.6%Сам.
MATH
77.9%Сам.
MathVista
65.8%Сам.
PhysicsFinals
57.4%Сам.
FunctionalMATH
53.6%Сам.
HiddenMath
47.2%Сам.
AMC_2022_23
34.8%Сам.
Multimodal
Video-MME
76.1%Сам.
Reasoning
HellaSwagAI2 (2019)
86.5%Сам.
Safety
XSTest
97.0%Сам.
Индексы оценки AA
(Artificial Analysis)Intelligence Index(Artificial Analysis)7.8
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))0.8
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))0.7
Gpqa(NYU + Cohere + Anthropic (2023))0.5
Livecodebench(UC Berkeley + MIT + Cornell (2024))0.3
Scicode(UIUC + Argonne National Lab (2024))0.3
Aime(MAA (Mathematical Association of America))0.2
Hle(Center for AI Safety + Scale AI (2025))0.0
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Safety100
Speech To Text90
Language80
Legal70
Long Context70
Math70
Reasoning70
Finance70
General70
Healthcare70
Code70
Multimodal60
Vision60
Physics50
Biology50
Chemistry50
Цены
Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно
Скорость
Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s
Рейтинг цен провайдеров
Нет данных провайдеров