Перейти к основному содержанию

Gemini 1.5 Flash (Sep '24)

GoogleGeminiProprietary

Описание

Gemini 1.5 Flash is a fast and versatile multimodal model for scaling across diverse tasks. It supports audio, images, video, and text input, and produces text output. The model is optimized for generating code, extracting data, editing text, and more, making it ideal for narrow, high-frequency tasks.

Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text

Радар способностей

70
general
70
coding
70
reasoning
43
scienceоцен.
70
agents
80
multimodal

При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.

Рейтинги

Домен#МестоОценкаИсточник
Мультимодальный рейтинг93
46.0
LS

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU78.9%Сам.

Language

FLEURS90.4%Сам.
WMT2374.1%Сам.
MMLU-Pro67.3%Сам.

Long Context

MRCR71.9%Сам.

Math

GSM8k86.2%Сам.
MGSM82.6%Сам.
MATH77.9%Сам.
MathVista65.8%Сам.
FunctionalMATH53.6%Сам.
HiddenMath47.2%Сам.
AMC_2022_2334.8%Сам.

Multimodal

Video-MME76.1%Сам.
MMMU62.3%Сам.
Vibe-Eval48.9%Сам.

Physics

PhysicsFinals57.4%Сам.

Reasoning

HellaSwagAI2 (2019)86.5%Сам.
BIG-Bench Hard85.5%Сам.
Natural2Code79.8%Сам.
HumanEvalOpenAI (2021)74.3%Сам.
GPQANYU + Cohere + Anthropic (2023)51.0%Сам.

Safety

XSTest97.0%Сам.

Индексы оценки AA

(Artificial Analysis)

Нет данных AA оценки

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Language
80
Legal
70
Long Context
70
Math
70
Reasoning
70
Finance
70
General
70
Healthcare
70
Code
70
Multimodal
60
Vision
60
Physics
50
Biology
50
Chemistry
50

Цены

Нет данных о ценах

Скорость

Нет данных о скорости

Рейтинг цен провайдеров

Нет данных провайдеров

Внешние ссылки