Перейти к основному содержанию

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Описание

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text

Радар способностей

80
general
80
coding
80
reasoning
51
scienceоцен.
80
agents
80
multimodal

При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.

Рейтинги

Домен#МестоОценкаИсточник
Мультимодальный рейтинг82
49.0
LS

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU85.9%Сам.

Language

FLEURS93.3%Сам.
MMLU-Pro75.8%Сам.
WMT2375.1%Сам.

Long Context

MRCR82.6%Сам.

Math

GSM8k90.8%Сам.
MGSM87.5%Сам.
MATH86.5%Сам.
MathVista68.1%Сам.
FunctionalMATH64.6%Сам.
HiddenMath52.0%Сам.
AMC_2022_2346.4%Сам.

Multimodal

Video-MME78.6%Сам.
MMMU65.9%Сам.
Vibe-Eval53.9%Сам.

Physics

PhysicsFinals63.9%Сам.

Reasoning

HellaSwagAI2 (2019)93.3%Сам.
BIG-Bench Hard89.2%Сам.
Natural2Code85.4%Сам.
HumanEvalOpenAI (2021)84.1%Сам.
DROP74.9%Сам.
GPQANYU + Cohere + Anthropic (2023)59.1%Сам.

Safety

XSTest98.8%Сам.

Индексы оценки AA

(Artificial Analysis)

Нет данных AA оценки

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

Цены

Нет данных о ценах

Скорость

Нет данных о скорости

Рейтинг цен провайдеров

Нет данных провайдеров

Внешние ссылки