Перейти к основному содержанию
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Описание

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Дата выхода
2024-09-24
Параметры
—
Длина контекста
1.0M
Модальности
audio, file, image, text, video

Радар способностей

32
general
27
coding
50
reasoning
38
scienceоцен.
0
agents
80
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Code Ranking222
38.0
AA
General Ranking258
41.0
AA
Math Reasoning162
56.0
AA
Multimodal Ranking32
79.0
LS
Reasoning4
93.0
LS
Science283
39.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA59.1%Сам.

Code

HumanEval84.1%Сам.

Finance

MMLU85.9%Сам.
MMLU-Pro75.8%Сам.

General

Natural2Code85.4%Сам.
MRCR82.6%Сам.
MMMU65.9%Сам.
Vibe-Eval53.9%Сам.

Healthcare

WMT2375.1%Сам.

Language

BIG-Bench Hard89.2%Сам.
FLEURS0.07 / 100Сам.

Math

GSM8k90.8%Сам.
MGSM87.5%Сам.
MATH86.5%Сам.
DROP74.9%Сам.
MathVista68.1%Сам.
FunctionalMATH64.6%Сам.
PhysicsFinals63.9%Сам.
HiddenMath52.0%Сам.
AMC_2022_2346.4%Сам.

Multimodal

Video-MME78.6%Сам.

Reasoning

HellaSwag93.3%Сам.

Safety

XSTest98.8%Сам.

Индексы оценки AA

Coding Index
23.6
Intelligence Index
16.0
Math 500
0.9
Mmlu Pro
0.8
Gpqa
0.6
Livecodebench
0.3
Scicode
0.3
Aime
0.2
Hle
0.0

Оценки категорий LLM Stats

Safety
100
Code
80
Finance
80
Healthcare
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Vision
70
General
70
Language
70
Multimodal
70
Biology
60
Chemistry
60
Physics
60
Speech To Text
10

Цены

Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно

Скорость

Токенов/сек0.0 tokens/s
Задержка первого токена0.00s
Время до первого ответа0.00s

Доступные провайдеры

(Внутренние единицы LS)

Нет данных провайдеров

Внешние ссылки

LLM Stats