Перейти к основному содержанию
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

Описание

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text

Радар способностей

29
general
27
coding
50
reasoning
38
science
43
agents
80
multimodal

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга343
31.0
AA
Общий рейтинг349
37.0
AA
Мультимодальный рейтинг39
50.0
LS
Наука367
38.0
AA

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)59.1%Сам.

Code

HumanEvalOpenAI (2021)84.1%Сам.

Finance

MMLU85.9%Сам.
MMLU-Pro75.8%Сам.

General

Natural2Code85.4%Сам.
MRCR82.6%Сам.
MMMU65.9%Сам.
Vibe-Eval53.9%Сам.

Healthcare

WMT2375.1%Сам.

Language

FLEURS93.3%Сам.
BIG-Bench Hard89.2%Сам.

Math

GSM8k90.8%Сам.
MGSM87.5%Сам.
MATH86.5%Сам.
DROP74.9%Сам.
MathVista68.1%Сам.
FunctionalMATH64.6%Сам.
PhysicsFinals63.9%Сам.
HiddenMath52.0%Сам.
AMC_2022_2346.4%Сам.

Multimodal

Video-MME78.6%Сам.

Reasoning

HellaSwagAI2 (2019)93.3%Сам.

Safety

XSTest98.8%Сам.

Индексы оценки AA

(Artificial Analysis)
Coding Index(Artificial Analysis)
23.6
Intelligence Index(Artificial Analysis)
9.9
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.9
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))
0.8
Gpqa(NYU + Cohere + Anthropic (2023))
0.6
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.3
Scicode(UIUC + Argonne National Lab (2024))
0.3
Aime(MAA (Mathematical Association of America))
0.2
Hle(Center for AI Safety + Scale AI (2025))
0.0

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Legal
80
Long Context
80
Math
80
Reasoning
80
Language
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

Цены

Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно

Скорость

Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s

Рейтинг цен провайдеров

Нет данных провайдеров

Внешние ссылки

LLM StatsArtificial Analysis