Gemini 1.5 Pro (Sep '24)
GoogleGeminiProprietary
Описание
Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.
Дата выхода
2024-09-24
Параметры
—
Длина контекста
—
Модальности
image, text
Радар способностей
80
general
80
coding
80
reasoning
51
scienceоцен.
80
agents
80
multimodal
При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Мультимодальный рейтинг | 82 | 49.0 | LS |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))General
MMLU
85.9%Сам.
Language
FLEURS
93.3%Сам.
MMLU-Pro
75.8%Сам.
WMT23
75.1%Сам.
Long Context
MRCR
82.6%Сам.
Math
GSM8k
90.8%Сам.
MGSM
87.5%Сам.
MATH
86.5%Сам.
MathVista
68.1%Сам.
FunctionalMATH
64.6%Сам.
HiddenMath
52.0%Сам.
AMC_2022_23
46.4%Сам.
Multimodal
Video-MME
78.6%Сам.
MMMU
65.9%Сам.
Vibe-Eval
53.9%Сам.
Physics
PhysicsFinals
63.9%Сам.
Reasoning
HellaSwagAI2 (2019)
93.3%Сам.
BIG-Bench Hard
89.2%Сам.
Natural2Code
85.4%Сам.
HumanEvalOpenAI (2021)
84.1%Сам.
DROP
74.9%Сам.
GPQANYU + Cohere + Anthropic (2023)
59.1%Сам.
Safety
XSTest
98.8%Сам.
Индексы оценки AA
(Artificial Analysis)Нет данных AA оценки
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Safety100
Speech To Text90
Language80
Legal80
Long Context80
Math80
Reasoning80
Finance80
General80
Healthcare80
Code80
Multimodal70
Vision70
Physics60
Biology60
Chemistry60
Цены
Нет данных о ценах
Скорость
Нет данных о скорости
Рейтинг цен провайдеров
Нет данных провайдеров