Перейти к основному содержанию
AITier

GPT-4o (Aug '24)

OpenAIGPTProprietary

Описание

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

Дата выхода
2024-08-06
Параметры
—
Длина контекста
128K
Модальности
image, pdf, text

Радар способностей

8
general
32
coding
40
reasoning
35
science
50
agents
90
multimodal

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга341
31.0
AA
Общий рейтинг483
23.0
AA
Мультимодальный рейтинг42
48.0
LS
Наука374
36.0
AA

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)70.1%Сам.

Code

SWE-Bench Verified33.2%Сам.
SWE-Lancer32.6%Сам.
Aider-Polyglot30.7%Сам.
Aider-Polyglot Edit18.2%Сам.
SWE-Lancer (IC-Diamond subset)12.4%Сам.

Communication

Tau2 Retail63.4%Сам.
Multi-IF60.9%Сам.
TAU-bench Retail60.3%Сам.
Tau2 Airline45.5%Сам.
TAU-bench Airline42.8%Сам.
Multi-Challenge40.3%Сам.
Tau2 Telecom23.5%Сам.

Factuality

SimpleQA38.2%Сам.

Finance

MMLU85.7%Сам.
MMLU-Pro74.7%Сам.

General

MMMLU81.4%Сам.
IFEvalGoogle Research (2023)81.0%Сам.
MMMU72.2%Сам.
MMMU-Pro59.9%Сам.
Internal API instruction following (hard)29.2%Сам.

Healthcare

VideoMMMU61.2%Сам.

Image To Text

DocVQADocVQA (2020)92.8%Сам.

Language

COLLIE61.0%Сам.

Long Context

EgoSchema72.2%Сам.
ComplexFuncBench66.5%Сам.
OpenAI-MRCR: 2 needle 128k31.9%Сам.

Math

MathVista61.4%Сам.
AIME 202413.1%Сам.
Humanity's Last Exam5.3%Сам.

Multimodal

AI2D94.2%Сам.
ChartQAMasry et al. (2022)85.7%Сам.
CharXiv-D85.3%Сам.
CharXiv-R58.8%Сам.

Reasoning

Graphwalks BFS <128k41.7%Сам.
Graphwalks parents <128k35.4%Сам.
ERQA35.2%Сам.

Video

ActivityNet61.9%Сам.

Индексы оценки AA

(Artificial Analysis)
Intelligence Index(Artificial Analysis)
9.4
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.8
Gpqa(NYU + Cohere + Anthropic (2023))
0.5
Lcr(Artificial Analysis)
0.4
Ifbench(Google Research (2023))
0.4
Scicode(UIUC + Argonne National Lab (2024))
0.3
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.3
Tau2(Sierra + U Toronto + Vector Institute (2025))
0.3
Aime(MAA (Mathematical Association of America))
0.1
Terminalbench Hard(Stanford × Laude Institute (2026))
0.1
Hle(Center for AI Safety + Scale AI (2025))
0.0

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Image To Text
90
Legal
80
Finance
80
Instruction Following
70
Language
70
Multimodal
70
Physics
70
Healthcare
70
Biology
70
Chemistry
70
Vision
70
Long Context
60
Structured Output
60
Writing
60
Math
50
Reasoning
50
General
50
Communication
50
Tool Calling
50
Spatial Reasoning
40
Factuality
40
Frontend Development
30
Code
30

Цены

Цена ввода$2.5 / 1M токенов
Цена вывода$10 / 1M токенов
Смешанная цена (3:1)$4.375 / 1M токенов
Цена чтения кэша$1.25 / 1M токенов

Скорость

Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

2 провайдеров

Самый дешевый: OpenAIСамый дорогой: Azure
ПровайдерВводВывод
1OpenAIСамый дешевый
$0
$0.00001
2Azure
$0
$0.00001

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки

LLM StatsArtificial Analysis