Перейти к основному содержанию
AITier

GPT-4o (Aug '24)

OpenAIGPTProprietary

Описание

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

Дата выхода
2024-08-06
Параметры
—
Длина контекста
128K
Модальности
image, text

Радар способностей

7
general
32
coding
40
reasoning
37
science
50
agents
90
multimodal

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга427
31.0
AA
Общий рейтинг576
20.0
AA
Мультимодальный рейтинг115
39.0
LS
Наука506
26.0
AA

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Chat

IFEvalGoogle Research (2023)81.0%Сам.
Multi-IF60.9%Сам.
TAU-bench Retail60.3%Сам.
Tau2 Airline45.5%Сам.
Multi-Challenge40.3%Сам.

Communication

Tau2 Retail63.4%Сам.
Tau2 Telecom23.5%Сам.

Factuality

SimpleQA38.2%Сам.

General

MMLU85.7%Сам.
Aider-Polyglot30.7%Сам.
Internal API instruction following (hard)29.2%Сам.
Aider-Polyglot Edit18.2%Сам.

Language

MMMLU81.4%Сам.
MMLU-Pro74.7%Сам.
COLLIE61.0%Сам.

Long Context

ComplexFuncBench66.5%Сам.
OpenAI-MRCR: 2 needle 128k31.9%Сам.

Math

MathVista61.4%Сам.
AIME 202413.1%Сам.

Multimodal

MMMU72.2%Сам.
VideoMMMU61.2%Сам.

Reasoning

ChartQAMasry et al. (2022)85.7%Сам.
CharXiv-D85.3%Сам.
GPQANYU + Cohere + Anthropic (2023)70.1%Сам.
CharXiv-R58.8%Сам.
TAU-bench Airline42.8%Сам.
Graphwalks BFS <128k41.7%Сам.
Graphwalks parents <128k35.4%Сам.
SWE-Bench Verified33.2%Сам.
SWE-Lancer32.6%Сам.
SWE-Lancer (IC-Diamond subset)12.4%Сам.
Humanity's Last Exam5.3%Сам.

Vision

AI2D94.2%Сам.
DocVQADocVQA (2020)92.8%Сам.
EgoSchema72.2%Сам.
ActivityNet61.9%Сам.
MMMU-Pro59.9%Сам.
ERQA35.2%Сам.

Индексы оценки AA

(Artificial Analysis)
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
79.5
Gpqa(NYU + Cohere + Anthropic (2023))
52.1
Lcr(Artificial Analysis)
41.0
Ifbench(Google Research (2023))
36.0
Livecodebench(UC Berkeley + MIT + Cornell (2024))
31.7
Tau2(Sierra + U Toronto + Vector Institute (2025))
28.9
Aime(MAA (Mathematical Association of America))
11.7
Terminalbench Hard(Stanford × Laude Institute (2026))
8.3
Intelligence Index(Artificial Analysis)
7.7
Hle(Center for AI Safety + Scale AI (2025))
2.3

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Image To Text
90
Legal
80
Finance
80
Instruction Following
70
Language
70
Multimodal
70
Physics
70
Healthcare
70
Biology
70
Chemistry
70
Vision
70
Chat
60
Long Context
60
Structured Output
60
Writing
60
Math
50
Reasoning
50
General
50
Communication
50
Tool Calling
50
Spatial Reasoning
40
Factuality
40
Frontend Development
30
Code
30

Цены

Цена ввода$2.5 / 1M токенов
Цена вывода$10 / 1M токенов
Смешанная цена (3:1)$4.375 / 1M токенов

Скорость

Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

2 провайдеров

Самый дешевый: OpenAIСамый дорогой: Azure
ПровайдерВводВывод
1OpenAIСамый дешевый
$0
$0.00001
2Azure
$0
$0.00001

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки

LLM StatsArtificial Analysis