Перейти к основному содержанию

GPT-4o (Aug '24)

OpenAIGPTProprietary

Описание

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

Дата выхода
2024-08-06
Параметры
—
Длина контекста
128K
Модальности
image, pdf, text

Радар способностей

50
general
30
coding
50
reasoning
60
scienceоцен.
50
agents
90
multimodal

При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.

Рейтинги

Домен#МестоОценкаИсточник
Мультимодальный рейтинг114
37.0
LS

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Chat

IFEvalGoogle Research (2023)81.0%Сам.
Multi-IF60.9%Сам.
TAU-bench Retail60.3%Сам.
Tau2 Airline45.5%Сам.
Multi-Challenge40.3%Сам.

Communication

Tau2 Retail63.4%Сам.
Tau2 Telecom23.5%Сам.

Factuality

SimpleQA38.2%Сам.

General

MMLU85.7%Сам.
Aider-Polyglot30.7%Сам.
Internal API instruction following (hard)29.2%Сам.
Aider-Polyglot Edit18.2%Сам.

Language

MMMLU81.4%Сам.
MMLU-Pro74.7%Сам.
COLLIE61.0%Сам.

Long Context

ComplexFuncBench66.5%Сам.
OpenAI-MRCR: 2 needle 128k31.9%Сам.

Math

MathVista61.4%Сам.
AIME 202413.1%Сам.

Multimodal

MMMU72.2%Сам.
VideoMMMU61.2%Сам.

Reasoning

ChartQAMasry et al. (2022)85.7%Сам.
CharXiv-D85.3%Сам.
GPQANYU + Cohere + Anthropic (2023)70.1%Сам.
CharXiv-R58.8%Сам.
TAU-bench Airline42.8%Сам.
Graphwalks BFS <128k41.7%Сам.
Graphwalks parents <128k35.4%Сам.
SWE-Bench Verified33.2%Сам.
SWE-Lancer32.6%Сам.
SWE-Lancer (IC-Diamond subset)12.4%Сам.
Humanity's Last Exam5.3%Сам.

Vision

AI2D94.2%Сам.
DocVQADocVQA (2020)92.8%Сам.
EgoSchema72.2%Сам.
ActivityNet61.9%Сам.
MMMU-Pro59.9%Сам.
ERQA35.2%Сам.

Индексы оценки AA

(Artificial Analysis)

Нет данных AA оценки

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Image To Text
90
Legal
80
Finance
80
Instruction Following
70
Language
70
Multimodal
70
Physics
70
Healthcare
70
Biology
70
Chemistry
70
Vision
70
Chat
60
Long Context
60
Structured Output
60
Writing
60
Math
50
Reasoning
50
General
50
Communication
50
Tool Calling
50
Spatial Reasoning
40
Factuality
40
Frontend Development
30
Code
30

Цены

Цена ввода$2.5 / 1M токенов
Цена вывода$10 / 1M токенов
Смешанная цена (3:1)$4.375 / 1M токенов
Цена чтения кэша$1.25 / 1M токенов

Скорость

Токенов/сек165.7
Задержка первого токена1.84s
Время до первого ответа1.84s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

2 провайдеров

Самый дешевый: OpenAIСамый дорогой: Azure
ПровайдерВводВывод
1OpenAIОсновной
$2.5
$10
2Azure
$2.5
$10

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки