メインコンテンツへスキップ
AITier

GPT-4o (Aug '24)

OpenAIGPTProprietary

説明

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

リリース日
2024-08-06
パラメータ
—
コンテキスト長
128K
モダリティ
file, image, text

能力レーダー

15
general
24
coding
40
reasoning
36
science推定
50
agents
90
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking265
30.0
AA
General Ranking377
28.0
AA
Math Reasoning196
46.0
AA
Multimodal Ranking27
81.0
LS
Reasoning94
37.0
LS
Science290
37.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA70.1%自己申告

Code

SWE-Bench Verified33.2%自己申告
SWE-Lancer32.6%自己申告
Aider-Polyglot30.7%自己申告
Aider-Polyglot Edit18.2%自己申告
SWE-Lancer (IC-Diamond subset)12.4%自己申告

Communication

Tau2 Retail63.4%自己申告
Multi-IF60.9%自己申告
TAU-bench Retail60.3%自己申告
Tau2 Airline45.5%自己申告
TAU-bench Airline42.8%自己申告
Multi-Challenge40.3%自己申告
Tau2 Telecom23.5%自己申告

Factuality

SimpleQA38.2%自己申告

Finance

MMLU85.7%自己申告
MMLU-Pro74.7%自己申告

General

MMMLU81.4%自己申告
IFEval81.0%自己申告
MMMU72.2%自己申告
MMMU-Pro59.9%自己申告
Internal API instruction following (hard)29.2%自己申告

Healthcare

VideoMMMU61.2%自己申告

Image To Text

DocVQA92.8%自己申告

Language

COLLIE61.0%自己申告

Long Context

EgoSchema72.2%自己申告
ComplexFuncBench66.5%自己申告
OpenAI-MRCR: 2 needle 128k31.9%自己申告

Math

MathVista61.4%自己申告
AIME 202413.1%自己申告
Humanity's Last Exam5.3%自己申告

Multimodal

AI2D94.2%自己申告
ChartQA85.7%自己申告
CharXiv-D85.3%自己申告
CharXiv-R58.8%自己申告

Reasoning

Graphwalks BFS <128k41.7%自己申告
Graphwalks parents <128k35.4%自己申告
ERQA35.2%自己申告

Video

ActivityNet61.9%自己申告

AA評価指数

Intelligence Index
18.6
Coding Index
16.6
Math 500
0.8
Gpqa
0.5
Ifbench
0.4
Lcr
0.3
Scicode
0.3
Livecodebench
0.3
Tau2
0.3
Aime
0.1
Terminalbench Hard
0.1
Hle
0.0

LLM Statsカテゴリスコア

Image To Text
90
Finance
80
Legal
80
Vision
70
Biology
70
Chemistry
70
Healthcare
70
Instruction Following
70
Language
70
Multimodal
70
Physics
70
Structured Output
60
Writing
60
General
60
Long Context
60
Tool Calling
50
Communication
50
Math
50
Reasoning
50
Spatial Reasoning
40
Factuality
40
Code
30
Frontend Development
30

価格設定

入力価格$2.5 / 1M tokens
出力価格$10 / 1M tokens
混合価格（3:1）$4.375 / 1M tokens

速度

トークン/秒102.1 tokens/s
初トークン遅延0.65s
初回答遅延0.65s

利用可能なプロバイダー

(LS内部単位)
プロバイダー入力価格出力価格
OpenAI2.5M10.0M
Azure2.5M10.0M

外部リンク

LLM Stats