GPT-4o (Aug '24)

OpenAIGPTProprietary

설명

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

출시일

2024-08-06

파라미터

—

컨텍스트 길이

128K

모달리티

image, pdf, text

능력 레이더

general

coding

reasoning

science

agents

multimodal

랭킹

도메인	#순위	점수	소스
코딩 랭킹	345	31.0	AA
종합 랭킹	487	23.0	AA
멀티모달 랭킹	42	49.0	LS
과학	378	36.0	AA

벤치마크 점수 (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)

70.1%자체 보고

Code

SWE-Bench Verified

33.2%자체 보고

SWE-Lancer

32.6%자체 보고

Aider-Polyglot

30.7%자체 보고

Aider-Polyglot Edit

18.2%자체 보고

SWE-Lancer (IC-Diamond subset)

12.4%자체 보고

Communication

Tau2 Retail

63.4%자체 보고

Multi-IF

60.9%자체 보고

TAU-bench Retail

60.3%자체 보고

Tau2 Airline

45.5%자체 보고

TAU-bench Airline

42.8%자체 보고

Multi-Challenge

40.3%자체 보고

Tau2 Telecom

23.5%자체 보고

Factuality

SimpleQA

38.2%자체 보고

Finance

MMLU

85.7%자체 보고

MMLU-Pro

74.7%자체 보고

General

MMMLU

81.4%자체 보고

IFEvalGoogle Research (2023)

81.0%자체 보고

MMMU

72.2%자체 보고

MMMU-Pro

59.9%자체 보고

Internal API instruction following (hard)

29.2%자체 보고

Healthcare

VideoMMMU

61.2%자체 보고

Image To Text

DocVQADocVQA (2020)

92.8%자체 보고

Language

COLLIE

61.0%자체 보고

Long Context

EgoSchema

72.2%자체 보고

ComplexFuncBench

66.5%자체 보고

OpenAI-MRCR: 2 needle 128k

31.9%자체 보고

Math

MathVista

61.4%자체 보고

AIME 2024

13.1%자체 보고

Humanity's Last Exam

5.3%자체 보고

Multimodal

AI2D

94.2%자체 보고

ChartQAMasry et al. (2022)

85.7%자체 보고

CharXiv-D

85.3%자체 보고

CharXiv-R

58.8%자체 보고

Reasoning

Graphwalks BFS <128k

41.7%자체 보고

Graphwalks parents <128k

35.4%자체 보고

ERQA

35.2%자체 보고

Video

ActivityNet

61.9%자체 보고

AA 평가 지수

(Artificial Analysis)

Intelligence Index(Artificial Analysis)

9.4

Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))

0.8

Gpqa(NYU + Cohere + Anthropic (2023))

0.5

Lcr(Artificial Analysis)

0.4

Ifbench(Google Research (2023))

0.4

Scicode(UIUC + Argonne National Lab (2024))

0.3

Livecodebench(UC Berkeley + MIT + Cornell (2024))

0.3

Tau2(Sierra + U Toronto + Vector Institute (2025))

0.3

Aime(MAA (Mathematical Association of America))

0.1

Terminalbench Hard(Stanford × Laude Institute (2026))

0.1

Hle(Center for AI Safety + Scale AI (2025))

0.0

LLM Stats 카테고리 점수

(LLM Stats (zeroeval))

Image To Text

Legal

Finance

Multimodal

Physics

Instruction Following

Language

Healthcare

Biology

Chemistry

Vision

Long Context

Structured Output

Writing

Math

Reasoning

General

Communication

Tool Calling

Spatial Reasoning

Factuality

Frontend Development

Code

가격

입력 가격$2.5 / 1M 토큰

출력 가격$10 / 1M 토큰

혼합 가격 (3:1)$4.375 / 1M 토큰

캐시 읽기 가격$1.25 / 1M 토큰

속도

토큰/초0.0

첫 토큰 지연0.00s

첫 응답 지연0.00s

공급자 가격 순위

2개 공급자

최저가: OpenAI최고가: Azure

공급자입력출력

1OpenAI최저가

$0.00001

2Azure

$0.00001

이 모델의 다양한 API 공급자 간 가격 비교.

외부 링크

LLM Stats Artificial Analysis