메인 콘텐츠로 건너뛰기

GPT-4o (Aug '24)

OpenAIGPTProprietary

설명

GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.

출시일
2024-08-06
파라미터
컨텍스트 길이
128K
모달리티
image, pdf, text

능력 레이더

8
general
32
coding
40
reasoning
36
science추정
50
agents
90
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
코딩 랭킹287
31.0
AA
종합 랭킹425
23.0
AA
수학 추론196
46.0
AA
멀티모달 랭킹30
81.0
LS
추론99
37.0
LS
과학315
36.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA70.1%자체 보고

Code

SWE-Bench Verified33.2%자체 보고
SWE-Lancer32.6%자체 보고
Aider-Polyglot30.7%자체 보고
Aider-Polyglot Edit18.2%자체 보고
SWE-Lancer (IC-Diamond subset)12.4%자체 보고

Communication

Tau2 Retail63.4%자체 보고
Multi-IF60.9%자체 보고
TAU-bench Retail60.3%자체 보고
Tau2 Airline45.5%자체 보고
TAU-bench Airline42.8%자체 보고
Multi-Challenge40.3%자체 보고
Tau2 Telecom23.5%자체 보고

Factuality

SimpleQA38.2%자체 보고

Finance

MMLU85.7%자체 보고
MMLU-Pro74.7%자체 보고

General

MMMLU81.4%자체 보고
IFEval81.0%자체 보고
MMMU72.2%자체 보고
MMMU-Pro59.9%자체 보고
Internal API instruction following (hard)29.2%자체 보고

Healthcare

VideoMMMU61.2%자체 보고

Image To Text

DocVQA92.8%자체 보고

Language

COLLIE61.0%자체 보고

Long Context

EgoSchema72.2%자체 보고
ComplexFuncBench66.5%자체 보고
OpenAI-MRCR: 2 needle 128k31.9%자체 보고

Math

MathVista61.4%자체 보고
AIME 202413.1%자체 보고
Humanity's Last Exam5.3%자체 보고

Multimodal

AI2D94.2%자체 보고
ChartQA85.7%자체 보고
CharXiv-D85.3%자체 보고
CharXiv-R58.8%자체 보고

Reasoning

Graphwalks BFS <128k41.7%자체 보고
Graphwalks parents <128k35.4%자체 보고
ERQA35.2%자체 보고

Video

ActivityNet61.9%자체 보고

AA 평가 지수

Intelligence Index
9.6
Math 500
0.8
Gpqa
0.5
Ifbench
0.4
Lcr
0.3
Scicode
0.3
Livecodebench
0.3
Tau2
0.3
Aime
0.1
Terminalbench Hard
0.1
Hle
0.0

LLM Stats 카테고리 점수

Image To Text
90
Legal
80
Finance
80
Instruction Following
70
Language
70
Multimodal
70
Physics
70
Healthcare
70
Biology
70
Chemistry
70
Vision
70
Long Context
60
Structured Output
60
General
60
Writing
60
Math
50
Reasoning
50
Communication
50
Tool Calling
50
Spatial Reasoning
40
Factuality
40
Frontend Development
30
Code
30

가격

입력 가격$2.5 / 1M 토큰
출력 가격$10 / 1M 토큰
혼합 가격 (3:1)$4.375 / 1M 토큰
캐시 읽기 가격$1.25 / 1M 토큰

속도

토큰/초113.3
첫 토큰 지연0.56s
첫 응답 지연0.56s

공급자 가격 순위

공급자 가격 순위

12개 공급자

최저가: OpenAI최고가: Venice AI
공급자입력출력
1OpenAI최저가
$0
$0.00001
2Azure
$0
$0.00001
3NanoGPT
$2.499
$9.996
4Abacus
$2.5
$10
5OpenRouter
$2.5
$10
6Kilo Gateway
$2.5
$10
7Cloudflare AI Gateway
$2.5
$10
8DigitalOcean
$2.5
$10
9Vercel AI Gateway
$2.5
$10
10OrcaRouter
$2.5
$10
11Merge Gateway
$2.5
$10
12Venice AI
$3.125
$12.5

이 모델의 다양한 API 공급자 간 가격 비교.

외부 링크