GPT-4o (Aug '24)
OpenAIGPTProprietary
설명
GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.
출시일
2024-08-06
파라미터
—
컨텍스트 길이
128K
모달리티
file, image, text
능력 레이더
15
general
24
coding
40
reasoning
36
science추정
50
agents
90
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 265 | 30.0 | AA |
| General Ranking | 377 | 28.0 | AA |
| Math Reasoning | 196 | 46.0 | AA |
| Multimodal Ranking | 27 | 81.0 | LS |
| Reasoning | 94 | 37.0 | LS |
| Science | 290 | 37.0 | AA |
벤치마크 점수 (LLM Stats)
Biology
GPQA
70.1%자체 보고
Code
SWE-Bench Verified
33.2%자체 보고
SWE-Lancer
32.6%자체 보고
Aider-Polyglot
30.7%자체 보고
Aider-Polyglot Edit
18.2%자체 보고
SWE-Lancer (IC-Diamond subset)
12.4%자체 보고
Communication
Tau2 Retail
63.4%자체 보고
Multi-IF
60.9%자체 보고
TAU-bench Retail
60.3%자체 보고
Tau2 Airline
45.5%자체 보고
TAU-bench Airline
42.8%자체 보고
Multi-Challenge
40.3%자체 보고
Tau2 Telecom
23.5%자체 보고
Factuality
SimpleQA
38.2%자체 보고
Finance
MMLU
85.7%자체 보고
MMLU-Pro
74.7%자체 보고
General
MMMLU
81.4%자체 보고
IFEval
81.0%자체 보고
MMMU
72.2%자체 보고
MMMU-Pro
59.9%자체 보고
Internal API instruction following (hard)
29.2%자체 보고
Healthcare
VideoMMMU
61.2%자체 보고
Image To Text
DocVQA
92.8%자체 보고
Language
COLLIE
61.0%자체 보고
Long Context
EgoSchema
72.2%자체 보고
ComplexFuncBench
66.5%자체 보고
OpenAI-MRCR: 2 needle 128k
31.9%자체 보고
Math
MathVista
61.4%자체 보고
AIME 2024
13.1%자체 보고
Humanity's Last Exam
5.3%자체 보고
Multimodal
AI2D
94.2%자체 보고
ChartQA
85.7%자체 보고
CharXiv-D
85.3%자체 보고
CharXiv-R
58.8%자체 보고
Reasoning
Graphwalks BFS <128k
41.7%자체 보고
Graphwalks parents <128k
35.4%자체 보고
ERQA
35.2%자체 보고
Video
ActivityNet
61.9%자체 보고
AA 평가 지수
Intelligence Index18.6
Coding Index16.6
Math 5000.8
Gpqa0.5
Ifbench0.4
Lcr0.3
Scicode0.3
Livecodebench0.3
Tau20.3
Aime0.1
Terminalbench Hard0.1
Hle0.0
LLM Stats 카테고리 점수
Image To Text90
Finance80
Legal80
Vision70
Biology70
Chemistry70
Healthcare70
Instruction Following70
Language70
Multimodal70
Physics70
Structured Output60
Writing60
General60
Long Context60
Tool Calling50
Communication50
Math50
Reasoning50
Spatial Reasoning40
Factuality40
Code30
Frontend Development30
가격
입력 가격$2.5 / 1M tokens
출력 가격$10 / 1M tokens
혼합 가격 (3:1)$4.375 / 1M tokens
속도
토큰/초102.1 tokens/s
첫 토큰 지연0.65s
첫 응답 지연0.65s
사용 가능한 프로바이더
(LS 내부 단위)| 프로바이더 | 입력 가격 | 출력 가격 |
|---|---|---|
| OpenAI | 2.5M | 10.0M |
| Azure | 2.5M | 10.0M |