GPT-4o (Aug '24)
OpenAIGPTProprietary
विवरण
GPT-4o ('o' for 'omni') is a multimodal AI model that accepts text, audio, image, and video inputs, and generates text, audio, and image outputs. It matches GPT-4 Turbo performance on text and code, with improvements in non-English languages, vision, and audio understanding.
रिलीज़ तिथि
2024-08-06
पैरामीटर
—
संदर्भ लंबाई
128K
मोडैलिटीज़
image, pdf, text
क्षमता रडार
50
general
30
coding
50
reasoning
60
scienceअनुमानित
50
agents
90
multimodal
समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science का अनुमान LLM Stats विज्ञान स्कोर या तर्क से लगाया जाता है।
रैंकिंग
| डोमेन | #रैंक | स्कोर | स्रोत |
|---|---|---|---|
| मल्टीमॉडल रैंकिंग | 114 | 37.0 | LS |
बेंचमार्क स्कोर (LLM Stats)
(LLM Stats (zeroeval))Chat
IFEvalGoogle Research (2023)
81.0%स्वयं
Multi-IF
60.9%स्वयं
TAU-bench Retail
60.3%स्वयं
Tau2 Airline
45.5%स्वयं
Multi-Challenge
40.3%स्वयं
Communication
Tau2 Retail
63.4%स्वयं
Tau2 Telecom
23.5%स्वयं
Factuality
SimpleQA
38.2%स्वयं
General
MMLU
85.7%स्वयं
Aider-Polyglot
30.7%स्वयं
Internal API instruction following (hard)
29.2%स्वयं
Aider-Polyglot Edit
18.2%स्वयं
Language
MMMLU
81.4%स्वयं
MMLU-Pro
74.7%स्वयं
COLLIE
61.0%स्वयं
Long Context
ComplexFuncBench
66.5%स्वयं
OpenAI-MRCR: 2 needle 128k
31.9%स्वयं
Math
MathVista
61.4%स्वयं
AIME 2024
13.1%स्वयं
Multimodal
MMMU
72.2%स्वयं
VideoMMMU
61.2%स्वयं
Reasoning
ChartQAMasry et al. (2022)
85.7%स्वयं
CharXiv-D
85.3%स्वयं
GPQANYU + Cohere + Anthropic (2023)
70.1%स्वयं
CharXiv-R
58.8%स्वयं
TAU-bench Airline
42.8%स्वयं
Graphwalks BFS <128k
41.7%स्वयं
Graphwalks parents <128k
35.4%स्वयं
SWE-Bench Verified
33.2%स्वयं
SWE-Lancer
32.6%स्वयं
SWE-Lancer (IC-Diamond subset)
12.4%स्वयं
Humanity's Last Exam
5.3%स्वयं
Vision
AI2D
94.2%स्वयं
DocVQADocVQA (2020)
92.8%स्वयं
EgoSchema
72.2%स्वयं
ActivityNet
61.9%स्वयं
MMMU-Pro
59.9%स्वयं
ERQA
35.2%स्वयं
AA मूल्यांकन सूचकांक
(Artificial Analysis)कोई AA मूल्यांकन डेटा उपलब्ध नहीं
LLM Stats श्रेणी स्कोर
(LLM Stats (zeroeval))Image To Text90
Legal80
Finance80
Instruction Following70
Language70
Multimodal70
Physics70
Healthcare70
Biology70
Chemistry70
Vision70
Chat60
Long Context60
Structured Output60
Writing60
Math50
Reasoning50
General50
Communication50
Tool Calling50
Spatial Reasoning40
Factuality40
Frontend Development30
Code30
मूल्य निर्धारण
इनपुट मूल्य$2.5 / 1M टोकन
आउटपुट मूल्य$10 / 1M टोकन
मिश्रित मूल्य (3:1)$4.375 / 1M टोकन
कैश पठन मूल्य$1.25 / 1M टोकन
गति
टोकन/सेकंड165.7
पहले टोकन में देरी1.84s
पहले उत्तर में देरी1.84s
प्रदाता मूल्य रैंकिंग
प्रदाता मूल्य रैंकिंग
2 प्रदाता
सबसे सस्ता: OpenAIसबसे महंगा: Azure
प्रदाताइनपुटआउटपुट
1OpenAIप्राथमिक
$2.5
$10
2Azure
$2.5
$10
इस मॉडल के लिए विभिन्न API प्रदाताओं के मूल्य निर्धारण की तुलना करें।