o1
OpenAIOpenAI o-seriesProprietary
विवरण
A research preview model focused on mathematical and logical reasoning capabilities, demonstrating improved performance on tasks requiring step-by-step reasoning, mathematical problem-solving, and code generation. The model shows enhanced capabilities in formal reasoning while maintaining strong general capabilities.
रिलीज़ तिथि
2024-12-05
पैरामीटर
—
संदर्भ लंबाई
200K
मोडैलिटीज़
file, image, text
क्षमता रडार
43
general
39
coding
80
reasoning
48
scienceअनुमानित
60
agents
70
multimodal
समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science तर्क प्रॉक्सी का उपयोग करके अनुमान लगाता है।
रैंकिंग
| डोमेन | #रैंक | स्कोर | स्रोत |
|---|---|---|---|
| Code Ranking | 157 | 49.0 | AA |
| General Ranking | 104 | 66.0 | AA |
| Math Reasoning | 55 | 87.0 | AA |
| Science | 169 | 51.0 | AA |
बेंचमार्क स्कोर (LLM Stats)
Biology
GPQA
78.0%स्वयं
GPQA Biology
69.2%स्वयं
Chemistry
GPQA Chemistry
64.7%स्वयं
Code
HumanEval
88.1%स्वयं
SWE-Bench Verified
41.0%स्वयं
Communication
TAU-bench Retail
70.8%स्वयं
TAU-bench Airline
50.0%स्वयं
Factuality
SimpleQA
47.0%स्वयं
Finance
MMLU
91.8%स्वयं
General
MMMLU
87.7%स्वयं
MMMU
77.6%स्वयं
LiveBench
67.0%स्वयं
Math
GSM8k
97.1%स्वयं
MATH
96.4%स्वयं
MGSM
89.3%स्वयं
AIME 2024
74.3%स्वयं
MathVista
71.8%स्वयं
FrontierMath
5.5%स्वयं
Physics
GPQA Physics
92.8%स्वयं
AA मूल्यांकन सूचकांक
Intelligence Index30.8
Coding Index20.5
Math 5001.0
Mmlu Pro0.8
Gpqa0.7
Aime0.7
Ifbench0.7
Livecodebench0.7
Tau20.6
Lcr0.6
Scicode0.4
Terminalbench Hard0.1
Hle0.1
LLM Stats श्रेणी स्कोर
Finance90
Language90
Legal90
Biology80
Chemistry80
Healthcare80
Math80
Physics80
Vision70
General70
Multimodal70
Reasoning70
Tool Calling60
Code60
Communication60
Factuality50
Frontend Development40
मूल्य निर्धारण
इनपुट मूल्य$15 / 1M tokens
आउटपुट मूल्य$60 / 1M tokens
मिश्रित मूल्य (3:1)$26.25 / 1M tokens
गति
टोकन/सेकंड111.0 tokens/s
पहले टोकन में देरी22.15s
पहले उत्तर में देरी22.15s
उपलब्ध प्रदाता
(LS आंतरिक इकाइयाँ)कोई प्रदाता डेटा उपलब्ध नहीं