o1
OpenAIOpenAI o-seriesProprietary
Description
A research preview model focused on mathematical and logical reasoning capabilities, demonstrating improved performance on tasks requiring step-by-step reasoning, mathematical problem-solving, and code generation. The model shows enhanced capabilities in formal reasoning while maintaining strong general capabilities.
Date de sortie
2024-12-05
Paramètres
—
Longueur du contexte
200K
Modalités
image, pdf, text
Radar de capacités
39
general
49
coding
80
reasoning
48
scienceest.
60
agents
70
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Classement codage | 151 | 55.0 | AA |
| Classement général | 105 | 63.0 | AA |
| Raisonnement mathématique | 55 | 87.0 | AA |
| Science | 195 | 49.0 | AA |
Scores de benchmarks (LLM Stats)
Biology
GPQA
78.0%Aut.
GPQA Biology
69.2%Aut.
Chemistry
GPQA Chemistry
64.7%Aut.
Code
HumanEval
88.1%Aut.
SWE-Bench Verified
41.0%Aut.
Communication
TAU-bench Retail
70.8%Aut.
TAU-bench Airline
50.0%Aut.
Factuality
SimpleQA
47.0%Aut.
Finance
MMLU
91.8%Aut.
General
MMMLU
87.7%Aut.
MMMU
77.6%Aut.
LiveBench
67.0%Aut.
Math
GSM8k
97.1%Aut.
MATH
96.4%Aut.
MGSM
89.3%Aut.
AIME 2024
74.3%Aut.
MathVista
71.8%Aut.
FrontierMath
5.5%Aut.
Physics
GPQA Physics
92.8%Aut.
Indices d'évaluation AA
Coding Index39.7
Intelligence Index23.4
Math 5001.0
Mmlu Pro0.8
Gpqa0.7
Aime0.7
Ifbench0.7
Livecodebench0.7
Tau20.6
Lcr0.6
Scicode0.4
Terminalbench Hard0.1
Hle0.1
Scores par catégorie LLM Stats
Language90
Legal90
Finance90
Math80
Physics80
Healthcare80
Biology80
Chemistry80
Multimodal70
Reasoning70
General70
Vision70
Code60
Communication60
Tool Calling60
Factuality50
Frontend Development40
Tarification
Prix d'entrée$15 / 1M tokens
Prix de sortie$60 / 1M tokens
Prix mixte (3:1)$26.25 / 1M tokens
Prix de lecture cache$7.5 / 1M tokens
Vitesse
Tokens/sec147.9
Délai du premier token13.04s
Temps de réponse13.04s
Classement des Prix par Fournisseur
Classement des Prix par Fournisseur
13 fournisseurs
Moins cher: PoePlus cher: Merge Gateway
FournisseurEntréeSortie
1PoeMoins cher
$14
$54
2NanoGPT
$14.994
$59.993
3OpenAIPRINCIPAL
$15
$60
4OpenRouter
$15
$60
5Kilo Gateway
$15
$60
6Cloudflare AI Gateway
$15
$60
7Helicone
$15
$60
8Azure Cognitive Services
$15
$60
9DigitalOcean
$15
$60
10Vercel AI Gateway
$15
$60
11LLM Gateway
$15
$60
12Azure
$15
$60
13Merge Gateway
$15
$60
Comparer les prix entre différents fournisseurs API pour ce modèle.