o1

OpenAIOpenAI o-seriesProprietary

Description

A research preview model focused on mathematical and logical reasoning capabilities, demonstrating improved performance on tasks requiring step-by-step reasoning, mathematical problem-solving, and code generation. The model shows enhanced capabilities in formal reasoning while maintaining strong general capabilities.

Date de sortie

2024-12-05

Paramètres

—

Longueur du contexte

200K

Modalités

file, image, text

Radar de capacités

general

coding

reasoning

scienceest.

agents

multimodal

Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine	#Rang	Score	Source
Code Ranking	157	49.0	AA
General Ranking	104	66.0	AA
Math Reasoning	55	87.0	AA
Science	169	51.0	AA

Scores de benchmarks (LLM Stats)

Biology

GPQA

78.0%Aut.

GPQA Biology

69.2%Aut.

Chemistry

GPQA Chemistry

64.7%Aut.

Code

HumanEval

88.1%Aut.

SWE-Bench Verified

41.0%Aut.

Communication

TAU-bench Retail

70.8%Aut.

TAU-bench Airline

50.0%Aut.

Factuality

SimpleQA

47.0%Aut.

Finance

MMLU

91.8%Aut.

General

MMMLU

87.7%Aut.

MMMU

77.6%Aut.

LiveBench

67.0%Aut.

Math

GSM8k

97.1%Aut.

MATH

96.4%Aut.

MGSM

89.3%Aut.

AIME 2024

74.3%Aut.

MathVista

71.8%Aut.

FrontierMath

5.5%Aut.

Physics

GPQA Physics

92.8%Aut.

Indices d'évaluation AA

Intelligence Index

30.8

Coding Index

20.5

Math 500

1.0

Mmlu Pro

0.8

Gpqa

0.7

Aime

0.7

Ifbench

0.7

Livecodebench

0.7

Tau2

0.6

Lcr

0.6

Scicode

0.4

Terminalbench Hard

0.1

Hle

0.1

Scores par catégorie LLM Stats

Finance

Language

Legal

Biology

Chemistry

Healthcare

Math

Physics

Vision

General

Multimodal

Reasoning

Tool Calling

Code

Communication

Factuality

Frontend Development

Tarification

Prix d'entrée$15 / 1M tokens

Prix de sortie$60 / 1M tokens

Prix mixte (3:1)$26.25 / 1M tokens

Vitesse

Tokens/sec111.0 tokens/s

Délai du premier token22.15s

Temps de réponse22.15s

Fournisseurs disponibles

(Unités internes LS)

Aucune donnée de fournisseur disponible

Sources externes

LLM Stats