o1

OpenAIOpenAI o-seriesProprietary

Descripción

A research preview model focused on mathematical and logical reasoning capabilities, demonstrating improved performance on tasks requiring step-by-step reasoning, mathematical problem-solving, and code generation. The model shows enhanced capabilities in formal reasoning while maintaining strong general capabilities.

Fecha de lanzamiento

2024-12-05

Parámetros

—

Longitud del contexto

200K

Modalidades

file, image, text

Radar de capacidades

general

coding

reasoning

scienceest.

agents

multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio	#Posición	Puntuación	Fuente
Code Ranking	157	49.0	AA
General Ranking	104	66.0	AA
Math Reasoning	55	87.0	AA
Science	169	51.0	AA

Puntuaciones de benchmarks (LLM Stats)

Biology

GPQA

78.0%Aut.

GPQA Biology

69.2%Aut.

Chemistry

GPQA Chemistry

64.7%Aut.

Code

HumanEval

88.1%Aut.

SWE-Bench Verified

41.0%Aut.

Communication

TAU-bench Retail

70.8%Aut.

TAU-bench Airline

50.0%Aut.

Factuality

SimpleQA

47.0%Aut.

Finance

MMLU

91.8%Aut.

General

MMMLU

87.7%Aut.

MMMU

77.6%Aut.

LiveBench

67.0%Aut.

Math

GSM8k

97.1%Aut.

MATH

96.4%Aut.

MGSM

89.3%Aut.

AIME 2024

74.3%Aut.

MathVista

71.8%Aut.

FrontierMath

5.5%Aut.

Physics

GPQA Physics

92.8%Aut.

Índices de evaluación AA

Intelligence Index

30.8

Coding Index

20.5

Math 500

1.0

Mmlu Pro

0.8

Gpqa

0.7

Aime

0.7

Ifbench

0.7

Livecodebench

0.7

Tau2

0.6

Lcr

0.6

Scicode

0.4

Terminalbench Hard

0.1

Hle

0.1

Puntuaciones por categoría LLM Stats

Finance

Language

Legal

Biology

Chemistry

Healthcare

Math

Physics

Vision

General

Multimodal

Reasoning

Tool Calling

Code

Communication

Factuality

Frontend Development

Precios

Precio de entrada$15 / 1M tokens

Precio de salida$60 / 1M tokens

Precio mixto (3:1)$26.25 / 1M tokens

Velocidad

Tokens/seg111.0 tokens/s

Retraso del primer token22.15s

Tiempo hasta la respuesta22.15s

Proveedores disponibles

(Unidades internas LS)

No hay datos de proveedores disponibles

Fuentes externas

LLM Stats