Saltar al contenido principal

Claude 2.1

AnthropicClaude
Fecha de lanzamiento
2023-11-21
Parámetros
Longitud del contexto
1.0M
Modalidades
image, pdf, text

Radar de capacidades

18
general
16
coding
19
reasoning
22
scienceest.
80
agents
80
multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio#PosiciónPuntuaciónFuente
Ranking de codificación374
19.0
AA
Ranking general447
21.0
AA
Razonamiento matemático309
19.0
AA
Ciencia438
21.0
AA

Puntuaciones de benchmarks (LLM Stats)

Agents

Vending-Bench 2801759.0%Aut.
GDPval-AA1606.00 / 3000Aut.
DeepSearchQA91.3%Aut.
BrowseComp84.0%Aut.
CyberGym73.8%Aut.
OSWorld72.7%Aut.
Terminal-Bench 2.065.4%Aut.
MCP Atlas62.7%Aut.
Finance Agent60.7%Aut.
FrontierSWE56.0%Aut.
OpenRCA34.9%Aut.
Legal Agent Benchmark4.2%Aut.

Biology

GPQA91.3%Aut.

Code

SWE-Bench Verified80.8%Aut.
SWE-bench Multilingual77.8%Aut.

Communication

Tau2 Telecom99.3%Aut.
Tau2 Retail91.9%Aut.

General

MMMLU91.1%Aut.
MMMU-Pro77.3%Aut.
LiveBench76.3%Aut.
MRCR v2 (8-needle)76.0%Aut.

Healthcare

FigQA78.3%Aut.

Long Context

Graphwalks parents >128k95.4%Aut.
Graphwalks BFS >128k61.5%Aut.

Math

AIME 202599.8%Aut.
Humanity's Last Exam53.1%Aut.

Multimodal

CharXiv-R77.4%Aut.

Reasoning

ARC-AGI v268.8%Aut.

Índices de evaluación AA

Coding Index
14.0
Intelligence Index
3.9
Mmlu Pro
0.5
Math 500
0.4
Gpqa
0.3
Livecodebench
0.2
Scicode
0.2
Hle
0.0
Aime
0.0

Puntuaciones por categoría LLM Stats

Agents
100
Finance
100
Legal
100
Reasoning
100
General
100
Communication
100
Language
90
Physics
90
Search
90
Biology
90
Chemistry
90
Long Context
80
Math
80
Multimodal
80
Safety
80
Spatial Reasoning
80
Frontend Development
80
Healthcare
80
Tool Calling
80
Code
70
Vision
70

Precios

Precio de entradaGratis
Precio de salidaGratis
Precio mixto (3:1)Gratis
Precio de lectura caché$0.5 / 1M tokens
Precio de escritura caché$6.25 / 1M tokens

Velocidad

Tokens/seg0.0
Retraso del primer token0.00s
Tiempo hasta la respuesta0.00s

Ranking de Precios por Proveedor

No hay datos de proveedores disponibles

Fuentes externas