Passer au contenu principal

Claude 2.1

AnthropicClaude
Date de sortie
2023-11-21
Paramètres
Longueur du contexte
1.0M
Modalités
image, pdf, text

Radar de capacités

18
general
16
coding
19
reasoning
22
scienceest.
80
agents
80
multimodal

Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine#RangScoreSource
Classement codage374
19.0
AA
Classement général447
21.0
AA
Raisonnement mathématique309
19.0
AA
Science438
21.0
AA

Scores de benchmarks (LLM Stats)

Agents

Vending-Bench 2801759.0%Aut.
GDPval-AA1606.00 / 3000Aut.
DeepSearchQA91.3%Aut.
BrowseComp84.0%Aut.
CyberGym73.8%Aut.
OSWorld72.7%Aut.
Terminal-Bench 2.065.4%Aut.
MCP Atlas62.7%Aut.
Finance Agent60.7%Aut.
FrontierSWE56.0%Aut.
OpenRCA34.9%Aut.
Legal Agent Benchmark4.2%Aut.

Biology

GPQA91.3%Aut.

Code

SWE-Bench Verified80.8%Aut.
SWE-bench Multilingual77.8%Aut.

Communication

Tau2 Telecom99.3%Aut.
Tau2 Retail91.9%Aut.

General

MMMLU91.1%Aut.
MMMU-Pro77.3%Aut.
LiveBench76.3%Aut.
MRCR v2 (8-needle)76.0%Aut.

Healthcare

FigQA78.3%Aut.

Long Context

Graphwalks parents >128k95.4%Aut.
Graphwalks BFS >128k61.5%Aut.

Math

AIME 202599.8%Aut.
Humanity's Last Exam53.1%Aut.

Multimodal

CharXiv-R77.4%Aut.

Reasoning

ARC-AGI v268.8%Aut.

Indices d'évaluation AA

Coding Index
14.0
Intelligence Index
3.9
Mmlu Pro
0.5
Math 500
0.4
Gpqa
0.3
Livecodebench
0.2
Scicode
0.2
Hle
0.0
Aime
0.0

Scores par catégorie LLM Stats

Agents
100
Finance
100
Legal
100
Reasoning
100
General
100
Communication
100
Language
90
Physics
90
Search
90
Biology
90
Chemistry
90
Long Context
80
Math
80
Multimodal
80
Safety
80
Spatial Reasoning
80
Frontend Development
80
Healthcare
80
Tool Calling
80
Code
70
Vision
70

Tarification

Prix d'entréeGratuit
Prix de sortieGratuit
Prix mixte (3:1)Gratuit
Prix de lecture cache$0.5 / 1M tokens
Prix d'écriture cache$6.25 / 1M tokens

Vitesse

Tokens/sec0.0
Délai du premier token0.00s
Temps de réponse0.00s

Classement des Prix par Fournisseur

Aucune donnée de fournisseur disponible

Sources externes