Claude 3.5 Sonnet
AnthropicClaudeProprietary
Описание
Claude 3.5 Sonnet is a powerful AI model with industry-leading software engineering skills. It excels in coding, planning, and problem-solving, with significant improvements in agentic coding and tool use tasks. The model includes computer use capabilities in public beta, allowing it to interact with computer interfaces like a human user.
Дата выхода
2024-10-22
Параметры
—
Длина контекста
—
Модальности
image, text
Радар способностей
80
general
70
coding
90
reasoning
60
scienceоцен.
60
agents
100
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Agents & Tools | 99 | 18.0 | LS |
| Multimodal Ranking | 1 | 94.0 | LS |
Оценки бенчмарков (LLM Stats)
Agents
OSWorld Extended
22.0%Сам.
OSWorld Screenshot-only
14.9%Сам.
Biology
GPQA
67.2%Сам.
Code
HumanEval
93.7%Сам.
SWE-Bench Verified
49.0%Сам.
Communication
TAU-bench Retail
69.2%Сам.
TAU-bench Airline
46.0%Сам.
Finance
MMLU
90.4%Сам.
MMLU-Pro
77.6%Сам.
General
MMMU
68.3%Сам.
Image To Text
DocVQA
95.2%Сам.
Language
BIG-Bench Hard
93.1%Сам.
Math
GSM8k
96.4%Сам.
MGSM
91.6%Сам.
DROP
87.1%Сам.
MATH
78.3%Сам.
MathVista
67.7%Сам.
Multimodal
AI2D
94.7%Сам.
ChartQA
90.8%Сам.
Индексы оценки AA
Нет данных AA оценки
Оценки категорий LLM Stats
Image To Text100
Language90
Math90
Vision80
Finance80
General80
Healthcare80
Legal80
Multimodal80
Reasoning80
Biology70
Chemistry70
Code70
Physics70
Tool Calling60
Communication60
Frontend Development50
Цены
Нет данных о ценах
Скорость
Нет данных о скорости
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров