Claude 3.5 Sonnet
AnthropicClaudeProprietary
Описание
Claude 3.5 Sonnet is a powerful AI model with industry-leading software engineering skills. It excels in coding, planning, and problem-solving, with significant improvements in agentic coding and tool use tasks. The model includes computer use capabilities in public beta, allowing it to interact with computer interfaces like a human user.
Дата выхода
2024-10-22
Параметры
—
Длина контекста
—
Модальности
image, text
Радар способностей
80
general
70
coding
90
reasoning
60
scienceоцен.
60
agents
100
multimodal
При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Мультимодальный рейтинг | 28 | 60.0 | LS |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Chat
TAU-bench Retail
69.2%Сам.
General
MMLU
90.4%Сам.
OSWorld Extended
22.0%Сам.
Language
MMLU-Pro
77.6%Сам.
Math
GSM8k
96.4%Сам.
MGSM
91.6%Сам.
MATH
78.3%Сам.
MathVista
67.7%Сам.
Multimodal
MMMU
68.3%Сам.
OSWorld Screenshot-only
14.9%Сам.
Reasoning
HumanEvalOpenAI (2021)
93.7%Сам.
BIG-Bench Hard
93.1%Сам.
ChartQAMasry et al. (2022)
90.8%Сам.
DROP
87.1%Сам.
GPQANYU + Cohere + Anthropic (2023)
67.2%Сам.
SWE-Bench Verified
49.0%Сам.
TAU-bench Airline
46.0%Сам.
Vision
DocVQADocVQA (2020)
95.2%Сам.
AI2D
94.7%Сам.
Индексы оценки AA
(Artificial Analysis)Нет данных AA оценки
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Image To Text100
Language90
Math90
Legal80
Multimodal80
Reasoning80
Finance80
General80
Healthcare80
Vision80
Chat70
Physics70
Biology70
Chemistry70
Code70
Communication60
Tool Calling60
Frontend Development50
Цены
Нет данных о ценах
Скорость
Нет данных о скорости
Рейтинг цен провайдеров
Нет данных провайдеров