メインコンテンツへスキップ
AITier

Claude 3.5 Sonnet

AnthropicClaudeProprietary

説明

Claude 3.5 Sonnet is a powerful AI model with industry-leading software engineering skills. It excels in coding, planning, and problem-solving, with significant improvements in agentic coding and tool use tasks. The model includes computer use capabilities in public beta, allowing it to interact with computer interfaces like a human user.

リリース日
2024-10-22
パラメータ
—
コンテキスト長
—
モダリティ
image, text

能力レーダー

80
general
70
coding
90
reasoning
60
science推定
60
agents
100
multimodal

専用の科学ベンチマークがない場合、Science は LLM Stats の科学スコアまたは推論能力から推定します。

ランキング

ドメイン#順位スコアソース
マルチモーダルランキング30
60.0
LS

ベンチマークスコア (LLM Stats)

(LLM Stats (zeroeval))

Chat

TAU-bench Retail69.2%自己申告

General

MMLU90.4%自己申告
OSWorld Extended22.0%自己申告

Language

MMLU-Pro77.6%自己申告

Math

GSM8k96.4%自己申告
MGSM91.6%自己申告
MATH78.3%自己申告
MathVista67.7%自己申告

Multimodal

MMMU68.3%自己申告
OSWorld Screenshot-only14.9%自己申告

Reasoning

HumanEvalOpenAI (2021)93.7%自己申告
BIG-Bench Hard93.1%自己申告
ChartQAMasry et al. (2022)90.8%自己申告
DROP87.1%自己申告
GPQANYU + Cohere + Anthropic (2023)67.2%自己申告
SWE-Bench Verified49.0%自己申告
TAU-bench Airline46.0%自己申告

Vision

DocVQADocVQA (2020)95.2%自己申告
AI2D94.7%自己申告

AA評価指数

(Artificial Analysis)

AA評価データがありません

LLM Statsカテゴリスコア

(LLM Stats (zeroeval))
Image To Text
100
Language
90
Math
90
Legal
80
Multimodal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Vision
80
Chat
70
Physics
70
Biology
70
Chemistry
70
Code
70
Communication
60
Tool Calling
60
Frontend Development
50

価格設定

価格データがありません

速度

速度データがありません

プロバイダー価格ランキング

プロバイダーデータがありません

外部リンク

LLM StatsArtificial Analysis