Llama 3.1 Instruct 405B
MetaLlamaオープンウエイトLlama 3.1 Community License
説明
Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.
リリース日
2024-07-23
パラメータ
405.0B
コンテキスト長
—
モダリティ
text
能力レーダー
27
general
30
coding
23
reasoning
34
science推定
70
agents
0
multimodal
専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。
ランキング
| ドメイン | #順位 | スコア | ソース |
|---|---|---|---|
| コーディングランキング | 323 | 25.0 | AA |
| 総合ランキング | 327 | 33.0 | AA |
| 数学的推論 | 303 | 20.0 | AA |
| 推論 | 5 | 92.0 | LS |
| 科学 | 318 | 35.0 | AA |
ベンチマークスコア (LLM Stats)
Biology
GPQA
50.7%自己申告
Code
HumanEval
89.0%自己申告
Gorilla Benchmark API Bench
35.3%自己申告
Finance
MMLU (CoT)
88.6%自己申告
MMLU
87.3%自己申告
MMLU-Pro
73.3%自己申告
General
ARC-C
96.9%自己申告
MBPP EvalPlus
88.6%自己申告
IFEval
88.6%自己申告
BFCL
88.5%自己申告
Multipl-E HumanEval
75.2%自己申告
Multipl-E MBPP
65.7%自己申告
Nexus
58.7%自己申告
Math
GSM8k
96.8%自己申告
Multilingual MGSM (CoT)
91.6%自己申告
DROP
84.8%自己申告
MATH
73.8%自己申告
Reasoning
API-Bank
92.0%自己申告
AA評価指数
Intelligence Index8.5
Math Index3.0
Mmlu Pro0.7
Math 5000.7
Gpqa0.5
Ifbench0.4
Livecodebench0.3
Scicode0.3
Lcr0.2
Aime0.2
Tau20.2
Terminalbench Hard0.1
Hle0.0
Aime 250.0
LLM Statsカテゴリスコア
Instruction Following90
Math90
Structured Output90
Language80
Legal80
Reasoning80
Finance80
General80
Healthcare80
Tool Calling70
Code60
Physics50
Biology50
Chemistry50
価格設定
入力価格$2.75 / 1Mトークン
出力価格$6.5 / 1Mトークン
混合価格（3:1）$3.688 / 1Mトークン
速度
トークン/秒60.6
初トークン遅延0.68s
初回答遅延0.68s
プロバイダー価格ランキング
プロバイダー価格ランキング
7 プロバイダー
最安: Kilo Gateway最高: Azure
プロバイダー入力出力
1Kilo Gateway最安
$1
$1
2Venice AI
$1.1
$3
3Metaプライマリ
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16
このモデルの異なるAPIプロバイダー間の価格を比較。