Llama 3.1 Instruct 70B
MetaLlamaオープンウエイトLlama 3.1 Community License
説明
Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.
リリース日
2024-07-23
パラメータ
70.0B
コンテキスト長
131K
モダリティ
text
能力レーダー
25
general
24
coding
20
reasoning
29
science推定
70
agents
0
multimodal
専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。
ランキング
| ドメイン | #順位 | スコア | ソース |
|---|---|---|---|
| コーディングランキング | 422 | 13.0 | AA |
| 総合ランキング | 393 | 28.0 | AA |
| 数学的推論 | 306 | 19.0 | AA |
| 推論 | 10 | 90.0 | LS |
| 科学 | 381 | 29.0 | AA |
ベンチマークスコア (LLM Stats)
Biology
GPQA
41.7%自己申告
Code
HumanEval
80.5%自己申告
Gorilla Benchmark API Bench
29.7%自己申告
Finance
MMLU (CoT)
86.0%自己申告
MMLU
83.6%自己申告
MMLU-Pro
66.4%自己申告
General
ARC-C
94.8%自己申告
IFEval
87.5%自己申告
MBPP ++ base version
86.0%自己申告
BFCL
84.8%自己申告
Multipl-E HumanEval
65.5%自己申告
Multipl-E MBPP
62.0%自己申告
Nexus
56.7%自己申告
Math
GSM-8K (CoT)
95.1%自己申告
Multilingual MGSM (CoT)
86.9%自己申告
DROP
79.6%自己申告
MATH (CoT)
68.0%自己申告
Reasoning
API-Bank
90.0%自己申告
AA評価指数
Intelligence Index6.8
Math Index4.0
Mmlu Pro0.7
Math 5000.6
Gpqa0.4
Ifbench0.3
Scicode0.3
Livecodebench0.2
Aime0.2
Tau20.2
Lcr0.1
Hle0.0
Aime 250.0
Terminalbench Hard0.0
LLM Statsカテゴリスコア
Instruction Following90
Structured Output90
Language80
Legal80
Math80
Finance80
Healthcare80
Reasoning70
General70
Tool Calling70
Code60
Physics40
Biology40
Chemistry40
価格設定
入力価格$0.56 / 1Mトークン
出力価格$0.56 / 1Mトークン
混合価格（3:1）$0.56 / 1Mトークン
速度
トークン/秒36.8
初トークン遅延0.57s
初回答遅延0.57s
プロバイダー価格ランキング
プロバイダー価格ランキング
9 プロバイダー
最安: OpenRouter最高: Azure
プロバイダー入力出力
1OpenRouter最安
$0.4
$0.4
2Kilo Gateway
$0.4
$0.4
3Metaプライマリ
$0.56
$0.56
4Vercel AI Gateway
$0.72
$0.72
5LLM Gateway
$0.72
$0.72
6Weights & Biases
$0.8
$0.8
7Synthetic
$0.9
$0.9
8Azure Cognitive Services
$2.68
$3.54
9Azure
$2.68
$3.54
このモデルの異なるAPIプロバイダー間の価格を比較。