Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaオープンウエイトLlama 3.1 Community License
説明
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
リリース日
2024-10-15
パラメータ
70.0B
コンテキスト長
—
モダリティ
—
能力レーダー
26
general
18
coding
27
reasoning
30
science推定
24
agents
0
multimodal
専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。
ランキング
| ドメイン | #順位 | スコア | ソース |
|---|---|---|---|
| コーディングランキング | 436 | 11.0 | AA |
| 総合ランキング | 378 | 29.0 | AA |
| 数学的推論 | 282 | 26.0 | AA |
| 推論 | 18 | 86.0 | LS |
| 科学 | 373 | 30.0 | AA |
ベンチマークスコア (LLM Stats)
Communication
MT-Bench
0.09 / 100自己申告
Finance
MMLU Chat
80.6%自己申告
MMLU
80.2%自己申告
TruthfulQA
58.6%自己申告
General
Instruct HumanEval
73.8%自己申告
ARC-C
69.2%自己申告
Language
Winogrande
84.5%自己申告
XLSum English
31.6%自己申告
Math
GSM8k
91.4%自己申告
GSM8K Chat
81.9%自己申告
Reasoning
HellaSwag
85.6%自己申告
AA評価指数
Math Index11.0
Intelligence Index7.6
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
LLM Statsカテゴリスコア
Math90
Language80
Legal70
Reasoning70
Finance70
Healthcare70
General50
Roleplay10
Communication10
Creativity10
価格設定
入力価格$1.2 / 1Mトークン
出力価格$1.2 / 1Mトークン
混合価格（3:1）$1.2 / 1Mトークン
速度
トークン/秒296.3
初トークン遅延4.64s
初回答遅延4.64s
プロバイダー価格ランキング
プロバイダー価格ランキング
2 プロバイダー
最安: NanoGPT最高: NVIDIA
プロバイダー入力出力
1NanoGPT最安
$0.357
$0.408
2NVIDIAプライマリ
$1.2
$1.2
このモデルの異なるAPIプロバイダー間の価格を比較。