メインコンテンツへスキップ
AITier

Llama 3.1 Nemotron Instruct 70B

NVIDIALlamaOpen WeightLlama 3.1 Community License

説明

A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.

リリース日
2024-10-15
パラメータ
70.0B
コンテキスト長
131K
モダリティ
text

能力レーダー

29
general
14
coding
27
reasoning
30
science推定
0
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking391
14.0
AA
General Ranking355
31.0
AA
Math Reasoning282
26.0
AA
Reasoning18
86.0
LS
Science346
31.0
AA

ベンチマークスコア (LLM Stats)

Communication

MT-Bench0.09 / 100自己申告

Finance

MMLU Chat80.6%自己申告
MMLU80.2%自己申告
TruthfulQA58.6%自己申告

General

Instruct HumanEval73.8%自己申告
ARC-C69.2%自己申告

Language

Winogrande84.5%自己申告
XLSum English31.6%自己申告

Math

GSM8k91.4%自己申告
GSM8K Chat81.9%自己申告

Reasoning

HellaSwag85.6%自己申告

AA評価指数

Intelligence Index
13.4
Math Index
11.0
Coding Index
10.8
Math 500
0.7
Mmlu Pro
0.7
Gpqa
0.5
Ifbench
0.3
Aime
0.2
Scicode
0.2
Tau2
0.2
Livecodebench
0.2
Aime 25
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

LLM Statsカテゴリスコア

Math
90
Language
80
Finance
70
Healthcare
70
Legal
70
Reasoning
70
General
50
Communication
10
Creativity
10
Roleplay
10

価格設定

入力価格$1.2 / 1M tokens
出力価格$1.2 / 1M tokens
混合価格（3:1）$1.2 / 1M tokens

速度

トークン/秒38.1 tokens/s
初トークン遅延0.34s
初回答遅延0.34s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats