Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaOpen WeightLlama 3.1 Community License
Description
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
Date de sortie
2024-10-15
Paramètres
70.0B
Longueur du contexte
131K
Modalités
text
Radar de capacités
29
general
14
coding
27
reasoning
30
scienceest.
0
agents
0
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Code Ranking | 391 | 14.0 | AA |
| General Ranking | 355 | 31.0 | AA |
| Math Reasoning | 282 | 26.0 | AA |
| Reasoning | 18 | 86.0 | LS |
| Science | 346 | 31.0 | AA |
Scores de benchmarks (LLM Stats)
Communication
MT-Bench
0.09 / 100Aut.
Finance
MMLU Chat
80.6%Aut.
MMLU
80.2%Aut.
TruthfulQA
58.6%Aut.
General
Instruct HumanEval
73.8%Aut.
ARC-C
69.2%Aut.
Language
Winogrande
84.5%Aut.
XLSum English
31.6%Aut.
Math
GSM8k
91.4%Aut.
GSM8K Chat
81.9%Aut.
Reasoning
HellaSwag
85.6%Aut.
Indices d'évaluation AA
Intelligence Index13.4
Math Index11.0
Coding Index10.8
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
Scores par catégorie LLM Stats
Math90
Language80
Finance70
Healthcare70
Legal70
Reasoning70
General50
Communication10
Creativity10
Roleplay10
Tarification
Prix d'entrée$1.2 / 1M tokens
Prix de sortie$1.2 / 1M tokens
Prix mixte (3:1)$1.2 / 1M tokens
Vitesse
Tokens/sec38.1 tokens/s
Délai du premier token0.34s
Temps de réponse0.34s
Fournisseurs disponibles
(Unités internes LS)Aucune donnée de fournisseur disponible