Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaOpen WeightLlama 3.1 Community License
Description
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
Date de sortie
2024-10-15
Paramètres
70.0B
Longueur du contexte
—
Modalités
—
Radar de capacités
26
general
18
coding
27
reasoning
30
scienceest.
24
agents
0
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Classement codage | 436 | 11.0 | AA |
| Classement général | 378 | 29.0 | AA |
| Raisonnement mathématique | 282 | 26.0 | AA |
| Raisonnement | 18 | 86.0 | LS |
| Science | 373 | 30.0 | AA |
Scores de benchmarks (LLM Stats)
Communication
MT-Bench
0.09 / 100Aut.
Finance
MMLU Chat
80.6%Aut.
MMLU
80.2%Aut.
TruthfulQA
58.6%Aut.
General
Instruct HumanEval
73.8%Aut.
ARC-C
69.2%Aut.
Language
Winogrande
84.5%Aut.
XLSum English
31.6%Aut.
Math
GSM8k
91.4%Aut.
GSM8K Chat
81.9%Aut.
Reasoning
HellaSwag
85.6%Aut.
Indices d'évaluation AA
Math Index11.0
Intelligence Index7.6
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
Scores par catégorie LLM Stats
Math90
Language80
Legal70
Reasoning70
Finance70
Healthcare70
General50
Roleplay10
Communication10
Creativity10
Tarification
Prix d'entrée$1.2 / 1M tokens
Prix de sortie$1.2 / 1M tokens
Prix mixte (3:1)$1.2 / 1M tokens
Vitesse
Tokens/sec295.6
Délai du premier token4.91s
Temps de réponse4.91s
Classement des Prix par Fournisseur
Classement des Prix par Fournisseur
2 fournisseurs
Moins cher: NanoGPTPlus cher: NVIDIA
FournisseurEntréeSortie
1NanoGPTMoins cher
$0.357
$0.408
2NVIDIAPRINCIPAL
$1.2
$1.2
Comparer les prix entre différents fournisseurs API pour ce modèle.