Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaOpen WeightLlama 3.1 Community License
설명
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
출시일
2024-10-15
파라미터
70.0B
컨텍스트 길이
131K
모달리티
text
능력 레이더
29
general
14
coding
27
reasoning
30
science추정
0
agents
0
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 391 | 14.0 | AA |
| General Ranking | 355 | 31.0 | AA |
| Math Reasoning | 282 | 26.0 | AA |
| Reasoning | 18 | 86.0 | LS |
| Science | 346 | 31.0 | AA |
벤치마크 점수 (LLM Stats)
Communication
MT-Bench
0.09 / 100자체 보고
Finance
MMLU Chat
80.6%자체 보고
MMLU
80.2%자체 보고
TruthfulQA
58.6%자체 보고
General
Instruct HumanEval
73.8%자체 보고
ARC-C
69.2%자체 보고
Language
Winogrande
84.5%자체 보고
XLSum English
31.6%자체 보고
Math
GSM8k
91.4%자체 보고
GSM8K Chat
81.9%자체 보고
Reasoning
HellaSwag
85.6%자체 보고
AA 평가 지수
Intelligence Index13.4
Math Index11.0
Coding Index10.8
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
LLM Stats 카테고리 점수
Math90
Language80
Finance70
Healthcare70
Legal70
Reasoning70
General50
Communication10
Creativity10
Roleplay10
가격
입력 가격$1.2 / 1M tokens
출력 가격$1.2 / 1M tokens
혼합 가격 (3:1)$1.2 / 1M tokens
속도
토큰/초38.1 tokens/s
첫 토큰 지연0.34s
첫 응답 지연0.34s
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다