Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaOpen WeightLlama 3.1 Community License
Описание
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
Дата выхода
2024-10-15
Параметры
70.0B
Длина контекста
131K
Модальности
text
Радар способностей
29
general
14
coding
27
reasoning
30
scienceоцен.
0
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Code Ranking | 391 | 14.0 | AA |
| General Ranking | 355 | 31.0 | AA |
| Math Reasoning | 282 | 26.0 | AA |
| Reasoning | 18 | 86.0 | LS |
| Science | 346 | 31.0 | AA |
Оценки бенчмарков (LLM Stats)
Communication
MT-Bench
0.09 / 100Сам.
Finance
MMLU Chat
80.6%Сам.
MMLU
80.2%Сам.
TruthfulQA
58.6%Сам.
General
Instruct HumanEval
73.8%Сам.
ARC-C
69.2%Сам.
Language
Winogrande
84.5%Сам.
XLSum English
31.6%Сам.
Math
GSM8k
91.4%Сам.
GSM8K Chat
81.9%Сам.
Reasoning
HellaSwag
85.6%Сам.
Индексы оценки AA
Intelligence Index13.4
Math Index11.0
Coding Index10.8
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
Оценки категорий LLM Stats
Math90
Language80
Finance70
Healthcare70
Legal70
Reasoning70
General50
Communication10
Creativity10
Roleplay10
Цены
Цена ввода$1.2 / 1M tokens
Цена вывода$1.2 / 1M tokens
Смешанная цена (3:1)$1.2 / 1M tokens
Скорость
Токенов/сек38.1 tokens/s
Задержка первого токена0.34s
Время до первого ответа0.34s
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров