Llama 3.1 Nemotron Instruct 70B
NVIDIALlamaОткрытые весаLlama 3.1 Community License
Описание
A large language model customized by NVIDIA to improve the helpfulness of LLM generated responses. It is a fine-tuned version of Llama 3.1 70B Instruct. The model was trained using RLHF (REINFORCE) with HelpSteer2-Preference prompts.
Дата выхода
2024-10-15
Параметры
70.0B
Длина контекста
—
Модальности
—
Радар способностей
26
general
18
coding
27
reasoning
30
scienceоцен.
24
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 436 | 11.0 | AA |
| Общий рейтинг | 378 | 29.0 | AA |
| Математическое мышление | 282 | 26.0 | AA |
| Рассуждения | 18 | 86.0 | LS |
| Наука | 373 | 30.0 | AA |
Оценки бенчмарков (LLM Stats)
Communication
MT-Bench
0.09 / 100Сам.
Finance
MMLU Chat
80.6%Сам.
MMLU
80.2%Сам.
TruthfulQA
58.6%Сам.
General
Instruct HumanEval
73.8%Сам.
ARC-C
69.2%Сам.
Language
Winogrande
84.5%Сам.
XLSum English
31.6%Сам.
Math
GSM8k
91.4%Сам.
GSM8K Chat
81.9%Сам.
Reasoning
HellaSwag
85.6%Сам.
Индексы оценки AA
Math Index11.0
Intelligence Index7.6
Math 5000.7
Mmlu Pro0.7
Gpqa0.5
Ifbench0.3
Aime0.2
Scicode0.2
Tau20.2
Livecodebench0.2
Aime 250.1
Lcr0.1
Hle0.0
Terminalbench Hard0.0
Оценки категорий LLM Stats
Math90
Language80
Legal70
Reasoning70
Finance70
Healthcare70
General50
Roleplay10
Communication10
Creativity10
Цены
Цена ввода$1.2 / 1M токенов
Цена вывода$1.2 / 1M токенов
Смешанная цена (3:1)$1.2 / 1M токенов
Скорость
Токенов/сек295.6
Задержка первого токена4.91s
Время до первого ответа4.91s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
2 провайдеров
Самый дешевый: NanoGPTСамый дорогой: NVIDIA
ПровайдерВводВывод
1NanoGPTСамый дешевый
$0.357
$0.408
2NVIDIAОсновной
$1.2
$1.2
Сравнение цен разных API-провайдеров для этой модели.