Hermes 3 - Llama-3.1 70B
Nous ResearchLlamaOpen WeightApache 2.0 · Commercial OK
Описание
Hermes 3 70B is Nous Research's flagship instruction-following model, fine-tuned for advanced reasoning, creative writing, and complex task completion. It features exceptional instruction adherence and strong performance across multiple domains.
Дата выхода
2024-08-15
Параметры
70.0B
Длина контекста
131K
Модальности
text
Радар способностей
24
general
20
coding
25
reasoning
27
scienceоцен.
0
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Code Ranking | 347 | 20.0 | AA |
| General Ranking | 382 | 28.0 | AA |
| Math Reasoning | 279 | 27.0 | AA |
| Reasoning | 43 | 70.0 | LS |
| Science | 381 | 27.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
66.1%Сам.
Communication
MT-Bench
8.99 / 100Сам.
Finance
MMLU
79.1%Сам.
TruthfulQA
63.3%Сам.
MMLU-Pro
47.2%Сам.
General
PIQA
84.4%Сам.
ARC-E
83.0%Сам.
IFBench
81.2%Сам.
ARC-C
65.5%Сам.
AGIEval
56.2%Сам.
OpenBookQA
49.4%Сам.
Language
BoolQ
88.0%Сам.
Winogrande
83.2%Сам.
BBH
67.8%Сам.
Math
MATH
20.8%Сам.
Reasoning
HellaSwag
88.2%Сам.
MuSR
50.7%Сам.
Индексы оценки AA
Intelligence Index10.6
Mmlu Pro0.6
Math 5000.5
Gpqa0.4
Scicode0.2
Livecodebench0.2
Hle0.0
Aime0.0
Оценки категорий LLM Stats
Communication9
Creativity9
Roleplay9
General1
Reasoning1
Instruction Following80
Physics80
Biology70
Chemistry70
Language70
Finance60
Healthcare60
Legal60
Math50
Цены
Цена ввода$0.3 / 1M tokens
Цена вывода$0.3 / 1M tokens
Смешанная цена (3:1)$0.3 / 1M tokens
Скорость
Токенов/сек30.6 tokens/s
Задержка первого токена0.46s
Время до первого ответа0.46s
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров