Hermes 3 - Llama-3.1 70B
Nous ResearchLlamaОткрытые весаApache 2.0 · Коммерческое использование
Описание
Hermes 3 70B is Nous Research's flagship instruction-following model, fine-tuned for advanced reasoning, creative writing, and complex task completion. It features exceptional instruction adherence and strong performance across multiple domains.
Дата выхода
2024-08-15
Параметры
70.0B
Длина контекста
131K
Модальности
text
Радар способностей
21
general
19
coding
25
reasoning
29
science
23
agents
0
multimodal
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 508 | 20.0 | AA |
| Общий рейтинг | 541 | 24.0 | AA |
| Наука | 573 | 20.0 | AA |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Chat
MT-Bench
8.99 / 100Сам.
General
MMLU
79.1%Сам.
TruthfulQA
63.3%Сам.
Instruction Following
IFBench
81.2%Сам.
Language
BoolQ
88.0%Сам.
MMLU-Pro
47.2%Сам.
Math
MATH
20.8%Сам.
Reasoning
HellaSwagAI2 (2019)
88.2%Сам.
PIQA
84.4%Сам.
Winogrande
83.2%Сам.
ARC-E
83.0%Сам.
BBH
67.8%Сам.
GPQANYU + Cohere + Anthropic (2023)
66.1%Сам.
ARC-C
65.5%Сам.
AGIEval
56.2%Сам.
MuSR
50.7%Сам.
OpenBookQA
49.4%Сам.
Индексы оценки AA
(Artificial Analysis)Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))57.1
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))53.8
Gpqa(NYU + Cohere + Anthropic (2023))40.1
Livecodebench(UC Berkeley + MIT + Cornell (2024))18.8
Intelligence Index(Artificial Analysis)6.0
Hle(Center for AI Safety + Scale AI (2025))4.0
Aime(MAA (Mathematical Association of America))2.3
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Chat9
Roleplay9
Communication9
Creativity9
Reasoning1
General1
Instruction Following80
Physics80
Language70
Biology70
Chemistry70
Legal60
Finance60
Healthcare60
Math50
Цены
Цена ввода$0.7 / 1M токенов
Цена вывода$0.7 / 1M токенов
Смешанная цена (3:1)$0.7 / 1M токенов
Скорость
Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
4 провайдеров
Самый дешевый: DeepInfraСамый дорогой: Kilo Gateway
ПровайдерВводВывод
1DeepInfraСамый дешевый
$0
$0
2Nous ResearchОсновной
$0.7
$0.7
3OpenRouter
$0.7
$0.7
4Kilo Gateway
$0.7
$0.7
Сравнение цен разных API-провайдеров для этой модели.