Hermes 3 - Llama-3.1 70B
Nous ResearchLlamaOpen WeightApache 2.0 · Commercial OK
설명
Hermes 3 70B is Nous Research's flagship instruction-following model, fine-tuned for advanced reasoning, creative writing, and complex task completion. It features exceptional instruction adherence and strong performance across multiple domains.
출시일
2024-08-15
파라미터
70.0B
컨텍스트 길이
131K
모달리티
text
능력 레이더
24
general
20
coding
25
reasoning
27
science추정
0
agents
0
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Code Ranking | 347 | 20.0 | AA |
| General Ranking | 382 | 28.0 | AA |
| Math Reasoning | 279 | 27.0 | AA |
| Reasoning | 43 | 70.0 | LS |
| Science | 381 | 27.0 | AA |
벤치마크 점수 (LLM Stats)
Biology
GPQA
66.1%자체 보고
Communication
MT-Bench
8.99 / 100자체 보고
Finance
MMLU
79.1%자체 보고
TruthfulQA
63.3%자체 보고
MMLU-Pro
47.2%자체 보고
General
PIQA
84.4%자체 보고
ARC-E
83.0%자체 보고
IFBench
81.2%자체 보고
ARC-C
65.5%자체 보고
AGIEval
56.2%자체 보고
OpenBookQA
49.4%자체 보고
Language
BoolQ
88.0%자체 보고
Winogrande
83.2%자체 보고
BBH
67.8%자체 보고
Math
MATH
20.8%자체 보고
Reasoning
HellaSwag
88.2%자체 보고
MuSR
50.7%자체 보고
AA 평가 지수
Intelligence Index10.6
Mmlu Pro0.6
Math 5000.5
Gpqa0.4
Scicode0.2
Livecodebench0.2
Hle0.0
Aime0.0
LLM Stats 카테고리 점수
Communication9
Creativity9
Roleplay9
General1
Reasoning1
Instruction Following80
Physics80
Biology70
Chemistry70
Language70
Finance60
Healthcare60
Legal60
Math50
가격
입력 가격$0.3 / 1M tokens
출력 가격$0.3 / 1M tokens
혼합 가격 (3:1)$0.3 / 1M tokens
속도
토큰/초30.6 tokens/s
첫 토큰 지연0.46s
첫 응답 지연0.46s
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다