Hermes 3 - Llama-3.1 70B
Nous ResearchLlamaOpen WeightApache 2.0 · Commercial OK
説明
Hermes 3 70B is Nous Research's flagship instruction-following model, fine-tuned for advanced reasoning, creative writing, and complex task completion. It features exceptional instruction adherence and strong performance across multiple domains.
リリース日
2024-08-15
パラメータ
70.0B
コンテキスト長
131K
モダリティ
text
能力レーダー
24
general
20
coding
25
reasoning
27
science推定
0
agents
0
multimodal
専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。
ランキング
| ドメイン | #順位 | スコア | ソース |
|---|---|---|---|
| Code Ranking | 347 | 20.0 | AA |
| General Ranking | 382 | 28.0 | AA |
| Math Reasoning | 279 | 27.0 | AA |
| Reasoning | 43 | 70.0 | LS |
| Science | 381 | 27.0 | AA |
ベンチマークスコア (LLM Stats)
Biology
GPQA
66.1%自己申告
Communication
MT-Bench
8.99 / 100自己申告
Finance
MMLU
79.1%自己申告
TruthfulQA
63.3%自己申告
MMLU-Pro
47.2%自己申告
General
PIQA
84.4%自己申告
ARC-E
83.0%自己申告
IFBench
81.2%自己申告
ARC-C
65.5%自己申告
AGIEval
56.2%自己申告
OpenBookQA
49.4%自己申告
Language
BoolQ
88.0%自己申告
Winogrande
83.2%自己申告
BBH
67.8%自己申告
Math
MATH
20.8%自己申告
Reasoning
HellaSwag
88.2%自己申告
MuSR
50.7%自己申告
AA評価指数
Intelligence Index10.6
Mmlu Pro0.6
Math 5000.5
Gpqa0.4
Scicode0.2
Livecodebench0.2
Hle0.0
Aime0.0
LLM Statsカテゴリスコア
Communication9
Creativity9
Roleplay9
General1
Reasoning1
Instruction Following80
Physics80
Biology70
Chemistry70
Language70
Finance60
Healthcare60
Legal60
Math50
価格設定
入力価格$0.3 / 1M tokens
出力価格$0.3 / 1M tokens
混合価格（3:1）$0.3 / 1M tokens
速度
トークン/秒30.6 tokens/s
初トークン遅延0.46s
初回答遅延0.46s
利用可能なプロバイダー
(LS内部単位)プロバイダーデータがありません