メインコンテンツへスキップ
AITier

Llama 3.1 Instruct 70B

MetaLlamaOpen WeightLlama 3.1 Community License

説明

Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.

リリース日
2024-07-23
パラメータ
70.0B
コンテキスト長
131K
モダリティ
text

能力レーダー

28
general
17
coding
20
reasoning
29
science推定
70
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking385
15.0
AA
General Ranking367
30.0
AA
Math Reasoning306
19.0
AA
Reasoning10
90.0
LS
Science357
30.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA41.7%自己申告

Code

HumanEval80.5%自己申告
Gorilla Benchmark API Bench29.7%自己申告

Finance

MMLU (CoT)86.0%自己申告
MMLU83.6%自己申告
MMLU-Pro66.4%自己申告

General

ARC-C94.8%自己申告
IFEval87.5%自己申告
MBPP ++ base version86.0%自己申告
BFCL84.8%自己申告
Multipl-E HumanEval65.5%自己申告
Multipl-E MBPP62.0%自己申告
Nexus56.7%自己申告

Math

GSM-8K (CoT)95.1%自己申告
Multilingual MGSM (CoT)86.9%自己申告
DROP79.6%自己申告
MATH (CoT)68.0%自己申告

Reasoning

API-Bank90.0%自己申告

AA評価指数

Intelligence Index
12.5
Coding Index
10.9
Math Index
4.0
Mmlu Pro
0.7
Math 500
0.6
Gpqa
0.4
Ifbench
0.3
Scicode
0.3
Livecodebench
0.2
Aime
0.2
Tau2
0.2
Lcr
0.1
Hle
0.0
Aime 25
0.0
Terminalbench Hard
0.0

LLM Statsカテゴリスコア

Structured Output
90
Instruction Following
90
Finance
80
Healthcare
80
Language
80
Legal
80
Math
80
Tool Calling
70
General
70
Reasoning
70
Code
60
Biology
40
Chemistry
40
Physics
40

価格設定

入力価格$0.56 / 1M tokens
出力価格$0.56 / 1M tokens
混合価格（3:1）$0.56 / 1M tokens

速度

トークン/秒33.0 tokens/s
初トークン遅延0.62s
初回答遅延0.62s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats