メインコンテンツへスキップ
AITier

Llama 3.1 Instruct 8B

MetaLlamaOpen WeightLlama 3.1 Community License

説明

Llama 3.1 8B Instruct is a multilingual large language model optimized for dialogue use cases. It features a 128K context length, state-of-the-art tool use, and strong reasoning capabilities.

リリース日
2024-07-23
パラメータ
8.0B
コンテキスト長
16K
モダリティ
text

能力レーダー

22
general
8
coding
14
reasoning
17
science推定
50
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking420
10.0
AA
General Ranking418
23.0
AA
Math Reasoning324
14.0
AA
Reasoning26
83.0
LS
Science435
17.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA30.4%自己申告

Code

HumanEval72.6%自己申告
Gorilla Benchmark API Bench8.2%自己申告

Finance

MMLU (CoT)73.0%自己申告
MMLU69.4%自己申告
MMLU-Pro48.3%自己申告

General

ARC-C83.4%自己申告
IFEval80.4%自己申告
BFCL76.1%自己申告
MBPP EvalPlus (base)72.8%自己申告
Multipl-E MBPP52.4%自己申告
Multipl-E HumanEval50.8%自己申告
Nexus38.5%自己申告

Math

GSM-8K (CoT)84.5%自己申告
Multilingual MGSM (CoT)68.9%自己申告
DROP59.5%自己申告
MATH (CoT)51.9%自己申告

Reasoning

API-Bank82.6%自己申告

AA評価指数

Intelligence Index
11.8
Coding Index
4.9
Math Index
4.3
Math 500
0.5
Mmlu Pro
0.5
Ifbench
0.3
Gpqa
0.3
Tau2
0.2
Lcr
0.2
Scicode
0.1
Livecodebench
0.1
Aime
0.1
Hle
0.1
Aime 25
0.0
Terminalbench Hard
0.0

LLM Statsカテゴリスコア

Structured Output
80
Instruction Following
80
Finance
60
General
60
Healthcare
60
Language
60
Legal
60
Math
60
Reasoning
60
Tool Calling
50
Code
40
Biology
30
Chemistry
30
Physics
30

価格設定

入力価格$0.1 / 1M tokens
出力価格$0.1 / 1M tokens
混合価格（3:1）$0.1 / 1M tokens

速度

トークン/秒188.5 tokens/s
初トークン遅延0.47s
初回答遅延0.47s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats