メインコンテンツへスキップ
AITier

Llama 3.1 Instruct 405B

MetaLlamaOpen WeightLlama 3.1 Community License

説明

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

リリース日
2024-07-23
パラメータ
405.0B
コンテキスト長
—
モダリティ
text

能力レーダー

32
general
22
coding
23
reasoning
34
science推定
70
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking296
25.0
AA
General Ranking289
37.0
AA
Math Reasoning303
20.0
AA
Reasoning5
92.0
LS
Science293
36.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA50.7%自己申告

Code

HumanEval89.0%自己申告
Gorilla Benchmark API Bench35.3%自己申告

Finance

MMLU (CoT)88.6%自己申告
MMLU87.3%自己申告
MMLU-Pro73.3%自己申告

General

ARC-C96.9%自己申告
MBPP EvalPlus88.6%自己申告
IFEval88.6%自己申告
BFCL88.5%自己申告
Multipl-E HumanEval75.2%自己申告
Multipl-E MBPP65.7%自己申告
Nexus58.7%自己申告

Math

GSM8k96.8%自己申告
Multilingual MGSM (CoT)91.6%自己申告
DROP84.8%自己申告
MATH73.8%自己申告

Reasoning

API-Bank92.0%自己申告

AA評価指数

Intelligence Index
17.4
Coding Index
14.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

LLM Statsカテゴリスコア

Structured Output
90
Instruction Following
90
Math
90
Finance
80
General
80
Healthcare
80
Language
80
Legal
80
Reasoning
80
Tool Calling
70
Code
60
Biology
50
Chemistry
50
Physics
50

価格設定

入力価格$2.75 / 1M tokens
出力価格$6.5 / 1M tokens
混合価格（3:1）$3.688 / 1M tokens

速度

トークン/秒31.5 tokens/s
初トークン遅延0.69s
初回答遅延0.69s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats