メインコンテンツへスキップ
AITier

Llama 3.1 Instruct 405B

MetaLlamaオープンウエイトLlama 3.1 Community License

説明

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

リリース日
2024-07-23
パラメータ
405.0B
コンテキスト長
—
モダリティ
text

能力レーダー

27
general
30
coding
23
reasoning
34
science
70
agents
0
multimodal

ランキング

ドメイン#順位スコアソース
コーディングランキング389
24.0
AA
総合ランキング396
32.0
AA
科学377
35.0
AA

ベンチマークスコア (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)50.7%自己申告

Code

HumanEvalOpenAI (2021)89.0%自己申告
Gorilla Benchmark API Bench35.3%自己申告

Finance

MMLU (CoT)88.6%自己申告
MMLU87.3%自己申告
MMLU-Pro73.3%自己申告

General

ARC-C96.9%自己申告
MBPP EvalPlus88.6%自己申告
IFEvalGoogle Research (2023)88.6%自己申告
BFCL88.5%自己申告
Multipl-E HumanEval75.2%自己申告
Multipl-E MBPP65.7%自己申告
Nexus58.7%自己申告

Math

GSM8k96.8%自己申告
Multilingual MGSM (CoT)91.6%自己申告
DROP84.8%自己申告
MATH73.8%自己申告

Reasoning

API-Bank92.0%自己申告

AA評価指数

(Artificial Analysis)
Intelligence Index(Artificial Analysis)
8.3
Math Index(Artificial Analysis)
3.0
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))
0.7
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.7
Gpqa(NYU + Cohere + Anthropic (2023))
0.5
Ifbench(Google Research (2023))
0.4
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.3
Scicode(UIUC + Argonne National Lab (2024))
0.3
Lcr(Artificial Analysis)
0.2
Aime(MAA (Mathematical Association of America))
0.2
Tau2(Sierra + U Toronto + Vector Institute (2025))
0.2
Terminalbench Hard(Stanford × Laude Institute (2026))
0.1
Hle(Center for AI Safety + Scale AI (2025))
0.0
Aime 25(MAA (Mathematical Association of America))
0.0

LLM Statsカテゴリスコア

(LLM Stats (zeroeval))
Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

価格設定

入力価格無料
出力価格無料
混合価格（3:1）無料

速度

トークン/秒0.0
初トークン遅延0.00s
初回答遅延0.00s

プロバイダー価格ランキング

プロバイダーデータがありません

外部リンク

LLM StatsArtificial Analysis