跳轉到主要內容
AITier

Llama 3.1 Instruct 405B

MetaLlamaOpen WeightLlama 3.1 Community License

描述

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

發布日期
2024-07-23
參數規模
405.0B
上下文長度
—
支援模態
text

能力雷達圖

32
general
22
coding
23
reasoning
34
science估算
70
agents
0
multimodal

Science 在缺少專門科學評測時使用推理能力代理估算。

排行榜排名

領域#排名分數來源
代码能力榜296
25.0
AA
通用能力榜289
37.0
AA
数学推理303
20.0
AA
推理能力5
92.0
LS
科学能力293
36.0
AA

基準測試分數 (LLM Stats)

Biology

GPQA50.7%自報

Code

HumanEval89.0%自報
Gorilla Benchmark API Bench35.3%自報

Finance

MMLU (CoT)88.6%自報
MMLU87.3%自報
MMLU-Pro73.3%自報

General

ARC-C96.9%自報
MBPP EvalPlus88.6%自報
IFEval88.6%自報
BFCL88.5%自報
Multipl-E HumanEval75.2%自報
Multipl-E MBPP65.7%自報
Nexus58.7%自報

Math

GSM8k96.8%自報
Multilingual MGSM (CoT)91.6%自報
DROP84.8%自報
MATH73.8%自報

Reasoning

API-Bank92.0%自報

AA 評測指數

Intelligence Index
17.4
Coding Index
14.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

LLM Stats 分類評分

Structured Output
90
Instruction Following
90
Math
90
Finance
80
General
80
Healthcare
80
Language
80
Legal
80
Reasoning
80
Tool Calling
70
Code
60
Biology
50
Chemistry
50
Physics
50

定價

輸入價格$2.75 / 1M tokens
輸出價格$6.5 / 1M tokens
混合價格(3:1)$3.688 / 1M tokens

速度

Tokens/秒31.5 tokens/s
首Token延遲0.69s
首回答延遲0.69s

可用提供商

(LS 內部計價單位)

暫無提供商資料

外部連結

LLM Stats