跳转到主要内容
AITier

Llama 3.1 Instruct 405B

MetaLlamaOpen WeightLlama 3.1 Community License

描述

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

发布日期
2024-07-23
参数规模
405.0B
上下文长度
—
支持模态
text

能力雷达图

32
general
22
coding
23
reasoning
34
science估算
70
agents
0
multimodal

Science 在缺少专门科学评测时使用推理能力代理估算。

排行榜排名

领域#排名分数来源
代码能力榜296
25.0
AA
通用能力榜289
37.0
AA
数学推理303
20.0
AA
推理能力5
92.0
LS
科学能力293
36.0
AA

基准测试分数 (LLM Stats)

Biology

GPQA50.7%自报

Code

HumanEval89.0%自报
Gorilla Benchmark API Bench35.3%自报

Finance

MMLU (CoT)88.6%自报
MMLU87.3%自报
MMLU-Pro73.3%自报

General

ARC-C96.9%自报
MBPP EvalPlus88.6%自报
IFEval88.6%自报
BFCL88.5%自报
Multipl-E HumanEval75.2%自报
Multipl-E MBPP65.7%自报
Nexus58.7%自报

Math

GSM8k96.8%自报
Multilingual MGSM (CoT)91.6%自报
DROP84.8%自报
MATH73.8%自报

Reasoning

API-Bank92.0%自报

AA 评测指数

Intelligence Index
17.4
Coding Index
14.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

LLM Stats 分类评分

Structured Output
90
Instruction Following
90
Math
90
Finance
80
General
80
Healthcare
80
Language
80
Legal
80
Reasoning
80
Tool Calling
70
Code
60
Biology
50
Chemistry
50
Physics
50

定价

输入价格$2.75 / 1M tokens
输出价格$6.5 / 1M tokens
混合价格(3:1)$3.688 / 1M tokens

速度

Tokens/秒31.5 tokens/s
首Token延迟0.69s
首回答延迟0.69s

可用提供商

(LS 内部计价单位)

暂无提供商数据

外部链接

LLM Stats