跳轉到主要內容
AITier

Llama 3.1 Instruct 405B

MetaLlama開源權重Llama 3.1 Community License

描述

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

發布日期
2024-07-23
參數規模
405.0B
上下文長度
—
支援模態
text

能力雷達圖

27
general
30
coding
23
reasoning
34
science估算
70
agents
0
multimodal

Science 在缺少專門科學評測時使用推理能力代理估算。

排行榜排名

領域#排名分數來源
程式碼能力榜323
25.0
AA
通用能力榜327
33.0
AA
數學推理303
20.0
AA
推理能力5
92.0
LS
科學能力318
35.0
AA

基準測試分數 (LLM Stats)

Biology

GPQA50.7%自報

Code

HumanEval89.0%自報
Gorilla Benchmark API Bench35.3%自報

Finance

MMLU (CoT)88.6%自報
MMLU87.3%自報
MMLU-Pro73.3%自報

General

ARC-C96.9%自報
MBPP EvalPlus88.6%自報
IFEval88.6%自報
BFCL88.5%自報
Multipl-E HumanEval75.2%自報
Multipl-E MBPP65.7%自報
Nexus58.7%自報

Math

GSM8k96.8%自報
Multilingual MGSM (CoT)91.6%自報
DROP84.8%自報
MATH73.8%自報

Reasoning

API-Bank92.0%自報

AA 評測指數

Intelligence Index
8.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

LLM Stats 分類評分

Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

定價

輸入價格$2.75 / 1M tokens
輸出價格$6.5 / 1M tokens
混合價格(3:1)$3.688 / 1M tokens

速度

Tokens/秒60.6
首Token延遲0.68s
首回答延遲0.68s

供應商價格排行

供應商價格排行

7 個供應商

最便宜: Kilo Gateway最貴: Azure
供應商輸入輸出
1Kilo Gateway最便宜
$1
$1
2Venice AI
$1.1
$3
3Meta主要
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16

比較該模型在不同 API 供應商之間的定價。

外部連結

LLM StatsArtificial Analysis