跳轉到主要內容

Llama 3.1 Instruct 8B

MetaLlama開源權重Llama 3.1 Community License

描述

Llama 3.1 8B Instruct is a multilingual large language model optimized for dialogue use cases. It features a 128K context length, state-of-the-art tool use, and strong reasoning capabilities.

發布日期
2024-07-23
參數規模
8.0B
上下文長度
131K
支援模態
text

能力雷達圖

18
general
12
coding
14
reasoning
17
science估算
50
agents
0
multimodal

Science 在缺少專門科學評測時使用推理能力代理估算。

排行榜排名

領域#排名分數來源
程式碼能力榜440
11.0
AA
通用能力榜435
22.0
AA
數學推理324
14.0
AA
推理能力28
83.0
LS
科學能力464
16.0
AA

基準測試分數 (LLM Stats)

Biology

GPQA30.4%自報

Code

HumanEval72.6%自報
Gorilla Benchmark API Bench8.2%自報

Finance

MMLU (CoT)73.0%自報
MMLU69.4%自報
MMLU-Pro48.3%自報

General

ARC-C83.4%自報
IFEval80.4%自報
BFCL76.1%自報
MBPP EvalPlus (base)72.8%自報
Multipl-E MBPP52.4%自報
Multipl-E HumanEval50.8%自報
Nexus38.5%自報

Math

GSM-8K (CoT)84.5%自報
Multilingual MGSM (CoT)68.9%自報
DROP59.5%自報
MATH (CoT)51.9%自報

Reasoning

API-Bank82.6%自報

AA 評測指數

Intelligence Index
6.1
Math Index
4.3
Math 500
0.5
Mmlu Pro
0.5
Ifbench
0.3
Gpqa
0.3
Tau2
0.2
Lcr
0.2
Scicode
0.1
Livecodebench
0.1
Aime
0.1
Hle
0.1
Aime 25
0.0
Terminalbench Hard
0.0

LLM Stats 分類評分

Instruction Following
80
Structured Output
80
Language
60
Legal
60
Math
60
Reasoning
60
Finance
60
General
60
Healthcare
60
Tool Calling
50
Code
40
Physics
30
Biology
30
Chemistry
30

定價

輸入價格$0.1 / 1M tokens
輸出價格$0.1 / 1M tokens
混合價格(3:1)$0.1 / 1M tokens

速度

Tokens/秒201.0
首Token延遲0.51s
首回答延遲0.51s

供應商價格排行

供應商價格排行

23 個供應商

最便宜: NanoGPT最貴: Azure
供應商輸入輸出
1NanoGPT最便宜
$0.02
$0.03
2Abacus
$0.02
$0.05
3OpenRouter
$0.02
$0.03
4NovitaAI
$0.02
$0.05
5Kilo Gateway
$0.02
$0.05
6Helicone
$0.02
$0.05
7Inference
$0.025
$0.025
8Groq
$0.05
$0.08
9Regolo AI
$0.05
$0.25
10Meta主要
$0.1
$0.1
11Poe
$0.1
$0.1
12Friendli
$0.1
$0.1
13OVHcloud AI Endpoints
$0.11
$0.11
14Cloudflare Workers AI
$0.152
$0.287
15STACKIT
$0.16
$0.27
16Synthetic
$0.2
$0.2
17Weights & Biases
$0.22
$0.22
18Amazon Bedrock
$0.22
$0.22
19Vercel AI Gateway
$0.22
$0.22
20LLM Gateway
$0.22
$0.22
21Cloudflare AI Gateway
$0.28
$0.83
22Azure Cognitive Services
$0.3
$0.61
23Azure
$0.3
$0.61

比較該模型在不同 API 供應商之間的定價。

外部連結