メインコンテンツへスキップ
AITier

Llama 3.2 Instruct 3B

MetaLlamaOpen WeightLlama 3.2 Community License

説明

Llama 3.2 3B Instruct is a large language model that supports a context length of 128K tokens and are state-of-the-art in their class for on-device use cases like summarization, instruction following, and rewriting tasks running locally at the edge.

リリース日
2024-09-25
パラメータ
3.2B
コンテキスト長
131K
モダリティ
text

能力レーダー

17
general
8
coding
13
reasoning
14
science推定
50
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Code Ranking450
6.0
AA
General Ranking440
19.0
AA
Math Reasoning332
12.0
AA
Reasoning45
70.0
LS
Science466
12.0
AA

ベンチマークスコア (LLM Stats)

Biology

GPQA32.8%自己申告

Finance

MMLU63.4%自己申告

General

ARC-C78.6%自己申告
IFEval77.4%自己申告
BFCL v267.0%自己申告
Nexus34.3%自己申告

Language

Open-rewrite40.1%自己申告
TLDR9+ (test)19.0%自己申告

Long Context

NIH/Multi-needle84.7%自己申告
InfiniteBench/En.MC63.3%自己申告
InfiniteBench/En.QA19.8%自己申告

Math

GSM8k77.7%自己申告
MGSM58.2%自己申告
MATH48.0%自己申告

Reasoning

HellaSwag69.8%自己申告

AA評価指数

Intelligence Index
9.7
Math Index
3.3
Math 500
0.5
Mmlu Pro
0.3
Ifbench
0.3
Gpqa
0.3
Tau2
0.2
Livecodebench
0.1
Aime
0.1
Hle
0.1
Scicode
0.1
Aime 25
0.0
Lcr
0.0

LLM Statsカテゴリスコア

Structured Output
80
Instruction Following
80
Finance
60
General
60
Healthcare
60
Language
60
Legal
60
Math
60
Reasoning
60
Tool Calling
50
Biology
30
Chemistry
30
Physics
30

価格設定

入力価格$0.15 / 1M tokens
出力価格$0.15 / 1M tokens
混合価格（3:1）$0.15 / 1M tokens

速度

トークン/秒52.1 tokens/s
初トークン遅延0.68s
初回答遅延0.68s

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats