Перейти к основному содержанию
AITier

Llama 3.2 Instruct 3B

MetaLlamaОткрытые весаLlama 3.2 Community License

Описание

Llama 3.2 3B Instruct is a large language model that supports a context length of 128K tokens and are state-of-the-art in their class for on-device use cases like summarization, instruction following, and rewriting tasks running locally at the edge.

Дата выхода
2024-09-25
Параметры
3.2B
Длина контекста
131K
Модальности
text

Радар способностей

13
general
8
coding
13
reasoning
14
scienceоцен.
50
agents
0
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга469
6.0
AA
Общий рейтинг467
17.0
AA
Математическое мышление332
12.0
AA
Рассуждения49
70.0
LS
Наука490
12.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA32.8%Сам.

Finance

MMLU63.4%Сам.

General

ARC-C78.6%Сам.
IFEval77.4%Сам.
BFCL v267.0%Сам.
Nexus34.3%Сам.

Language

Open-rewrite40.1%Сам.
TLDR9+ (test)19.0%Сам.

Long Context

NIH/Multi-needle84.7%Сам.
InfiniteBench/En.MC63.3%Сам.
InfiniteBench/En.QA19.8%Сам.

Math

GSM8k77.7%Сам.
MGSM58.2%Сам.
MATH48.0%Сам.

Reasoning

HellaSwag69.8%Сам.

Индексы оценки AA

Intelligence Index
4.2
Math Index
3.3
Math 500
0.5
Mmlu Pro
0.3
Ifbench
0.3
Gpqa
0.3
Tau2
0.2
Livecodebench
0.1
Aime
0.1
Hle
0.1
Scicode
0.1
Aime 25
0.0
Lcr
0.0

Оценки категорий LLM Stats

Instruction Following
80
Structured Output
80
Language
60
Legal
60
Math
60
Reasoning
60
Finance
60
General
60
Healthcare
60
Tool Calling
50
Physics
30
Biology
30
Chemistry
30

Цены

Цена ввода$0.15 / 1M токенов
Цена вывода$0.15 / 1M токенов
Смешанная цена (3:1)$0.15 / 1M токенов

Скорость

Токенов/сек52.3
Задержка первого токена0.59s
Время до первого ответа0.59s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

11 провайдеров

Самый дешевый: ChutesСамый дорогой: Vercel AI Gateway
ПровайдерВводВывод
1ChutesСамый дешевый
$0.01
$0.0136
2Inference
$0.02
$0.02
3NovitaAI
$0.03
$0.05
4LLM Gateway
$0.03
$0.05
5NanoGPT
$0.0306
$0.0493
6Cloudflare Workers AI
$0.0509
$0.335
7Kilo Gateway
$0.051
$0.34
8Cloudflare AI Gateway
$0.051
$0.34
9MetaОсновной
$0.15
$0.15
10Venice AI
$0.15
$0.6
11Vercel AI Gateway
$0.15
$0.15

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки

LLM StatsArtificial Analysis