Llama 3.2 Instruct 3B
MetaLlamaOpen WeightLlama 3.2 Community License
Описание
Llama 3.2 3B Instruct is a large language model that supports a context length of 128K tokens and are state-of-the-art in their class for on-device use cases like summarization, instruction following, and rewriting tasks running locally at the edge.
Дата выхода
2024-09-25
Параметры
3.2B
Длина контекста
131K
Модальности
text
Радар способностей
17
general
8
coding
13
reasoning
14
scienceоцен.
50
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Code Ranking | 450 | 6.0 | AA |
| General Ranking | 440 | 19.0 | AA |
| Math Reasoning | 332 | 12.0 | AA |
| Reasoning | 45 | 70.0 | LS |
| Science | 466 | 12.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
32.8%Сам.
Finance
MMLU
63.4%Сам.
General
ARC-C
78.6%Сам.
IFEval
77.4%Сам.
BFCL v2
67.0%Сам.
Nexus
34.3%Сам.
Language
Open-rewrite
40.1%Сам.
TLDR9+ (test)
19.0%Сам.
Long Context
NIH/Multi-needle
84.7%Сам.
InfiniteBench/En.MC
63.3%Сам.
InfiniteBench/En.QA
19.8%Сам.
Math
GSM8k
77.7%Сам.
MGSM
58.2%Сам.
MATH
48.0%Сам.
Reasoning
HellaSwag
69.8%Сам.
Индексы оценки AA
Intelligence Index9.7
Math Index3.3
Math 5000.5
Mmlu Pro0.3
Ifbench0.3
Gpqa0.3
Tau20.2
Livecodebench0.1
Aime0.1
Hle0.1
Scicode0.1
Aime 250.0
Lcr0.0
Оценки категорий LLM Stats
Structured Output80
Instruction Following80
Finance60
General60
Healthcare60
Language60
Legal60
Math60
Reasoning60
Tool Calling50
Biology30
Chemistry30
Physics30
Цены
Цена ввода$0.15 / 1M tokens
Цена вывода$0.15 / 1M tokens
Смешанная цена (3:1)$0.15 / 1M tokens
Скорость
Токенов/сек52.1 tokens/s
Задержка первого токена0.68s
Время до первого ответа0.68s
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров