Llama 3 Instruct 8B
MetaLlama
Дата выхода
2024-04-18
Параметры
—
Длина контекста
131K
Модальности
text
Радар способностей
14
general
10
coding
21
reasoning
19
scienceоцен.
80
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 483 | 3.0 | AA |
| Общий рейтинг | 498 | 12.0 | AA |
| Математическое мышление | 292 | 24.0 | AA |
| Наука | 455 | 17.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
50.5%Сам.
Code
HumanEval
88.4%Сам.
Finance
MMLU
86.0%Сам.
MMLU-Pro
68.9%Сам.
General
IFEval
92.1%Сам.
MBPP EvalPlus
87.6%Сам.
BFCL v2
77.3%Сам.
Math
MGSM
91.1%Сам.
MATH
77.0%Сам.
Индексы оценки AA
Intelligence Index1.2
Math 5000.5
Mmlu Pro0.4
Gpqa0.3
Ifbench0.2
Scicode0.1
Livecodebench0.1
Hle0.1
Aime0.0
Lcr0.0
Terminalbench Hard0.0
Tau20.0
Оценки категорий LLM Stats
Instruction Following90
Structured Output90
Code90
Language80
Legal80
Math80
Reasoning80
Finance80
Healthcare80
Tool Calling80
General70
Physics50
Biology50
Chemistry50
Цены
Цена ввода$0.045 / 1M токенов
Цена вывода$0.145 / 1M токенов
Смешанная цена (3:1)$0.07 / 1M токенов
Скорость
Токенов/сек83.7
Задержка первого токена0.48s
Время до первого ответа0.48s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
11 провайдеров
Самый дешевый: Kilo GatewayСамый дорогой: Azure
ПровайдерВводВывод
1Kilo GatewayСамый дешевый
$0.03
$0.04
2NovitaAI
$0.04
$0.04
3MetaОсновной
$0.045
$0.145
4Cloudflare AI Gateway
$0.12
$0.27
5OpenRouter
$0.14
$0.14
6Helicone
$0.14
$0.14
7LLM Gateway
$0.14
$0.14
8Together AI
$0.14
$0.14
9DigitalOcean
$0.198
$0.198
10Azure Cognitive Services
$0.3
$0.61
11Azure
$0.3
$0.61
Сравнение цен разных API-провайдеров для этой модели.