Llama 3.1 Instruct 8B
MetaLlamaОткрытые весаLlama 3.1 Community License
Описание
Llama 3.1 8B Instruct is a multilingual large language model optimized for dialogue use cases. It features a 128K context length, state-of-the-art tool use, and strong reasoning capabilities.
Дата выхода
2024-07-23
Параметры
8.0B
Длина контекста
131K
Модальности
text
Радар способностей
18
general
12
coding
14
reasoning
17
scienceоцен.
50
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 440 | 11.0 | AA |
| Общий рейтинг | 435 | 22.0 | AA |
| Математическое мышление | 324 | 14.0 | AA |
| Рассуждения | 28 | 83.0 | LS |
| Наука | 464 | 16.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
30.4%Сам.
Code
HumanEval
72.6%Сам.
Gorilla Benchmark API Bench
8.2%Сам.
Finance
MMLU (CoT)
73.0%Сам.
MMLU
69.4%Сам.
MMLU-Pro
48.3%Сам.
General
ARC-C
83.4%Сам.
IFEval
80.4%Сам.
BFCL
76.1%Сам.
MBPP EvalPlus (base)
72.8%Сам.
Multipl-E MBPP
52.4%Сам.
Multipl-E HumanEval
50.8%Сам.
Nexus
38.5%Сам.
Math
GSM-8K (CoT)
84.5%Сам.
Multilingual MGSM (CoT)
68.9%Сам.
DROP
59.5%Сам.
MATH (CoT)
51.9%Сам.
Reasoning
API-Bank
82.6%Сам.
Индексы оценки AA
Intelligence Index6.1
Math Index4.3
Math 5000.5
Mmlu Pro0.5
Ifbench0.3
Gpqa0.3
Tau20.2
Lcr0.2
Scicode0.1
Livecodebench0.1
Aime0.1
Hle0.1
Aime 250.0
Terminalbench Hard0.0
Оценки категорий LLM Stats
Instruction Following80
Structured Output80
Language60
Legal60
Math60
Reasoning60
Finance60
General60
Healthcare60
Tool Calling50
Code40
Physics30
Biology30
Chemistry30
Цены
Цена ввода$0.1 / 1M токенов
Цена вывода$0.1 / 1M токенов
Смешанная цена (3:1)$0.1 / 1M токенов
Скорость
Токенов/сек201.0
Задержка первого токена0.51s
Время до первого ответа0.51s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
23 провайдеров
Самый дешевый: NanoGPTСамый дорогой: Azure
ПровайдерВводВывод
1NanoGPTСамый дешевый
$0.02
$0.03
2Abacus
$0.02
$0.05
3OpenRouter
$0.02
$0.03
4NovitaAI
$0.02
$0.05
5Kilo Gateway
$0.02
$0.05
6Helicone
$0.02
$0.05
7Inference
$0.025
$0.025
8Groq
$0.05
$0.08
9Regolo AI
$0.05
$0.25
10MetaОсновной
$0.1
$0.1
11Poe
$0.1
$0.1
12Friendli
$0.1
$0.1
13OVHcloud AI Endpoints
$0.11
$0.11
14Cloudflare Workers AI
$0.152
$0.287
15STACKIT
$0.16
$0.27
16Synthetic
$0.2
$0.2
17Weights & Biases
$0.22
$0.22
18Amazon Bedrock
$0.22
$0.22
19Vercel AI Gateway
$0.22
$0.22
20LLM Gateway
$0.22
$0.22
21Cloudflare AI Gateway
$0.28
$0.83
22Azure Cognitive Services
$0.3
$0.61
23Azure
$0.3
$0.61
Сравнение цен разных API-провайдеров для этой модели.