Llama 3.1 Instruct 70B
MetaLlamaОткрытые весаLlama 3.1 Community License
Описание
Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.
Дата выхода
2024-07-23
Параметры
70.0B
Длина контекста
131K
Модальности
text
Радар способностей
25
general
24
coding
20
reasoning
29
scienceоцен.
70
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Рейтинг кодинга | 422 | 13.0 | AA |
| Общий рейтинг | 393 | 28.0 | AA |
| Математическое мышление | 306 | 19.0 | AA |
| Рассуждения | 10 | 90.0 | LS |
| Наука | 381 | 29.0 | AA |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
41.7%Сам.
Code
HumanEval
80.5%Сам.
Gorilla Benchmark API Bench
29.7%Сам.
Finance
MMLU (CoT)
86.0%Сам.
MMLU
83.6%Сам.
MMLU-Pro
66.4%Сам.
General
ARC-C
94.8%Сам.
IFEval
87.5%Сам.
MBPP ++ base version
86.0%Сам.
BFCL
84.8%Сам.
Multipl-E HumanEval
65.5%Сам.
Multipl-E MBPP
62.0%Сам.
Nexus
56.7%Сам.
Math
GSM-8K (CoT)
95.1%Сам.
Multilingual MGSM (CoT)
86.9%Сам.
DROP
79.6%Сам.
MATH (CoT)
68.0%Сам.
Reasoning
API-Bank
90.0%Сам.
Индексы оценки AA
Intelligence Index6.8
Math Index4.0
Mmlu Pro0.7
Math 5000.6
Gpqa0.4
Ifbench0.3
Scicode0.3
Livecodebench0.2
Aime0.2
Tau20.2
Lcr0.1
Hle0.0
Aime 250.0
Terminalbench Hard0.0
Оценки категорий LLM Stats
Instruction Following90
Structured Output90
Language80
Legal80
Math80
Finance80
Healthcare80
Reasoning70
General70
Tool Calling70
Code60
Physics40
Biology40
Chemistry40
Цены
Цена ввода$0.56 / 1M токенов
Цена вывода$0.56 / 1M токенов
Смешанная цена (3:1)$0.56 / 1M токенов
Скорость
Токенов/сек36.8
Задержка первого токена0.57s
Время до первого ответа0.57s
Рейтинг цен провайдеров
Рейтинг цен провайдеров
9 провайдеров
Самый дешевый: OpenRouterСамый дорогой: Azure
ПровайдерВводВывод
1OpenRouterСамый дешевый
$0.4
$0.4
2Kilo Gateway
$0.4
$0.4
3MetaОсновной
$0.56
$0.56
4Vercel AI Gateway
$0.72
$0.72
5LLM Gateway
$0.72
$0.72
6Weights & Biases
$0.8
$0.8
7Synthetic
$0.9
$0.9
8Azure Cognitive Services
$2.68
$3.54
9Azure
$2.68
$3.54
Сравнение цен разных API-провайдеров для этой модели.