Перейти к основному содержанию
AITier

Llama 3.1 Instruct 405B

MetaLlamaОткрытые весаLlama 3.1 Community License

Описание

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

Дата выхода
2024-07-23
Параметры
405.0B
Длина контекста
—
Модальности
text

Радар способностей

27
general
30
coding
23
reasoning
34
scienceоцен.
70
agents
0
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга323
25.0
AA
Общий рейтинг327
33.0
AA
Математическое мышление303
20.0
AA
Рассуждения5
92.0
LS
Наука318
35.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA50.7%Сам.

Code

HumanEval89.0%Сам.
Gorilla Benchmark API Bench35.3%Сам.

Finance

MMLU (CoT)88.6%Сам.
MMLU87.3%Сам.
MMLU-Pro73.3%Сам.

General

ARC-C96.9%Сам.
MBPP EvalPlus88.6%Сам.
IFEval88.6%Сам.
BFCL88.5%Сам.
Multipl-E HumanEval75.2%Сам.
Multipl-E MBPP65.7%Сам.
Nexus58.7%Сам.

Math

GSM8k96.8%Сам.
Multilingual MGSM (CoT)91.6%Сам.
DROP84.8%Сам.
MATH73.8%Сам.

Reasoning

API-Bank92.0%Сам.

Индексы оценки AA

Intelligence Index
8.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

Оценки категорий LLM Stats

Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

Цены

Цена ввода$2.75 / 1M токенов
Цена вывода$6.5 / 1M токенов
Смешанная цена (3:1)$3.688 / 1M токенов

Скорость

Токенов/сек60.6
Задержка первого токена0.68s
Время до первого ответа0.68s

Рейтинг цен провайдеров

Рейтинг цен провайдеров

7 провайдеров

Самый дешевый: Kilo GatewayСамый дорогой: Azure
ПровайдерВводВывод
1Kilo GatewayСамый дешевый
$1
$1
2Venice AI
$1.1
$3
3MetaОсновной
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16

Сравнение цен разных API-провайдеров для этой модели.

Внешние ссылки

LLM StatsArtificial Analysis