Перейти к основному содержанию
AITier

Llama 3.1 Instruct 405B

MetaLlamaОткрытые весаLlama 3.1 Community License

Описание

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

Дата выхода
2024-07-23
Параметры
405.0B
Длина контекста
—
Модальности
text

Радар способностей

27
general
30
coding
23
reasoning
34
science
70
agents
0
multimodal

Рейтинги

Домен#МестоОценкаИсточник
Рейтинг кодинга389
24.0
AA
Общий рейтинг395
32.0
AA
Наука376
35.0
AA

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)50.7%Сам.

Code

HumanEvalOpenAI (2021)89.0%Сам.
Gorilla Benchmark API Bench35.3%Сам.

Finance

MMLU (CoT)88.6%Сам.
MMLU87.3%Сам.
MMLU-Pro73.3%Сам.

General

ARC-C96.9%Сам.
MBPP EvalPlus88.6%Сам.
IFEvalGoogle Research (2023)88.6%Сам.
BFCL88.5%Сам.
Multipl-E HumanEval75.2%Сам.
Multipl-E MBPP65.7%Сам.
Nexus58.7%Сам.

Math

GSM8k96.8%Сам.
Multilingual MGSM (CoT)91.6%Сам.
DROP84.8%Сам.
MATH73.8%Сам.

Reasoning

API-Bank92.0%Сам.

Индексы оценки AA

(Artificial Analysis)
Intelligence Index(Artificial Analysis)
8.3
Math Index(Artificial Analysis)
3.0
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))
0.7
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.7
Gpqa(NYU + Cohere + Anthropic (2023))
0.5
Ifbench(Google Research (2023))
0.4
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.3
Scicode(UIUC + Argonne National Lab (2024))
0.3
Lcr(Artificial Analysis)
0.2
Aime(MAA (Mathematical Association of America))
0.2
Tau2(Sierra + U Toronto + Vector Institute (2025))
0.2
Terminalbench Hard(Stanford × Laude Institute (2026))
0.1
Hle(Center for AI Safety + Scale AI (2025))
0.0
Aime 25(MAA (Mathematical Association of America))
0.0

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

Цены

Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно

Скорость

Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s

Рейтинг цен провайдеров

Нет данных провайдеров

Внешние ссылки

LLM StatsArtificial Analysis