Llama 3.1 Instruct 405B
MetaLlamaОткрытые весаLlama 3.1 Community License
Описание
Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.
Дата выхода
2024-07-23
Параметры
405.0B
Длина контекста
—
Модальности
text
Радар способностей
80
general
60
coding
90
reasoning
43
scienceоцен.
70
agents
0
multimodal
При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.
Рейтинги
Нет данных рейтинга
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Chat
IFEvalGoogle Research (2023)
88.6%Сам.
General
BFCL
88.5%Сам.
MMLU
87.3%Сам.
Multipl-E MBPP
65.7%Сам.
Nexus
58.7%Сам.
Language
MMLU (CoT)
88.6%Сам.
Multipl-E HumanEval
75.2%Сам.
MMLU-Pro
73.3%Сам.
Math
GSM8k
96.8%Сам.
Multilingual MGSM (CoT)
91.6%Сам.
MATH
73.8%Сам.
Reasoning
ARC-C
96.9%Сам.
API-Bank
92.0%Сам.
HumanEvalOpenAI (2021)
89.0%Сам.
MBPP EvalPlus
88.6%Сам.
DROP
84.8%Сам.
GPQANYU + Cohere + Anthropic (2023)
50.7%Сам.
Gorilla Benchmark API Bench
35.3%Сам.
Индексы оценки AA
(Artificial Analysis)Нет данных AA оценки
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Chat90
Instruction Following90
Math90
Structured Output90
Language80
Legal80
Reasoning80
Finance80
General80
Healthcare80
Tool Calling70
Code60
Physics50
Biology50
Chemistry50
Цены
Нет данных о ценах
Скорость
Нет данных о скорости
Рейтинг цен провайдеров
Нет данных провайдеров