Перейти к основному содержанию

Llama 3.1 Instruct 405B

MetaLlamaОткрытые весаLlama 3.1 Community License

Описание

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

Дата выхода
2024-07-23
Параметры
405.0B
Длина контекста
—
Модальности
text

Радар способностей

80
general
60
coding
90
reasoning
43
scienceоцен.
70
agents
0
multimodal

При отсутствии специализированных научных бенчмарков Science оценивается по научным категориям LLM Stats или на основе рассуждений.

Рейтинги

Нет данных рейтинга

Оценки бенчмарков (LLM Stats)

(LLM Stats (zeroeval))

Chat

IFEvalGoogle Research (2023)88.6%Сам.

General

BFCL88.5%Сам.
MMLU87.3%Сам.
Multipl-E MBPP65.7%Сам.
Nexus58.7%Сам.

Language

MMLU (CoT)88.6%Сам.
Multipl-E HumanEval75.2%Сам.
MMLU-Pro73.3%Сам.

Math

GSM8k96.8%Сам.
Multilingual MGSM (CoT)91.6%Сам.
MATH73.8%Сам.

Reasoning

ARC-C96.9%Сам.
API-Bank92.0%Сам.
HumanEvalOpenAI (2021)89.0%Сам.
MBPP EvalPlus88.6%Сам.
DROP84.8%Сам.
GPQANYU + Cohere + Anthropic (2023)50.7%Сам.
Gorilla Benchmark API Bench35.3%Сам.

Индексы оценки AA

(Artificial Analysis)

Нет данных AA оценки

Оценки категорий LLM Stats

(LLM Stats (zeroeval))
Chat
90
Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

Цены

Нет данных о ценах

Скорость

Нет данных о скорости

Рейтинг цен провайдеров

Нет данных провайдеров

Внешние ссылки