Перейти к основному содержанию
AITier

Llama 3.1 Instruct 70B

MetaLlamaOpen WeightLlama 3.1 Community License

Описание

Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.

Дата выхода
2024-07-23
Параметры
70.0B
Длина контекста
131K
Модальности
text

Радар способностей

28
general
17
coding
20
reasoning
29
scienceоцен.
70
agents
0
multimodal

Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.

Рейтинги

Домен#МестоОценкаИсточник
Code Ranking385
15.0
AA
General Ranking367
30.0
AA
Math Reasoning306
19.0
AA
Reasoning10
90.0
LS
Science357
30.0
AA

Оценки бенчмарков (LLM Stats)

Biology

GPQA41.7%Сам.

Code

HumanEval80.5%Сам.
Gorilla Benchmark API Bench29.7%Сам.

Finance

MMLU (CoT)86.0%Сам.
MMLU83.6%Сам.
MMLU-Pro66.4%Сам.

General

ARC-C94.8%Сам.
IFEval87.5%Сам.
MBPP ++ base version86.0%Сам.
BFCL84.8%Сам.
Multipl-E HumanEval65.5%Сам.
Multipl-E MBPP62.0%Сам.
Nexus56.7%Сам.

Math

GSM-8K (CoT)95.1%Сам.
Multilingual MGSM (CoT)86.9%Сам.
DROP79.6%Сам.
MATH (CoT)68.0%Сам.

Reasoning

API-Bank90.0%Сам.

Индексы оценки AA

Intelligence Index
12.5
Coding Index
10.9
Math Index
4.0
Mmlu Pro
0.7
Math 500
0.6
Gpqa
0.4
Ifbench
0.3
Scicode
0.3
Livecodebench
0.2
Aime
0.2
Tau2
0.2
Lcr
0.1
Hle
0.0
Aime 25
0.0
Terminalbench Hard
0.0

Оценки категорий LLM Stats

Structured Output
90
Instruction Following
90
Finance
80
Healthcare
80
Language
80
Legal
80
Math
80
Tool Calling
70
General
70
Reasoning
70
Code
60
Biology
40
Chemistry
40
Physics
40

Цены

Цена ввода$0.56 / 1M tokens
Цена вывода$0.56 / 1M tokens
Смешанная цена (3:1)$0.56 / 1M tokens

Скорость

Токенов/сек33.0 tokens/s
Задержка первого токена0.62s
Время до первого ответа0.62s

Доступные провайдеры

(Внутренние единицы LS)

Нет данных провайдеров

Внешние ссылки

LLM Stats