Passer au contenu principal
AITier

Llama 3.1 Instruct 405B

MetaLlamaOpen WeightLlama 3.1 Community License

Description

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

Date de sortie
2024-07-23
Paramètres
405.0B
Longueur du contexte
—
Modalités
text

Radar de capacités

27
general
30
coding
23
reasoning
34
scienceest.
70
agents
0
multimodal

Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine#RangScoreSource
Classement codage323
25.0
AA
Classement général327
33.0
AA
Raisonnement mathématique303
20.0
AA
Raisonnement5
92.0
LS
Science318
35.0
AA

Scores de benchmarks (LLM Stats)

Biology

GPQA50.7%Aut.

Code

HumanEval89.0%Aut.
Gorilla Benchmark API Bench35.3%Aut.

Finance

MMLU (CoT)88.6%Aut.
MMLU87.3%Aut.
MMLU-Pro73.3%Aut.

General

ARC-C96.9%Aut.
MBPP EvalPlus88.6%Aut.
IFEval88.6%Aut.
BFCL88.5%Aut.
Multipl-E HumanEval75.2%Aut.
Multipl-E MBPP65.7%Aut.
Nexus58.7%Aut.

Math

GSM8k96.8%Aut.
Multilingual MGSM (CoT)91.6%Aut.
DROP84.8%Aut.
MATH73.8%Aut.

Reasoning

API-Bank92.0%Aut.

Indices d'évaluation AA

Intelligence Index
8.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

Scores par catégorie LLM Stats

Math
90
Structured Output
90
Instruction Following
90
Reasoning
80
Language
80
Legal
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

Tarification

Prix d'entrée$2.75 / 1M tokens
Prix de sortie$6.5 / 1M tokens
Prix mixte (3:1)$3.688 / 1M tokens

Vitesse

Tokens/sec60.6
Délai du premier token0.68s
Temps de réponse0.68s

Classement des Prix par Fournisseur

Classement des Prix par Fournisseur

7 fournisseurs

Moins cher: Kilo GatewayPlus cher: Azure
FournisseurEntréeSortie
1Kilo GatewayMoins cher
$1
$1
2Venice AI
$1.1
$3
3MetaPRINCIPAL
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16

Comparer les prix entre différents fournisseurs API pour ce modèle.

Sources externes

LLM StatsArtificial Analysis