Saltar al contenido principal
AITier

Llama 3.1 Instruct 405B

MetaLlamaOpen WeightLlama 3.1 Community License

Descripción

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

Fecha de lanzamiento
2024-07-23
Parámetros
405.0B
Longitud del contexto
—
Modalidades
text

Radar de capacidades

27
general
30
coding
23
reasoning
34
scienceest.
70
agents
0
multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio#PosiciónPuntuaciónFuente
Ranking de codificación323
25.0
AA
Ranking general327
33.0
AA
Razonamiento matemático303
20.0
AA
Razonamiento5
92.0
LS
Ciencia318
35.0
AA

Puntuaciones de benchmarks (LLM Stats)

Biology

GPQA50.7%Aut.

Code

HumanEval89.0%Aut.
Gorilla Benchmark API Bench35.3%Aut.

Finance

MMLU (CoT)88.6%Aut.
MMLU87.3%Aut.
MMLU-Pro73.3%Aut.

General

ARC-C96.9%Aut.
MBPP EvalPlus88.6%Aut.
IFEval88.6%Aut.
BFCL88.5%Aut.
Multipl-E HumanEval75.2%Aut.
Multipl-E MBPP65.7%Aut.
Nexus58.7%Aut.

Math

GSM8k96.8%Aut.
Multilingual MGSM (CoT)91.6%Aut.
DROP84.8%Aut.
MATH73.8%Aut.

Reasoning

API-Bank92.0%Aut.

Índices de evaluación AA

Intelligence Index
8.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

Puntuaciones por categoría LLM Stats

Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

Precios

Precio de entrada$2.75 / 1M tokens
Precio de salida$6.5 / 1M tokens
Precio mixto (3:1)$3.688 / 1M tokens

Velocidad

Tokens/seg60.6
Retraso del primer token0.68s
Tiempo hasta la respuesta0.68s

Ranking de Precios por Proveedor

Ranking de Precios por Proveedor

7 proveedores

Más barato: Kilo GatewayMás caro: Azure
ProveedorEntradaSalida
1Kilo GatewayMás barato
$1
$1
2Venice AI
$1.1
$3
3MetaPRINCIPAL
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16

Comparar precios entre diferentes proveedores de API para este modelo.

Fuentes externas

LLM StatsArtificial Analysis