Llama 3 Instruct 8B
MetaLlama
Date de sortie
2024-04-18
Paramètres
—
Longueur du contexte
131K
Modalités
text
Radar de capacités
14
general
10
coding
21
reasoning
19
scienceest.
80
agents
0
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Classement codage | 483 | 3.0 | AA |
| Classement général | 498 | 12.0 | AA |
| Raisonnement mathématique | 292 | 24.0 | AA |
| Science | 455 | 17.0 | AA |
Scores de benchmarks (LLM Stats)
Biology
GPQA
50.5%Aut.
Code
HumanEval
88.4%Aut.
Finance
MMLU
86.0%Aut.
MMLU-Pro
68.9%Aut.
General
IFEval
92.1%Aut.
MBPP EvalPlus
87.6%Aut.
BFCL v2
77.3%Aut.
Math
MGSM
91.1%Aut.
MATH
77.0%Aut.
Indices d'évaluation AA
Intelligence Index1.2
Math 5000.5
Mmlu Pro0.4
Gpqa0.3
Ifbench0.2
Scicode0.1
Livecodebench0.1
Hle0.1
Aime0.0
Lcr0.0
Terminalbench Hard0.0
Tau20.0
Scores par catégorie LLM Stats
Instruction Following90
Structured Output90
Code90
Language80
Legal80
Math80
Reasoning80
Finance80
Healthcare80
Tool Calling80
General70
Physics50
Biology50
Chemistry50
Tarification
Prix d'entrée$0.045 / 1M tokens
Prix de sortie$0.145 / 1M tokens
Prix mixte (3:1)$0.07 / 1M tokens
Vitesse
Tokens/sec83.7
Délai du premier token0.48s
Temps de réponse0.48s
Classement des Prix par Fournisseur
Classement des Prix par Fournisseur
11 fournisseurs
Moins cher: Kilo GatewayPlus cher: Azure
FournisseurEntréeSortie
1Kilo GatewayMoins cher
$0.03
$0.04
2NovitaAI
$0.04
$0.04
3MetaPRINCIPAL
$0.045
$0.145
4Cloudflare AI Gateway
$0.12
$0.27
5OpenRouter
$0.14
$0.14
6Helicone
$0.14
$0.14
7LLM Gateway
$0.14
$0.14
8Together AI
$0.14
$0.14
9DigitalOcean
$0.198
$0.198
10Azure Cognitive Services
$0.3
$0.61
11Azure
$0.3
$0.61
Comparer les prix entre différents fournisseurs API pour ce modèle.