Llama 3 Instruct 70B
MetaLlama
Date de sortie
2024-04-18
Paramètres
—
Longueur du contexte
131K
Modalités
text
Radar de capacités
20
general
20
coding
22
reasoning
25
scienceest.
80
agents
0
multimodal
Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
| Domaine | #Rang | Score | Source |
|---|---|---|---|
| Classement codage | 463 | 7.0 | AA |
| Classement général | 445 | 21.0 | AA |
| Raisonnement mathématique | 295 | 23.0 | AA |
| Science | 421 | 23.0 | AA |
Scores de benchmarks (LLM Stats)
Biology
GPQA
50.5%Aut.
Code
HumanEval
88.4%Aut.
Finance
MMLU
86.0%Aut.
MMLU-Pro
68.9%Aut.
General
IFEval
92.1%Aut.
MBPP EvalPlus
87.6%Aut.
BFCL v2
77.3%Aut.
Math
MGSM
91.1%Aut.
MATH
77.0%Aut.
Indices d'évaluation AA
Intelligence Index3.5
Mmlu Pro0.6
Math 5000.5
Gpqa0.4
Ifbench0.4
Livecodebench0.2
Scicode0.2
Hle0.0
Terminalbench Hard0.0
Aime0.0
Lcr0.0
Tau20.0
Scores par catégorie LLM Stats
Instruction Following90
Structured Output90
Code90
Language80
Legal80
Math80
Reasoning80
Finance80
Healthcare80
Tool Calling80
General70
Physics50
Biology50
Chemistry50
Tarification
Prix d'entrée$0.65 / 1M tokens
Prix de sortie$2.75 / 1M tokens
Prix mixte (3:1)$1.175 / 1M tokens
Vitesse
Tokens/sec43.0
Délai du premier token0.71s
Temps de réponse0.71s
Classement des Prix par Fournisseur
Classement des Prix par Fournisseur
7 fournisseurs
Moins cher: NovitaAIPlus cher: Azure
FournisseurEntréeSortie
1NovitaAIMoins cher
$0.51
$0.74
2Kilo Gateway
$0.51
$0.74
3LLM Gateway
$0.51
$0.74
4MetaPRINCIPAL
$0.65
$2.75
5NanoGPT
$0.7
$0.7
6Azure Cognitive Services
$2.68
$3.54
7Azure
$2.68
$3.54
Comparer les prix entre différents fournisseurs API pour ce modèle.