Llama 3 Instruct 8B
MetaLlama
रिलीज़ तिथि
2024-04-18
पैरामीटर
—
संदर्भ लंबाई
131K
मोडैलिटीज़
text
क्षमता रडार
14
general
10
coding
21
reasoning
19
scienceअनुमानित
80
agents
0
multimodal
समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science तर्क प्रॉक्सी का उपयोग करके अनुमान लगाता है।
रैंकिंग
| डोमेन | #रैंक | स्कोर | स्रोत |
|---|---|---|---|
| कोडिंग रैंकिंग | 483 | 3.0 | AA |
| सामान्य रैंकिंग | 498 | 12.0 | AA |
| गणितीय तर्क | 292 | 24.0 | AA |
| विज्ञान | 455 | 17.0 | AA |
बेंचमार्क स्कोर (LLM Stats)
Biology
GPQA
50.5%स्वयं
Code
HumanEval
88.4%स्वयं
Finance
MMLU
86.0%स्वयं
MMLU-Pro
68.9%स्वयं
General
IFEval
92.1%स्वयं
MBPP EvalPlus
87.6%स्वयं
BFCL v2
77.3%स्वयं
Math
MGSM
91.1%स्वयं
MATH
77.0%स्वयं
AA मूल्यांकन सूचकांक
Intelligence Index1.2
Math 5000.5
Mmlu Pro0.4
Gpqa0.3
Ifbench0.2
Scicode0.1
Livecodebench0.1
Hle0.1
Aime0.0
Lcr0.0
Terminalbench Hard0.0
Tau20.0
LLM Stats श्रेणी स्कोर
Instruction Following90
Structured Output90
Code90
Language80
Legal80
Math80
Reasoning80
Finance80
Healthcare80
Tool Calling80
General70
Physics50
Biology50
Chemistry50
मूल्य निर्धारण
इनपुट मूल्य$0.045 / 1M टोकन
आउटपुट मूल्य$0.145 / 1M टोकन
मिश्रित मूल्य (3:1)$0.07 / 1M टोकन
गति
टोकन/सेकंड83.7
पहले टोकन में देरी0.48s
पहले उत्तर में देरी0.48s
प्रदाता मूल्य रैंकिंग
प्रदाता मूल्य रैंकिंग
11 प्रदाता
सबसे सस्ता: Kilo Gatewayसबसे महंगा: Azure
प्रदाताइनपुटआउटपुट
1Kilo Gatewayसबसे सस्ता
$0.03
$0.04
2NovitaAI
$0.04
$0.04
3Metaप्राथमिक
$0.045
$0.145
4Cloudflare AI Gateway
$0.12
$0.27
5OpenRouter
$0.14
$0.14
6Helicone
$0.14
$0.14
7LLM Gateway
$0.14
$0.14
8Together AI
$0.14
$0.14
9DigitalOcean
$0.198
$0.198
10Azure Cognitive Services
$0.3
$0.61
11Azure
$0.3
$0.61
इस मॉडल के लिए विभिन्न API प्रदाताओं के मूल्य निर्धारण की तुलना करें।