Llama 3 Instruct 70B
MetaLlama
रिलीज़ तिथि
2024-04-18
पैरामीटर
—
संदर्भ लंबाई
131K
मोडैलिटीज़
text
क्षमता रडार
20
general
20
coding
22
reasoning
25
scienceअनुमानित
80
agents
0
multimodal
समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science तर्क प्रॉक्सी का उपयोग करके अनुमान लगाता है।
रैंकिंग
| डोमेन | #रैंक | स्कोर | स्रोत |
|---|---|---|---|
| कोडिंग रैंकिंग | 463 | 7.0 | AA |
| सामान्य रैंकिंग | 445 | 21.0 | AA |
| गणितीय तर्क | 295 | 23.0 | AA |
| विज्ञान | 421 | 23.0 | AA |
बेंचमार्क स्कोर (LLM Stats)
Biology
GPQA
50.5%स्वयं
Code
HumanEval
88.4%स्वयं
Finance
MMLU
86.0%स्वयं
MMLU-Pro
68.9%स्वयं
General
IFEval
92.1%स्वयं
MBPP EvalPlus
87.6%स्वयं
BFCL v2
77.3%स्वयं
Math
MGSM
91.1%स्वयं
MATH
77.0%स्वयं
AA मूल्यांकन सूचकांक
Intelligence Index3.5
Mmlu Pro0.6
Math 5000.5
Gpqa0.4
Ifbench0.4
Livecodebench0.2
Scicode0.2
Hle0.0
Terminalbench Hard0.0
Aime0.0
Lcr0.0
Tau20.0
LLM Stats श्रेणी स्कोर
Instruction Following90
Structured Output90
Code90
Language80
Legal80
Math80
Reasoning80
Finance80
Healthcare80
Tool Calling80
General70
Physics50
Biology50
Chemistry50
मूल्य निर्धारण
इनपुट मूल्य$0.65 / 1M टोकन
आउटपुट मूल्य$2.75 / 1M टोकन
मिश्रित मूल्य (3:1)$1.175 / 1M टोकन
गति
टोकन/सेकंड43.0
पहले टोकन में देरी0.71s
पहले उत्तर में देरी0.71s
प्रदाता मूल्य रैंकिंग
प्रदाता मूल्य रैंकिंग
7 प्रदाता
सबसे सस्ता: NovitaAIसबसे महंगा: Azure
प्रदाताइनपुटआउटपुट
1NovitaAIसबसे सस्ता
$0.51
$0.74
2Kilo Gateway
$0.51
$0.74
3LLM Gateway
$0.51
$0.74
4Metaप्राथमिक
$0.65
$2.75
5NanoGPT
$0.7
$0.7
6Azure Cognitive Services
$2.68
$3.54
7Azure
$2.68
$3.54
इस मॉडल के लिए विभिन्न API प्रदाताओं के मूल्य निर्धारण की तुलना करें।