Phi-3.5-mini-instruct
MicrosoftPhiओपन वेटMIT · व्यावसायिक उपयोग
विवरण
Phi-3.5-mini-instruct is a 3.8B-parameter model that supports up to 128K context tokens, with improved multilingual capabilities across over 20 languages. It underwent additional training and safety post-training to enhance instruction-following, reasoning, math, and code generation. Ideal for environments with memory or latency constraints, it uses an MIT license.
रिलीज़ तिथि
2024-08-23
पैरामीटर
3.8B
संदर्भ लंबाई
—
मोडैलिटीज़
text
क्षमता रडार
60
general
60
coding
60
reasoning
26
scienceअनुमानित
60
agents
0
multimodal
समर्पित विज्ञान बेंचमार्क उपलब्ध न होने पर Science का अनुमान LLM Stats विज्ञान स्कोर या तर्क से लगाया जाता है।
रैंकिंग
कोई रैंकिंग डेटा उपलब्ध नहीं
बेंचमार्क स्कोर (LLM Stats)
(LLM Stats (zeroeval))General
MMLU
69.0%स्वयं
TruthfulQA
64.0%स्वयं
Arena Hard
37.0%स्वयं
Language
BoolQ
78.0%स्वयं
MEGA TyDi QA
62.2%स्वयं
MEGA MLQA
61.7%स्वयं
MMMLU
55.4%स्वयं
MMLU-Pro
47.4%स्वयं
MEGA UDPOS
46.5%स्वयं
Long Context
RULER
84.1%स्वयं
RepoQA
77.0%स्वयं
Math
GSM8k
86.2%स्वयं
MATH
48.5%स्वयं
MGSM
47.9%स्वयं
Reasoning
ARC-C
84.6%स्वयं
PIQA
81.0%स्वयं
OpenBookQA
79.2%स्वयं
Social IQa
74.7%स्वयं
MEGA XStoryCloze
73.5%स्वयं
MBPP
0.70 / 100स्वयं
HellaSwagAI2 (2019)
69.4%स्वयं
BIG-Bench Hard
69.0%स्वयं
Winogrande
68.5%स्वयं
MEGA XCOPA
63.1%स्वयं
HumanEvalOpenAI (2021)
62.8%स्वयं
Qasper
41.9%स्वयं
GPQANYU + Cohere + Anthropic (2023)
30.4%स्वयं
Summarization
GovReport
25.9%स्वयं
SQuALITY
24.3%स्वयं
QMSum
21.3%स्वयं
SummScreenFD
16.0%स्वयं
AA मूल्यांकन सूचकांक
(Artificial Analysis)कोई AA मूल्यांकन डेटा उपलब्ध नहीं
LLM Stats श्रेणी स्कोर
(LLM Stats (zeroeval))Psychology70
Reasoning70
Language60
Legal60
Math60
Physics60
Finance60
General60
Healthcare60
Code60
Creativity60
Long Context50
Chat40
Writing40
Biology30
Chemistry30
Summarization20
मूल्य निर्धारण
कोई मूल्य डेटा उपलब्ध नहीं
गति
कोई गति डेटा उपलब्ध नहीं
प्रदाता मूल्य रैंकिंग
कोई प्रदाता डेटा उपलब्ध नहीं