Phi-3.5-mini-instruct
MicrosoftPhiOpen WeightMIT · Usage Commercial
Description
Phi-3.5-mini-instruct is a 3.8B-parameter model that supports up to 128K context tokens, with improved multilingual capabilities across over 20 languages. It underwent additional training and safety post-training to enhance instruction-following, reasoning, math, and code generation. Ideal for environments with memory or latency constraints, it uses an MIT license.
Date de sortie
2024-08-23
Paramètres
3.8B
Longueur du contexte
—
Modalités
text
Radar de capacités
60
general
60
coding
60
reasoning
26
scienceest.
60
agents
0
multimodal
Science est estimé à partir des scores scientifiques de LLM Stats ou du raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.
Classements
Aucune donnée de classement disponible
Scores de benchmarks (LLM Stats)
(LLM Stats (zeroeval))Biology
GPQANYU + Cohere + Anthropic (2023)
30.4%Aut.
Code
RepoQA
77.0%Aut.
HumanEvalOpenAI (2021)
62.8%Aut.
Creativity
Social IQa
74.7%Aut.
Arena Hard
37.0%Aut.
Finance
MMLU
69.0%Aut.
TruthfulQA
64.0%Aut.
MMLU-Pro
47.4%Aut.
General
ARC-C
84.6%Aut.
PIQA
81.0%Aut.
OpenBookQA
79.2%Aut.
MBPP
0.70 / 100Aut.
MMMLU
55.4%Aut.
Language
BoolQ
78.0%Aut.
MEGA XStoryCloze
73.5%Aut.
BIG-Bench Hard
69.0%Aut.
Winogrande
68.5%Aut.
MEGA XCOPA
63.1%Aut.
MEGA TyDi QA
62.2%Aut.
MEGA MLQA
61.7%Aut.
MEGA UDPOS
46.5%Aut.
SQuALITY
24.3%Aut.
Long Context
RULER
84.1%Aut.
Qasper
41.9%Aut.
GovReport
25.9%Aut.
QMSum
21.3%Aut.
SummScreenFD
16.0%Aut.
Math
GSM8k
86.2%Aut.
MATH
48.5%Aut.
MGSM
47.9%Aut.
Reasoning
HellaSwagAI2 (2019)
69.4%Aut.
Indices d'évaluation AA
(Artificial Analysis)Aucune donnée d'évaluation AA disponible
Scores par catégorie LLM Stats
(LLM Stats (zeroeval))Psychology70
Reasoning70
Legal60
Math60
Physics60
Language60
Finance60
General60
Healthcare60
Code60
Creativity60
Long Context50
Writing40
Biology30
Chemistry30
Summarization20
Tarification
Aucune donnée de prix disponible
Vitesse
Aucune donnée de vitesse disponible
Classement des Prix par Fournisseur
Aucune donnée de fournisseur disponible