Phi-3.5-mini-instruct
MicrosoftPhiOpen WeightMIT · Commercial OK
설명
Phi-3.5-mini-instruct is a 3.8B-parameter model that supports up to 128K context tokens, with improved multilingual capabilities across over 20 languages. It underwent additional training and safety post-training to enhance instruction-following, reasoning, math, and code generation. Ideal for environments with memory or latency constraints, it uses an MIT license.
출시일
2024-08-23
파라미터
3.8B
컨텍스트 길이
—
모달리티
text
능력 레이더
60
general
60
coding
60
reasoning
26
science추정
0
agents
0
multimodal
전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.
랭킹
| 도메인 | #순위 | 점수 | 소스 |
|---|---|---|---|
| Reasoning | 51 | 69.0 | LS |
벤치마크 점수 (LLM Stats)
Biology
GPQA
30.4%자체 보고
Code
RepoQA
77.0%자체 보고
HumanEval
62.8%자체 보고
Creativity
Social IQa
74.7%자체 보고
Arena Hard
37.0%자체 보고
Finance
MMLU
69.0%자체 보고
TruthfulQA
64.0%자체 보고
MMLU-Pro
47.4%자체 보고
General
ARC-C
84.6%자체 보고
PIQA
81.0%자체 보고
OpenBookQA
79.2%자체 보고
MBPP
0.70 / 100자체 보고
MMMLU
55.4%자체 보고
Language
BoolQ
78.0%자체 보고
MEGA XStoryCloze
73.5%자체 보고
BIG-Bench Hard
69.0%자체 보고
Winogrande
68.5%자체 보고
MEGA XCOPA
63.1%자체 보고
MEGA TyDi QA
62.2%자체 보고
MEGA MLQA
61.7%자체 보고
MEGA UDPOS
46.5%자체 보고
SQuALITY
24.3%자체 보고
Long Context
RULER
84.1%자체 보고
Qasper
41.9%자체 보고
GovReport
25.9%자체 보고
QMSum
21.3%자체 보고
SummScreenFD
16.0%자체 보고
Math
GSM8k
86.2%자체 보고
MATH
48.5%자체 보고
MGSM
47.9%자체 보고
Reasoning
HellaSwag
69.4%자체 보고
AA 평가 지수
AA 평가 데이터가 없습니다
LLM Stats 카테고리 점수
Psychology70
Reasoning70
Code60
Creativity60
Finance60
General60
Healthcare60
Language60
Legal60
Math60
Physics60
Long Context50
Writing40
Biology30
Chemistry30
Summarization20
가격
가격 데이터가 없습니다
속도
속도 데이터가 없습니다
사용 가능한 프로바이더
(LS 내부 단위)프로바이더 데이터가 없습니다