Phi-3.5-mini-instruct
MicrosoftPhiOpen WeightMIT · Commercial OK
Описание
Phi-3.5-mini-instruct is a 3.8B-parameter model that supports up to 128K context tokens, with improved multilingual capabilities across over 20 languages. It underwent additional training and safety post-training to enhance instruction-following, reasoning, math, and code generation. Ideal for environments with memory or latency constraints, it uses an MIT license.
Дата выхода
2024-08-23
Параметры
3.8B
Длина контекста
—
Модальности
text
Радар способностей
60
general
60
coding
60
reasoning
26
scienceоцен.
0
agents
0
multimodal
Science использует прокси на основе рассуждений, когда специализированные научные бенчмарки недоступны.
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Reasoning | 51 | 69.0 | LS |
Оценки бенчмарков (LLM Stats)
Biology
GPQA
30.4%Сам.
Code
RepoQA
77.0%Сам.
HumanEval
62.8%Сам.
Creativity
Social IQa
74.7%Сам.
Arena Hard
37.0%Сам.
Finance
MMLU
69.0%Сам.
TruthfulQA
64.0%Сам.
MMLU-Pro
47.4%Сам.
General
ARC-C
84.6%Сам.
PIQA
81.0%Сам.
OpenBookQA
79.2%Сам.
MBPP
0.70 / 100Сам.
MMMLU
55.4%Сам.
Language
BoolQ
78.0%Сам.
MEGA XStoryCloze
73.5%Сам.
BIG-Bench Hard
69.0%Сам.
Winogrande
68.5%Сам.
MEGA XCOPA
63.1%Сам.
MEGA TyDi QA
62.2%Сам.
MEGA MLQA
61.7%Сам.
MEGA UDPOS
46.5%Сам.
SQuALITY
24.3%Сам.
Long Context
RULER
84.1%Сам.
Qasper
41.9%Сам.
GovReport
25.9%Сам.
QMSum
21.3%Сам.
SummScreenFD
16.0%Сам.
Math
GSM8k
86.2%Сам.
MATH
48.5%Сам.
MGSM
47.9%Сам.
Reasoning
HellaSwag
69.4%Сам.
Индексы оценки AA
Нет данных AA оценки
Оценки категорий LLM Stats
Psychology70
Reasoning70
Code60
Creativity60
Finance60
General60
Healthcare60
Language60
Legal60
Math60
Physics60
Long Context50
Writing40
Biology30
Chemistry30
Summarization20
Цены
Нет данных о ценах
Скорость
Нет данных о скорости
Доступные провайдеры
(Внутренние единицы LS)Нет данных провайдеров