メインコンテンツへスキップ
AITier

Phi-3.5-mini-instruct

MicrosoftPhiOpen WeightMIT · Commercial OK

説明

Phi-3.5-mini-instruct is a 3.8B-parameter model that supports up to 128K context tokens, with improved multilingual capabilities across over 20 languages. It underwent additional training and safety post-training to enhance instruction-following, reasoning, math, and code generation. Ideal for environments with memory or latency constraints, it uses an MIT license.

リリース日
2024-08-23
パラメータ
3.8B
コンテキスト長
—
モダリティ
text

能力レーダー

60
general
60
coding
60
reasoning
26
science推定
0
agents
0
multimodal

専門的な科学ベンチマークが利用できない場合、Scienceは推論プロキシを使用して推定します。

ランキング

ドメイン#順位スコアソース
Reasoning51
69.0
LS

ベンチマークスコア (LLM Stats)

Biology

GPQA30.4%自己申告

Code

RepoQA77.0%自己申告
HumanEval62.8%自己申告

Creativity

Social IQa74.7%自己申告
Arena Hard37.0%自己申告

Finance

MMLU69.0%自己申告
TruthfulQA64.0%自己申告
MMLU-Pro47.4%自己申告

General

ARC-C84.6%自己申告
PIQA81.0%自己申告
OpenBookQA79.2%自己申告
MBPP0.70 / 100自己申告
MMMLU55.4%自己申告

Language

BoolQ78.0%自己申告
MEGA XStoryCloze73.5%自己申告
BIG-Bench Hard69.0%自己申告
Winogrande68.5%自己申告
MEGA XCOPA63.1%自己申告
MEGA TyDi QA62.2%自己申告
MEGA MLQA61.7%自己申告
MEGA UDPOS46.5%自己申告
SQuALITY24.3%自己申告

Long Context

RULER84.1%自己申告
Qasper41.9%自己申告
GovReport25.9%自己申告
QMSum21.3%自己申告
SummScreenFD16.0%自己申告

Math

GSM8k86.2%自己申告
MATH48.5%自己申告
MGSM47.9%自己申告

Reasoning

HellaSwag69.4%自己申告

AA評価指数

AA評価データがありません

LLM Statsカテゴリスコア

Psychology
70
Reasoning
70
Code
60
Creativity
60
Finance
60
General
60
Healthcare
60
Language
60
Legal
60
Math
60
Physics
60
Long Context
50
Writing
40
Biology
30
Chemistry
30
Summarization
20

価格設定

価格データがありません

速度

速度データがありません

利用可能なプロバイダー

(LS内部単位)

プロバイダーデータがありません

外部リンク

LLM Stats