DeepSeek-V2.5 (Dec '24)
DeepSeekDeepSeekОткрытые весаdeepseek
Описание
DeepSeek-V2.5 is an upgraded version that combines DeepSeek-V2-Chat and DeepSeek-Coder-V2-Instruct, integrating general and coding abilities. It better aligns with human preferences and has been optimized in various aspects, including writing and instruction following.
Дата выхода
2024-12-10
Параметры
236.0B
Длина контекста
164K
Модальности
text
Радар способностей
28
general
60
coding
63
reasoning
42
science
62
agents
0
multimodal
Рейтинги
| Домен | #Место | Оценка | Источник |
|---|---|---|---|
| Общий рейтинг | 482 | 29.0 | AA |
| Наука | 389 | 38.0 | AA |
Оценки бенчмарков (LLM Stats)
(LLM Stats (zeroeval))Chat
MT-Bench
0.90 / 100Сам.
General
MMLU
80.4%Сам.
AlignBench
80.4%Сам.
DS-FIM-Eval
78.3%Сам.
Arena Hard
76.2%Сам.
AlpacaEval 2.0
50.5%Сам.
Math
GSM8k
95.1%Сам.
MATH
74.7%Сам.
Reasoning
HumanEvalOpenAI (2021)
89.0%Сам.
BBH
84.3%Сам.
HumanEval-Mul
73.8%Сам.
Aider
72.2%Сам.
DS-Arena-Code
63.1%Сам.
LiveCodeBench(01-09)
41.8%Сам.
SWE-Bench Verified
16.8%Сам.
Индексы оценки AA
(Artificial Analysis)Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))76.3
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))66.6
Gpqa(NYU + Cohere + Anthropic (2023))42.3
Intelligence Index(Artificial Analysis)6.6
Оценки категорий LLM Stats
(LLM Stats (zeroeval))Roleplay90
Communication90
Chat80
Language80
Legal80
Math80
Finance80
Healthcare80
Reasoning70
General70
Creativity70
Writing70
Code60
Frontend Development20
Цены
Цена вводаБесплатно
Цена выводаБесплатно
Смешанная цена (3:1)Бесплатно
Скорость
Токенов/сек0.0
Задержка первого токена0.00s
Время до первого ответа0.00s
Рейтинг цен провайдеров
Нет данных провайдеров