Passer au contenu principal

Qwen2.5 Turbo

AlibabaQwen
Date de sortie
2024-11-18
Paramètres
Longueur du contexte
1.0M
Modalités
text

Radar de capacités

23
general
16
coding
38
reasoning
25
scienceest.
60
agents
0
multimodal

Science utilise un proxy de raisonnement lorsque les benchmarks scientifiques dédiés ne sont pas disponibles.

Classements

Domaine#RangScoreSource
Classement codage386
18.0
AA
Classement général387
29.0
AA
Raisonnement mathématique193
47.0
AA
Science426
23.0
AA

Scores de benchmarks (LLM Stats)

3d

SUNRGBD0.36 / 100Aut.
Hypersim0.13 / 100Aut.

Agents

GDPval-AA985.00 / 3000Aut.
t2-bench79.5%Aut.
BFCL-V472.2%Aut.
AndroidWorld_SR66.4%Aut.
BrowseComp63.8%Aut.
FullStackBench en62.6%Aut.
WideSearch60.5%Aut.
FullStackBench zh58.7%Aut.
OSWorld-Verified58.0%Aut.
TIR-Bench53.2%Aut.
Terminal-Bench 2.049.4%Aut.
VITA-Bench33.6%Aut.
DeepPlanning24.1%Aut.

Biology

GPQA86.6%Aut.

Chemistry

SuperGPQA67.1%Aut.

Code

SWE-Bench Verified72.0%Aut.

Communication

Multi-Challenge61.5%Aut.

Embodied

EmbSpatialBench0.84 / 100Aut.

Finance

MMLU-Pro86.7%Aut.
MMLU-ProX82.2%Aut.

General

MMLU-Redux94.0%Aut.
IFEval93.4%Aut.
C-Eval91.9%Aut.
Global PIQA88.4%Aut.
MAXIFE87.9%Aut.
MMMLU86.7%Aut.
MMMU83.9%Aut.
MMStar82.9%Aut.
Include82.8%Aut.
LiveCodeBench v678.9%Aut.
MMMU-Pro76.9%Aut.
IFBench76.1%Aut.
SimpleVQA0.62 / 100Aut.
LongBench v260.2%Aut.
NOVA-6358.6%Aut.

Grounding

RefCOCO-avg0.91 / 100Aut.
ScreenSpot Pro70.4%Aut.
RefSpatialBench0.69 / 100Aut.

Healthcare

VideoMMMU82.0%Aut.
SlakeVQA81.6%Aut.
MedXpertQA67.3%Aut.
PMC-VQA63.3%Aut.

Image To Text

OCRBench92.1%Aut.

Language

LingoQA80.8%Aut.
WMT24++78.3%Aut.

Long Context

MLVU87.3%Aut.
LVBench74.4%Aut.
AA-LCR66.9%Aut.
MMLongBench-Doc0.59 / 100Aut.

Math

HMMT 202591.4%Aut.
HMMT2590.3%Aut.
MathVista-Mini87.4%Aut.
MathVision86.2%Aut.
DynaMath85.9%Aut.
CodeForces0.85 / 3000Aut.
PolyMATH68.9%Aut.
Humanity's Last Exam47.5%Aut.

Multimodal

VLMsAreBlind96.7%Aut.
AI2D93.3%Aut.
V*93.2%Aut.
MMBench-V1.192.8%Aut.
OmniDocBench 1.589.8%Aut.
VideoMME w sub.87.3%Aut.
VideoMME w/o sub.83.9%Aut.
CC-OCR81.8%Aut.
CharXiv-R77.2%Aut.
MVBench76.6%Aut.
MMVU74.7%Aut.
BabyVision40.2%Aut.
ZEROBench-Sub0.36 / 100Aut.
Nuscene15.4%Aut.
ZEROBench0.09 / 100Aut.

Reasoning

CountBench0.97 / 100Aut.
BrowseComp-zh69.9%Aut.
Hallusion Bench67.6%Aut.
ERQA62.0%Aut.
Seal-044.1%Aut.
OJBench39.5%Aut.

Spatial Reasoning

RealWorldQA85.1%Aut.

Vision

ODinW44.5%Aut.

Indices d'évaluation AA

Intelligence Index
6.3
Math 500
0.8
Mmlu Pro
0.6
Gpqa
0.4
Livecodebench
0.2
Scicode
0.2
Aime
0.1
Hle
0.0

Scores par catégorie LLM Stats

Legal
100
Finance
100
Agents
76
General
46
Reasoning
19
Biology
90
Image To Text
80
Instruction Following
80
Language
80
Math
80
Physics
80
Structured Output
80
Embodied
80
Grounding
80
Healthcare
80
Chemistry
80
Text-to-image
80
Video
80
Long Context
70
Multimodal
70
Spatial Reasoning
70
Frontend Development
70
Economics
70
Vision
70
Search
60
Code
60
Communication
60
Tool Calling
60
Spatial
20
3d
20

Tarification

Prix d'entrée$0.05 / 1M tokens
Prix de sortie$0.2 / 1M tokens
Prix mixte (3:1)$0.088 / 1M tokens

Vitesse

Tokens/sec112.1
Délai du premier token1.02s
Temps de réponse1.02s

Classement des Prix par Fournisseur

Classement des Prix par Fournisseur

5 fournisseurs

Moins cher: AlibabaPlus cher: LLM Gateway
FournisseurEntréeSortie
1AlibabaPRINCIPAL
$0.05
$0.2
2302.AI
$0.343
$1.372
3Alibaba (China)
$0.345
$1.377
4NanoGPT
$1.5997
$6.392
5LLM Gateway
$1.6
$6.4

Comparer les prix entre différents fournisseurs API pour ce modèle.

Sources externes