मुख्य सामग्री पर जाएं
AITier

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

विवरण

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

रिलीज़ तिथि
2024-09-24
पैरामीटर
—
संदर्भ लंबाई
—
मोडैलिटीज़
image, text

क्षमता रडार

29
general
27
coding
50
reasoning
38
science
43
agents
80
multimodal

रैंकिंग

डोमेन#रैंकस्कोरस्रोत
कोडिंग रैंकिंग343
31.0
AA
सामान्य रैंकिंग349
37.0
AA
मल्टीमॉडल रैंकिंग39
50.0
LS
विज्ञान367
38.0
AA

बेंचमार्क स्कोर (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)59.1%स्वयं

Code

HumanEvalOpenAI (2021)84.1%स्वयं

Finance

MMLU85.9%स्वयं
MMLU-Pro75.8%स्वयं

General

Natural2Code85.4%स्वयं
MRCR82.6%स्वयं
MMMU65.9%स्वयं
Vibe-Eval53.9%स्वयं

Healthcare

WMT2375.1%स्वयं

Language

FLEURS93.3%स्वयं
BIG-Bench Hard89.2%स्वयं

Math

GSM8k90.8%स्वयं
MGSM87.5%स्वयं
MATH86.5%स्वयं
DROP74.9%स्वयं
MathVista68.1%स्वयं
FunctionalMATH64.6%स्वयं
PhysicsFinals63.9%स्वयं
HiddenMath52.0%स्वयं
AMC_2022_2346.4%स्वयं

Multimodal

Video-MME78.6%स्वयं

Reasoning

HellaSwagAI2 (2019)93.3%स्वयं

Safety

XSTest98.8%स्वयं

AA मूल्यांकन सूचकांक

(Artificial Analysis)
Coding Index(Artificial Analysis)
23.6
Intelligence Index(Artificial Analysis)
9.9
Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))
0.9
Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))
0.8
Gpqa(NYU + Cohere + Anthropic (2023))
0.6
Livecodebench(UC Berkeley + MIT + Cornell (2024))
0.3
Scicode(UIUC + Argonne National Lab (2024))
0.3
Aime(MAA (Mathematical Association of America))
0.2
Hle(Center for AI Safety + Scale AI (2025))
0.0

LLM Stats श्रेणी स्कोर

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Legal
80
Long Context
80
Math
80
Reasoning
80
Language
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

मूल्य निर्धारण

इनपुट मूल्यमुफ्त
आउटपुट मूल्यमुफ्त
मिश्रित मूल्य (3:1)मुफ्त

गति

टोकन/सेकंड0.0
पहले टोकन में देरी0.00s
पहले उत्तर में देरी0.00s

प्रदाता मूल्य रैंकिंग

कोई प्रदाता डेटा उपलब्ध नहीं

बाहरी लिंक

LLM StatsArtificial Analysis