메인 콘텐츠로 건너뛰기

Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

설명

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

출시일
2024-09-24
파라미터
—
컨텍스트 길이
—
모달리티
image, text

능력 레이더

80
general
80
coding
80
reasoning
51
science추정
80
agents
80
multimodal

전용 과학 벤치마크가 없을 때 Science는 LLM Stats 과학 점수 또는 추론 능력에서 추정합니다.

랭킹

도메인#순위점수소스
멀티모달 랭킹82
49.0
LS

벤치마크 점수 (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU85.9%자체 보고

Language

FLEURS93.3%자체 보고
MMLU-Pro75.8%자체 보고
WMT2375.1%자체 보고

Long Context

MRCR82.6%자체 보고

Math

GSM8k90.8%자체 보고
MGSM87.5%자체 보고
MATH86.5%자체 보고
MathVista68.1%자체 보고
FunctionalMATH64.6%자체 보고
HiddenMath52.0%자체 보고
AMC_2022_2346.4%자체 보고

Multimodal

Video-MME78.6%자체 보고
MMMU65.9%자체 보고
Vibe-Eval53.9%자체 보고

Physics

PhysicsFinals63.9%자체 보고

Reasoning

HellaSwagAI2 (2019)93.3%자체 보고
BIG-Bench Hard89.2%자체 보고
Natural2Code85.4%자체 보고
HumanEvalOpenAI (2021)84.1%자체 보고
DROP74.9%자체 보고
GPQANYU + Cohere + Anthropic (2023)59.1%자체 보고

Safety

XSTest98.8%자체 보고

AA 평가 지수

(Artificial Analysis)

AA 평가 데이터가 없습니다

LLM Stats 카테고리 점수

(LLM Stats (zeroeval))
Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Code
80
Multimodal
70
Vision
70
Physics
60
Biology
60
Chemistry
60

가격

가격 데이터가 없습니다

속도

속도 데이터가 없습니다

공급자 가격 순위

프로바이더 데이터가 없습니다

외부 링크