메인 콘텐츠로 건너뛰기
AITier

Gemini 1.5 Pro (May '24)

GoogleGemini

설명

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

출시일
2024-05-15
파라미터
—
컨텍스트 길이
—
모달리티
—

능력 레이더

24
general
22
coding
32
reasoning
27
science추정
29
agents
80
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
코딩 랭킹322
25.0
AA
종합 랭킹369
30.0
AA
수학 추론238
37.0
AA
멀티모달 랭킹37
79.0
LS
추론4
93.0
LS
과학393
28.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA59.1%자체 보고

Code

HumanEval84.1%자체 보고

Finance

MMLU85.9%자체 보고
MMLU-Pro75.8%자체 보고

General

Natural2Code85.4%자체 보고
MRCR82.6%자체 보고
MMMU65.9%자체 보고
Vibe-Eval53.9%자체 보고

Healthcare

WMT2375.1%자체 보고

Language

FLEURS93.3%자체 보고
BIG-Bench Hard89.2%자체 보고

Math

GSM8k90.8%자체 보고
MGSM87.5%자체 보고
MATH86.5%자체 보고
DROP74.9%자체 보고
MathVista68.1%자체 보고
FunctionalMATH64.6%자체 보고
PhysicsFinals63.9%자체 보고
HiddenMath52.0%자체 보고
AMC_2022_2346.4%자체 보고

Multimodal

Video-MME78.6%자체 보고

Reasoning

HellaSwag93.3%자체 보고

Safety

XSTest98.8%자체 보고

AA 평가 지수

Coding Index
19.8
Intelligence Index
6.3
Math 500
0.7
Mmlu Pro
0.7
Gpqa
0.4
Scicode
0.3
Livecodebench
0.2
Aime
0.1
Hle
0.0

LLM Stats 카테고리 점수

Safety
100
Speech To Text
90
Language
80
Legal
80
Long Context
80
Math
80
Reasoning
80
Finance
80
Healthcare
80
Code
80
Multimodal
70
General
70
Vision
70
Physics
60
Biology
60
Chemistry
60

가격

입력 가격무료
출력 가격무료
혼합 가격 (3:1)무료

속도

토큰/초0.0
첫 토큰 지연0.00s
첫 응답 지연0.00s

공급자 가격 순위

프로바이더 데이터가 없습니다

외부 링크

Artificial Analysis