Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

설명

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

출시일

2024-09-24

파라미터

—

컨텍스트 길이

—

모달리티

image, text

능력 레이더

general

coding

reasoning

science

agents

multimodal

랭킹

도메인	#순위	점수	소스
코딩 랭킹	417	31.0	AA
종합 랭킹	417	33.0	AA
멀티모달 랭킹	91	48.0	LS
과학	444	32.0	AA

벤치마크 점수 (LLM Stats)

(LLM Stats (zeroeval))

General

MMLU

85.9%자체 보고

Language

FLEURS

93.3%자체 보고

MMLU-Pro

75.8%자체 보고

WMT23

75.1%자체 보고

Long Context

MRCR

82.6%자체 보고

Math

GSM8k

90.8%자체 보고

MGSM

87.5%자체 보고

MATH

86.5%자체 보고

MathVista

68.1%자체 보고

FunctionalMATH

64.6%자체 보고

HiddenMath

52.0%자체 보고

AMC_2022_23

46.4%자체 보고

Multimodal

Video-MME

78.6%자체 보고

MMMU

65.9%자체 보고

Vibe-Eval

53.9%자체 보고

Physics

PhysicsFinals

63.9%자체 보고

Reasoning

HellaSwagAI2 (2019)

93.3%자체 보고

BIG-Bench Hard

89.2%자체 보고

Natural2Code

85.4%자체 보고

HumanEvalOpenAI (2021)

84.1%자체 보고

DROP

74.9%자체 보고

GPQANYU + Cohere + Anthropic (2023)

59.1%자체 보고

Safety

XSTest

98.8%자체 보고

AA 평가 지수

(Artificial Analysis)

Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))

87.6

Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))

75.0

Gpqa(NYU + Cohere + Anthropic (2023))

58.9

Livecodebench(UC Berkeley + MIT + Cornell (2024))

31.6

Coding Index(Artificial Analysis)

23.6

Aime(MAA (Mathematical Association of America))

23.0

Intelligence Index(Artificial Analysis)

7.9

Hle(Center for AI Safety + Scale AI (2025))

4.6

LLM Stats 카테고리 점수

(LLM Stats (zeroeval))

Safety

100

Speech To Text

Language

Legal

Long Context

Math

Reasoning

Finance

General

Healthcare

Code

Multimodal

Vision

Physics

Biology

Chemistry

가격

입력 가격무료

출력 가격무료

혼합 가격 (3:1)무료

속도

토큰/초0.0

첫 토큰 지연0.00s

첫 응답 지연0.00s

공급자 가격 순위

프로바이더 데이터가 없습니다

외부 링크

LLM Stats Artificial Analysis