Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

설명

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

출시일

2024-09-24

파라미터

—

컨텍스트 길이

—

모달리티

image, text

능력 레이더

general

coding

reasoning

science

agents

multimodal

랭킹

도메인	#순위	점수	소스
코딩 랭킹	343	31.0	AA
종합 랭킹	349	37.0	AA
멀티모달 랭킹	39	50.0	LS
과학	367	38.0	AA

벤치마크 점수 (LLM Stats)

(LLM Stats (zeroeval))

Biology

GPQANYU + Cohere + Anthropic (2023)

59.1%자체 보고

Code

HumanEvalOpenAI (2021)

84.1%자체 보고

Finance

MMLU

85.9%자체 보고

MMLU-Pro

75.8%자체 보고

General

Natural2Code

85.4%자체 보고

MRCR

82.6%자체 보고

MMMU

65.9%자체 보고

Vibe-Eval

53.9%자체 보고

Healthcare

WMT23

75.1%자체 보고

Language

FLEURS

93.3%자체 보고

BIG-Bench Hard

89.2%자체 보고

Math

GSM8k

90.8%자체 보고

MGSM

87.5%자체 보고

MATH

86.5%자체 보고

DROP

74.9%자체 보고

MathVista

68.1%자체 보고

FunctionalMATH

64.6%자체 보고

PhysicsFinals

63.9%자체 보고

HiddenMath

52.0%자체 보고

AMC_2022_23

46.4%자체 보고

Multimodal

Video-MME

78.6%자체 보고

Reasoning

HellaSwagAI2 (2019)

93.3%자체 보고

Safety

XSTest

98.8%자체 보고

AA 평가 지수

(Artificial Analysis)

Coding Index(Artificial Analysis)

23.6

Intelligence Index(Artificial Analysis)

9.9

Math 500(OpenAI (2024), subset of Hendrycks et al. MATH (2021))

0.9

Mmlu Pro(TIGER-Lab (Univ. of Waterloo, Toronto, CMU, 2024))

0.8

Gpqa(NYU + Cohere + Anthropic (2023))

0.6

Livecodebench(UC Berkeley + MIT + Cornell (2024))

0.3

Scicode(UIUC + Argonne National Lab (2024))

0.3

Aime(MAA (Mathematical Association of America))

0.2

Hle(Center for AI Safety + Scale AI (2025))

0.0

LLM Stats 카테고리 점수

(LLM Stats (zeroeval))

Safety

100

Speech To Text

Legal

Long Context

Math

Reasoning

Language

Finance

General

Healthcare

Code

Multimodal

Vision

Physics

Biology

Chemistry

가격

입력 가격무료

출력 가격무료

혼합 가격 (3:1)무료

속도

토큰/초0.0

첫 토큰 지연0.00s

첫 응답 지연0.00s

공급자 가격 순위

프로바이더 데이터가 없습니다

외부 링크

LLM Stats Artificial Analysis