Gemini 1.5 Pro (Sep '24)

GoogleGeminiProprietary

설명

Gemini 1.5 Pro is a mid-size multimodal model optimized for a wide range of reasoning tasks. It can process large amounts of data at once, including 2 hours of video, 19 hours of audio, codebases with 60,000 lines of code, or 2,000 pages of text.

출시일

2024-09-24

파라미터

—

컨텍스트 길이

—

모달리티

image, text

능력 레이더

general

coding

reasoning

science추정

agents

multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인	#순위	점수	소스
코딩 랭킹	283	31.0	AA
종합 랭킹	291	37.0	AA
수학 추론	162	56.0	AA
과학	306	38.0	AA

벤치마크 점수 (LLM Stats)

Biology

GPQA

59.1%자체 보고

Code

HumanEval

84.1%자체 보고

Finance

MMLU

85.9%자체 보고

MMLU-Pro

75.8%자체 보고

General

Natural2Code

85.4%자체 보고

MRCR

82.6%자체 보고

MMMU

65.9%자체 보고

Vibe-Eval

53.9%자체 보고

Healthcare

WMT23

75.1%자체 보고

Language

FLEURS

93.3%자체 보고

BIG-Bench Hard

89.2%자체 보고

Math

GSM8k

90.8%자체 보고

MGSM

87.5%자체 보고

MATH

86.5%자체 보고

DROP

74.9%자체 보고

MathVista

68.1%자체 보고

FunctionalMATH

64.6%자체 보고

PhysicsFinals

63.9%자체 보고

HiddenMath

52.0%자체 보고

AMC_2022_23

46.4%자체 보고

Multimodal

Video-MME

78.6%자체 보고

Reasoning

HellaSwag

93.3%자체 보고

Safety

XSTest

98.8%자체 보고

AA 평가 지수

Coding Index

23.6

Intelligence Index

10.0

Math 500

0.9

Mmlu Pro

0.8

Gpqa

0.6

Livecodebench

0.3

Scicode

0.3

Aime

0.2

Hle

0.0

LLM Stats 카테고리 점수

Safety

100

Speech To Text

Language

Legal

Long Context

Math

Reasoning

Finance

Healthcare

Code

Multimodal

General

Vision

Physics

Biology

Chemistry

가격

입력 가격무료

출력 가격무료

혼합 가격 (3:1)무료

속도

토큰/초0.0

첫 토큰 지연0.00s

첫 응답 지연0.00s

공급자 가격 순위

프로바이더 데이터가 없습니다

외부 링크

LLM Stats Artificial Analysis