Saltar al contenido principal

Gemma 3 12B Instruct

GoogleGemmaOpen WeightGemma · Uso Comercial

Descripción

Gemma 3 12B is a 12-billion-parameter vision-language model from Google, handling text and image input and generating text output. It features a 128K context window, multilingual support, and open weights. Suitable for question answering, summarization, reasoning, and image understanding tasks.

Fecha de lanzamiento
2025-03-12
Parámetros
12.0B
Longitud del contexto
131K
Modalidades
image, text

Radar de capacidades

20
general
15
coding
31
reasoning
23
scienceest.
26
agents
80
multimodal

Science usa un proxy de razonamiento cuando los benchmarks científicos dedicados no están disponibles.

Rankings

Dominio#PosiciónPuntuaciónFuente
Ranking de codificación459
8.0
AA
Ranking general421
24.0
AA
Razonamiento matemático253
33.0
AA
Ranking multimodal46
76.0
LS
Razonamiento96
48.0
LS
Ciencia431
22.0
AA

Puntuaciones de benchmarks (LLM Stats)

Biology

GPQA40.9%Aut.

Code

HumanEval85.4%Aut.
LiveCodeBench24.6%Aut.

Factuality

FACTS Grounding75.8%Aut.
SimpleQA6.3%Aut.

Finance

MMLU-Pro60.6%Aut.

General

IFEval88.9%Aut.
Natural2Code80.7%Aut.
MBPP0.73 / 100Aut.
Global-MMLU-Lite69.5%Aut.
MMMU (val)59.6%Aut.
BIG-Bench Extra Hard16.3%Aut.

Image To Text

DocVQA87.1%Aut.
VQAv2 (val)71.6%Aut.
TextVQA67.7%Aut.

Language

BIG-Bench Hard85.7%Aut.
WMT24++51.6%Aut.
ECLeKTic10.3%Aut.

Math

GSM8k94.4%Aut.
MATH83.8%Aut.
MathVista-Mini62.9%Aut.
HiddenMath54.5%Aut.

Multimodal

AI2D84.2%Aut.
ChartQA75.7%Aut.
InfoVQA64.9%Aut.

Reasoning

Bird-SQL (dev)47.9%Aut.

Índices de evaluación AA

Math Index
18.3
Intelligence Index
3.4
Math 500
0.9
Mmlu Pro
0.6
Ifbench
0.4
Gpqa
0.3
Aime
0.2
Aime 25
0.2
Scicode
0.2
Livecodebench
0.1
Tau2
0.1
Lcr
0.1
Hle
0.0
Terminalbench Hard
0.0

Puntuaciones por categoría LLM Stats

Instruction Following
90
Structured Output
90
Image To Text
80
Grounding
80
Math
70
Multimodal
70
Vision
70
Legal
60
Reasoning
60
Finance
60
Healthcare
60
Code
60
Language
50
General
50
Physics
40
Factuality
40
Biology
40
Chemistry
40

Precios

Precio de entrada$0.09 / 1M tokens
Precio de salida$0.29 / 1M tokens
Precio mixto (3:1)$0.14 / 1M tokens

Velocidad

Tokens/seg0.0
Retraso del primer token0.00s
Tiempo hasta la respuesta0.00s

Ranking de Precios por Proveedor

Ranking de Precios por Proveedor

6 proveedores

Más barato: ChutesMás caro: Cloudflare AI Gateway
ProveedorEntradaSalida
1ChutesMás barato
$0.03
$0.1
2Helicone
$0.05
$0.1
3Amazon Bedrock
$0.05
$0.1
4GooglePRINCIPAL
$0.09
$0.29
5NanoGPT
$0.272
$0.272
6Cloudflare AI Gateway
$0.35
$0.56

Comparar precios entre diferentes proveedores de API para este modelo.

Fuentes externas