ZoomGain-9B vs Gemma 4 12B: la fila que falta en el benchmark

Veintiocho modelos fueron evaluados en el benchmark ZoomGain en el momento de su lanzamiento. Cuatro sistemas frontera de código cerrado, cuatro modelos de visión agéntica, cuatro especialistas de grano fino y dieciséis generalistas abiertos. G​emma no está entre ellos —ni G​emma 4 12B, ni Gemma 4 31B, ni ninguno de la serie E. Esa omisión es el hecho más útil a la hora de comparar ZoomGain-9B y G​emma 4 12B, porque significa que toda tabla de «ZoomGain vs G​emma» que pudieras construir tiene un hueco, y este artículo trata de lo que ambos modelos son en realidad, no de un número que no existe.

Los dos están lo bastante cerca en tamaño como para invitar a la comparación y lo bastante lejos en propósito como para hacerla engañosa. ZoomGain-9B es un checkpoint de visión-lenguaje de 9B de inclusionAI, entrenado posteriormente mediante aprendizaje por refuerzo con 9.000 preguntas extraídas de recortes, publicado el 10 de noviembre de 2026 con un artículo pero sin anuncio. G​emma 4 12B es el modelo multimodal unificado sin codificador de 11,95B de G​oogle DeepMind, publicado el 23 de mayo de 2026, Apache 2.0, con 1,8 millones de descargas y 1.730 me gusta en el último mes. Uno es un instrumento de investigación con una única capacidad demostrada. El otro es un producto con una licencia, un conjunto de documentación, seis cuantizaciones y medio año de uso por parte de la comunidad.

Lo que realmente es cada uno

Gemma 4 12B es el miembro arquitectónicamente más interesante de la familia Gemma 4. Los modelos E2B, E4B y 31B utilizan codificadores dedicados —una torre de visión de aproximadamente 150 M de parámetros en los pequeños, de aproximadamente 550 M en el 31B— y pasan los embeddings al modelo de lenguaje. El 12B no lo hace. Proyecta los parches de imagen y las formas de onda de audio sin procesar directamente en el espacio de embeddings del decodificador mediante capas lineales ligeras, que es lo que significa «Unified» en su nombre, y es la razón por la que este modelo admite audio y el 31B no.

Su forma: 48 capas, tamaño oculto 3,840, intermedio 15,360, 16 cabezas de consulta frente a 8 cabezas KV con dimensión de cabeza 256, un vocabulario de 262,144 tokens y 262,144 posiciones máximas. Cuarenta de sus cuarenta y ocho capas son atención de ventana deslizante a 1,024 tokens; ocho son atención completa, y la capa final siempre es global. Tres modalidades de entrada, salida de texto, contexto de 256K y un rol de sistema nativo.

ZoomGain-9B está construido al revés. Su tronco textual es Qwen3.5-9B —32 capas, dimensión oculta de 4.096, intermedia de 12.288, una pauta 3:1 de atención lineal a atención completa, 262.144 posiciones máximas— con una torre de visión añadida por el modelo base en lugar de inventada aquí. Sobre ese tronco, los autores ejecutaron GRPO con 9.000 preguntas cuyas respuestas dependen de detalles visibles solo al ampliar una región. El modelo no se entrenó como asistente general ni se presenta como tal.

• Parámetros — G​emma 4 12B 11.95B vs ZoomGain-9B aproximadamente 9.4B (18.82 GB en BF16 frente al tamaño de archivo del 12B).

• Modalidades — G​emma 4 12B acepta texto, imagen, vídeo y audio; ZoomGain-9B acepta texto e imagen. El audio no es una carencia en la implementación de ZoomGain, está ausente de su configuración.

• Contexto — G​emma 4 12B documenta 256K. La ficha de ZoomGain-9B no documenta nada; su configuración hereda 262.144 posiciones del tronco Qwen3.5-9B, lo cual no equivale a una propiedad probada del checkpoint ajustado.

• Licencia — G​emma 4 12B Apache 2.0 con un archivo de licencia nombrado. ZoomGain-9B: código Apache 2.0, los términos del checkpoint se remiten a una tarjeta que no lleva ninguna etiqueta de licencia.

• Distribución — G​emma 4 12B se distribuye como BF16, QAT q4_0 GGUF a 6,98 GB con un proyector de 0,18 GB, y se compila desde ggml-org, unsloth y litert; ZoomGain-9B se distribuye como BF16 más GGUF en F16, Q8_0 y Q4_K_M a partir del 11 de noviembre.

• Documentación — G​emma 4 12B tiene un blog de lanzamiento, un informe técnico, recetarios de frameworks y una página de licencia. ZoomGain-9B tiene un artículo, un repositorio y una ficha que no indica una longitud de contexto.

Por qué la fila faltante no es un descuido que puedas despachar con un gesto

El benchmark ZoomGain está diseñado para exponer un fallo: un modelo que no puede resolver un pequeño detalle dentro de un marco grande. Los autores evalúan el reconocimiento de atributos, el conteo y el OCR en 1.000 preguntas y 941 imágenes, en inglés y chino, con coincidencia exacta en opción múltiple y en enteros, y ANLS con un umbral mínimo de 0,7 para OCR. En esa prueba, el mejor de veintiocho modelos alcanza 61,08, y solo cinco superan los 50.

G​emma 4 12B no se ha ejecutado en él. Tampoco ningún otro G​emma. Eso te deja con dos opciones, y solo una de ellas es honesta. Puedes poner el MMMU Pro 69.1 y el MATH-Vision 79.7 de G​emma frente al promedio de 66.10 de ZoomGain en datos reservados y llamarlo una comparación, lo cual es comparar una amplia suite multimodal con un promedio de trece benchmarks de percepción y produce un número sin significado. O puedes decir lo que es cierto: nadie ha medido a estos dos con la misma regla, y si la pregunta te importa, el benchmark es descargable y puedes ejecutarlo tú mismo en una tarde.

La segunda opción es más barata de lo que parece. ZoomGainBench se distribuye como anotaciones, imágenes y un evaluador; la evaluación acepta un endpoint compatible con OpenAI o un checkpoint local, se ejecuta a temperatura 0 con el pensamiento desactivado y reporta resultados por pregunta. G​emma 4 12B se ejecuta en vLLM o llama.cpp. Esa es una comparación directa real que podrías realizar, y el hecho de que los autores del benchmark no incluyeran un G​emma es informativo en sí mismo — el modelo estuvo disponible durante seis meses antes de que se publicara este benchmark.

Dónde tiene Gemma 4 12B los números, y qué significan

Estas son las propias cifras de Google de la ficha del modelo, no reproducidas por un laboratorio neutral:

• MMMU Pro 69.1 — la suite de razonamiento multimodal, y lo más parecido en la ficha de Gemma a una declaración de competencia visual.

• MATH-Vision 79.7 — razonamiento matemático sobre diagramas e imágenes.

• OmniDocBench 1.5 distancia de edición promedio de 0,164 — análisis de documentos, donde cuanto menor, mejor; el 31B alcanza 0,131.

• MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 sin herramientas — el lado textual, que ZoomGain-9B no reclama en absoluto.

• τ² promedio de 69.0 y llamada a funciones nativa — uso agéntico de herramientas.

• MRCR v2 de ocho agujas a 128K, 43,4%: recuperación de contexto largo y la cifra que más resta fuerza al titular de 256K.

La última merece énfasis. Una ventana de 256K no son 256K de atención utilizable, y que Google publique una puntuación de recuperación que cae al 43,4 % a 128K es más franqueza de la que ofrecen la mayoría de las fichas. Si tu carga de trabajo consiste en «encontrar un dato en un documento grande», la ventana de Gemma 4 12B es real, pero su recuperación en profundidad es mediocre, y no existe una medición equivalente para ZoomGain-9B porque no se ejecutó ninguna evaluación de contexto largo sobre él.

Donde ZoomGain-9B tiene los números y la salvedad adjunta a cada uno

Todo reportado por los autores, en el arnés publicado:

• HR-Bench 4K 90.25, frente a 82.13 del Qwen3.5-9B del que proviene. Percepción de alta resolución, y la afirmación principal del lanzamiento.

• V*Bench 93.19, frente a 86.91. Detección de objetos pequeños en escenas recargadas.

• MMVP 70.00, un aumento desde 60.00. La prueba de imágenes emparejadas en la que dos imágenes casi idénticas tienen respuestas correctas diferentes — el análogo existente más cercano a aquello para lo que se entrenó a ZoomGain.

• ZoomGainBench: 55.48, frente a 32.13. La columna held-in, inflada por construcción, y los autores lo admiten.

• Promedio en datos no vistos de 66.10 en trece benchmarks, frente a 59.75. El número que significa algo.

Las salvedades, en orden de cuánto deberían preocuparte. Primero, nadie fuera de la lista de autores ha reproducido nada de esto. Segundo, el benchmark y los datos de entrenamiento provienen de un mismo pipeline, y por eso el artículo excluye su propio benchmark del promedio de datos reservados: una disciplina que merece reconocimiento. Tercero, el conjunto de entrenamiento tiene 9.000 registros, lo bastante pequeño como para que las mejoras puedan ser limitadas incluso cuando sean reales. Cuarto, el modelo no tiene ningún endpoint alojado y, en el momento de escribir esto, tiene un mapeo de proveedores vacío en el Hub.

El coste, en los términos que realmente lo deciden

Gemma 4 12B en QAT q4_0 pesa 6,98 GB más un proyector de 0,18 GB. Eso cabe en un portátil de 16 GB con espacio de sobra y en una tarjeta de 8 GB con esfuerzo. ZoomGain-9B en Q4_K_M pesa 5,63 GB más 0,52 GB de proyector; en Q8_0 pesa 9,53 GB más 0,62 GB. El 9B es la descarga más pequeña en todas las precisiones porque es el modelo más pequeño, y su tronco dominado por atención lineal implica una caché KV más corta en longitudes de secuencia largas, lo que importa si le pasas imágenes de alta resolución en vez de texto largo.

Hoy no se puede invocar ninguno de los dos a través de nosotros. Gemma 4 12B no está en el catálogo de OrcaRouter, y ZoomGain-9B tampoco, así que la declaración honesta es que ambos son decisiones de autoalojamiento o de API de proveedor. Lo que sí alojamos es Gemma 4 26B A4B a $0.06 por millón de tokens de entrada y $0.33 por millón de tokens de salida con una ventana de 262K — la misma familia, con cuatro veces el presupuesto de parámetros activos, y una forma legítima de averiguar si el perfil de análisis de documentos de Gemma encaja con tu flujo de trabajo antes de que descargues nada. Una sola clave cubre eso y más de 200 modelos adicionales a precio de lista sin margen adicional, así que una comparativa entre un endpoint de visión y un modelo de texto económico cuesta una tarde en lugar de tres contratos.

Elige por el puesto, no por el rango

Si la tarea es un pequeño detalle dentro de una imagen grande —un número de serie en un dispositivo, el texto de un cartel lejano, el color de un objeto entre cuarenta, un recuento de ventanas en una fachada—, ZoomGain-9B es el indicado para ello, con la salvedad de que sus pruebas son autoinformadas y hay que leer su licencia. Su arquitectura está optimizada precisamente para el modo de fallo con el que te estás encontrando.

Si la tarea es cualquier otra cosa visual —leer un documento de varias páginas, describir una escena, responder una pregunta sobre un gráfico, tomar audio además de imágenes, llamar a una función después—, G​emma 4 12B es el producto terminado, y la comparación deja de ser reñida. Tiene preentrenamiento en 140 idiomas, llamada nativa a herramientas, una ventana de 256K con una curva de recuperación publicada, seis cuantizaciones y una licencia que puedes entregar a legal sin necesidad de explicación.

Si la tarea es ambas cosas, la respuesta honesta es que estas dos son capas de un mismo pipeline en lugar de alternativas. El agente documental realista de 2026 analiza con un modelo multimodal general y escala los recortes que importan a un especialista en percepción, y la escalada es donde reside la ingeniería interesante, porque implica decidir cuándo un detalle merece una segunda llamada. Ese es un problema de enrutamiento, y es por eso que nos importa: una regla que envía la llamada barata al modelo barato y la escalada a cualquier endpoint que supere tu umbral es un solo cambio de configuración, y el failover significa que un especialista atascado no bloquea el pipeline.

El veredicto, expresado en la forma que respaldan las pruebas.

G​emma 4 12B es la compra más segura en todos los aspectos que no sean un benchmark de percepción: licencia, documentación, distribución, amplitud, comunidad y el hecho de que G​oogle publique cifras con las que se puede discutir. ZoomGain-9B es el modelo más interesante y, posiblemente, la mejor herramienta para una tarea concreta, según unas pruebas que aún no ha comprobado nadie que no haya escrito el artículo.

El siguiente paso correcto depende de con cuál de esas oraciones te hayas visto estando de acuerdo. Si fue la primera, descarga el QAT GGUF y deja de leer. Si fue la segunda, descarga ZoomGainBench junto con los pesos —941 imágenes, 1.000 preguntas, un evaluador y una cifra que puedes producir tú mismo— y ejecuta G​emma a través de él. Serías entonces la primera persona en haberlo hecho, y sabrías algo sobre ambos modelos que ninguno de los dos proveedores sabe actualmente.