Una tarjeta de título generada titulada «HiRO-ACEv2 vs Gemma 4 12B - Dos tipos de pesos abiertos». La tarjeta de la izquierda, Gemma 4 12B, enumera 11,95B de parámetros densos, contexto de 256K y vocabulario de 262K, entrada de texto, imagen y audio, publicada en junio de 2026 con 1,6M de descargas, y servida a aproximadamente $0,10 / $0,30 por 1M. La tarjeta de la derecha, HiRO-ACEv2, indica que no se ha publicado ningún recuento de parámetros, un repositorio de 10,9 GB, salidas de campos climáticos de 3 km, repositorio creado el 12 de octubre de 2026, y que no se sirve en ningún lugar. Un pie de página dice «Cifras de Google según la tarjeta de Gemma 4 12B; cifras de Ai2 según allenai/HiRO-ACEv2». El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
Guides & Insights

HiRO-ACEv2 vs Gemma 4 12B: La comparación solo tiene sentido una vez que dejas de contar parámetros

Autor

Magnus Corvin

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

HiRO-ACEv2 y Gemma 4 12B son ambas descargas con licencia Apache 2.0 con un número en el nombre y un informe técnico detrás, y ahí es casi donde termina el parecido. Gemma 4 12B es el modelo de lenguaje multimodal de 11,95 mil millones de parámetros de Google —texto, imágenes y audio de entrada, texto de salida, una ventana de contexto de 256K tokens, publicado en junio de 2026 y descargado más de un millón de veces. HiRO-ACEv2 es el emulador climático de segunda generación de Ai2, subido a un repositorio de Hugging Face el 12 de octubre de 2026 con aproximadamente 10,9 GB de checkpoints y datos de forzamiento, sin anuncio alguno, y con un artículo que apareció al día siguiente. Uno es un modelo de propósito general al que invocas; el otro es un marco de física que instalas y ejecutas en tu propia máquina.

Planteado como un cara a cara sobre calidad, este enfrentamiento carece de sentido, y fingir lo contrario sería el fracaso fácil de una página como esta. Planteado como una pregunta sobre qué te aportan realmente los pesos abiertos en 2026, es genuinamente instructivo —porque los dos lanzamientos se sitúan en extremos opuestos del espectro de apertura aunque ambos lleven la misma etiqueta de licencia, y las diferencias se hacen evidentes en la primera hora de intentar usar cualquiera de los dos.

Para qué sirve cada uno, en una frase cada uno

Gemma 4 12B toma un prompt —texto, una imagen, un clip de audio o alguna combinación— y produce texto. Tiene una arquitectura sin torre de visión ni codificador que proyecta parches de imagen y formas de onda de audio directamente en el espacio de embeddings del modelo de lenguaje mediante capas lineales, 48 capas, un vocabulario de 262K, una ventana deslizante de 1024 tokens combinada con atención global y aproximadamente 11,95 mil millones de parámetros en bf16. Es explícitamente un modelo denso, y el lanzamiento incluye una tabla completa de benchmarks del proveedor.

HiRO-ACEv2 toma un estado climático con resolución de 100 km y produce campos de 3 km —precipitación, vientos hacia el este y hacia el norte a 10 metros, y presión media al nivel del mar, con frecuencia de seis horas. Es un sistema de dos etapas: un emulador autorregresivo de X-SHIELD con resolución reducida a 100 km, seguido de un modelo de difusión que reduce la escala del resultado a 3 km. Genera campos en cuadrícula al estilo NetCDF, no texto, y no tiene ninguna tabla de referencia.

Esa es toda la comparación en términos estructurales. Uno mapea lengua a lengua. El otro mapea una atmósfera gruesa a una fina.

La única dimensión en la que los dos son honestamente comparables

Los parámetros son el eje equivocado, y la longitud del contexto carece de sentido para uno de ellos. La dimensión que sí se transfiere es cuánto del lanzamiento está terminado.

• Frameworks capaces de cargarlo — Gemma 4 12B se ejecuta en Transformers, vLLM, SGLang, llama.cpp, MLX y una larga cola de compilaciones cuantizadas de la comunidad; HiRO-ACEv2 se ejecuta a través del propio fme de Ai2, un paquete de Python con configuraciones dirigidas al repositorio ai2cm/ace y a nada más.

• Precio de una respuesta — Gemma 4 12B se sirve a aproximadamente $0,10 por millón de tokens de entrada y $0,30 por millón de tokens de salida por parte de los proveedores que lo ofrecen; HiRO-ACEv2 no tiene lista de precios, porque no hay nada por solicitud en él. Su costo son horas de GPU en tu propio hardware, y la afirmación del artículo es que esas horas llegan a ser más de 300 veces menos que un modelo numérico global convencional de resolución de tormentas.

• Quién lo ha reproducido — Las cifras de Gemma 4 12B las reporta el proveedor, pero su despliegue no: cientos de miles de descargas y un amplio corpus de trabajo independiente de profesionales respaldan cada afirmación sobre su comportamiento; las cifras de HiRO-ACEv2 son de los propios autores, de hace dos días, y el repositorio tiene cero descargas al momento de escribir esto.

• A qué se adhiere la etiqueta de licencia — ambas son Apache 2.0. La concesión de Gemma 4 12B es la licencia ordinaria; la de HiRO-ACEv2 viene acompañada de las Directrices de Uso Responsable de Ai2, que mencionan la intención de investigación y educativa, y de sus propios términos de uso aplicable superpuestos.

Salida que puede ser verificada por una persona — un Gemma 4 12B se verifica leyéndolo, o mediante una suite de pruebas que escribas; un campo HiRO-ACEv2 se verifica contra una distribución, por lo que el artículo gira en torno al percentil 99,9999 en lugar de a una puntuación media.

A generated two-column scoreboard titled "HiRO-ACEv2 vs Gemma 4 12B - the scoreboard". Both columns use the same six labels. Gemma 4 12B reads Transformers vLLM SGLang MLX; about $0.10 / $0.30 per 1M tokens; over a million downloads; Apache 2.0; text; benchmark table published, vendor-reported. HiRO-ACEv2 reads Ai2 fme package only; GPU-hours with no rate card; zero downloads; Apache 2.0 with Ai2 research guidelines; 3 km gridded fields; no benchmark table published. A footer reads "Google figures vendor-reported; Ai2 figures author-reported and unreproduced." The OrcaRouter logo is composited bottom-right.

La tabla de benchmark es la diferencia más llamativa

Google publicó una tabla completa para Gemma 4 12B Unified. MMLU Pro con 77,2 %, AIME 2026 sin herramientas con 77,5 %, LiveCodeBench v6 con 72,0 %, un ELO de Codeforces de 1659, GPQA Diamond con 78,8 %, MMMLU con 83,4 %, MMMU Pro con 69,1 %, MATH-Vision con 79,7 %, y una cifra del 43,4 % en la prueba de ocho agujas de MRCR v2 a 128k. Estas son cifras del propio proveedor, no reproducidas por los competidores de Google, y se aplica la advertencia habitual: un benchmark en una ficha de modelo es una afirmación sobre una configuración, no una medición del modelo que vas a ejecutar. Pero cada una de esas filas es un número que un tercero puede intentar refutar en una tarde, y varias de ellas miden capacidades que aparecen en el uso cotidiano.

La ficha de HiRO-ACEv2 no contiene esa tabla. Hace una única afirmación cuantitativa —que el reductor de escala reproduce la tasa de precipitación en superficie, los vientos a 10 metros y las distribuciones de presión a nivel del mar hasta el percentil 99,9999— y luego enumera limitaciones que son más informativas que la mayoría de las tablas de referencia. Nueve años de datos de entrenamiento, de 2014 a 2022. Salidas que reproducen X-SHIELD en lugar de observaciones. Sin aplicabilidad fuera de 66°S a 70°N, y sin capacidad de ejecutarse más allá de 88°S u 88°N. Discontinuidades en los límites de los parches en regiones más grandes que el parche de entrenamiento de 16 por 16 de un grado. Una nota que señala que el checkpoint ACE2S-X-SHIELD incluido está menos rigurosamente evaluado que la línea ACE2-ERA5 anterior.

Ninguna de las dos posturas es deshonesta. Google vende un modelo, así que anuncia lo que el modelo hace. Ai2 publica un artefacto de investigación, así que anuncia lo que el artefacto no puede hacer. Un lector que interpreta la ausencia de una tabla comparativa como prueba de un modelo débil razona mal: la lectura correcta es que la evaluación que este marco necesita es distribucional y ninguna clasificación pública la ejecuta.

Donde se encuentran en un pipeline real

Hay un lugar en el que estos dos pertenecen genuinamente al mismo sistema, y no es una rivalidad. Un flujo de trabajo de emulación climática produce una gran cantidad de texto y código en torno al modelo: scripts que dirigen conjuntos a lo largo de décadas de tiempo simulado, herramientas que validan las formas de NetCDF antes de que una ejecución consuma horas de GPU, la agregación de estadísticas de distribución a lo largo de cientos de rollouts y el trabajo habitual de convertir un artículo en una lista de verificación. Nada de eso es reducción de escala, y todo eso es trabajo con modelos de lenguaje — de ese tipo en el que llamar a un modelo por solicitud, en lugar de alojar uno, es la opción por defecto sensata.

Esa es la capa que cubre OrcaRouter. HiRO-ACEv2 no está en nuestro catálogo y no podría estarlo —no existe un endpoint con medición por tokens para un reductor de escala de difusión—, así que nada de lo que figura aquí debe interpretarse como una afirmación de disponibilidad de ese modelo. Gemma 4 12B tampoco es uno de los modelos Gemma que servimos actualmente; nuestro catálogo incluye los checkpoints Gemma 4 26B-A4B y 31B, y la ruta de inferencia del 12B provendría de dondequiera que lo alojes. Lo que ofrecemos es la capa que lo rodea: una sola clave de API para más de doscientos modelos, el precio de lista del proveedor transferido sin añadir ningún recargo, y conmutación automática en caso de fallo entre proveedores para que un pipeline de varias décadas que también llama a un modelo de lenguaje no se detenga porque un proveedor ascendente haya tenido una mala hora.

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the 262K-token context strip, Vision, Tools, JSON and Reasoning capability badges, a p50 time-to-first-token of 0.10s, a public benchmarks panel dated 2026-04-05, and a community buzz section describing the instruction-tuned variant.

Cómo decidir en menos de un minuto

Pregunta qué forma tiene tu respuesta. Si la salida es texto, una extracción estructurada, un cambio de código o un pie de foto, quieres Gemma 4 12B —o uno de sus hermanos mayores—, y el 12B en concreto es la elección correcta cuando necesitas entrada multimodal en un tamaño que quepa en un único acelerador con espacio para un contexto largo. Si la salida es un campo cuadriculado de 3 km que describe precipitación, viento y presión a lo largo de décadas de clima simulado, ningún modelo de lenguaje lo va a producir y Gemma 4 es irrelevante para tu problema; quieres HiRO-ACEv2, 10,9 GB de descarga, un entorno de Python y una GPU.

La trampa en esta comparación en particular es el número de parámetros. Gemma 4 12B tiene uno; HiRO-ACEv2 no publica ninguno, y los 10.9 GB de almacenamiento del repositorio son en su mayoría datos de forzamiento y condiciones iniciales, no pesos: los dos checkpoints juntos suman unos 4.3 GiB. Juzgar estos dos modelos uno al lado del otro por su tamaño, o por cualquier número aislado, produce una respuesta segura a una pregunta que nadie hizo.

A generated card headed "The parameter trap" listing four rows: Gemma 4 12B has 11.95 billion parameters published by Google; HiRO-ACEv2 has no parameter count published anywhere; the HiRO-ACEv2 repository is 10.9 GB of which checkpoints are about 4.3 GiB; and would a size comparison be meaningful, no. A footer reads "Most of the Ai2 download is forcing and initial-condition data, not weights." The OrcaRouter logo is composited bottom-right.

Comparaciones como esta son también donde se manifiestan los modos de fallo: los incidentes de IA documentados y los fallos de agentes que hay detrás de los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza y marca de disputa.