Una tarjeta de título generada que dice 'Aion-1.0-Instruct-2.3B vs Gemma 4 12B' con el subtítulo 'Cinco veces los pesos y diez veces la evidencia', sobre una comparación de barras horizontales de 2,29B frente a 11,95B parámetros y tres insignias: '1 día de evidencia comunitaria', '7 meses de evidencia comunitaria' y 'Ambos reportados por el proveedor'.
Guides & Insights

Aion-1.0-Instruct-2.3B vs. Gemma 4 12B: Cinco veces los pesos y diez veces la evidencia

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Ponga Aion-1.0-Instruct-2.3B junto a G​emma 4 12B y la diferencia de parámetros es lo menos interesante de ellos. El checkpoint de Microsoft tiene 2,29 mil millones de parámetros y se publicó en Hugging Face el 18 de noviembre de 2026 sin ningún anuncio; el de G​oogle DeepMind tiene 11,95 mil millones, Apache 2.0, y se puede descargar desde mayo de 2026 con una ficha del modelo que muestra una tabla de evaluación completa y una comunidad que ya ha descargado los pesos más de un millón de veces. La diferencia interesante es que a uno de estos modelos lo han examinado desconocidos y al otro no lo ha examinado nadie.

Esta es una comparación entre dos lanzamientos abiertos, no entre dos API, así que cada afirmación que aparece a continuación se puede verificar descargando algo. Las cifras de Aion-1.0-Instruct-2.3B provienen de la ficha del modelo y del config.json de su repositorio, ambos consultados directamente hoy. Las cifras de G​emma 4 12B provienen de la ficha del modelo de G​oogle, y sus números de benchmark son los propios del proveedor: reportados, no reproducidos de forma independiente, una distinción que importa para ambos modelos aquí.

La tabla comparativa que nadie puede completar de forma uniforme

Seis dimensiones, ambos lados, y una nota donde uno de los lados simplemente no tiene nada que poner en la celda.

• Parámetros — Aion-1.0-Instruct-2.3B es un modelo denso de ~2.29B con embeddings atados; G​emma 4 12B es un modelo denso de 11.95B en 48 capas.

• Licencia — MIT para Aion, Apache 2.0 para G​emma. Comercialmente, ambas son efectivamente sin restricciones; MIT es ligeramente más sencilla de cumplir porque no conlleva una concesión de patentes que haya que considerar.

• Contexto: 32,768 tokens frente a 256K, una diferencia de ocho veces que decide si un repositorio entero cabe en un solo prompt.

• Entradas — solo texto frente a texto, imagen y audio, con el truco definitorio de {{1}}G​emma 4 12B{{/1}} de que no tiene codificadores separados: los parches de imagen y las formas de onda de audio se proyectan directamente en el espacio de embeddings del decodificador.

• Idiomas — ocho para Aion (inglés, alemán, español, portugués, italiano, francés, chino y japonés, con datos multilingües en aproximadamente el 6 % del entrenamiento); más de 140 declarados para G​emma.

• Evaluación publicada — Aion: 11 benchmarks en un harness con nombre, todos ejecutados por el proveedor. G​emma: más de 15 benchmarks además de filas de visión, audio y contexto largo, todos ejecutados por el proveedor.

Qué dicen los once números de Microsoft

La ficha de Aion es más franca que la mayoría de los lanzamientos discretos. Indica que los benchmarks se ejecutaron en lm-evaluation-harness de EleutherAI cuando existía una implementación de la tarea y, en caso contrario, en el repositorio propio de cada benchmark, que GPT-4o evaluó aquellos que dependen de un juez y, a continuación, imprime las puntuaciones: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

Dos de ellos llevan un calificador en la columna de notas —GSM8K es «coincidencia flexible» e IFBench es «laxa a nivel de prompt»—, y la ficha no los oculta. Ese es el tipo de divulgación que un equipo de marketing elimina y un equipo de evaluación deja. También significa que las cifras deben leerse como un mínimo y no como un argumento de venta: un 33,35 en MMLU-Pro y un 28,18 en GPQA no son cifras con las que nadie elegiría abrir.

La ficha es igualmente directa sobre lo que el modelo no puede hacer. Su sección de limitaciones dice que un modelo pequeño de este tamaño «puede pasar por alto detalles sutiles, hacer afirmaciones erróneas o mostrar incapacidad para seguir razonamientos complejos de varios pasos», y su sección de recomendaciones dice que el modelo «no fue entrenado para destacar en conocimiento del mundo». Esas son palabras del proveedor, no nuestras, y coinciden con las puntuaciones en lugar de contradecirlas.

A dónde van en realidad los nueve mil millones de parámetros extra de G​emma

La ficha de Gemma 4 12B enumera MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 sin herramientas 77.5, LiveCodeBench v6 72.0, Codeforces ELO 1659, Tau2 promediado en tres ejecuciones en 69.0, BigBench Extra Hard 53.0 y MMMLU 83.4. También imprime MMMU Pro 69.1 y MATH-Vision 79.7 para visión, CoVoST 38.5 y FLEURS 0.069 para audio, y 55.3 en RULER a 128K.

Comparar esos datos directamente con la tabla de Aion sería deshonesto, porque casi ninguno de los benchmarks se comparte, los harnesses difieren y uno es un modelo solo de texto que se evalúa frente a uno multimodal en tareas que recompensan un entrenamiento diferente. Lo que sí se puede decir es direccional y contundente: en las dos filas donde coinciden los nombres de los benchmarks, MMLU-Pro y MMMLU, Gemma informa 43,8 y 37,9 puntos más, respectivamente. Eso no es una rareza de puntuación. Es lo que compran 9,7 mil millones de parámetros adicionales y siete meses más de post-entrenamiento.

La observación más útil es lo que G​emma hace con su tamaño. Su atención híbrida intercala capas locales de ventana deslizante de 1.024 tokens con atención global completa, y las capas globales comparten claves y valores y aplican RoPE proporcional: ingeniería orientada directamente a mantener plana la memoria de contexto largo. Aion hace el mismo tipo de cosas a menor escala con una ventana deslizante de 2.048 tokens en 21 de sus 28 capas. Ambos modelos resuelven el mismo problema; uno tiene cinco veces el presupuesto para resolverlo.

Footprint es la única columna en la que Aion gana de forma contundente

En bfloat16, Aion-1.0-Instruct-2.3B ocupa unos 4,6 GB. G​emma 4 12B ocupa aproximadamente 24 GB antes de tocar un cuantizador, lo que lo sitúa en una GPU de estación de trabajo o en un portátil muy cuantizado, y lo aleja por completo de un teléfono. Eso no es una crítica a G​emma —nunca estuvo dirigido a un teléfono—, pero es la razón entera por la que existe el modelo de Microsoft. El planteamiento de la tarjeta es Windows en el dispositivo: tareas de texto y del sistema operativo, en la máquina, sin que los datos salgan nunca de ella.

La salvedad honesta es que la ventana de 32K se alcanza mediante escalado, no mediante entrenamiento con esa longitud. La configuración registra original_max_position_embeddings de 2.048 con factor YaRN 16 solo en las capas de atención completa, y no se ha publicado ninguna evaluación de contexto largo del modelo. Por tanto, "32K" es un techo configurado, no una capacidad demostrada. El 256K de G​emma tiene al menos una fila de RULER que lo respalda, ejecutada por el proveedor y con 55,3: modesta, pero presente.

La decisión sobre el factoring, no la decisión del modelo

Estos dos pertenecen a capas distintas de un mismo producto, y normalmente así es como los equipos terminan usándolos. Aion-1.0-Instruct-2.3B se encarga de la pasada en el dispositivo: censurar datos, resumir, reescribir, clasificar y mantener el documento en local. G​emma 4 12B se encarga de los casos que requieren leer una captura de pantalla, transcribir un clip de audio, mantener en contexto una base de código de 100K tokens o cubrir un idioma fuera de los ocho de Aion. Ninguno reemplaza al otro, y el error que hay que evitar es elegir el modelo pequeño para una tarea que necesita el grande solo porque el pequeño se puede descargar gratis.

Cuando ambos se invocan desde una misma base de código, el coste operativo no son los tokens —es el segundo SDK, la segunda política de reintentos y el segundo conjunto de credenciales. Ahí es donde un enrutador se gana su lugar: OrcaRouter pone más de 200 modelos detrás de una sola clave con 0 % de recargo sobre el precio de lista del proveedor, con conmutación por error automática y un DSL de enrutamiento que puede enviar una solicitud por una cadena de modelos en lugar de a uno solo. Para ser precisos sobre lo que está y no está en nuestro catálogo hoy: la familia G​emma 4 está parcialmente presente —las variantes 26B A4B y 31B están listadas—, mientras que G​emma 4 12B y Aion-1.0-Instruct-2.3B no lo están, porque la primera es una versión de pesos autoalojada y la segunda no tiene ningún endpoint alojado en ninguna parte. El argumento del enrutamiento se aplica a cualesquiera hermanos de estos modelos con los que termines mezclándolos, no a estos dos checkpoints en sí.

Una orden de despliegue que falla de forma segura

Empieza por G​emma 4 12B con la carga de trabajo que ya tienes, porque puedes medirla. Su ficha te da un denominador, sus pesos son estables, y cualquier regresión que observes es tuya y no un artefacto de una subida de hace tres días.

Luego toma Aion-1.0-Instruct-2.3B y ejecútalo contra el segmento concreto que pretendes llevar al dispositivo —por ejemplo, resumen de hilos de correo electrónico u ocultación de contenido en documentos— usando tus propios datos y tu propio umbral de precisión. No uses su MMLU como sustituto de tu tarea; la propia ficha del modelo advierte que no fue entrenado para conocimiento del mundo, y un 55.15 en MMLU te dice más sobre trivialidades que sobre si tus resúmenes superan la revisión.

Solo entonces decide si la pasada local sustituye a una llamada alojada o se sitúa delante de una. El patrón que funciona es el aburrido: el modelo pequeño hace la primera pasada en local, con control de confianza, y los casos difíciles se escalan a algo más grande. Eso te da la propiedad de privacidad en la mayoría del tráfico y mantiene el techo de calidad donde debe estar.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

La ficha de Google consigna las cifras con las que la ficha de Aion todavía no puede compararse de forma justa: MMLU Pro 77.2, GPQA Diamond 78.8, MMMU Pro 69.1 y una ventana de 256K, todas reportadas por el proveedor.

¿Qué haría que este fuera un artículo diferente?

Bastaría con una ejecución independiente del harness de Aion-1.0-Instruct-2.3B. En el momento de escribir esto, el repositorio tenía tres «me gusta» y cero descargas registradas, así que no hay ninguna evidencia de la comunidad: ni hilos en foros, ni builds cuantizadas, ni evaluaciones de terceros. La ficha promete versiones cuantizadas próximamente; cuando llegue un GGUF, la historia local deja de ser teórica y los recuentos de descargas empiezan a significar algo.

Hasta entonces, la comparación se mantiene tal cual: Gemma 4 12B es una opción conocida con un coste real, y Aion-1.0-Instruct-2.3B es un modelo muy pequeño, muy nuevo y documentado con honestidad cuya propiedad más valiosa es que funciona donde la red no llega.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

La ficha de Microsoft es la fuente de la cifra de 2.29B parámetros, los ocho idiomas admitidos y la fecha de corte de conocimiento de 2025-12; sus marcas de tiempo son la única señal de lanzamiento que existe.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Lado a lado: la dimensión en la que Aion gana (huella) y aquellas en las que no (contexto, modalidades, idiomas y la profundidad de la evidencia detrás de las cifras).