Nanbeige4.3-33B vs Gemma 4 31B: Qué significa realmente una diferencia de 33 puntos en la tabla del proveedor

En la propia tabla de benchmarks de Nanbeige4.3-33B, Gemma 4 31B obtiene 0,0 en Terminal-Bench 4.0. Esa es la fila con la que hay que empezar, porque indica cómo interpretar todos los demás números de esta comparación. Gemma 4 31B es el lanzamiento de pesos abiertos de 30,7 mil millones de parámetros de Google DeepMind, descargable bajo Apache 2.0 desde el 2 de abril de 2026, y los propios materiales de Google le atribuyen 86,4 en uso de herramientas de τ²-bench y 80,0 en LiveCodeBench v6. Un modelo así no falla en todas las tareas de terminal que existen. Un cero es lo que se obtiene cuando un benchmark no puede distinguir entre «no pudo» y «nunca se le entregó un bucle de herramientas funcional».

Nanbeige4.3-33B, en cambio, tiene dos días de vida. Su repositorio se creó el 24 de octubre de 2026 a las 02:49 UTC, su tarjeta de modelo es el único anuncio que Nanbeige ha hecho, y la tabla de 20 filas de esa tarjeta es la única fuente de todas las cifras que circulan actualmente sobre él. Gemma 4 31B aparece en esa tabla como una de las tres columnas de comparación. Ningún laboratorio independiente ha enfrentado estos dos modelos entre sí, y ningún proveedor ha evaluado al otro fuera de esta única tabla. Por lo tanto, la versión honesta de este enfrentamiento no es un marcador. Es una discusión sobre qué filas resisten el escrutinio y cuáles están midiendo el arnés de evaluación.

Lo que cada modelo realmente es

Los dos lanzamientos están separados por seis meses y medio, y los supuestos de diseño lo demuestran.

• Parámetros: Nanbeige4.3-33B es un modelo denso de 33.1B (33,118,977,024 en BF16), con todos los parámetros activos en cada token. Gemma 4 31B es un modelo denso de 30.7B. Ninguno es una mezcla de expertos, por lo que el rendimiento escala con el recuento total de pesos en ambos lados.

• Contexto — Nanbeige4.3-33B ofrece 524.288 tokens de forma nativa. Gemma 4 31B ofrece 262.144. Ambos son inusualmente grandes para la clase de parámetros; el de Nanbeige es el doble.

• Modalidad — Nanbeige4.3-33B es texto de entrada, texto de salida, en inglés y chino. Gemma 4 31B acepta imágenes además de texto, se preentrenó con más de 140 idiomas y ofrece llamadas a funciones nativas y un modo de razonamiento configurable.

• Licencia: ambos son Apache 2.0. Esta es la rara comparación en la que la cuestión de la licencia queda resuelta antes de empezar.

• Pesos en disco: Nanbeige4.3-33B ocupa unos 66 GB en BF16 y aproximadamente 20 GB en 4 bits. Gemma 4 31B está en el mismo rango. Ninguno es un modelo para portátil; ambos son modelos para una sola estación de trabajo o un solo nodo.

Lo único que no está igualado es la distribución. Gemma 4 31B tiene una API gestionada, un endpoint que Artificial Analysis actualmente cataloga con coste cero, y cobertura independiente. Nanbeige4.3-33B tiene pesos, una ficha de modelo y —en palabras de la propia ficha— ningún proveedor de inferencia que lo despliegue. Esa asimetría no es un juicio sobre la calidad, pero cambia lo que cuesta «probarlo».

La columna del proveedor y la propia tarjeta de Google no coinciden.

Dos filas de la tabla de Nanbeige pueden contrastarse con las cifras publicadas por Google, y solo una de ellas coincide.

• AIME 2026 — Nanbeige atribuye a Gemma 4 31B un 89,2. Google informa 89,2. Coincidencia exacta.

• GPQA Diamond — Nanbeige atribuye a Gemma 4 31B un 91.3, y esa es la única fila en la que Gemma supera el propio 89.5 de Nanbeige. La cifra publicada por Google para el modelo es 84.3. Es una discrepancia de siete puntos, y ninguna de las dos fichas explica la configuración que hay detrás.

Esa segunda fila merece atención porque es el único lugar en el que la tabla del proveedor le entrega una victoria al oponente. Si la cifra proviene de una nueva ejecución con el máximo esfuerzo de razonamiento, es un resultado legítimo y Gemma lidera de verdad en preguntas de ciencia de nivel de posgrado. Si proviene de una evaluación configurada de forma diferente, la tabla está comparando dos Gemma distintas. En cualquier caso, la frase «Gemma gana GPQA» que se ha repetido en todos los artículos secundarios esta semana se basa en una cifra que Google no publica.

El resto de la columna de Gemma es más difícil de auditar porque Google reporta benchmarks diferentes. La tabla de Nanbeige sitúa a Gemma en 18,6 en Tau3-Bench; la ficha de Google lo sitúa en 86,4 en τ²-bench. Son versiones distintas de la familia de benchmarks, así que no se contradicen — pero tampoco constituyen una comparación, y la diferencia de 68 puntos entre ambas es una estimación razonable de cuánto pueden mover la puntuación de un mismo modelo la elección del harness y de la versión.

Leer los ceros correctamente

Tres filas de la columna Gemma están casi a cero: 0.0 en Terminal-Bench 4.0, 2.7 en DeepSWE y 3.3 en SWE-Atlas-QnA. Estas son las filas que circulan en las redes sociales, y son los números menos informativos de la tabla.

Una puntuación cercana a cero en un benchmark agéntico tiene al menos tres causas posibles: el modelo no puede completar la tarea, el modelo no puede operar las herramientas que proporciona el arnés, o el arnés estaba ajustado para una plantilla de chat y un formato de llamada a herramientas distintos. La ficha de Nanbeige indica explícitamente que sus propios resultados usaron Terminus 2 para Terminal-Bench 2.1 y mini-swe-agent v2.4.6 para Terminal-Bench 4.0, DeepSWE y SWE-Atlas-QnA. No especifica si a Gemma 4 31B se le proporcionó el mismo andamiaje con su propio formato de llamada a herramientas, o si se le introdujo en el orientado a XML de Nanbeige. Esos escenarios producen cifras muy diferentes, y solo uno de ellos tiene que ver con el modelo.

Esta no es una razón para descartar el resultado de Nanbeige. Nanbeige4.3-33B se construyó en torno a la codificación agéntica —su ficha recomienda un formato de llamada a herramientas XML, preserve_thinking=true para el uso de herramientas en varios turnos y una temperatura de 1.0 para tareas agénticas—, por lo que no sorprende que rinda bien dentro de un arnés creado para él. Es una razón para tratar la columna de Gemma como un límite inferior en lugar de un veredicto.

Los benchmarks de asimetría no cotizan: imágenes

Gemma 4 31B acepta imágenes. Nanbeige4.3-33B no. Esa sola frase decide más despliegues reales que cualquier fila de la tabla.

Si tu agente lee capturas de pantalla, facturas, gráficos, formularios escaneados o estados de la interfaz, Nanbeige4.3-33B no es candidato con ninguna puntuación de benchmark. Necesitarías un modelo de extracción separado delante de él, con su propia latencia, coste y modos de fallo, y la calidad del pipeline sería entonces la del modelo de extracción, no la del 33B. Gemma hace ese paso de forma nativa, y los valores publicados por Google de 76,9 en MMMU-Pro y 85,6 en MATH-Vision sugieren que lo hace de forma competente, no ceremonial.

Por el contrario, si el trabajo es solo de texto —código, registros, documentos largos, trazas de herramientas de varios turnos—, la capacidad de imagen es un peso muerto por el que pagas en cada pasada hacia adelante. Ese es el caso para el que se creó Nanbeige, y representa una gran parte del trabajo agéntico.

512K frente a 256K, y para qué sirve una ventana

La ventana de 524,288 tokens de Nanbeige es el doble de la de 262,144 de Gemma, y ambas cifras son lo bastante grandes como para que la diferencia solo importe en tipos concretos de trabajo.

Una ventana de 256K contiene aproximadamente el equivalente al código fuente de un repositorio de tamaño medio, o varios cientos de páginas de texto. Una ventana de 512K contiene el doble. Para un único documento largo más una respuesta larga, ambas son suficientes; para un agente que acumula la salida de herramientas a lo largo de cientos de turnos, la ventana más grande te da más turnos antes de la summarización o el desalojo. La ficha de Nanbeige recomienda hasta 262.144 tokens nuevos para razonamiento y chat, lo que sugiere que el presupuesto práctico de razonamiento está más cerca de 256K que de los 512K completos. El límite de salida de Gemma se configura habitualmente en 131.072.

Ninguno de los dos proveedores publica aquí un benchmark de recuperación en contexto largo, así que no hay forma honesta de decir cuál de los 512K o 256K de cada una se aprovecha mejor. El tamaño del contexto es una afirmación de capacidad, no de calidad, y ambas tarjetas se limitan a eso.

Cuánto cuesta llamar a cada uno

Gemma 4 31B es el único de estos dos al que puedes llamar como servicio hoy. En OrcaRouter cuesta $0.13 por millón de tokens de entrada y $0.38 por millón de salida, con la entrada en caché a $0.02 — un traslado directo del precio de lista del proveedor sin recargo añadido, que es también la razón por la que un cambio de precio del proveedor llega a nuestro catálogo el mismo día en que se anuncia. Artificial Analysis actualmente indica el endpoint propio de Google a $0.00 de entrada y $0.00 de salida, lo que casi con certeza refleja una tarifa promocional o gratuita en lugar de un precio duradero; trátalo como un canal de prueba, no como una línea presupuestaria.

Nanbeige4.3-33B no tiene un precio por token que cotizar. Los pesos son gratuitos bajo Apache 2.0, y la ficha indica que ningún proveedor de inferencia despliega el modelo. Ejecutarlo implica cuatro GPU con un tamaño de paralelismo tensorial de 4 según las propias recetas de vLLM y SGLang de la ficha, mantenidas en funcionamiento tanto si llegan solicitudes como si no. El coste marginal de un token es entonces tu electricidad y tu tasa de utilización, no una tarifa de catálogo. Cualquiera que compare «$0.13 de entrada» con «gratis» está comparando una factura con un gasto de capital.

Este es también el argumento práctico para mantener un enrutador en el circuito incluso cuando el nuevo modelo está autoalojado. La decisión a la que realmente se enfrentan la mayoría de los equipos no es "reemplazar Gemma", sino "enviar el 5 % del tráfico a lo nuevo y ver qué pasa". Mantener el sistema actual accesible mediante una única clave, con conmutación por error automática si el endpoint del experimento deja de funcionar, convierte eso en un cambio de enrutamiento en lugar de una migración.

Cuando Gemma 4 31B es simplemente la respuesta correcta

Cuatro condiciones resuelven esto sin una tabla de referencia comparativa.

• La carga de trabajo incluye imágenes, PDFs o capturas de pantalla. Gemma, sin discusión.

• Necesitas más que inglés y chino. Gemma se preentrenó en más de 140 idiomas; Nanbeige enumera dos.

• No quieres tener GPUs en propiedad. Gemma ya dispone hoy de un endpoint gestionado; Nanbeige tiene los pesos y una receta de despliegue.

• Necesitas una segunda opinión sobre la calidad. Gemma tiene un Artificial Analysis Intelligence Index de 15, que es modesto pero independiente. Nanbeige no tiene ninguna entrada allí, así que todas las cifras que se dan sobre él son el proveedor corrigiendo sus propios deberes.

Si le damos la vuelta, el caso de Nanbeige es igual de claro: trabajo agéntico solo de texto, una traza larga de uso de herramientas, un equipo con GPU y disposición a ejecutar su formato de herramientas XML recomendado. Para ese tipo de trabajo, la propia tabla de Nanbeige afirma una ventaja de 33,7 puntos en Terminal-Bench 2.1 —80,9 frente a 47,2— y una ventaja de 62,8 puntos en DeepSWE. Esos márgenes son lo bastante grandes como para que probablemente contengan una señal real incluso después de descontar la ventaja del harness. No son lo bastante grandes como para apostar por una ruta de producción sin ejecutar una prueba tú mismo.

Un duelo de repostería por la tarde supera a esta mesa.

Si realmente estás eligiendo entre ellos, la prueba es barata y no requiere creerle a ninguno de los dos proveedores. Toma veinte tareas reales de tus propios registros de agente. Ejecuta cada modelo con su propio formato recomendado de llamada a herramientas y su configuración de pensamiento —XML para Nanbeige, llamada a funciones nativa para Gemma— y puntúa la finalización de tareas, no el parecido con el benchmark. Registra los tokens consumidos por tarea completada, porque un modelo denso de 33B y uno denso de 30,7B diferirán en verbosidad incluso con precios idénticos por token.

Lo que aprenderás en una tarde es si el margen agéntico de Nanbeige sobrevive a su propia ventaja de harness. Hasta que alguien publique eso, el resumen defendible es más limitado que los titulares: Gemma 4 31B es el modelo más fácil de desplegar y el único con una puntuación independiente; Nanbeige4.3-33B es el más ambicioso, con una ventana nativa de 512K y un conjunto de cifras agénticas autodeclaradas que son llamativas, no auditadas y con solo dos días de antigüedad.