Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Ocho puntos de índice y una discrepancia de ancho de bits

Ya existe una comparación directa entre N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB y G​oogle Gemma 4 26B A4B, y N​VIDIA la publicó. Se encuentra en la tabla de benchmarks de la ficha del modelo Bolt, donde la columna de G​emma es una línea base que la empresa eligió. Leer esa tabla con atención es la forma más rápida de entender qué son en realidad estos dos modelos, porque los dos checkpoints no compiten por el mismo trabajo, y el propio planteamiento del proveedor lo dice sin rodeos: los modelos de comparación se eligieron por su capacidad de caber en 24GB de memoria con cuantización de 4 bits. Bolt cabe en 24GB por una vía distinta —2.0625 bits por peso en sus capas de expertos— y la brecha entre esas dos estrategias es la historia completa.

Ambos números del título son reales. Artificial Analysis ha medido Bolt en 21 en su Intelligence Index y Gemma 4 26B A4B, en su configuración de razonamiento, en 17. Ninguna de las dos cifras procede de un proveedor, y ambas estaban activas en las páginas de modelos del panel cuando se escribió esto.

La comparación que NVIDIA realizó y la columna que eligió

La tabla de N​VIDIA para Bolt tiene cuatro columnas: Qwen3.6-35B-A3B en BF16, G​emma 4 26B-A4B en BF16, N​emotron 3.5 Lightning 30B-A3B en BF16, y Bolt en IQ2. Todos los números que contiene son reportados por el proveedor y no han sido reproducidos por ningún tercero independiente. Aquí está la columna de G​emma frente a la de Bolt, benchmark por benchmark.

• GDPVal-AA-V2 — G​emma 15,33, Bolt 28,47

• Terminal-Bench 2.1 — Gemma 37,22, Bolt 50,98

• Tau3 Banking — Gemma 14.02, Bolt 17.01

• HLE sin herramientas — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — Gemma 79.61, Bolt 86.43

• AA-LCR recuperación de contexto largo — G​emma 57.56, Bolt 64.06

• PinchBench — G​emma 74.70, Bolt 87.82

• Visión de WebArena — G​emma 38.2, Bolt 50.86

• Precisión de AA-Omniscience — Gemma 22,17, Bolt 16,90. Gemma gana esta fila, y es la única de la tabla en la que lo hace.

• AA-Omniscience no alucinación — G​emma 14.22, Bolt 61.27. Esta es una pérdida grande y específica para la línea de la familia de G​emma, y vale la pena detenerse en ello: la métrica de no alucinación de Omniscience penaliza a un modelo que responde con confianza cuando no sabe algo, y la compilación de G​emma registrada aquí obtiene aproximadamente una cuarta parte de la cifra de Bolt.

Una advertencia se aplica a todo el bloque. NVIDIA lo ejecutó todo, incluida la columna de Gemma, en una compilación BF16 de Gemma frente a una compilación de 2 bits de su propio modelo, y luego reportó el resultado en su propia tarjeta de modelo.

Dos puntos de control, dos regímenes de compresión

Gemma 4 26B A4B es un producto ya lanzado con un año de uso a sus espaldas. Llegó a Hugging Face el 11 de marzo de 2026 bajo Apache 2.0, con 25,2 mil millones de parámetros totales y 3,8 mil millones activos por token, con una pila de atención híbrida que intercala capas locales de ventana deslizante con capas globales, 256K de contexto, soporte nativo de prompts de sistema y visión en todos los tamaños de la familia. Es un modelo que puedes tomar, cuantizar tú mismo a 4 bits y ejecutar, y ya existe un gran ecosistema de cuantizaciones listas para usar.

Bolt es un resultado de compresión que lleva puesta una tarjeta de modelo. N​VIDIA tomó N​emotron 3.5 Super VL 120B-A12B —un checkpoint multimodal de la misma generación— y ejecutó Star Elastic sobre él, una búsqueda de arquitectura guiada por enrutador que debe cumplir con un presupuesto de despliegue estricto, en este caso por debajo de 24 GB con tamaño de lote 1 y contexto de 128K. El top-K de expertos cayó de 22 en el modelo padre a 9. Los pesos de los expertos se cuantizaron luego a IQ2-XXS a 2,0625 bits por elemento con destilación consciente de la cuantización para recuperar precisión, las capas Mamba se dejaron en NVFP4, las capas de embeddings y de salida en Q8_0, y la torre de visión se reconectó después.

El resultado son 74 mil millones de parámetros en un archivo de 24 GB. Eso no es una cuantización de un modelo publicado; es una red de forma diferente que fue buscada bajo una restricción de memoria y luego entrenada para recuperarse.

Por qué el ancho de bits importa más que los parámetros

Pon los dos uno al lado del otro y la lectura intuitiva es que un modelo de 74B supera a uno de 26B. Esa lectura probablemente sea correcta en este caso, y además no es la parte interesante, porque a los dos modelos se les está pidiendo que hagan cosas diferentes con los mismos 24GB.

• Parámetros — Bolt 74B total, 9B activos por token. Gemma 4 26B A4B: 25.2B total, 3.8B activos por token.

• Arquitectura — Bolt: LatentMoE híbrido Mamba-2–Transformer con un codificador de visión C-RADIO v4-H. Gemma: MoE híbrido de atención local/global con una torre de visión y, en otros tamaños de la familia, audio.

• Precisión almacenada — Bolt se distribuye de forma nativa a 2,0625 bits por peso de experto. El repositorio de G​emma es de 16 bits, con compilaciones de 4 bits y de entrenamiento con reconocimiento de cuantización publicadas por separado.

• Contexto — Bolt hasta 256.000 tokens. Gemma 4 26B A4B: 256.000 tokens. Esta fila es un empate, lo que sorprende a quienes asumen que el modelo de 2 bits sacrificó algo aquí. No lo hizo.

• Entradas — Bolt acepta texto, imágenes y video. Gemma 4 26B A4B acepta texto e imágenes; el video llega como fotogramas, y el audio se limita a los miembros más pequeños de la familia.

• Licencia — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, con la política de uso prohibido de Google acompañándola.

• Decodificación especulativa: Bolt incluye un drafter LiLiCorr, conectado a través de DFlash con siete tokens especulativos en la receta de referencia de NVIDIA. Gemma 4 26B A4B no cuenta con un drafter proporcionado por el proveedor; la predicción multi-token aparece en los ajustes finos de la comunidad en lugar de en la versión base.

La consecuencia práctica de la fila de precisión es que la descarga de Bolt ya es la pequeña. No hay otra versión de 2 bits que buscar, porque la versión de 2 bits es el modelo. El 26B de Gemma es un checkpoint de 16 bits que se espera que comprimas, y la versión de 4 bits que la mayoría de la gente realmente servirá es la conversión que alguien hizo de él.

Cuando el modelo más pequeño es la mejor compra

La propia tabla de NVIDIA le da a Gemma dos cosas que merecen tomarse en serio. La precisión de AA-Omniscience favorece a Gemma, con 22,17 frente a 16,90, y la lectura honesta de eso es que la compresión de 2 bits pasó una factura medible a la recuperación de hechos incluso después de la destilación. Cualquiera cuyo flujo de trabajo sea enciclopédico en lugar de agéntico debería darle mucho peso a esa fila.

La licencia es lo segundo. Apache 2.0 es la opción menos gravosa disponible para el despliegue comercial, y OpenMDW-1.1, aunque está redactada para ser permisiva y NVIDIA la ha aprobado explícitamente para uso comercial, es un instrumento más reciente, con menos literatura en torno a él y sin decisiones judiciales que lo interpreten. Los equipos jurídicos han visto una de estas antes, pero no la otra.

Lo tercero es la madurez. Gemma 4 26B A4B se puede descargar desde marzo y se puede invocar desde un endpoint alojado desde la primavera. Existen compilaciones cuantizadas, ajustes finos, recetas de servicio y reproducciones de benchmarks. El repositorio de Bolt se publicó en octubre. No se ha publicado nada independiente sobre su latencia, y no hay cuantizaciones de la comunidad a las que recurrir porque no hay nada que cuantizar.

Cuarto, y algo fácil de pasar por alto: los hermanos de G​emma de 21B o menos incorporan audio de forma nativa. Si el pipeline involucra habla, el 26B A4B es el miembro equivocado de su propia familia, y ningún modelo N​emotron es el adecuado.

Lo que cuesta realmente mantener cada uno

Bolt no tiene precio, y esto no es un descuido en los datos. No hay ningún endpoint alojado para él en ninguna parte, ni una tarifa por uso en la página del modelo de Artificial Analysis, ni ningún proveedor que lo sirva. Ejecutarlo significa poseer la máquina, y la receta de referencia de NVIDIA es un fin de semana en lugar de una tarde: una imagen nightly de vLLM fijada, el paquete de kernel b12x, un plugin de analizador de razonamiento obtenido como un archivo separado, luego configuraciones explícitas para el ejecutor del modelo v2, los backends lineales y MoE, los backends de atención y Mamba, los dtypes de caché de Mamba, prefill fragmentado y una configuración de decodificación especulativa que apunta al drafter LiLiCorr.

Gemma 4 26B A4B tiene un precio en dos lugares. En el catálogo que enrutamos, google/gemma-4-26b-a4b-it aparece a $0.06 por millón de tokens de entrada y $0.33 por millón de salida, con un contexto de 262.144 tokens y un tiempo p50 hasta el primer token de alrededor de 2,8 segundos — esa es nuestra propia cifra medida durante los últimos siete días, no una afirmación del proveedor. Artificial Analysis sigue una combinación de proveedores distinta para el mismo modelo e indica $0.10 de entrada y $0.40 de salida, que es el tipo de diferencia que te dice que el precio es una propiedad del endpoint y no de los pesos. Ambas cifras son honestas; son precios de cosas distintas.

OrcaRouter coloca los modelos que sí enrutamos detrás de una única clave al precio de lista del proveedor, con un 0 por ciento de margen añadido, así que una rebaja de precio del proveedor en un modelo enrutado se refleja en nuestro lado el mismo día, y la conmutación automática por error entre proveedores hace que un problema de capacidad en el origen se reintente en lugar de mostrarse a tus usuarios. No alojamos ningún checkpoint de Nemotron —el catálogo se verificó en lugar de darse por sentado, y la familia no está en él—, así que en esta página esas garantías cubren la mitad Gemma de la comparación y nada más. Lo que valen en la práctica es una forma de probar el modelo más pequeño con tráfico real sin un segundo contrato, mientras decides si el más grande merece el hardware.

Elegir entre un archivo y un servicio

Esta comparación no es reñida en cuanto a capacidad, y no se supone que lo sea. Bolt es un modelo más grande y más capaz que ha sido comprimido con dureza y no se puede alquilar. Gemma 4 26B A4B es un modelo ligeramente más débil que puedes alquilar hoy, y cuyas debilidades están documentadas por personas que no tienen ningún interés en él.

Elige Bolt si la carga de trabajo implica capturas de pantalla, PDFs, fotogramas de vídeo o un navegador, si tiene que ejecutarse sin red y si ya hay en la sala una máquina con un acelerador de clase Blackwell. Acepta que tú serás quien descubra su rendimiento, porque nadie lo ha publicado. Elige Gemma 4 26B A4B si quieres un modelo de texto e imagen que puedes pagar por millones de tokens esta tarde, si necesitas Apache 2.0, o si la recuperación de hechos en un conjunto amplio de preguntas importa más que la finalización de tareas agénticas.

La medición que zanjaría esto es la que nadie ha realizado: una prueba independiente de rendimiento y latencia sobre el checkpoint de 24 GB, y una repetición independiente de la tabla de N​VIDIA con G​emma cuantizado a los mismos 4 bits que el proveedor dice haber seleccionado. Hasta que existan, el caso a favor de Bolt se basa en una tabla del proveedor y un recuento de parámetros, y el caso a favor de G​emma se basa en un año de resultados de otras personas.

Comparaciones como esta son también donde se manifiestan los modos de fallo: los incidentes de IA documentados y los fallos de agentes que hay detrás de los modelos de esta clase se recopilan en the OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.