Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: misma receta, dos techos de memoria

Esta es la única comparación en el árbol genealógico de la familia N​VIDIA N​emotron 3.5 en la que ambos lados fueron construidos por el mismo equipo para el mismo trabajo en dos tamaños diferentes, y el proveedor ya ha realizado la comparación directa por sí mismo. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB y N​VIDIA N​emotron 3.5 Lightning 30B-A3B son ambos checkpoints híbridos de mezcla de expertos Mamba-2 con cabezas de decodificación especulativa, ambos publicados bajo OpenMDW-1.1 para uso comercial, y ambos están pensados para que los ejecute la persona que lee sobre ellos en lugar de alquilarlos a un centro de datos. Lightning se lanzó el 11 de agosto de 2026. Los pesos de Bolt se publicaron el 7 de octubre de 2026 y N​VIDIA lo anunció el 15 de octubre.

La diferencia es un techo de memoria: 24GB para uno, aproximadamente 16GB para el otro en su forma cuantizada, y los ocho puntos del Artificial Analysis Intelligence Index que los separan son lo que compra ese techo.

Una receta, ejecutada en dos tamaños

Lightning llegó primero, y estableció la forma que sigue toda la generación 3.5: una pila híbrida que intercala bloques de espacio de estados Mamba-2 con capas de mezcla de expertos y de atención, cabezas de Predicción Multi-Token para que el modelo pueda generar varios tokens a la vez y verificarlos en paralelo, y borradores complementarios separados —DSpark para despliegues de centros de datos de baja concurrencia, DFlash y, más tarde, el borrador LiLiCorr— que hacen de la decodificación especulativa una configuración soportada en lugar de un truco de investigación. La destilación del profesor N​emotron 3 Ultra es la otra mitad de la receta.

Bolt es la misma receta apuntada a un presupuesto mucho más ajustado. Sus 74B parámetros se comprimen a 24GB mediante Star Elastic, la búsqueda de arquitectura guiada por enrutador de N​VIDIA, que toma un checkpoint padre y busca el número de expertos por capa y el ancho intermedio de MoE que satisfaga una huella de despliegue fija mientras minimiza la pérdida de destilación de conocimiento. En el caso de Bolt, la búsqueda se limitó a menos de 24GB con tamaño de lote 1 y contexto de 128K, el top-K de expertos bajó de 22 en el padre a 9, y luego los pesos de los expertos se cuantizaron a IQ2-XXS con 2.0625 bits por elemento con destilación consciente de la cuantización para recuperar precisión. Las capas Mamba están en NVFP4, y los embeddings y las capas de salida en Q8_0.

El modelo padre de Bolt no es Lightning. Es Nemotron 3.5 Super VL 120B-A12B, el modelo multimodal de 120 mil millones de parámetros que NVIDIA lanzó ese mismo día, por lo que Bolt incluye un codificador de visión C-RADIO v4-H y Lightning no.

El contraste de especificaciones, ambos lados en una sola línea

• Parámetros totales y activos — Bolt: 74B en total, 9B activos por token. Lightning: 30B en total, aproximadamente 3B activos por token.

• Arquitectura — Bolt: LatentMoE híbrido de Mamba-2–Transformer más un codificador de visión C-RADIO v4-H. Lightning: MoE híbrido de Mamba-2 con atención, sin torre de visión.

• Precisión y huella — Bolt: IQ2 a 2,0625 bits por elemento, empaquetado por debajo de 24 GB. Lightning: BF16, NVFP4 y otras versiones cuantizadas publicadas por separado.

• Contexto — Bolt: hasta 256.000 tokens, y cada receta de despliegue es libre de usar menos. Lightning: hasta 1.000.000 de tokens en principio, con aproximadamente 256.000 como techo práctico en una sola H100.

• Entradas y salidas — Bolt: texto, imágenes y video como entrada, texto como salida. Lightning: texto como entrada, texto como salida.

• Licencia — OpenMDW-1.1 para ambos, autorizada por NVIDIA para uso comercial y no comercial.

• Decodificación especulativa — Bolt: el drafter LiLiCorr mediante DFlash, siete tokens especulativos en la receta de referencia. Lightning: cabezas MTP más los drafters DFlash y DSpark.

• Índice de Inteligencia — Bolt: 21,4, cuarto de 67 en su clase de tamaño, medido de forma independiente por Artificial Analysis. Lightning: 12,9, medido de forma independiente.

• Precio — Bolt: no hay ninguna tarifa por uso medido en ningún lugar; Artificial Analysis no enumera ningún precio de entrada ni de salida y no hay un endpoint alojado publicado. Lightning: $0.06 por millón de tokens de entrada y $0.20 por millón de tokens de salida según lo registrado por Artificial Analysis, con entrada en caché alrededor de $0.006.

• Velocidad de salida — Bolt: no se ha publicado ninguna medición independiente. Lightning: 305 tokens de salida por segundo con 0,57 segundos hasta el primer token, ambas medidas de forma independiente, lo que se encuentra entre las cifras más rápidas del tablero del panel.

El propio cara a cara del proveedor, léalo con atención

La tarjeta de modelo de NVIDIA para Bolt publica una tabla en la que Lightning es una de las tres líneas base, y vale la pena leerla como un argumento en lugar de como un marcador, porque la compañía seleccionó pruebas comparativas en las que gana su nuevo modelo.

• Terminal-Bench 2.1 — Bolt 50,98 frente a los 23,46 de Lightning. Ambos ejecutados por el proveedor, ambos sobre la compilación BF16 de Lightning.

• GPQA Diamond — Bolt 86,43 frente a los 75,57 de Lightning.

• BrowseComp — Bolt 66,75 frente a los 36,81 de Lightning.

• HLE sin herramientas — Bolt 25,30 frente a 10,47 de Lightning.

• PinchBench — Bolt 87,82 frente a los 83,43 de Lightning, un margen mucho más estrecho que el de los demás y coherente con la afirmación de N​VIDIA de que Bolt es el modelo abierto número uno de su clase en ese benchmark.

• AA-Omniscience sin alucinaciones — Bolt 61,27 frente al 68,81 de Lightning. Lightning gana esta, y es la fila que N​VIDIA decidió publicar de todos modos, lo que es un punto a favor de la tabla.

• Precisión de AA-Omniscience — Bolt 16,90 frente a los 16,63 de Lightning. En la práctica, un empate, y el par de números más débil de la tabla en términos absolutos.

Cada cifra de esa lista está reportada por el proveedor en la ficha del modelo y no ha sido reproducida. Desde entonces, Artificial Analysis ha medido de forma independiente las dos puntuaciones del índice —21,4 y 12,9—, y la dirección coincide, que es lo máximo que se puede decir hoy.

Cuando el modelo más pequeño es la mejor respuesta

La brecha del índice es real, y no es el único eje. Lightning gana en tres filas que importan para implementaciones específicas.

Es más rápido por un factor que nadie ha medido en el lado de Bolt. 305 tokens de salida por segundo con un tiempo hasta el primer token inferior a un segundo es una clase distinta de capacidad de respuesta de cualquier cosa que un checkpoint no medido de 74B en 2 bits pueda alcanzar según las suposiciones actuales, y está medido. El rendimiento publicado del propio Bolt, 83,99 tokens por segundo en AIPerf SPEED-Bench-Coding con el drafter LiLiCorr activo, procede de la página de investigación de NVIDIA en una máquina de clase portátil y no es comparable con el banco de pruebas del panel.

Tiene cuatro veces el contexto. Un millón de tokens frente a 256.000, y la diferencia se nota en la puntuación independiente de recuperación en contextos largos: Lightning registra 49,19 en AA-LCR en la tabla de NVIDIA, y Bolt, 64,06; Bolt es mejor usando contexto largo, pero Lightning es el único de los dos que anuncia una ventana de un millón de tokens, así que, si la carga de trabajo consiste en «leer todo el repositorio», puede que el techo importe más que la calidad de recuperación dentro de él.

Es el único de los dos con un precio. Lightning está disponible a $0.06 de entrada y $0.20 de salida por millón de tokens, lo que lo convierte en infraestructura invocable en lugar de un proyecto de hardware. Nadie ha publicado una tarifa de alojamiento para Bolt, así que la única forma de ejecutarlo es poseer la máquina.

Lo que Lightning no puede hacer es ver. Es solo texto, y Bolt acepta imágenes y video mediante el codificador C-RADIO v4-H, con una puntuación de 50.86 en WebArena vision, donde Lightning no figura. Si el agente lee capturas de pantalla, abre PDFs o controla un navegador, esa fila por sí sola decide la elección — y es la fila que proviene del linaje Super VL de Bolt, y no de su número de parámetros.

Lo que cuesta realmente ejecutar Bolt

La receta de serving de referencia de NVIDIA para el checkpoint de 24 GB no es un único comando que se pegue. Fija una imagen nightly específica de vLLM, instala el paquete de kernels b12x y descarga los kernels, obtiene por separado un archivo de plugin del parser de razonamiento y, después, configura el model runner v2, los backends lineales y de MoE en b12x, los backends de atención y Mamba en FlashInfer, dtypes explícitos de caché de Mamba, una bandera de chunked-prefill y una configuración de decodificación especulativa que apunta al drafter LiLiCorr con siete tokens de borrador. Los parsers de llamadas a herramientas y de razonamiento se nombran explícitamente, y los límites de medios restringen una solicitud a una imagen y un video con una tasa de poda de video de 0,5.

La historia de despliegue de Lightning es un contenedor de Docker, un endpoint compatible con OpenAI y un nombre de modelo que también puedes obtener de un proveedor alojado a seis centavos por millón de tokens. En la práctica, esa diferencia es toda la comparación: Bolt es un fin de semana de trabajo y una máquina que posees; Lightning es una tarde y una factura.

Cómo elegir, y qué lo resolvería

Elige Lightning si tu carga de trabajo es texto, tu presupuesto de latencia es ajustado y tus necesidades de contexto son grandes o prefieres pagar por token en lugar de comprar hardware. Su perfil independiente —la velocidad de salida medida más rápida de su clase, primer token en menos de un segundo, un precio publicado— lo convierte en la opción de menor riesgo de la familia, y la puntuación de inteligencia más baja tiene el precio correspondiente. También es la opción predeterminada correcta si planeas combinar un ejecutor local pequeño con un planificador alojado más grande, que es exactamente como N​VIDIA lo posiciona.

Elige Bolt si tu agente toca píxeles o se ejecuta sin red. La fila de visión es exclusiva de él, el razonamiento a escala de 74B está ocho puntos de índice por delante, y la envoltura de 24 GB es la única de la familia que hace caber un checkpoint destilado de un profesor de 74B en un único acelerador de clase consumidor. Acepta que estás ejecutando el planificador alojado en GPU localmente y que lo pagas con una latencia que aún no puedes predecir.

Para la mitad alojada de cualquiera de las dos arquitecturas, OrcaRouter coloca los modelos que sí enrutamos detrás de una única clave al precio de lista del proveedor con un 0 % de recargo, y la conmutación por error automática entre proveedores hace que un problema de capacidad en el origen se reintente en lugar de mostrarse. No alojamos ningún modelo Nemotron —el catálogo se comprobó en lugar de darse por supuesto, y la familia no aparece en él—, así que el lado local de esta comparación no se ve afectado por nada de lo que hacemos. Lo que aporta una configuración enrutada es un plan B para el planificador mientras evalúas, lo cual importa aquí porque ninguno de estos dos checkpoints tiene un perfil de latencia independiente publicado con el que puedas dimensionar una ruta de producción.

Lo que resolvería la elección es un número que aún no existe: una prueba independiente de rendimiento y latencia sobre el checkpoint de 24 GB con tamaño de lote uno. Hasta que alguien lo publique, el argumento a favor de Bolt se apoya enteramente en las dos cosas que Lightning no puede igualar —escala de parámetros y visión—, y el argumento a favor de Lightning se apoya en cuatro números medidos de forma independiente.

Lo que los números no pueden decirte es si algo de esto ha salido mal sobre el terreno: los incidentes de IA documentados y los fallos de agentes en torno a los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.