Nemotron 3.5 Bolt 24 GB: qué puso realmente NVIDIA en un archivo de 24 GB

El número principal no es la cantidad de parámetros. Es la cantidad de bytes. El 15 de octubre de 2026, N​VIDIA lanzó N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB, un modelo de agente de visión-lenguaje cuyos 74.000 millones de parámetros ocupan 23,75 GB en el formato que la mayoría de la gente descargará realmente — un GGUF de 22,02 GB más un archivo proyector de visión de 1,73 GB. Ambas cifras provienen del propio listado de archivos del repositorio publicado, no de la publicación del blog, y son la razón por la que el nombre termina en un número. Esto es lo que ese número te da, lo que oculta y lo que no incluye.

¿Qué se lanzó, y cuándo?

La sala de prensa de N​VIDIA enmarcó el 15 de octubre como una expansión de la familia, y no como el lanzamiento de un único modelo: N​emotron 3.5 Super VL, un modelo multimodal de 120 mil millones de parámetros con 12 mil millones de parámetros activos, llegó junto con el checkpoint Bolt, y un hermano mucho más pequeño, N​emotron 3.5 Bolt E4B 4GB, está fechado para el 23 de octubre. Bolt se une a N​emotron 3.5 Lightning (agosto) y N​emotron 3 Ultra en una familia que ahora abarca razonamiento en centros de datos, servicio de alto rendimiento y agentes locales de borde.

El lanzamiento es genuinamente nuevo, y además es ligeramente más antiguo que el anuncio. El repositorio de Hugging Face nvidia/N​VIDIA-N​emotron-3.5-Bolt-74B-A9B-24GB se creó el 7 de octubre de 2026; la tarjeta del modelo que contiene tiene una fecha de lanzamiento del 15 de octubre, la misma fecha en la que la propia página de investigación de N​VIDIA está marcada como «Publicado». Ocho días de archivos a la vista del público antes de una sola palabra de explicación es un patrón normal para un proveedor que lanza bajo coordinación de embargo con el hardware —los portátiles RTX Spark están fechados el 16 de octubre, el día después del anuncio—, y vale la pena saber qué mitad del registro público de este modelo vino de una decisión de marketing y cuál de un listado de archivos.

¿Cómo caben 74.000 millones de parámetros en 24 gigabytes?

Dos mecanismos, y son separables.

El primero es estructural. Bolt no es un modelo más pequeño entrenado desde cero; es el padre Super 3.5 VL comprimido mediante un algoritmo que NVIDIA llama Star Elastic, una búsqueda de arquitectura guiada por enrutador que tenía que cumplir una restricción —una huella de despliegue por debajo de 24 GB con tamaño de lote 1 y contexto de 128K— perdiendo la menor precisión de destilación de conocimiento posible. Lo que produjo es un híbrido de mezcla de expertos de 74B en total / 9B activos, con el top-K de expertos fijado en 9, mientras que el padre usaba 22. El propio planteamiento de NVIDIA sobre el resultado es contundente y verificable: para un presupuesto de memoria fijo, comprimir un modelo grande supera a entrenar uno pequeño.

El segundo es la precisión, y es ahí donde reside la mayor parte del ahorro.

• Pesos de expertos — capas FC1 y FC2 enrutadas y compartidas cuantizadas a IQ2_XXS a 2,0625 bits por elemento, que constituyen la mayor parte del modelo por número de parámetros.

• Capas Mamba — NVFP4, un formato de punto flotante de 4 bits, y solo en las capas donde la precisión adicional vale más bytes.

• Embeddings, cabeza de salida, atención y los pesos latentes de MoE — Q8_0.

• Recuperación: destilación consciente de la cuantización en lugar de una pasada post-hoc de redondeo al más cercano, que es la diferencia entre un modelo comprimido y uno roto.

Leer eso en conjunto y los «24GB» dejan de ser un resumen de marketing y se convierten en una asignación de presupuesto. Los expertos de 2 bits son baratos por byte y numerosos; las capas que importan para la estabilidad conservan 4 u 8 bits.

La cifra de 24GB, cotejada con los archivos

La afirmación sobrevive a una auditoría, lo cual no siempre es cierto.

• Pesos GGUF — 22.018.326.528 bytes, o 22,02 GB decimales, en un solo archivo.

• Proyector de visión — 1.733.692.736 bytes, o 1,73 GB, se distribuye por separado como mmproj, que es como llama.cpp recibe imágenes y video como entrada.

• Compilación de Safetensors — el mismo modelo en fragmentos listos para vLLM totaliza 24.12GB repartidos en 90 archivos, ligeramente por encima de la cifra anunciada.

• Referencia BF16 — 149,8 GB en 63 fragmentos, publicada por separado para quien quiera ajustar en lugar de inferir.

Sobre eso se asientan dos salvedades honestas. Primero, los pesos no son un modelo en ejecución. La receta de vLLM que publica N​VIDIA fija la caché KV en fp8 y establece el contexto servido en 262.144 tokens con max-num-seqs 1 — una sola secuencia concurrente. Esa es la diferencia entre caber en 24GB y ejecutarse rápido en 24GB, y es el tipo de detalle que el titular sobre el tamaño de memoria nunca incluye. Segundo, 24GB es el número que se le dio a la búsqueda de arquitectura, no un número medido en tu máquina: la sobrecarga del controlador, el sistema operativo y todo lo demás que haya en el portátil quedan fuera de ese número, y es precisamente por eso que la propuesta es «que se ejecute junto a tus aplicaciones» en lugar de «que se ejecute en lugar de ellas».

La afirmación de velocidad, y la máquina en la que se midió

NVIDIA lo diseñó para al menos 80 tokens por segundo y reporta 83,99 en AIPerf SPEED-Bench-Coding. Ese número necesita tres piezas de contexto antes de que signifique algo: se produjo con llama.cpp en Windows 11 ARM x64, en un Surface Laptop Ultra con 128 GB de memoria, con el borrador especulativo LiLiCorr adjunto y siete tokens de borrador por paso. El borrador no es un adorno opcional — es un checkpoint complementario de 1,13B cuyo único propósito es aumentar la longitud de aceptación (NVIDIA reporta medias de 4,68 con decodificación voraz y 4,25 con muestreo a concurrencia 64 en vLLM). Quita el borrador y estarás midiendo un modelo diferente.

The second speed figure is the more interesting one, because it is a completion time rather than a rate: 600.80 seconds of replay duration on AA-AgentPerf Local, against 453.97 for Qwen3.6 35B-A3B, 480.68 for Gemma 4 26B-A4B and 1,043.28 for Qwen3.8 27B — all from N​VIDIA's own table, all on the same hardware. Bolt wins that row by finishing the same agent trajectories faster than a smaller model, and loses the throughput row to both of the others at 83.99 against 96.63 and 100.56 tokens per second. Fast and quick are not the same measurement, and this is a model that trades the second for the first.

Lo que dice la medición independiente

Una cifra del registro público sobre Bolt no fue producida por NVIDIA: el Artificial Analysis Intelligence Index le otorga 21, lo que lo sitúa en cuarto lugar de 67 modelos de su clase. Ese panel tampoco reporta velocidad ni costo para él, porque no hay una API pública a la que llamar — y enumera la modalidad de entrada del modelo como texto e imagen, no video, lo cual es una interpretación más limitada que la del proveedor.

La misma página señala que el modelo generó 230M tokens durante su evaluación, lo que etiqueta como muy verboso frente a una mediana de 100M. El razonamiento que produce más tokens en la misma tarea no es automáticamente peor, pero cuesta algo en un dispositivo local donde cada token es generado por un ventilador.

Everything else in circulation is vendor-reported. N​VIDIA's own thirteen-benchmark table, in which Bolt leads its memory class on PinchBench and sits second on WebArena and BrowseComp, compares against models chosen partly for fitting in 24GB at 4-bit — a peer group defined by a constraint Bolt was engineered to satisfy. It is not dishonest; it is also not a ranking of agent models in general, and the one cell that goes the other way is instructive: at 16.90 on AA-Omniscience accuracy, Bolt trails Gemma 4 26B-A4B at 22.17 in the same table.

¿Qué no está en la caja?

No hay endpoint. Ni tarifa por uso, ni proveedor que lo sirva, ni forma de evaluarlo con tu propio tráfico sin completar el despliegue. Lo que sí hay, en cambio, es soporte en tiempo de ejecución que llegó en el lanzamiento en lugar de meses después: llama.cpp y el checkpoint GGUF, Ollama, LM Studio, Unsloth para el ajuste fino, y vLLM para el checkpoint cuantizado en DGX Spark y el checkpoint BF16 en otros entornos. El propio blog de NVIDIA menciona a esos cinco por su nombre, y la amplitud es el verdadero producto aquí: un archivo de 24 GB solo es útil si lo que lo carga ya existe en tu máquina.

El alcance del hardware es más amplio de lo que sugiere el relato del lanzamiento sobre los portátiles RTX Spark: se mencionan los PC GeForce RTX, DGX Spark, DGX Station y las estaciones de trabajo RTX PRO, y la ficha del modelo incluye Ampere, Hopper y Blackwell para la ruta vLLM.

La licencia es OpenMDW-1.1, que es lo bastante permisiva como para construir sobre ella y lo bastante poco familiar como para que la revisión legal sea un paso real y no una mera formalidad — algo que conviene saber antes de que una decisión de arquitectura dependa de ella.

Un desliz de copiar y pegar en el propio blog técnico de NVIDIA coloca la lista de checkpoints bajo el encabezado "Nemotron 3.5 Super VL 74B-A9B 24GB" en lugar de Bolt. Es una errata en un lanzamiento apresurado, no una bifurcación en la familia, pero es un recordatorio útil de que las páginas de proveedores escritas el día del anuncio son borradores con una fecha de publicación encima.

Para equipos que también llaman a modelos que no son suyos

La mitad de un stack de agentes que se ejecuta localmente y la mitad alojada suelen ser el mismo proyecto, y Bolt solo aborda una de ellas. OrcaRouter no aloja ningún checkpoint de Nemotron —eso se comprobó con nuestro propio catálogo en lugar de darlo por sentado—, así que nada de esto es una promoción de un modelo que servimos. Lo que hacemos es el otro lado de un despliegue mixto: una sola clave para más de 200 modelos al precio de lista del proveedor sin margen añadido, conmutación por error automática cuando un proveedor falla a mitad de una solicitud, y un DSL de enrutamiento para describir una cadena de respaldo como configuración en lugar de código de aplicación. Si Bolt ejecuta la mitad local, esa es la mitad que nunca aparece en una factura; la cuestión del enrutamiento es qué ocurre con el resto.

Qué ver

Tres cosas determinarán la reputación de este modelo, y ninguna de ellas está en el anuncio.

La primera es la latencia independiente en hardware real. Los 83,99 tokens por segundo de N​VIDIA son un benchmark controlado con un modelo de borrador especulativo adjunto; alguien acabará publicando lo que hace en un portátil que ejecuta un navegador y un editor al mismo tiempo, y esa cifra importará más que esta. La segunda es la variante E4B del 23 de octubre, que pone a prueba si la receta de compresión escala a la baja o solo funciona a un tamaño. La tercera es si alguien fuera de N​VIDIA hace post-entrenamiento del checkpoint BF16, porque un artefacto de despliegue de 24 GB con una licencia abierta y un artefacto de personalización de 150 GB junto a él es un lanzamiento deliberado de dos vías, y la segunda vía es la que decide si esto se convierte en una plataforma o en un checkpoint.

Por ahora, el hecho se sostiene por sí solo. Un agente multimodal de 74.000 millones de parámetros cabe en la memoria de un portátil que cuesta menos que una estación de trabajo, se ejecuta a aproximadamente 84 tokens por segundo con un modelo de borrador adjunto, obtiene 21 puntos en el único índice independiente que lo ha medido, y nadie puede llamarlo como API. Esa es una combinación específica e inusual, y vale la pena precisar cuál de las dos mitades necesitas.

Nada de eso es hipotético: los fallos documentados de IA y los incidentes de agentes detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, severidad, grado de confianza e indicador de disputa.