Nemotron 3.5 Bolt E4B 4GB: qué se lanzó realmente y por qué el nombre induce a error

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB se publicó en Hugging Face el 23 de octubre de 2026, y lo primero que merece la pena decir al respecto son las cuentas: el archivo ocupa 6,18GB. El nombre dice 4GB. Ambas cifras son reales, miden cosas distintas, y la diferencia entre ellas es el dato más útil del lanzamiento.

El blog técnico de NVIDIA denomina 4GB al envolvente de memoria previsto para las cargas de trabajo objetivo del modelo: un presupuesto para lo que el modelo debería ocupar mientras una aplicación se ejecuta junto a él. No es un recuento de parámetros ni un tamaño de descarga. El checkpoint en sí es de 8B en total con 4B de parámetros efectivos, entrenado posteriormente a partir de Gemma-4-E4B-it, y publicado en exactamente dos precisiones: una compilación BF16 de 15.88GB y un GGUF Q4_K_M de 6.18GB. Si llegaste buscando un archivo de cuatro gigabytes para colocar en un dispositivo, no hay ninguno en el repositorio.

Vale la pena decirlo con claridad porque el resto del lanzamiento es inusualmente legible. La ficha del modelo es detallada, el informe técnico es público y la tabla de latencia medida abarca cuatro dispositivos. Lo que falta es la verificación independiente, y la propia ficha lo dice.

El comunicado, reconstruido a partir de lo que es público

Este no tuvo un lanzamiento. Tuvo una nota al pie y luego una entrada de blog.

• 5 de octubre de 2026 — se crean los repositorios de Hugging Face para las compilaciones Q4_K_M y BF16. Ninguno de los dos está poblado con pesos.

• 15 de octubre de 2026 — NVIDIA anuncia la familia Nemotron 3.5: Super VL 120B-A12B y Bolt 74B-A9B 24GB, ambos disponibles ese día. El E4B recibe dos frases y una fecha: llegará el 23 de octubre.

• 23 de octubre de 2026 — se publican los pesos Q4_K_M y BF16, se publica la ficha del modelo y el laboratorio de investigación de NVIDIA publica una entrada de blog técnico y un informe técnico. No hay comunicado de prensa corporativo, y la cobertura del lanzamiento que siguió al anuncio del 15 de octubre no se repite en este caso.

Así que «lanzado discretamente» es exacto, pero «secreto» no lo sería. NVIDIA nombró el modelo, le puso fecha y luego lo documentó debidamente ese mismo día. Lo que no hizo fue poner el E4B delante de los mismos periodistas que cubrieron a sus hermanos. La consecuencia práctica para cualquiera que lea esto en las primeras semanas es que casi todas las afirmaciones a continuación se remontan a una sola fuente: NVIDIA.

Cuatro gigabytes son un presupuesto, no una descarga.

Los tamaños de archivo publicados son inequívocos una vez que se mira el repositorio en lugar del nombre.

• Q4_K_M GGUF — 6.180.446.208 bytes, o 6,18 GB en términos decimales, en un único archivo llamado Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• safetensors BF16: 15.882.494.698 bytes, es decir, 15,88 GB, en un solo fragmento, más un archivo KV compartido congelado de 110 MB.

• No hay artefacto de 4 GB — no hay una cuantización más pequeña en el repositorio, y la tarjeta no publica un archivo que coincida con el número del nombre.

Lo que NVIDIA sí publica es una medición de llama.cpp con batch-1 en cuatro dispositivos, y es en esa tabla donde la afirmación de 4GB se vuelve concreta:

• RTX 5070 12GB — de 3,5 a 4,3 GB de VRAM, de 548 a 1.238 ms de tiempo hasta el primer token, de 106,2 a 133,4 tokens por segundo.

• RTX Spark 32GB — de 3,1 a 4,2 GB de VRAM, de 930 a 1.988 ms hasta el primer token, de 52,0 a 67,0 tokens por segundo.

• Jetson Orin Nano 8GB — 4,2 a 4,9 GB de VRAM, 5.785 a 6.259 ms hasta el primer token, 13,0 a 15,5 tokens por segundo.

• Jetson AGX Orin 32GB — de 4,2 a 5,0 GB de VRAM, de 3.687 a 4.091 ms hasta el primer token, de 20,3 a 24,0 tokens por segundo.

Las cifras de VRAM están por debajo del tamaño de archivo de 6,18 GB, lo que significa que el entorno de ejecución no mantiene todo el archivo residente en la GPU en esas ejecuciones. La tarjeta no explica el mecanismo, y este es un buen punto para resistir la tentación de inventarlo: los pesos mapeados en memoria, la descarga parcial y el dimensionamiento de la caché KV interactúan entre sí, y NVIDIA no ha publicado el desglose. Lo que sí se puede afirmar es que el límite de 4 GB es un resultado medido en hardware específico con un entorno de ejecución específico, no una propiedad de la descarga.

La fila del Orin Nano es la que hay que leer dos veces si la propuesta es la asistencia por voz. Trece a quince tokens por segundo con casi seis segundos hasta el primer token es un agente embebido viable y un mal compañero para una conversación en tiempo real. La fila de la RTX 5070 es lo contrario: suficientemente rápida para uso interactivo, en una GPU de escritorio.

Qué cambió realmente NVIDIA en Gemma 4 E4B

La arquitectura se hereda en su totalidad. Se trata de Gemma-4-E4B, una mezcla de 8B en total con 4B de parámetros efectivos, y la contribución de NVIDIA es el postentrenamiento, no un nuevo backbone. La ficha presenta el trabajo como aprendizaje por refuerzo a partir de recompensas verificables y retroalimentación humana mediante NeMo-RL y NeMo-Gym, en llamadas a herramientas y esquemas, seguimiento de instrucciones y jerarquía, salidas estructuradas, formato libre y modelado generativo de recompensas. Los lotes de entrenamiento mantenían una proporción 2:1 entre muestras sin razonamiento y con razonamiento, y NVIDIA aumentó las penalizaciones por longitud para controlar la verbosidad —un detalle que aparece más adelante en la tabla de benchmarks.

La compilación Q4_K_M se produjo con llama.cpp usando calibración con imatrix sobre aproximadamente un millón de tokens de rollouts de RL. También hay un drafter DFlash para decodificación especulativa, que según NVIDIA ofreció hasta un 21 % más de rendimiento que el drafter original de predicción multi-token de Gemma-4-E4B. El drafter es un repositorio aparte y, en el momento de la comprobación, devolvía HTTP 401 a las solicitudes anónimas, así que trátalo como un paso adicional de acceso en lugar de una descarga para el mismo día.

Dos conmutadores de la plantilla de chat hacen la mayor parte del trabajo conductual. enable_thinking activa o desactiva el razonamiento y acepta un presupuesto de razonamiento en tiempo de ejecución; conversational_mode añade una instrucción de sistema de conversación hablada para respuestas breves y con poco formato. Ese segundo conmutador es la señal reveladora. Este modelo está hecho para conversar, no para llenar una ventana de contexto con análisis.

El contexto es de 64K de entrada y 64K de salida. La cobertura de idiomas es de 34 en los metadatos de Hugging Face y de 35 en el blog técnico —una pequeña inconsistencia, no sustantiva—, y la tarjeta de postentrenamiento nombra el inglés, el francés, el alemán, el italiano, el japonés, el español y el chino como principales.

La licencia es un conjunto de licencias en lugar de un único documento: OpenMDW-1.1 para la contribución de NVIDIA y Apache 2.0 para el componente Gemma 4. La ficha indica que el modelo está listo para uso comercial o no comercial. OpenMDW es permisiva pero no está aprobada por la OSI, algo que importa más a los equipos jurídicos que a los desarrolladores.

La tabla de benchmark, leída en contraste con los modelos que nombra.

NVIDIA evaluó el modelo frente a Gemma4 E4B-it, Qwen3.5 4B y su propio Nemotron 3 Nano-4B, con un arnés NeMo-Gym consistente. Todas las cifras siguientes son reportadas por los proveedores y no han sido reproducidas. La tarjeta indica que las cifras {{1}}pueden diferir de las cifras autoinformadas por los proveedores,{{/1}} lo cual es una advertencia honesta y también un recordatorio de que el conjunto de comparación es elección de NVIDIA.

Las victorias se concentran en la conversación y el control:

RoleBench Custom — 67,05 para Bolt E4B frente a 53,66 para Qwen3.5 4B, 49,95 para Gemma4 E4B-it y 12,02 para Nano-4B. Esta es la prueba de referencia de persona, y el margen es el más amplio de la tabla.

• IHEval, jerarquía de instrucciones — 84,79 frente a 60,57, 67,04 y 51,31. Una ventaja de 17 puntos sobre el competidor más cercano es inusual en este tamaño.

• When2Call Multi-Turn — 63,36 frente a 37,85 para Qwen3.5 4B, 62,90 para Gemma4 y 27,70 para Nano-4B. Saber cuándo no llamar a una herramienta es una habilidad conversacional tanto como agéntica.

• RelyToolBench — 63,16 frente a 43,35, 61,60 y 41,20. El anclaje en la salida de las herramientas, de nuevo una habilidad adyacente a la conversación.

• MultiChallenge — 53,10 frente a 51,76, 42,08 y 35,30. Una victoria ajustada en el manejo de desafíos de varios turnos.

Las pérdidas son igual de claras, y son las que importan si quieres un agente en lugar de un personaje:

• Tau2-Bench — 55.10 frente a 75.06 para Qwen3.5 4B. Se trata de un déficit de 20 puntos en la finalización de tareas agénticas de varios turnos, y ninguna mejora en la calidad de la persona lo compensa.

• RULER a 64K — 86,99 frente a 95,15 de Qwen3.5 4B y 91,51 de Nano-4B. El modelo acepta 64K de contexto; no recupera información a lo largo de todo ese contexto con la misma fiabilidad que sus pares.

• LongBench v2 a 48K — 50,50 frente a 59,93 de Qwen3.5 4B. Lo mismo ocurre en el razonamiento sobre documentos largos.

• BFCL-v3 — 68.51 frente a 70.95 de Qwen3.5 4B. Un pequeño déficit en la invocación de funciones y una victoria sobre el 66.39 de Gemma4.

• EQ-Bench v3 — 39,40 frente a 41,17 de Gemma4 E4B-it. La única fila de inteligencia emocional en la que el progenitor supera al hijo.

La columna Q4_K_M es más interesante de lo que suele ser una tabla de cuantización. La compresión no supuso un coste uniforme de precisión: MultiChallenge sube de 53.10 a 55.60, RoleBench de 67.05 a 71.21, ToolSandbox de 68.77 a 74.13 y RelyToolBench de 63.16 a 69.29. Baja en Tau2 de 55.10 a 52.32, en LongMemEval de 72.10 a 69.92 y en RULER de 86.99 a 85.76. Una versión de cuatro bits que mejora varias puntuaciones conversacionales es plausible cuando los datos de calibración provienen de los propios rollouts de RL del modelo, pero sigue siendo una medición del proveedor, y el ruido a nivel de benchmark en un modelo de 4B es lo bastante grande como para que estos deltas no deban interpretarse como una escalera de precisión.

Dos filas merecen su propia marca. Brevity Bench y When2Call Multi-Turn son evaluaciones que NVIDIA describe como orientadas a cubrir lagunas en los benchmarks existentes, y el blog dice que se publicarán en una fecha posterior. Hoy no son reproducibles de forma independiente, lo que importa sobre todo para Brevity, porque es la fila que sustenta la historia de menos tokens de salida.

La afirmación principal de NVIDIA es que el modelo es aproximadamente un 40% mejor en promedio que Nemotron 3 Nano-4B y alrededor de un 10% mejor que modelos comparables, con hasta un 80% menos tokens de salida en comparaciones con razonamiento habilitado. La cifra del 80% es una afirmación sobre verbosidad, no sobre precisión, y coincide con la puntuación de 82.52 en Brevity Benchmark, que NVIDIA incluyó en su propia suite. Toma en serio la dirección y con cautela el porcentaje exacto.

Lo que el repositorio no te dirá

La tarjeta es franca respecto de sus propias lagunas, y vale la pena enumerarlas porque definen cuánta confianza puede sostener el lanzamiento.

• Sin evaluación independiente. Artificial Analysis no tiene página de modelo para el E4B en el momento de redactar este texto, y ningún tercero ha publicado una reproducción de la tabla de benchmarks de 21 filas.

• Sin precio alojado. La ficha fecha un listado de Build.NVIDIA.com el 23 de octubre, pero no se publica ningún precio por token allí ni en la ficha. Si quieres una API, estás negociando o usando un nivel gratuito, no leyendo una lista de precios.

• El despliegue está marcado como «llama.cpp (receta pendiente)» aunque el inicio rápido contiene comandos de llama.cpp que funcionan. Se trata de una contradicción en la documentación, no técnica, pero es el tipo de cosa que hace tropezar a una canalización de despliegue automatizada.

• El objetivo de 4 GB no se demuestra como archivo. La evidencia es el envelope de VRAM medido; la descarga es de 6,18 GB.

• Las subtarjetas de seguridad, sesgo, explicabilidad y privacidad existen como archivos separados. Este artículo no las audita, y ningún organismo independiente tampoco lo hace todavía.

Nada de eso hace que el lanzamiento no sea fiable. Lo hace prematuro. Una tarjeta de modelo escrita por el equipo que entrenó el modelo es la mejor descripción disponible de para qué sirve el modelo; no es evidencia de que el modelo lo haga.

Dónde se queda un modelo local de 4B y qué poner detrás de él

La arquitectura honesta para esta clase de modelo es una arquitectura dividida. Un checkpoint conversacional de 4B en una Jetson o una tarjeta RTX es excelente en la capa de reflejos: respuestas a palabras de activación, diálogo de persona, llamadas cortas a herramientas, anclaje de la entrada, las partes de una interfaz que no pueden permitirse un viaje de ida y vuelta por la red. No es lo que quieres que responda una pregunta que necesita 200K de contexto o un plan agéntico de diez pasos, y su propia tabla de benchmarks lo dice.

Eso deja a cada implementación con una segunda pregunta: qué se encarga de las solicitudes que el modelo local no debería. Poner un modelo alojado detrás de la misma aplicación mediante OrcaRouter significa una sola API para 200+ modelos, 0 % de recargo sobre el precio de lista del proveedor, y conmutación por error automática cuando un proveedor se degrada; así, la ruta de escalado es una decisión de enrutamiento en lugar de un segundo SDK, una segunda clave y una segunda relación de facturación. El modelo local sigue siendo la ruta rápida; el modelo alojado es el respaldo para los casos para los que el E4B nunca fue entrenado.

¿Qué cambiaría esta imagen?

Tres cosas, por orden de utilidad. Una benchmark independiente ejecutada sobre el mismo harness resolvería si el perfil intensivo en conversación se mantiene fuera de la evaluación de NVIDIA. Un artefacto publicado de 4 GB o menos haría que el nombre fuera literal. Y un precio en el endpoint Build convertiría el modelo de una descarga en un servicio que se puede comparar.

Hasta entonces, la lectura correcta es acotada y útil: NVIDIA entrenó posteriormente Gemma 4 E4B hasta convertirlo en un modelo pequeño conversacional demostrablemente mejor, publicó las pruebas y las carencias en el mismo documento, y lo lanzó una semana después del lanzamiento de la familia casi sin ruido. Los 4 GB del nombre son un objetivo que el entorno de ejecución medido cumple y la descarga no. Planifica el almacenamiento en torno a 6,18 GB y tus expectativas en torno a 13 a 133 tokens por segundo, según el dispositivo que realmente tengas.