Nemotron 3.5 Bolt 24GB frente a Nemotron 3.5 Bolt 74B: Un modelo, dos artefactos

Esta es una comparación entre un modelo y sí mismo. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB y N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 son la misma arquitectura con el mismo número de parámetros, producidos en la misma semana, a partir del mismo padre, y la propia documentación de N​VIDIA dice sin rodeos que uno es para ejecutar y el otro para modificar. Tratarlos como rivales es un error de categoría; tratarlos como intercambiables es uno costoso. Aquí está la diferencia, medida en bytes y en puntos de referencia.

Qué son realmente los dos artefactos

Los nombres describen el proceso, no dos diseños. NVIDIA tomó Nemotron 3.5 Super VL 120B-A12B, ejecutó una búsqueda de arquitectura guiada por enrutador llamada Star Elastic frente a un presupuesto de memoria, y produjo un modelo de 74 mil millones de parámetros con 9 mil millones de parámetros activos. Ese resultado existe en dos formas publicadas: los pesos BF16 tal como salieron del postentrenamiento, y los mismos pesos con las capas de expertos cuantizadas a 2,0625 bits por elemento y reparadas con destilación consciente de la cuantización.

Ambos están fechados el 15 de octubre de 2026 en sus fichas de modelo. Ambos llevan la misma licencia OpenMDW-1.1, la misma ventana de contexto de 256.000 tokens, la misma arquitectura troncal híbrida Mamba-2 LatentMoE y el mismo codificador de visión C-RADIO v4-H. Los metadatos del repositorio hacen explícita la relación en un único campo: la ficha del checkpoint de 24 GB incluye base_model_relation: quantized respecto a la versión BF16.

Lo que difiere es para qué sirve cada una. La tarjeta de 24GB describe su caso de uso como arneses de agentes locales —llamadas a herramientas, navegación, trabajo en terminal— y su despliegue como vLLM en Ampere, Hopper o Blackwell. La tarjeta BF16 describe su caso de uso como post-entrenamiento con NeMo RL y NeMo Gym, adaptación de dominio, destilación y producción de tus propias variantes cuantizadas, y advierte en el mismo párrafo que, para inferencia optimizada en latencia y rendimiento, deberías usar la versión de 24GB en su lugar. Cuando un proveedor te dice que no ejecutes un checkpoint que acabas de descargar, merece leerse al pie de la letra.

La diferencia de tamaño, según los listados de archivos.

• BF16 — 149,8 GB en total repartidos en 63 fragmentos de safetensors, el fragmento más grande de 3,71 GB, más una torre de visión de 228 MB.

• 24 GB en safetensors — 24,12 GB repartidos en 90 fragmentos en la compilación preparada para vLLM, lo que está ligeramente por encima de la cifra que aparece en el nombre del modelo.

• 24GB GGUF — 22.02GB en un solo archivo, más un proyector de visión separado de 1.73GB, para un total de 23.75GB.

• Ratio — aproximadamente seis a uno en bytes, desde expertos de 16 bits hasta expertos de 2 bits más un tratamiento de precisión mixta de todo lo demás.

Sesenta y tres fragmentos frente a noventa también es una diferencia de forma, no solo de tamaño. La versión BF16 está pensada para ser cargada por un framework de entrenamiento con cualquier distribución de paralelismo que tengas; la versión de 24 GB está pensada para ser cargada por una sola GPU, o por llama.cpp en una sola máquina, y el número de fragmentos refleja esa diferencia de tarea.

Vale la pena entender tres gigabytes de los 24 GB repartidos antes de planificar el almacenamiento. El proyector de visión es un archivo aparte en la compilación de GGUF porque así es como llama.cpp maneja la entrada multimodal, y cualquiera que descargue solo los pesos y luego se pregunte por qué las imágenes no funcionan se lo ha saltado. En la compilación de safetensors, la torre de visión está dentro de los fragmentos y el total cruza la línea de los 24 GB.

¿Cuánto costó la cuantización, según los propios números de N​VIDIA?

La tarjeta BF16 publica ambas columnas una al lado de la otra, lo cual es inusualmente revelador: la misma tabla de benchmark contiene las cifras de IQ2 24GB y las cifras de BF16 para las mismas trece evaluaciones. Reportado por el proveedor, no reproducido, y aun así la evidencia más directa disponible sobre lo que cuesta dos bits por experto.

• Terminal-Bench 2.1 — 50,98 en IQ2 frente a 53,93 en BF16, una pérdida de 2,95 puntos.

• BrowseComp — 66.75 frente a 70.00, una pérdida de 3.25.

• GPQA Diamond — 86.43 frente a 88.83, una pérdida de 2.40.

• AA-LCR razonamiento de contexto largo — 64.06 frente a 67.38, una pérdida de 3.32.

• HLE sin herramientas — 25.30 frente a 28.73, una pérdida de 3.43.

• Precisión de AA-Omniscience — 16,90 frente a 21,80, una pérdida de 4,90, la mayor de la tabla.

• PinchBench — 87.82 frente a 90.35, una pérdida de 2.53.

• GDPVal-AA-V2 — 28,47 frente a 31,13, una pérdida de 2,66.

Dos filas rompen el patrón, y son las interesantes. En la no alucinación de AA-Omniscience, el modelo cuantizado obtiene una puntuación más alta, 61,27 frente a 56,14 — comprimir los expertos hizo que el modelo fuera menos propenso a responder con confianza cuando no sabe, que es el tipo de hallazgo que hace que merezca la pena publicar una tabla en su totalidad. En WebArena vision los dos están igualados, 50,86 frente a 50,25, lo que sugiere que la ruta de visión sobrevivió a la compresión más o menos intacta, y el reentrenamiento del adaptador de visión descrito en la tarjeta del modelo es, presumiblemente, la razón.

Visto en conjunto: una penalización de entre dos y cinco puntos en la mayoría de las filas de capacidades, casi nula en el anclaje visual, y una mejora en una métrica de calibración. Es un resultado favorable para una compresión de seis a uno, y aun así es una penalización que deberías tener en cuenta en lugar de restarle importancia.

¿Cuál puedes servir realmente?

El artefacto de 24GB tiene una historia de ejecución y el de BF16 tiene una historia de entrenamiento, y no son la misma historia con una bandera distinta.

El GGUF de 24GB está listado para llama.cpp, y NVIDIA dirige el mismo modelo a Ollama, LM Studio y Unsloth. La ruta de vLLM es más estricta de lo que parece: la receta de referencia fija un contenedor nightly mediante hash de commit, requiere un paquete de kernel independiente que se obtiene en tiempo de ejecución, establece explícitamente el ejecutor de modelo v2, designa b12x para los backends linear y MoE con FlashInfer para atención y Mamba, fija la caché KV en fp8, y establece max-num-seqs 1. Esa última bandera es la que hay que notar: la configuración de servicio publicada es una única secuencia concurrente, lo cual es una configuración con forma de portátil, no una con forma de servicio.

El modelo de borrador es una tercera descarga. LiLiCorr es un checkpoint complementario de 1.13B cuya ficha afirma textualmente que no es un modelo de lenguaje autónomo, que propone tokens de borrador y que el modelo objetivo de 24GB los verifica, y que el objetivo produce el texto visible. La cifra de 83.99 tokens por segundo reportada por N​VIDIA en AIPerf SPEED-Bench-Coding supone que está acoplado, con siete tokens de borrador por paso y longitudes medias de aceptación de 4.68 en decodificación greedy y de 4.25 con muestreo a concurrencia 64.

La estrategia de servicio del checkpoint BF16 es tu problema para resolver. Necesita aproximadamente seis veces la memoria de la versión cuantizada antes de cualquier caché KV, lo que deja fuera del alcance un único acelerador de 80 GB y convierte el multi-GPU o multinodo en la suposición por defecto. Esa es la compensación correcta para el post-entrenamiento y la incorrecta para la inferencia, que es exactamente lo que dice la ficha.

La decisión, dicha claramente

Si quieres ejecutar hoy un agente en hardware propio, descarga la compilación de 24 GB, acepta el impuesto de entre dos y cinco puntos y presupuesta también el modelo de borrador y el proyector, además de los pesos.

Si quieres cambiar el modelo —ajustarlo con tus propios datos, destilarlo en algo más pequeño o comprimirlo de otra manera para un hardware para el que NVIDIA no optimizó—, descarga la compilación BF16 y considera la versión de 24GB como documentación de un posible resultado.

El caso intermedio interesante es el que la tarjeta BF16 invita explícitamente a considerar: producir tu propia variante cuantizada. Alguien con un acelerador diferente, o con apetito por pesos de cuatro bits, o con una carga de trabajo que necesita más concurrencia de la que permite la receta de referencia, puede tomar los pesos de precisión completa y construir el artefacto que NVIDIA no construyó. El impuesto de cuantización anterior es entonces la cifra que hay que batir, y ahora es un objetivo publicado en lugar de un misterio.

Dónde encaja una puerta de enlace en un stack local

Ninguno de estos checkpoints está alojado en ningún sitio, ni siquiera por nosotros — el catálogo de OrcaRouter no incluye ningún modelo N​emotron, así que no hay endpoint ni precio que cotizar para ninguno de los dos. La inferencia local también es solo la mitad de una arquitectura de agente: la máquina que ejecuta Bolt sigue necesitando acceder a modelos que no puede descargar, ya sea un modelo de frontera para los casos difíciles, un modelo de visión para algo que Bolt maneja mal, o una segunda opinión sobre una decisión que importa.

Esa es la capa que operamos. Una sola clave para más de 200 modelos alojados al precio de lista del proveedor, sin recargo añadido; conmutación automática por error cuando un proveedor se degrada a mitad de una solicitud; un DSL de enrutamiento que convierte "probar Bolt localmente, escalar a un modelo alojado cuando la tarea lo supere" en configuración en lugar de código. La mitad de 24 GB de la pila la deciden tu hardware y tu tolerancia a un contenedor nocturno. La mitad al otro lado de la escalada la decide quien tenga la clave.

¿Qué cambiaría esta imagen?

Dos cosas, y ambas son predecibles.

La primera es una compilación de cuatro bits, o FP4, de Bolt de NVIDIA o de la comunidad, dado que la familia principal ya ofrece checkpoints NVFP4 y la versión BF16 existe precisamente para que se puedan crear ese tipo de variantes. Un Bolt de cuatro bits que recuperara la mitad de la brecha anterior y aun así cupiera en un límite de 24 GB haría que el argumento del impuesto de cuantización fuera bastante menos interesante.

El segundo es cualquier evaluación independiente de cualquiera de los dos artefactos. El panel de Artificial Analysis ha medido el modelo de 24 GB en 21 en su Intelligence Index sin que se haya publicado velocidad ni costo, porque no hay nada con lo que comparar un precio. Nadie ha publicado en absoluto una ejecución reproducible del checkpoint BF16, lo cual no sorprende para una descarga de 150 GB destinada al entrenamiento. Hasta que alguien lo haga, la diferencia entre las dos columnas anteriores es el relato de un proveedor sobre su propia compresión, y la manera honesta de interpretarla es como una afirmación que resulta estar inusualmente bien respaldada por la forma de la evidencia.

Un resultado como este también sirve como recordatorio de que los errores de los modelos ya están documentados: los incidentes de IA y los fallos de agentes que hay detrás de los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.