
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: mismo linaje de pesos, dos contratos de decodificación
- GoogleNUEVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 90 tok/s
- AnthropicNUEVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 97 tok/s
- orcaNUEVOOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNUEVOOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 88 tok/s
- OrcaNUEVOOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 133 tok/s
- OrcaNUEVOOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 por 1M de tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencia
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencia
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencia
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencia
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 por 1M de tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Inteligencia
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Inteligencia
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 por 1M de tokens · 218 tok/s
Lo confuso de Nemotron-Labs-Sigma-distill-8B-nfe4 es que no es una versión mejor de Nemotron-Labs-Sigma-8B. Es un archivo distinto con un contrato distinto, producido a partir de un modelo profesor de la misma línea, y la diferencia entre ambos no es la precisión: es cuántas veces se ejecuta la red para emitir una palabra. El 8B base se publicó el 5 de octubre de 2026 como un modelo de investigación preentrenado: 8,49B parámetros, pasos de eliminación de ruido configurables, guía libre de clasificador que hay que ajustar a mano, y una tarjeta que no publica ninguna puntuación y que, en su lugar, remite a arXiv:2610.02665. El nfe4 destilado llegó el 12 de noviembre de 2026 con 9,03B parámetros, un número de pasos incorporado en el checkpoint y la única tabla por benchmark que NVIDIA ha incluido en una tarjeta Sigma. Ambos son solo en inglés, ambos tienen un límite de 4.096 tokens y ambos están bajo la misma licencia. La elección entre ellos es una elección sobre cómo quieres que el modelo gaste su cómputo.
Qué difiere realmente, archivo por archivo
Ambos repositorios incluyen el mismo model_type —nemotron_labs_sigma— y ambos se cargan de la misma manera, con trust_remote_code y un archivo de modelado de 40 KB del repositorio. Las configuraciones difieren en aspectos que importan en la inferencia y casi nada en el backbone:
• Backbone — idéntico en ambos: 34 capas, tamaño oculto de 4.096, FFN de 14.336, 32 cabezas de consulta y 8 cabezas clave-valor, SwiGLU, RoPE, vocabulario de 131.072 tokens.
• Parámetros — 8.49B (8,489,947,136 BF16 más 2,097,186 F32) para el modelo base, 9.03B (9,026,818,048 BF16 más el mismo recuento de F32) para el destilado. Los 537M adicionales corresponden a la cabeza de lectura autorregresiva auxiliar que el destilado conserva junto con la cabeza de difusión.
• Pesos en disco — 16,99 GB frente a 18,06 GB, cuatro fragmentos cada uno.
• Contexto — 4,096 tokens tanto para base como para distill. La variante instruct de la misma colección lo eleva a 8,192 y añade una plantilla de chat; ninguno de los dos modelos aquí tiene una.
• Pasos — la base expone steps y block_length en el momento de la llamada y su tarjeta publica una tabla por presupuesto; el distill no acepta ninguna anulación.
• Guía — el modelo base necesita guía sin clasificador (3.0 con 32 y 16 pasos, 2.0 con 4) y una temperatura de puntuación ajustada; el modelo destilado se ejecuta con CFG 1 y temperatura de puntuación 1, es decir, sin guía y sin ajuste.
• Muestreador — la base está documentada para DDIM en una cuadrícula log_snr con bloques de 64 tokens por defecto; el destilado usa fresh_x0 con autocondicionamiento conservado entre pasos y bloques de 32 tokens.
El número de pasos no es una configuración del modelo destilado.
Esta es la frase de la model card que reencuadra toda la comparación: «El número de pasos de eliminación de ruido queda fijado por el entrenamiento: esta variante está entrenada solo para NFE=4, y el código de inferencia incluido intencionadamente no expone una anulación arbitraria del número de pasos (otros recuentos de pasos evaluarían extremos de fase no entrenados)».
DMD por fases destila una trayectoria, y una trayectoria destilada tiene puntos finales de fase en niveles de ruido específicos. Pide a un estudiante de cuatro pasos que dé ocho pasos y no lo estás ejecutando más lento para obtener mejor calidad: le estás pidiendo que evalúe en niveles de ruido con los que nunca se entrenó. La tarjeta dice que la salida se degrada. No hay ningún dial.
La base es lo contrario. Su tarjeta te da la tabla —DDIM-32 con CFG 3 y temperatura de puntuación 0,3; DDIM-16 con CFG 3 y 0,4; DDIM-8 con CFG 3 y 0,6; DDIM-4 con CFG 2 y 0,8— y luego añade la advertencia de que, por debajo de unos 16 pasos, los modelos preentrenados pierden calidad de forma notable, y que la generación de pocos pasos debería usar las variantes destiladas en su lugar.
Leídas en conjunto, esas dos afirmaciones de una misma organización constituyen una división del trabajo: la base es lo que se ajusta, el destilado es lo que no se ajusta. Si quieres un mando que puedas girar, toma la base. Si quieres una constante, toma el destilado.

La aritmética que los separa
Pon los dos contratos en las mismas unidades y la razón por la que existe el archivo destilado se vuelve obvia.
Base en su configuración recomendada: 33 llamadas al denoiser por bloque de 64 tokens (32 pasos más una lectura), lo que equivale a 1,9 tokens por pasada hacia adelante.
• Base con 4 pasos — 5 llamadas por bloque de 64 tokens, 12,8 tokens por pasada, pero la ficha advierte que la calidad baja notablemente por debajo de 16 pasos.
• Destila nfe4 — 5 llamadas por bloque de 32 tokens, 6,4 tokens por pasada, con la calidad que publica la tarjeta.
• Destila nfe8 — 9 llamadas por bloque de 32 tokens, 3.6 tokens por pasada y 4 puntos mejor en la media de las seis tareas.
Así que el nfe4 destilado se sitúa entre el punto de operación seguro del modelo base y el inseguro: tres veces menos pasadas hacia adelante por token que la configuración base recomendada, con un número de pasos para el que el modelo fue realmente entrenado. Esa es toda la premisa del lanzamiento, y es una premisa sobre cómputo, no sobre inteligencia.
Lo que no es es un rendimiento medido. La tarjeta base informa aproximadamente 120–140 tokens por segundo para 256 tokens generados en una H100 con DDPM a 32 pasos por bloque de 64 tokens. La tarjeta destilada no publica ninguna cifra de tokens por segundo. Las relaciones de recuento de llamadas anteriores son aritmética sobre recuentos de pasos publicados; trátelas como tales.
¿Cuál tiene números y cuánto valen?
Aquí las dos cartas divergen marcadamente, y en una dirección que resulta incómoda para la base.
Nemotron-Labs-Sigma-8B no publica ninguna tabla de benchmarks. Su sección de evaluación consta de dos frases que dicen que los resultados «se informan en el informe técnico». Todo lo que se puede saber sobre su precisión hay que tomarlo de arXiv:2610.02665, un artículo que abarca la familia de 3B y 8B, tanto base como destilada, y cuyo resumen afirma que los modelos superan a los modelos de lenguaje de difusión enmascarada y a las líneas base autorregresivas, con las mayores ganancias consistentes en programación.
La tarjeta destilada nfe4 sí publica cifras, con diez semillas y dos errores estándar: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, media de seis tareas 66,36 ± 0,46. Nueve de los diez valores de semilla están en el rango de 42 a 51, por lo que el protocolo se describe con la precisión suficiente para reproducirlo.
Por tanto, las tarjetas en conjunto no pueden decirte cuánto costó la destilación. Ese es el número más útil de esta comparación y falta, porque la tarjeta del profesor no tiene ninguna tabla de la que restar. El artículo es el único lugar donde reside la afirmación, y su formulación es direccional: aproximadamente una aceleración de 8× en matemáticas y 4× en programación gracias a la destilación por coincidencia de distribuciones, «con una leve pérdida de precisión». Esos multiplicadores están reportados en el artículo, no en las tarjetas, y se refieren a los propios experimentos de la familia, no a una comparación controlada de los dos checkpoints exactos en el hub a día de hoy.
Otra complicación en la propia línea de destilación: el hermano nfe16 está marcado como pending_ten_seed_six_task_validation. Su media de tres tareas de 74.50 proviene de una única ejecución con semilla 42, y la ficha indica que no debe compararse con las medias de diez semillas de las otras variantes. Por tanto, «el más grande es el mejor» es una lectura que la ficha rechaza explícitamente respaldar.
La tercera opción que nadie menciona
La colección contiene una variante que no es ninguno de los dos modelos de esta comparación y que podría decirse que es el archivo más interesante de ella: Nemotron-Labs-Sigma-distill-spec-8B. Es el mismo profesor MS-SUSReg-8B, destilado con un objetivo adicional de aceptación, y en lugar de ejecutarse como un muestreador puro de pocos pasos, redacta un bloque de 32 tokens con su cabeza de difusión y lo verifica con su propia cabeza autorregresiva. Cada ronda cuesta una llamada de difusión, y los tokens aceptados se emiten sin una pasada hacia adelante adicional. La ficha indica que el texto devuelto es exactamente la salida autorregresiva codiciosa: la aceptación cambia el rendimiento, nunca el contenido.
Las cifras de aceptación publicadas, una única instantánea: longitud media aceptada de 7,91 en HumanEval, 11,86 en GSM8K, 13,37 en MBPP, token de bonificación incluido, ronda de bootstrap excluida. Esas son medidas de throughput, no medidas de precisión, y no son comparables con la tabla de precisión del nfe4 —una distinción que la tarjeta resalta en negrita.
En la práctica, esta es la variante que hay que observar si la pregunta es «¿puede una cabeza de difusión acelerar un modelo sin cambiar lo que dice?». No es un sustituto directo de ninguno de los dos modelos de esta comparación: requiere generate_speculative, ambas cabezas y el autocondicionamiento desactivado.

Cómo elegir en la práctica
La decisión se reduce a cuatro comprobaciones, y la primera elimina por completo una de las partes para la mayoría de los lectores:
• ¿Estás investigando el proceso de muestreo en sí —las programaciones de guía, los números de pasos, la dirección de trayectoria, el comportamiento de la guía sin clasificador? La base es el modelo, porque es el que tiene los controles y la tabla por presupuesto.
• ¿Estás creando algo que genere texto a un costo fijo por token y no quieres una superficie de ajuste? El destilado nfe4 es el modelo, porque CFG 1 y temperatura de score 1 es una configuración completa.
• ¿Necesitas un asistente? Ninguno de los dos. No hay plantilla de chat en ninguno de los dos repositorios, ni prompt de sistema, ni llamada a herramientas, y la tarjeta base dice claramente que no sigue instrucciones. Las variantes instruct con 8.192 tokens de contexto son las adecuadas para eso.
• ¿Necesitas un benchmark que puedas citar? Solo el distill tiene uno, y es el de NVIDIA.
Ninguna de las cuatro preguntas indaga sobre el número de parámetros, lo que delata que esto no es una comparación de tamaño. La diferencia de 537M de parámetros es el precio de mantener la cabeza autorregresiva en el archivo, y no aporta nada a la ruta de difusión pura del nfe4 — está ahí porque la misma arquitectura también subyace a la variante spec.
El objetivo del par
NVIDIA construyó una sola arquitectura base y la publicó dos veces: una como algo para estudiar y otra como algo para ejecutar. Es una estrategia coherente, y es la razón por la que las dos fichas se leen de forma tan distinta: la ficha base está escrita para un investigador que cambiará el muestreador; la destilada, para un desarrollador que no lo hará.
Lo que todavía le falta al par es justamente aquello que permitiría verificar el intercambio con honestidad: una puntuación del profesor. Hasta que la ficha del modelo base de 8B incluya la misma tabla de seis tareas que incluye la del destilado, cualquier afirmación sobre lo que se ganó con la destilación será una afirmación sobre los experimentos a nivel de familia del artículo, y no sobre estos dos archivos. Si NVIDIA añade esa tabla —y la última edición de la ficha del modelo base, el 16 de noviembre, sugiere que los repositorios siguen recibiendo mantenimiento—, esta comparación pasa a ser una resta en lugar de una reconstrucción.
Por ahora, la lectura práctica es limitada y útil: elige la base si quieres explorar cómo se comporta un LM de difusión continua con distintos presupuestos de pasos, elige nfe4 si quieres 6,4 tokens fijos por pasada forward con una precisión publicada, y omite ambos si necesitas un modelo de chat o una ventana de contexto más larga que un memo largo. Ninguno de los dos está hoy en el catálogo de OrcaRouter, y ninguno lo estará hasta que exista una ruta de servicio para una arquitectura de difusión por bloques; lo que sí ofrece OrcaRouter son los más de 200 modelos autorregresivos con los que compararías cualquiera de los dos, con una sola clave al precio de lista del proveedor sin recargo, y con conmutación por error automática si quieres aislar el experimento de la ruta de producción.

