Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: dos nombres, un checkpoint, cuatro archivos

Si un catálogo, un sitio de comparación o tu propia hoja de adquisición enumera Nemotron 3.5 Transcribe y Nemotron 3.5 Transcribe 30B como dos entradas, está enumerando un mismo modelo dos veces. El repositorio publicado es NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, la ficha de NVIDIA indica un total de 34B parámetros y un recuento de activos de aproximadamente 4,3B, y el nombre simple que aparece en todos los titulares es el mismo artefacto con el tamaño omitido. No hay un modelo 30B separado con el que compararlo, lo que hace que esto sea menos una comparación directa que un problema de nomenclatura con una decisión de despliegue oculta en su interior.

Esa decisión es real, sin embargo, y es la razón por la que los dos nombres siguen apareciendo uno junto al otro. Un nombre es lo que buscas y lo que podría mostrar un catálogo de modelos o un listado de api. El otro es lo que descargas, en una de cuatro precisiones, con una de cuatro huellas de memoria, y la elección entre esos archivos es la única comparación que este modelo realmente te pide hacer. Lo que sigue es la conciliación: qué cuenta el 30B, por qué la tarjeta dice 34B y qué archivo encaja con la GPU que tienes en lugar de la que supone la página de lanzamiento.

El nombre que se contradice a sí mismo

Circulan dos cifras y ambas son oficiales. El nombre del repositorio termina en 30B-A4B, siguiendo la convención que NVIDIA utiliza para su línea de mezcla de expertos: primero los parámetros totales, después los parámetros activos. La ficha del modelo, en la misma página, indica 34B totales y aproximadamente 4.3B activos, incluyendo explícitamente el codificador de audio. La página de investigación repite el nombre 30B-A4B en su encabezado y la cifra de 4.3B activos en su cuerpo.

La ficha también nombra las piezas, y ahí es donde la aritmética empieza a importar. La columna vertebral lingüística es Nemotron 3.5 Lightning 30B-A3B, un MoE híbrido de Mamba-2 y Transformer con 3,5B de parámetros activos. El codificador de audio conjunto —un codificador ASR Transformer más un codificador de hablante— es de unos 800M. Si los sumas, obtienes aproximadamente 30,8B, no 34B. O bien los 34B incluyen algo que NVIDIA no ha desglosado, o bien los 30B del nombre del repositorio son una etiqueta redondeada para un backbone que es en realidad más grande que su nombre. NVIDIA no ha publicado la conciliación, y todavía no existe ninguna auditoría de parámetros por terceros del checkpoint completo.

Lo que eso significa para un comprador es más limitado de lo que parece. Que el sistema sea 31B o 34B no cambia en qué tarjeta encaja, porque el tamaño del archivo está determinado por la precisión mucho más que por los últimos tres mil millones de parámetros. Sí significa que cualquier ficha de especificaciones que cite "30B" y cualquier que cite "34B" describen la misma descarga, y una comparación de adquisiciones basada en la diferencia está comparando una convención de redondeo.

Qué está contando realmente el sufijo 30B

El sufijo hace referencia a un modelo de lenguaje, no a un transcriptor. Nemotron 3.5 Transcribe es un LLM aumentado para voz: el audio pasa por un codificador Transformer, un modelo congelado Nemotron 3 Diarization aporta representaciones de hablante mediante lo que NVIDIA denomina un codificador experto paralelo, y el decodificador híbrido MoE escribe la transcripción. La etiqueta 30B corresponde al decodificador y a su pila de embeddings. La ruta de voz —codificador, diarizador, cabeza de marcas temporales CTC— se monta encima y no es lo que anuncia el nombre.

Por eso el modelo se comporta como un LLM de maneras en que un sistema ASR clásico no lo hace. Acepta prompts. Responde preguntas sobre el audio. Traduce entre 31 pares hacia y desde el inglés dentro de una misma pasada. Mantiene un contexto de 65.536 tokens para que una hora de habla quepa sin dividirla en fragmentos. Nada de eso se debe a que un decodificador de 30B sea grande; proviene de que el decodificador sea un modelo de lenguaje general, con el habla proyectada en su espacio de entrada.

También explica la ausencia que todos siguen buscando. No hay una variante hermana de solo 30B, ni un Transcribe denso más pequeño, ni uno más grande. El repositorio contiene precisiones de un único modelo, no de una familia. Los únicos otros tamaños en circulación son cuantizaciones producidas por la comunidad, y un reconocedor en streaming genuinamente más pequeño —Nemotron Speech Streaming EN 0.6B—, que es un modelo diferente, con cobertura solo en inglés y sin diarización, no una versión mini de este.

Los cuatro archivos detrás del nombre, y cuánto cuesta cada uno en memoria

Esta es la comparación a la que realmente apuntan los dos nombres. NVIDIA publica tres precisiones y la comunidad ha añadido un cuarto formato de entrega; las cifras de memoria a continuación provienen de los checkpoints publicados y de los repositorios de la comunidad, no de una única tabla del proveedor.

• BF16 — el checkpoint de referencia, aproximadamente 67-68 GB en disco, servido en una única H100 de 80 GB. Esta es la versión con la que se generaron las cifras de benchmark publicadas, y la que debes usar cuando necesites reproducirlas.

• FP8 — unos 35 GB, lo que hace que el mínimo pase a ser una tarjeta de 48 GB, como una L40S. La pérdida de precisión frente a BF16 es pequeña según el propio planteamiento de NVIDIA, pero es el planteamiento de NVIDIA; no se ha publicado ninguna evaluación independiente de FP8.

• NVFP4 — unos 21 GB, lo suficientemente pequeño para una RTX 5090 de 32 GB o una RTX PRO 6000. Esta es la precisión que hay detrás de la cifra de rendimiento más destacada de NVIDIA: 2.238 segundos de audio por segundo en una única RTX PRO 6000 con el modelo borrador DFlash2 adjunto.

• GGUF — cuatro decodificadores comunitarios entre 19,7 GB y 35 GB, más un archivo codificador F16 obligatorio de 1,67 GB. La compilación IQ4_NL de 19,7 GB es la destinada a tarjetas de 24 GB, inferencia en CPU, Metal y Vulkan; la compilación NVFP4 de 19,7 GB está destinada a Blackwell; Q5 se sitúa cerca de 29 GB y Q8 cerca de 35 GB. Un modelo de borrador DFlash2 opcional de 1,15 GB añade decodificación especulativa en la ruta CUDA.

• MLX — ports comunitarios de 4 bits a 8 bits de entre aproximadamente 19 GB y 35 GB para Apple silicon, y un autor informa alrededor de 154 tokens por segundo en la versión de 4 bits. Útil para evaluación en un Mac, no como vía de servicio en producción.

Qué los ejecuta y el único error de tiempo de ejecución que comete la gente

Los archivos GGUF son la trampa. Que un archivo termine en .gguf no implica llama.cpp, Ollama ni LM Studio, y ninguno de esos tres ejecuta este modelo: necesita un runtime de LLM de voz con el codificador de audio integrado. Las rutas que funcionan en el lanzamiento son más limitadas de lo que sugiere la lista de formatos.

• vLLM 0.32.0 — la ruta principal y la única que expone toda la superficie de salida, incluidas las marcas de tiempo por palabra mediante el runner V1 y el middleware de marcas de tiempo. La salida con atribución de hablante y la traducción residen aquí.

• SGLang-Omni 0.2.0 sobre SGLang 0.5.22 — transcripción de archivo completo mediante un endpoint de audio compatible con OpenAI, sin marcas de tiempo por palabra, atribución de hablante, traducción ni decodificación especulativa.

• NeMo Speech — el kit de herramientas de ajuste fino, con NVIDIA indicando de 0,5 a 2,3 horas de GPU por tarea en una sola GPU. Las recetas LoRA publicadas se ejecutan en una sola tarjeta.

• NeMo-Speech.cpp y speech.cpp: la ruta en C++ a la que apuntan los generadores de GGUF, y la única que carga esos quants. Tanto los archivos de 19,7 GB como el de 35 GB mencionados arriba se distribuyen para ella, y los README de los repositorios son la fuente honesta sobre qué encaja dónde.

• Transformers — uso en el mismo proceso desde una instalación de código fuente, adecuado para evaluación, no para la capacidad de procesamiento.

El error consiste en descargar el quant más pequeño, apuntar llama.cpp hacia él y concluir que el modelo está roto. No está roto; es un LLM de voz con un codificador que los runtimes de texto ni siquiera conciben. Si el runtime no incluye Nemotron 3.5 Transcribe entre sus arquitecturas compatibles, el archivo no se cargará, por pequeño que sea.

Dónde encaja cada archivo, en términos sencillos

Trabaja hacia atrás desde el hardware en lugar de hacia adelante desde la ficha del modelo. La línea base indicada en la ficha —una H100 de 80 GB en BF16— es la vía de máxima fidelidad, no la de mínima.

• Tarjeta de 24 GB, RTX 4090 o de clase L4 — el GGUF IQ4_NL de 19,7 GB con su codificador de 1,67 GB. Deja margen para la caché KV y el búfer de audio; 24 GB es ajustado, pero está documentado que funciona.

• Tarjeta de 32 GB, RTX 5090 o RTX PRO 6000 — el checkpoint NVFP4 de 21 GB, que es la configuración que describe la afirmación de rendimiento de NVIDIA, con el drafter DFlash2 si quieres decodificación especulativa.

• Tarjeta de 48 GB, L40S o A6000 — el checkpoint FP8 de 35 GB, el compromiso menos incómodo entre fidelidad y coste.

• Acelerador de 80 GB, H100 o A100 — BF16, la configuración de referencia y la única que reproduce la tabla de WER publicada sin una salvedad de precisión.

• Sin GPU en absoluto — ninguno de estos archivos. El codificador se ejecuta en CPU en la ruta de C++, pero una hora de audio en un decodificador 30B-A3B sin aceleración es un trabajo por lotes que se mide en horas, no un servicio.

Hay una restricción que se mantiene independientemente de la precisión: la entrada es PCM mono a 16 kHz y el límite es una hora de audio por solicitud. El submuestreo y la selección de canales ocurren antes de que el modelo vea algo, y una grabación estéreo de sala de juntas se mezcla a mono a menos que usted mismo divida los canales. Esa es una decisión de preprocesamiento, no una decisión de checkpoint, y equivocarse cuesta más calidad de transcripción que el paso de BF16 a FP8.

Las comprobaciones que deben ejecutarse cuando un anuncio muestra ambos nombres

Dado que la situación de nombres duplicados es real y se repetirá en catálogos y páginas de comparación, una breve rutina de verificación vale más que otro párrafo de explicación.

• Id. de repositorio — el único artefacto oficial es NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Una fila llamada Nemotron 3.5 Transcribe 30B con un id. de repositorio distinto es o bien una cuantización o bien un modelo completamente diferente.

• Cadena de licencia — OpenMDW-1.1 en la versión oficial, uso comercial permitido. Una ficha que indique solo para investigación o no comercial está describiendo otra cosa.

• Contexto y ventana de audio — 65,536 tokens y una hora. Una ficha que cite una ventana más larga es incorrecta o está describiendo un checkpoint diferente.

• Afirmación sobre parámetros: 30B-A4B en el nombre, 34B en la ficha, 4.3B activos en ambos. Un listado que cita 4B totales ha confundido el conteo de activos con el total, que es la transcripción más común de este modelo en la web.

• Lista de archivos — BF16, FP8 y NVFP4 de NVIDIA, además de un modelo preliminar DFlash2. Si una página ofrece «Nemotron 3.5 Transcribe 30B» como un único archivo descargable y sin precisiones, se trata de una cuantización de la comunidad que lleva el nombre del proveedor.

La cuestión de enrutamiento que en realidad está separada

Una vez elegido el archivo y con el entorno de ejecución funcionando, la cuestión del despliegue queda resuelta y vuelve una más antigua: qué ocurre con el texto. Una transcripción es materia prima para generar resúmenes, extraer entidades, ocultar datos confidenciales, indexar búsquedas y responder preguntas, y esas llamadas son tráfico habitual de modelos de texto con los problemas habituales de los modelos de texto: límites de peticiones, interrupciones de servicios aguas arriba, un modelo de clasificación económico que bastaría para nueve décimas del volumen.

OrcaRouter no ofrece Nemotron 3.5 Transcribe, y su catálogo no contiene ninguna entrada bajo ninguno de los dos nombres; si ves dos filas para este modelo en cualquier sitio, la comprobación del repositorio anterior es la forma más rápida de resolverlo. Lo que la plataforma sí ofrece es la capa que existe después de la transcripción: una única clave compatible con OpenAI para más de 200 modelos de texto y visión al precio de lista del proveedor con un 0 % de recargo, conmutación automática entre proveedores, y un DSL de enrutamiento que compone varios modelos en una sola llamada, de modo que la pasada de extracción barata y la pasada de juicio costosa puedan convivir detrás de un único endpoint. La GPU transcribe; el enrutamiento decide cuánto vale la transcripción.

El sufijo es una etiqueta de tamaño de archivo, no un segundo modelo.

La forma más clara de retener ambos nombres en la cabeza es esta: Nemotron 3.5 Transcribe es el producto, Nemotron 3.5 Transcribe 30B es el repositorio, y el 30B cuenta un decodificador mientras que la ficha cuenta un sistema. La diferencia entre 30,8B y 34B es un detalle sin resolver que NVIDIA debería conciliar, pero no cambia ninguna decisión que tome un comprador, porque la decisión se toma en gigabytes y en entornos de ejecución compatibles, no en el tercer dígito de un recuento de parámetros.

Elige la precisión que tu tarjeta puede soportar, confirma que el entorno de ejecución enumera la arquitectura y considera cualquier listado que presente los dos nombres como modelos separados como un error de catálogo en vez de una elección. La verdadera bifurcación en esta versión — la que justificaría una comparación directa genuina — es el reconocedor en streaming de 0.6B por un lado y este transcriptor offline de 30B por el otro. Esa comparación trata de latencia y cobertura, y vale la pena hacerla. Comparar un modelo con su propio nombre de archivo, no.