Nemotron 3.5 Transcribe: el LLM de voz de NVIDIA supera la cascada de diarización — en 13 idiomas

NVIDIA lanzó Nemotron 3.5 Transcribe el 28 de octubre de 2026 bajo una licencia abierta, y el número en todos los titulares al respecto es 40: cuarenta idiomas, un único checkpoint, etiquetas de hablante incluidas. El número que realmente cambia cómo se construye una pila de transcripción es 15,80. Ese es el cpWER medio del modelo en el conjunto de referencia multihablante propio de NVIDIA, frente a 16,83 del mejor sistema en cascada especializado con el que la empresa lo comparó —un reconocedor de voz más una canalización de diarización independiente, conectados como todavía están la mayoría de los sistemas de transcripción de reuniones en producción. NVIDIA afirma que este es el primer LLM de voz que supera esa configuración, y esa es la afirmación que merece la pena poner a prueba, porque es la que elimina un componente de tu arquitectura en lugar de añadir un idioma a una lista.

La cifra de 40 idiomas es real, pero más limitada de lo que parece. La atribución de hablantes —la parte que sustituye la cascada— está entrenada para trece idiomas, no cuarenta. El modelo solo lee archivos grabados, hasta una hora cada vez, sin ruta de streaming. Y no es una descarga pequeña: 34B parámetros en total, alrededor de 4,3B activos por token, con una H100 80GB como base declarada para servir en BF16. Esas tres restricciones deciden si el resultado de diarización es algo que puedes usar este trimestre o algo que anotas para el siguiente.

Lo que NVIDIA realmente lanzó

El checkpoint se publica como NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, y la diferencia entre ese nombre y la cifra publicada de parámetros es lo primero que hay que aclarar. El modelo se basa en Nemotron 3.5 Lightning 30B-A3B, un modelo de lenguaje híbrido Mamba-2 y Transformer de mezcla de expertos; la ficha del modelo de NVIDIA indica un total de 34B parámetros, con aproximadamente 4,3B activos, incluida la pila de audio. El peso adicional respecto a los 30B del nombre corresponde a los codificadores: unos 600M para el transformer ASR y unos 99M para el codificador de hablante, aproximadamente 800M en total, lo que deja el backbone del lenguaje con unos 3,5B activos. Varios análisis lo han señalado como una inconsistencia; no lo es: es un nombre que cuenta el LLM y una ficha que cuenta todo el sistema.

Arquitectónicamente, la pieza que merece la pena entender es el codificador experto paralelo. Un modelo Nemotron 3 Diarization congelado produce representaciones de actividad de hablante, y estas se inyectan en la salida del codificador ASR, de modo que el modelo de lenguaje ve tanto las palabras como quién es probable que las pronuncie en una sola pasada. Un adaptador CTC ligero alinea después el texto generado con el audio para producir marcas temporales de palabras atribuidas a hablantes. No hay una segunda etapa de alineación ni ninguna llamada a pyannote en medio. La predicción multitoken nativa también actúa como borrador de decodificación especulativa dentro de vLLM, y NVIDIA además ofrece un modelo borrador DFlash2 entrenado por separado.

Parámetros totales y activos: 34B en total, ~4,3B activos por token, de los cuales ~3,5B corresponden al componente principal de lenguaje.

• Contexto y audio — 65,536 tokens, grabaciones de hasta 1 hora a 16 kHz mono, decodificadas en fragmentos internos de 30 segundos

• Cobertura de idiomas: 40 idiomas para transcripción, 32 para traducción desde y hacia inglés, 13 para transcripción con atribución de hablante

• Licencia — OpenMDW-1.1, uso comercial y no comercial permitido

• Base de servicio — un H100 80GB en BF16; las compilaciones BF16, FP8 y NVFP4 están publicadas

• Streaming — ninguno; se trata de un modelo en el que se introduce un archivo y se obtiene una transcripción.

El lanzamiento es un par de artefactos, y merece la pena mantenerlos separados porque la mayoría de las coberturas los confunde. Junto con el modelo, NVIDIA publicó Granary v2, una entrega de canalización de datos de voz en lugar de un checkpoint: 463.062 horas en 48 idiomas y 16 corpus de origen, frente a los 25 idiomas de Granary v1, creado con NeMo Curator y distribuido con un manifiesto público. Cada registro incluye tres formas de transcripción —texto literal normalizado, normalización inversa con disfluencias y normalización inversa sin ellas— además de etiquetas de tarea, pares de pregunta-respuesta fundamentados en el habla, términos de sesgo contextual y un indicador de calidad por registro. Son los datos que esperan las recetas de ajuste fino, no pesos que puedas ejecutar. El audio de origen todavía debe descargarse conforme a la licencia propia de cada corpus, por lo que Granary v2 es abierto en el sentido en que lo son su manifiesto y su canalización, no en el sentido de que el audio se pueda redistribuir libremente.

La licencia importa tanto como los pesos. OpenMDW-1.1 permite el uso comercial, lo que lo sitúa en la misma categoría que la línea Voxtral de Mistral, en lugar del extremo del espectro de pesos abiertos reservado exclusivamente a la investigación. El soporte en tiempo de ejecución en el lanzamiento es más amplio que el de la mayoría de los lanzamientos de LLM de voz: vLLM 0.32.0 es la vía principal y la única que ofrece el conjunto completo de funciones, con marcas de tiempo por palabra que requieren el runner V1 y el middleware de marcas de tiempo, y no DFlash2. SGLang-Omni 0.2.0 sobre SGLang 0.5.22 gestiona la transcripción de archivos completos mediante el endpoint de audio compatible con OpenAI, pero no las marcas de tiempo por palabra, la salida con atribución de hablante, la traducción ni la decodificación especulativa. NeMo Speech incluye el kit de herramientas de ajuste fino, Transformers permite el uso en proceso desde una instalación desde el código fuente, y una compilación GGML cubre determinados componentes de Blackwell, incluidos la RTX 5090 y la RTX PRO 6000.

El resultado de la diarización es lo importante.

La tabla multihablante de NVIDIA es donde reside la comparación en cascada, y es inusualmente detallada para una publicación de lanzamiento. El cpWER medio del conjunto es 15,80 frente a 16,83 para DiCoW v3.3 combinado con DiariZen. Las cifras por condición muestran de dónde viene el margen y de dónde no: AMI en condiciones de conversación cercana alcanza 10,29, AMI con micrófono único a distancia 17,34, CALLHOME CH109 11,50, Mixer 6 canal 4 14,80, NOTSOFAR-1 conversación cercana 14,94 y monocanal 25,91, con AISHELL-4 en 32,91 cpCER y AliMeeting en 34,95. El caso de reunión de banda ancha y multicanal es sólido; el audio de reunión en chino y el de micrófono único en campo lejano son mucho más débiles, lo que describe con justicia dónde tropieza todo sistema de diarización.

La corroboración de apariencia independiente en la que se apoya NVIDIA es Diarization-Bench de VoiceArena, donde el modelo reporta un cpWER del 32,4 % en sesiones completas en inglés, primero de catorce sistemas. El segundo clasificado, Multitalker Parakeet combinado con Nemotron 3 Diarization, está en el 34,2 %, y el resto de los participantes va del 34,7 % al 71,9 %. NVIDIA también reporta eliminaciones de palabras del 8,32 % de las palabras de referencia frente a una mediana del conjunto de alrededor del 31 %. Esa segunda cifra es la más útil para cualquiera que haya entregado una transcripción: se puede manipular el cpWER omitiendo las palabras de las que no se está seguro, y un sistema que conserva el 92 % de las palabras de referencia mientras gana la métrica está haciendo lo más difícil. Ambas son cifras reportadas por el proveedor en un benchmark de terceros, no una evaluación independiente del modelo.

El límite es el número de idiomas. La atribución de hablantes está entrenada para trece idiomas —inglés, francés, alemán, hindi, italiano, coreano, portugués, ruso, español, japonés, tailandés, árabe y chino— y admite hasta ocho hablantes. Si tus grabaciones son reuniones en inglés o en uno de esos otros doce idiomas, el argumento del reemplazo en cascada es aplicable. Si tu audio está en polaco, turco o vietnamita, obtienes transcripción sin diarización y sigues necesitando el segundo componente.

Dónde realmente se ubica: tres clasificaciones, tres respuestas diferentes

La cifra en inglés depende de qué página de NVIDIA consultes, y conviene ser preciso al respecto en lugar de elegir la más favorable. La tasa de error de palabra media de nueve conjuntos de la tarjeta del modelo es 4,71 %, con Qwen3-ASR-1.7B a continuación, con 4,94 %. La publicación de NVIDIA en Hugging Face del mismo día cita 5,33 % como la WER media en Hugging Face Open ASR Leaderboard, con un RTFx de 462,09, y Qwen3-ASR-1.7B en 5,4 %. Ambas son cifras del propio proveedor, publicadas con pocas horas de diferencia, y la diferencia radica en qué conjuntos de prueba entran en la media. No las promedies, no restes una de la otra y no des por definitivo el decimal. Lo que se mantiene en ambos enfoques es la posición: el primer puesto entre los modelos de pesos abiertos de esa tabla.

El resto del conjunto reportado por el proveedor es coherente en su estructura. La WER media multilingüe es del 4,62 % en siete idiomas, frente al 6,49 % de Qwen3-ASR-1.7B. La media de formato largo es del 10,98 %, frente al 13,37 % de Parakeet-TDT-0.6B-v3. El control de estilo obtiene un 7,56 % por defecto y un 6,16 % cuando se le instruye, frente a Canary-Qwen, con 8,16 % y 8,36 %. El prompting contextual lleva ContextASR-Bench del 3,33 % sin contexto al 1,71 % con contexto detallado, y la transcripción de llamadas de resultados del 12,54 % al 9,58 % cuando se proporciona contexto local.

La comprobación independiente cuenta una historia menos halagüeña, y es la que hay que leer si esta semana estás eligiendo entre modelos. En el índice de errores por palabra sin streaming de Artificial Analysis, consultado el 29 de octubre, Nemotron 3.5 Transcribe registra un 2,8%. Voxtral Small Transcribe 3 registra un 2,1% y MAI-Transcribe-2 registra un 2,0% en la misma vista, mientras que Gemini 3.5 Transcribe se sitúa en un 2,6%. El encuadre de NVIDIA de «empatado en primer lugar entre los modelos de pesos abiertos» es defendible frente al modelo concreto que nombra —Voxtral Small, que el mismo índice también muestra en un 2,8%, y que NVIDIA describe como un modelo de 24B frente a los aproximadamente 4B de parámetros activos de este—, pero la tabla de clasificación había superado ese emparejamiento antes de que se lanzara este modelo. Un hermano más reciente de Mistral, Voxtral Small Transcribe 3, tiene una tasa de error aproximadamente una cuarta parte menor en la misma vista. Eso no hace que el resultado de diarización sea incorrecto, porque Voxtral no hace atribución de hablante en una sola pasada. Sí significa que la frase correcta es «mejor modelo de pesos abiertos en ASR con atribución de hablante» y no «mejor transcriptor de pesos abiertos».

El segmento final por idioma es donde fallan los despliegues.

La cobertura y la paridad son afirmaciones distintas, y la model card de NVIDIA publica suficiente detalle por idioma para ver la distancia entre ambas. La matriz de idiomas tiene 41 filas; el noruego aparece en ella sin marcas de verificación en las tareas, por lo que quedan 40 idiomas realmente marcados para ASR. En FLEURS, las tasas de error van del 1,41 % al 63,76 %, y 63,76 corresponde al noruego. El italiano alcanza 1,41, el español 2,20, el alemán 2,73, el francés 3,16, el inglés 3,35, el árabe 6,35 y el hindi 7,47; el japonés se sitúa en 4,42 CER, el coreano en 2,78 CER y el chino en 8,62 CER. En las medias por idioma de la tabla de clasificación multilingüe, el hindi es 9,15 OIWER frente al neerlandés con 5,96 y el alemán con 2,81.

El cambio de código, que la ficha atribuye a las 40 lenguas, es igualmente desigual: ASCEND mandarín-inglés alcanza un 18,74 % de error mixto, MUCS hindi-inglés un 19,28 % y MUCS bengalí-inglés un 35,46 %, con Monsoon hindi en un 9,40 % de OIWER. La calidad de traducción también abarca un amplio rango: BLEU de FLEURS a inglés de 6,40 a 44,33, de inglés a FLEURS de 8,70 a 42,65 y de CoVoST2 a inglés de 6,95 a 54,46. La robustez en el conjunto HALAS es del 31,50 % de WER, la cifra que debería moderar cualquier plan basado en grabaciones de campo con acento o ruidosas.

La lectura práctica es que "40 idiomas" es una afirmación de cobertura sobre la que se puede planificar capacidad, y no una afirmación de calidad sobre la que se pueda planificar producto. Pruebe el idioma específico y las condiciones de grabación específicas que le importan con unos cientos de clips propios antes de comprometerse. El propio estudio de caso de ajuste fino de la ficha del modelo es la plantilla: en un benchmark de habla médica india, el error de base fue del 30,8%, un prompt que indicaba inglés y escritura latina lo llevó al 23,8%, y la adaptación con aproximadamente 245 horas de datos lo llevó al 11,8% —alrededor de un 62% menos errores, con 14 horas-GPU de una GB300. Los hablantes reservados pasaron del 22,44% al 12,17%, una reducción relativa del 45,8%, mientras que LibriSpeech test-clean se deterioró del 1,54% al 1,69%, la señal habitual de una adaptación limitada.

Cuánto cuesta ejecutarlo y dónde encaja el enrutamiento

NVIDIA no ha publicado un precio para el modelo. No hay tarifa por minuto en la página de investigación ni en la ficha del modelo, los pesos son gratuitos bajo OpenMDW-1.1, y el acceso alojado en el lanzamiento se realiza a través del propio endpoint NIM de NVIDIA además de varias plataformas de terceros que fijan sus propias tarifas. Por lo tanto, la cuestión del coste es una cuestión de GPU, y las cifras al respecto son inusualmente completas.

En una RTX PRO 6000 Blackwell Server Edition, la compilación NVFP4 con el borrador DFlash2 procesa hasta 2.238 segundos de audio por segundo —una grabación de 30 segundos se procesa en 0,13 segundos—, lo que sitúa 100 horas de audio en menos de tres minutos. Esa es la ruta NIM optimizada, y NVIDIA afirma que la integración abierta de vLLM es aproximadamente el doble más lenta. En una H100 con BF16, las cifras de RTFx de la tarjeta son 410 con especulación de dos tokens, 270 con ocho, 340 con DFlash2 en K=7 y 260 en K=15. En el extremo superior de ese rango, una hora-H100 cubre unas 410 horas de audio, así que mil horas de transcripción son aproximadamente dos horas y media de cómputo de GPU. Que eso supere una tarifa alojada por minuto depende por completo de lo saturada que mantengas la tarjeta: con unos cientos de horas al mes, una GPU de 80 GB inactiva es la opción más cara, y la aritmética solo se invierte cuando la cola permanece llena.

La adaptación es barata para los estándares de esta clase. NVIDIA reporta de 0,5 a 2,3 horas-GPU por tarea en una sola GPU para nuevos idiomas, dominios o estilos de salida, con evaluación en 17 tareas, usando LoRA en el modelo de lenguaje y entrenamiento en el codificador y la proyección. Es una cifra lo bastante pequeña como para que la adaptación al dominio deba tratarse como parte del despliegue en lugar de un proyecto de investigación — el caso médico anterior es de 14 horas-GPU de principio a fin.

Una nota arquitectónica que importa para lo que viene a continuación: este modelo emite texto, y la generación de resúmenes, la extracción de entidades y el etiquetado de cumplimiento que siguen a una transcripción son tareas habituales de un LLM. Esa etapa posterior es la parte que cubre OrcaRouter — una API para más de 200 modelos con un 0 % de recargo sobre el precio de lista del proveedor, conmutación automática por error cuando un proveedor se degrada a mitad del pipeline, y un DSL de enrutamiento para enviar transcripciones largas y fragmentos cortos a distintos modelos sin necesidad de una segunda integración cada vez. No alojamos Nemotron 3.5 Transcribe; es un modelo de voz que ejecutas en tu propio hardware o a través del endpoint de NVIDIA. La capa de enrutamiento comienza donde termina la transcripción.

Dos modelos comparten el nombre, y solo uno es este.

Una parte de lo que se ha escrito sobre este lanzamiento en el último día trata de un checkpoint diferente. NVIDIA también publica nemotron-3.5-asr-streaming-0.6b, un pequeño checkpoint de ASR en streaming creado para entornos de ejecución en dispositivo y orientados a CPU, cuyas compilaciones cuantizadas son lo suficientemente pequeñas como para distribuirse dentro de una aplicación. No es este modelo, no hace atribución de hablante, y sus cifras de velocidad y precisión no son transferibles. El LLM de voz 30B-A4B es el anunciado el 28 de octubre; el modelo en streaming de 0,6B es el que se ejecuta en un portátil. Si una comparación que estés leyendo cita una latencia inferior a un segundo o una descarga de un gigabyte junto con la afirmación de 40 idiomas, ha fusionado los dos.

¿Quién debería actuar ahora y quién debería esperar?

Actúa ahora si procesas reuniones, llamadas o entrevistas grabadas en inglés o en uno de los otros doce idiomas de diarización, en archivos de menos de una hora, y ya dispones de capacidad de GPU de clase 80 GB o de un endpoint alojado que estés dispuesto a pagar. El argumento es más sólido cuando actualmente mantienes una cascada de dos modelos: un solo checkpoint, una sola pasada, etiquetas de hablante y marcas de tiempo de palabras incluidas, bajo una licencia que permite el uso comercial. Evalúalo con tus propios audios antes de retirar pyannote: las cifras anteriores de campo lejano y audio con acento son las que más probablemente decepcionarán.

Espera si necesitas streaming en vivo, porque no hay una vía de streaming; si tus idiomas están en la parte final de ese rango FLEURS; si las grabaciones duran más de una hora; o si no tienes GPU y no tienes disposición a pagar una factura por minuto de un servicio alojado. Espera también si tu stack ya usa un transcriptor más reciente que registra un error menor en Artificial Analysis y no necesita diarización — la atribución de hablantes en una sola pasada es la razón para cambiar, y es la única.

Las preguntas abiertas que vale la pena seguir son acotadas y verificables. La evaluación independiente de precisión completa sigue siendo escasa; los informes tempranos de personas que ejecutan cuantizaciones comunitarias de 4 bits describen la ralentización y la pérdida de precisión habituales, lo que dice más sobre la cuantización que sobre el modelo. SGLang-Omni necesita alcanzar la paridad de funcionalidades antes de que la ruta sin vLLM sea una alternativa real. Y los trece idiomas de diarización son la cifra con más probabilidades de cambiar primero, porque ahí es donde se concentra la afirmación arquitectónica.