Nemotron 3.5 Transcribe reemplaza una canalización de cinco modelos. La versión abierta todavía tiene lagunas.

Una llamada de consejo de 45 minutos con seis participantes solía requerir cinco piezas móviles: detección de actividad de voz, un modelo ASR, un diarizador, un alineador forzado y un modelo de lenguaje para ordenar la salida bruta en algo que un humano pudiera leer. NVIDIA Nemotron 3.5 Transcribe, publicado el 28 de octubre de 2026 bajo la licencia OpenMDW-1.1, es el intento de NVIDIA de colapsar esa pila en una única pasada hacia adelante. Lo que hace que el lanzamiento merezca una segunda lectura no es el colapso en sí. Es la lista de cosas que la ruta de servicio de código abierto todavía no hace.

El checkpoint es un modelo de lenguaje aumentado con capacidades de voz, no un modelo ASR con extras añadidos. Sus 34 mil millones de parámetros son en su mayoría un Nemotron 3.5 Lightning 30B-A3B backbone híbrido Mamba–Transformer de mezcla de expertos; alrededor de 4.300 millones están activos por token, incluidos aproximadamente 800 millones del codificador de audio. El nombre del repositorio sigue siendo 30B-A4B, que cuenta el decodificador y no el sistema ensamblado. La matriz de soporte, las tablas de benchmarks y la licencia de NVIDIA están todas en la tarjeta del modelo, y esa tarjeta es el documento más útil del lanzamiento.

Cinco trabajos, un punto de control

La propuesta es que un prompt elija la transcripción. NVIDIA entrena cinco estilos de salida en los mismos pesos, y quien llama selecciona uno con instrucciones en lenguaje natural en lugar de un modelo separado o un script de posprocesamiento:

• Literal — se conservan las disfluencias, los falsos comienzos y las repeticiones, para registros legales y de cumplimiento.

• Forma escrita — puntuación y uso de mayúsculas corregidos, para subtítulos y actas legibles.

• Contextual — una lista de entidades proporcionada en el prompt guía la ortografía de nombres, productos y jerga.

• Atribuido al hablante — cada segmento lleva una etiqueta de hablante, producida dentro de la pasada de ASR.

• Rich — el estilo «todo incluido» que reúne etiquetas de hablante, puntuación, mayúsculas y formato.

Más allá de la transcripción, el mismo checkpoint realiza traducción de voz en ambas direcciones entre inglés y 31 idiomas, identificación del idioma hablado y comprensión de audio: respuesta a preguntas y seguimiento de instrucciones habladas sobre la grabación. Maneja grabaciones de hasta una hora dentro de un contexto de 65.536 tokens, usando fragmentos internos de decodificación de 30 segundos que son un detalle de ingeniería, no un límite de grabación. Las marcas de tiempo de las palabras provienen de un adaptador CTC ligero después de la decodificación.

De dónde provienen realmente las etiquetas de hablante

La mayoría de las afirmaciones de que "un solo modelo lo hace todo" se desmoronan ante la diarización, porque la identidad del hablante es un problema de agrupamiento y la transcripción es un problema de secuencia, y ambos suelen resolverse por separado. La respuesta de NVIDIA es un codificador experto paralelo: un modelo Nemotron 3 Diarization congelado produce representaciones de actividad del hablante que se inyectan en la salida del codificador de voz, de modo que el backbone lingüístico ve quién está hablando mientras decide qué se dijo. El propio LLM no se reentrena para la tarea.

Ese diseño es la razón por la que la empresa puede afirmar una sola pasada en lugar de una cascada. NVIDIA informa una tasa de error de palabras por permutación mínima concatenada promedio de 15.80 en su conjunto de evaluación multihablante, frente a 16.83 para la mejor cascada especializada de ASR más diarizador, y describe el resultado como el primer LLM de voz que supera ese tipo de sistema en transcripción con atribución de hablante y habla superpuesta. Esas son cifras del proveedor procedentes de un conjunto de evaluación creado por el proveedor, y ningún laboratorio neutral las ha reproducido todavía. Considera la dirección plausible y el margen provisional.

Los números, con las etiquetas adjuntas

La tarjeta de NVIDIA reporta una tasa media de error de palabra del 4,71 % en los nueve conjuntos de prueba públicos en inglés del Open ASR Leaderboard. La dispersión subyacente a esa media es amplia y conviene conocerla antes de citarla: LibriSpeech test-clean se sitúa en el 1,09 % y SPGISpeech en el 1,91 %, mientras que AMI llega al 7,81 % y URGENT24 al 11,00 %. El tablero multilingüe promedia un 4,62 % en siete idiomas, con el alemán en el 2,81 % y el hindi en el 9,15 % en su propia métrica de palabras fuera del vocabulario.

La cobertura de prensa del lanzamiento también ha citado 5,33 % para el panel en inglés. Ese es un agregado distinto sobre una composición de conjunto diferente, no una corrección, y los dos nunca deberían colocarse en la misma fila. El 4,71 % de la tarjeta es la cifra que hay que citar si se cita la tarjeta.

La afirmación sobre el prompting contextual es lo más concreto del anuncio. En ContextASR-Bench, el WER general pasa del 3,33 % sin lista de entidades al 1,71 % con una lista de granularidad fina; el WER de entidades nombradas cae del 12,21 % al 2,20 %, y la tasa de falsos negativos de entidades nombradas, del 14,99 % al 1,32 %. Eso es un mecanismo real y verificable —dale al modelo los nombres de tus productos y deja de intentar adivinarlos—, aunque las puntuaciones absolutas provengan del harness de NVIDIA.

La imagen independiente es menos halagadora y más útil. Artificial Analysis sitúa a Nemotron 3.5 Transcribe en un 3,4% en su tabla AA-WER v2 sin streaming, empatado en torno a los puestos 20 a 23, mientras que sus propias FAQ describen el modelo en un 2,8%. Ambas cifras pertenecen al mismo panel de la misma página. La diferencia se debe a un objetivo de medición distinto —punto final, cuantización o segmento de evaluación— y es aproximadamente la amplitud del ruido que este índice ha mostrado entre configuraciones de servicio. En el momento de redactar esto, el panel también indica un precio de alojamiento de $2,00 por 1.000 minutos de audio, lo que equivale a aproximadamente $0,12 por hora.

La cifra de rendimiento es la que importará a los equipos de operaciones: 2.238 segundos de audio procesados por segundo en una única GPU RTX PRO 6000 Blackwell, utilizando el checkpoint NVFP4 y el modelo borrador DFlash2. La propia salvedad de NVIDIA es que la pila de servicio optimizada no está incluida en la versión de código abierto, y se espera que la integración de desarrollo entregada funcione aproximadamente dos veces más lenta. Reduce esa cifra a la mitad antes de planificar la capacidad.

Donde se detiene la compilación abierta

Esta es la parte que la cobertura del lanzamiento omite. El checkpoint es capaz; las integraciones a su alrededor son desiguales, y la ficha del modelo lo dice sin rodeos.

• Sin transmisión en tiempo real — «Este es un modelo sin conexión», indica la ficha, y añade que la fragmentación interna del audio no lo convierte en un servicio de transmisión en tiempo real. Cada segundo de la grabación debe existir antes de que comience la decodificación.

• La integración con SGLang-Omni es solo para transcripción: sirve para transcribir archivos completos, pero, según la ficha, no incluye marcas de tiempo por palabra, salida con atribución de hablante, traducción ni decodificación especulativa. La ruta de vLLM sí admite la captura de marcas de tiempo. El entorno de ejecución que elijas determina qué funciones obtienes.

• Las marcas de tiempo y DFlash2 son mutuamente excluyentes: las marcas de tiempo no están disponibles cuando el modelo borrador de decodificación especulativa está en uso. Rápido o alineado, pero no ambos, en la configuración distribuida.

• La comprensión de audio es solo en inglés: el razonamiento, el seguimiento de instrucciones habladas y la respuesta a preguntas de audio "pueden no funcionar de forma fiable en otros idiomas", advierte la tarjeta, aunque la transcripción abarca 40.

• Puede no detenerse — la tarjeta recomienda una salvaguarda de limpieza porque el modelo puede ocasionalmente quedar en bucle sin terminar. Eso es un requisito operativo, no una nota al pie.

• Una hora es un límite práctico difícil: no se garantiza que el rendimiento más allá de 65.536 tokens o de una grabación de una hora sea generalizable. Para una deposición de todo el día, divides el archivo y reconcilias los hablantes por tu cuenta.

La atribución de hablantes también es más limitada que el titular de los 40 idiomas: 13 de los 40 idiomas están marcados para salida con múltiples hablantes en la matriz de NVIDIA, y las mezclas de entrenamiento abarcan hasta ocho hablantes. Si tu reunión es en turco o vietnamita, puedes transcribirla bien y aun así no obtener etiquetas.

Despliegue y lo que cuesta

Los pesos son gratuitos para uso comercial y no comercial bajo OpenMDW-1.1, publicados en BF16, FP8, NVFP4 y GGUF, con una configuración de referencia en una H100 de 80 GB y compatibilidad con componentes Ampere, Hopper, Blackwell y Lovelace. También hay un contenedor NIM para los equipos que prefieren no montar el stack de servicio, y NeMo Speech para el ajuste fino — NVIDIA informa de que adapta el modelo en 17 tareas a razón de 0,5 a 2,3 horas de GPU por tarea en una sola GPU, que es el tipo de cifra que hace que la adaptación de dominio resulte plausible en lugar de teórica.

Las cuentas se separan con claridad. En modalidad alojada, el listado de Artificial Analysis de $2.00 por 1,000 minutos equivale a unos $0.12 por hora de audio — más barato que la mayoría de los servicios de transcripción gestionada y aproximadamente un tercio de lo que suele costar una factura típica de STT en la nube. En modalidad autoalojada, el coste marginal es tiempo de GPU: con la relación de rendimiento de 2.238 a 1 del proveedor, mil horas de audio suponen menos de media hora de cómputo en la tarjeta adecuada, así que la pregunta deja de ser el precio y pasa a ser si posees o alquilas el hardware, y si se permite que el audio salga de tu red. Ambas vías son legítimas; en una hoja de cálculo, no están ni cerca la una de la otra.

La mitad del trabajo que el checkpoint no hace

La transcripción genera texto, y es en el texto donde recae la mayor parte del costo posterior: resumir la llamada, extraer elementos de acción, ocultar datos personales, traducir el resultado en inglés para una oficina regional y verificar que las etiquetas de los hablantes hayan sobrevivido al traspaso. Esas son cargas de trabajo habituales de los modelos de texto y no necesitan ejecutarse en la misma máquina que el ASR.

Ahí es donde un enrutador se gana su lugar. OrcaRouter pone esas llamadas posteriores detrás de una sola clave con un 0 % de recargo —el precio de lista del proveedor se transfiere tal cual, de modo que un cambio de precio del proveedor se aplica ese mismo día— con conmutación por error automática cuando un proveedor se degrada y un DSL de enrutamiento capaz de enviar el resumen, la anonimización y la traducción a distintos modelos dentro de un mismo flujo de trabajo. Para dejarlo claro: NVIDIA Nemotron 3.5 Transcribe no figura en el catálogo de OrcaRouter, y nada de lo aquí expuesto implica lo contrario. Lo que enrutamos es la capa de texto una vez que existe la transcripción, que es la capa que la mayoría de los equipos subestima cuando presupuestan una canalización de transcripción.

Si estás evaluando el modelo en sí, el camino honesto es primero un endpoint alojado y segundo tu propio hardware. Las cifras de la propia tarjeta difieren en más de un punto entre las mediciones del proveedor y las independientes, y el único audio que lo decide es el tuyo.

¿Qué cambiaría la recomendación?

Hay tres cosas que vale la pena observar durante el próximo trimestre. Primero, si la pila de servicio de código abierto alcanza la ruta NIM optimizada; hasta que lo haga, el rendimiento anunciado es una cifra exclusiva del servicio alojado y la versión abierta es aproximadamente la mitad de esa cifra. Segundo, si alguien fuera de NVIDIA reproduce el cpWER de 15.80 y la mejora de seis veces en entidades con nombre; ambas son afirmaciones sólidas que actualmente se basan en el arnés de un solo laboratorio. Tercero, si la comprensión de audio se expande más allá del inglés, porque esa capacidad —hacer preguntas a una grabación en lugar de solo transcribirla— es la parte que ningún checkpoint abierto competidor ofrece a este tamaño.

Por ahora, el veredicto práctico es limitado y poco atractivo. Si necesitas transcripción multilingüe de una hora con etiquetas de hablante y puedes aceptar un flujo de trabajo por lotes, este checkpoint es la opción abierta más sólida disponible y el mecanismo de prompting contextual es realmente diferenciador. Si necesitas subtítulos en vivo, un agente en streaming o alineación a nivel de palabra junto con la decodificación más rápida posible, el lanzamiento todavía no te cubre, y los productos que sí lo hacen siguen siendo aquellos a los que hay que recurrir.