Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo: 40× la huella por un punto de WER

Si tu trabajo de transcripción es una carpeta de clips de entrevista monoaurales de tres minutos y la máquina que tienes es una tarjeta para estación de trabajo de 24 GB, la comparación entre Nemotron 3.5 Transcribe y Whisper Large v3 Turbo está resuelta antes de que la precisión entre en juego. El nuevo modelo de NVIDIA es un sistema de voz de 34 mil millones de parámetros que se validó en un acelerador de 80 GB. La variante turbo de OpenAI es un modelo de 809 millones de parámetros que cabe en 0,8 GB de pesos int8 y se ejecuta en una CPU. Esta semana se están comparando porque sus tasas de error quedaron a alrededor de un punto de distancia entre sí, y ese es el dato menos útil sobre esta pareja.

Nemotron 3.5 Transcribe se lanzó el 2026-10-28 como pesos abiertos bajo la licencia OpenMDW-1.1, que permite uso comercial. Whisper Large v3 Turbo es del 2024-10-01 y tiene licencia MIT; no es una novedad, es la línea de base con la que se mide todo modelo de voz nuevo. La pregunta que responde este artículo no es cuál obtiene mejores puntuaciones —ambos proveedores querrían que lo leyeras así—, sino cuál puedes ejecutar realmente, a qué coste, con el audio que tienes.

Lo que cada modelo realmente es

La diferencia de arquitectura no es una brecha generacional. Es una diferencia de categoría, y explica casi todas las contrapartidas posteriores.

• Arquitectura: un LLM híbrido Mamba–Transformer de mezcla de expertos con un codificador de voz y un codificador de diarización congelado de 99M incorporado, aproximadamente 34B en total con 4,3B activos por token, frente a un codificador–decodificador destilado de large-v3 con su decodificador recortado de 32 capas a 4.

• Ventana de audio — grabaciones de hasta una hora procesadas en una sola pasada, frente a una ventana fija de 30 segundos con decodificación fragmentada de audio de larga duración para cualquier grabación más extensa.

• Etiquetas de hablante — integradas en la salida, hasta 8 hablantes, en 13 idiomas, frente a ninguna en absoluto; Whisper no tiene ningún token de hablante en su vocabulario, por lo que un diarizador independiente es obligatorio.

• Temporización a nivel de palabra — un adaptador CTC ligero alinea la transcripción final con el audio, frente a únicamente tokens de marcas de tiempo a nivel de segmento, con la temporización a nivel de palabra requiriendo alineación forzada.

• Cobertura de idiomas: 40 idiomas transcritos, 31 traducidos hacia o desde el inglés, 13 con atribución de hablante, frente a 99 idiomas transcritos y sin traducción.

• Pesos en disco — aproximadamente 68 GB en BF16 bajo OpenMDW-1.1, frente a 1,6 GB en fp16, 0,81 GB en int8, bajo MIT.

Las cifras de precisión no cuadran, y esa es la cuestión.

Artificial Analysis gestiona el único índice público en el que ambos modelos aparecen en la misma escala, y sus cifras merecen leerse con atención porque no concuerdan entre sí. En la tabla de la clasificación, Whisper Large v3 Turbo figura con un 4,6 % de AA-WER en un endpoint de inferencia rápida y con un 5,5 % en un segundo. Nemotron 3.5 Transcribe figura con un 3,4 % para un endpoint alojado. El propio anuncio de NVIDIA cita un 2,80 % de AA-WER, empatado en el primer puesto entre los modelos de pesos abiertos, y la sección de texto de esa misma clasificación repite 2,8 % mientras que su tabla muestra 3,4 %, una discrepancia dentro de una sola página, antes de que nadie empiece a comparar proveedores.

Si tomamos la tabla al pie de la letra, Nemotron 3.5 Transcribe es aproximadamente 1,2 puntos mejor. Ahora fíjate en que las dos entradas del propio Whisper Large v3 Turbo difieren en 0,9 puntos para el mismo modelo. La mayor parte de la brecha aparente entre estos dos sistemas se debe a la configuración de los endpoints —procesamiento por lotes, ajustes de decodificación, preprocesamiento de audio—, no a la arquitectura. Cualquiera que cite una única diferencia de WER como veredicto está citando un número que varía casi en la misma medida cuando se cambian los hosts.

El ranking Open ASR Leaderboard cuenta una historia que suena a cifras más altas. La media en inglés de formato corto de Whisper Large v3 Turbo se sitúa allí en torno al 7,8 %, mientras que NVIDIA reporta 4,71 % para su modelo en nueve conjuntos de prueba en la página de investigación, y un WER medio en inglés del 5,33 % en la publicación adjunta de Hugging Face. Se trata de mezclas de prueba distintas con normalizaciones distintas, así que la brecha de tres puntos es, en el mejor de los casos, indicativa. Lo que importa más es lo que no existe: una comparación directa entre proveedores frente a Whisper Large v3 Turbo. NVIDIA compara su modelo con sistemas de diarización en cascada y con otros modelos de voz de pesos abiertos, no con el checkpoint turbo que la mayoría de los equipos están usando hoy. Toda cifra de "supera a Whisper" que circula es una inferencia entre benchmarks, incluida la nuestra.

La brecha de capacidades que Whisper no puede cerrar

Dejando a un lado la salida basada en prompts, la diferencia operativa es que Nemotron 3.5 Transcribe produce transcripciones con atribución de hablante en una sola pasada. Las etiquetas de hablante provienen del encoder de diarización congelado, fusionado en las características de audio; la respuesta incluye segmentos de hablante sin procesar junto a la transcripción etiquetada, y el modelo los marca como <spk:0> hasta <spk:7>. Para un pódcast de dos personas, esto es una comodidad. Para una audiencia disciplinaria de 60 minutos, una visita clínica o una llamada de ventas con múltiples participantes, es el producto.

Whisper Large v3 Turbo no puede expresar en absoluto a un hablante. Sus transcripciones de entrenamiento nunca llevaron etiquetas de hablante, y su entrada se mezcla a mono 16 kHz, lo que destruye la única pista física que podría haber sobrevivido. Pedirle que produzca etiquetas da como resultado un texto que parece correcto y no tiene ninguna base en el audio. La solución alternativa estándar es WhisperX: alineación forzada para la temporización de palabras más un modelo de diarización alojado por separado, unidos en los límites de segmento. Funciona, está ampliamente desplegado, y son tres piezas móviles donde Nemotron 3.5 Transcribe es una.

La misma ventaja estructural se aplica al audio largo. Una hora en una sola pasada supera al ensamblaje de ventanas de 30 segundos, y el ensamblaje de ventanas tiene un modo de fallo conocido: la decodificación sin tokens de marca temporal omite palabras en casi cada límite; una charla de 20 minutos que se midió perdió así aproximadamente el 3 % de sus palabras. El adaptador CTC de Nemotron 3.5 Transcribe existe precisamente para evitar esa clase de error, aunque ten en cuenta que las marcas de tiempo de palabras no formaban parte del soporte inicial de vLLM.

En las tareas para las que se construyó, las cifras que NVIDIA reporta son sólidas y proceden del propio fabricante: 18,26 % de DER en 21 idiomas en el benchmark de diarización de David AI, descrito como el mejor de 14 sistemas; 32,4 % de cpWER en VoiceArena, también el mejor de 14. A las listas contextuales de entidades, proporcionadas en el prompt, se les atribuye una reducción por un factor de seis en los errores de entidades nombradas en ContextASR-Bench. Nada de esto cuenta todavía con una replicación independiente, y todo ello es una afirmación sobre un modelo que apenas tiene un día.

Donde Whisper Large v3 Turbo todavía gana de forma incontestable

La amplitud de idiomas es la primera respuesta, y es menos aburrida de lo que parece. Whisper Large v3 Turbo cubre 99 idiomas. Nemotron 3.5 Transcribe cubre 40 para transcripción, 31 para traducción y 13 para atribución de hablante. Si tu cola contiene kazajo, tamil, suajili o galés, la comparación termina ahí: el modelo turbo los transcribe, y el modelo más nuevo y más grande no afirma poder hacerlo.

La segunda respuesta es la fricción de despliegue. Whisper Large v3 Turbo se ejecuta con whisper.cpp, faster-whisper y MLX, en CPU, en un portátil, en un Jetson. Nemotron 3.5 Transcribe exige vLLM 0.32.0 más el complemento NeMo Speech, o SGLang-Omni 0.2.0, en una H100 de 80 GB en BF16, una L40S en FP8, o una RTX 5090 en NVFP4. Esos no son compromisos operativos comparables.

El tercero es que el precio de turbo es una tarifa por hora publicada y anodina. Los endpoints alojados cobran alrededor de $0,04 por hora de audio con un mínimo de diez segundos, y se ejecuta a aproximadamente 250 veces el tiempo real en un endpoint rápido. Mil horas de audio cuestan alrededor de $40. Nemotron 3.5 Transcribe no tiene un precio de lista divulgado para el checkpoint completo, y los endpoints alojados que lo incluyen no publican tarifas por minuto.

Comprueba qué Nemotron 3.5 estás evaluando

El error más común en la cobertura de esta semana es comparar el modelo equivocado. Una gran parte de las comparaciones publicadas de «Nemotron 3.5» en realidad evalúan nvidia/nemotron-3.5-asr-streaming-0.6b — un modelo de streaming con reconocimiento de caché (cache-aware) de 0.6B de una versión anterior, con sus propias cifras y sus propias debilidades. Si una tabla menciona fragmentos de 80 ms a 1120 ms, no está probando Nemotron 3.5 Transcribe. Eso importa porque el modelo de streaming pierde frente a Whisper Large v3 Turbo en precisión bruta en comparaciones del mundo real (3,35 % frente a 2,55 % en una tabla de clasificación multilingüe) y pierde claramente en alineación de palabras, mientras que el modelo que se analiza aquí es un sistema diferente, no de streaming, de 34B.

La segunda trampa está en el serving. La vía fácil, SGLang-Omni 0.2.0, te da un endpoint funcional sin NeMo —y sin marcas de tiempo, etiquetas de hablante ni traducción. La vía completa, vLLM 0.32.0 con el plugin NeMo Speech, te da las tres cosas, pero las marcas de tiempo a nivel de palabra llegaron como una actualización posterior y no en el primer PR. Por lo tanto, tres recetas de despliegue llamadas «Nemotron 3.5 Transcribe» pueden comportarse como tres productos distintos. Si la atribución de hablante es el motivo por el que estás cambiando, verifica esa vía antes de dedicarle tiempo de ingeniería.

Lo que cuesta ejecutarlo, honestamente

La comparación alojada es casi trivial: Whisper Large v3 Turbo a aproximadamente $0.04 por hora de audio son ~$40 por cada mil horas, sin hardware que poseer. Nemotron 3.5 Transcribe aún no se vende de esa manera, así que un equipo que lo quiera está presupuestando una GPU, no una factura.

La propia cifra de rendimiento que declara NVIDIA es el límite inferior de cómputo: 2.238 segundos de audio por segundo de tiempo de GPU, NVFP4 con el drafter DFlash2 en una RTX PRO 6000 Blackwell, lo que equivale a unas 100 horas de audio en menos de tres minutos. A unos 2 USD por hora de GPU bajo demanda, eso implica un límite inferior muy por debajo de un centavo por hora de audio, con procesamiento por lotes completo, que no es como se comporta una cola de producción. Trátalo como el techo de lo que puede hacer el hardware, no como una velocidad que vayas a alcanzar.

Lo que significa que la comparación real no es Whisper Large v3 Turbo frente a Nemotron 3.5 Transcribe. Es Nemotron 3.5 Transcribe frente a Whisper Large v3 Turbo más un modelo de diarización, un alineador forzado, código de fusión de segmentos y el ajuste por idioma que requiere ese ensamblaje. Si ya ejecutas WhisperX en producción, ya has pagado la mayor parte de ese coste y el argumento a favor de cambiar es más débil de lo que sugiere la diferencia de WER. Si no lo has construido, el modelo de 30B compite contra una pipeline que, de otro modo, tendrías que dotar de personal.

Una nota práctica para quien esté usando ambos durante una migración: mantener dos backends de transcripción detrás de un único endpoint compatible con OpenAI convierte el cambio en una modificación de configuración en lugar de un segundo contrato con un proveedor. Esa es la capa que OrcaRouter existe para proporcionar: una sola clave y un solo endpoint entre los proveedores que enruta, con el precio de lista del proveedor repercutido con un 0 % de margen y conmutación por error automática entre ellos. No cambia qué modelo es mejor. Cambia lo que cuesta averiguarlo y lo que cuesta equivocarse al respecto.

¿Quién debería elegir cuál?

• Grabaciones de reuniones, jurídicas, clínicas o de centros de contacto con varios hablantes y un rastro de auditoría — Nemotron 3.5 Transcribe. La atribución de hablantes y las marcas temporales por palabra en una sola pasada es la capacidad que, de otro modo, tendrías que ensamblar, y la ventana de una hora elimina por completo la lógica de fragmentación.

• Audio mono de alto volumen, amplia cobertura de idiomas, despliegue en portátil o CPU, facturación predecible por hora — Whisper Large v3 Turbo. Con 809M de parámetros y $0.04 por hora, es la respuesta correcta más económica para una parte muy importante del tráfico real, y cuenta con dos años de probada experiencia en condiciones reales.

• Cargas de trabajo mixtas: ejecuta turbo sobre todo y envía al modelo más grande solo el audio que necesite hablantes, listas de jerga o traducción. La regla de selección se basa en las propiedades del audio, no en el prestigio del modelo: número de hablantes, presencia de un glosario del dominio y duración de la grabación.

Preguntas que vale la pena hacer antes de migrar

¿Puede Nemotron 3.5 Transcribe ejecutarse en una sola GPU de 24 GB?

No con comodidad. NVIDIA validó BF16 en una H100 de 80 GB, FP8 en una L40S y el checkpoint NVFP4 en una RTX 5090, que es una tarjeta de 32 GB. Un dispositivo de 24 GB está por debajo de todas las configuraciones validadas, y la torre de audio se copia en cada rango de tensor-parallel, por lo que el sharding multi-GPU no rescata una única tarjeta pequeña.

¿Whisper Large v3 Turbo realiza etiquetas de hablante o traducción?

Ninguna de las dos. La variante turbo se entrenó solo con transcripción, así que pasarle una tarea de traducción produce resultados inservibles: traducir requiere el checkpoint completo large-v3. Las etiquetas de hablante necesitan un diarizador aparte, como pyannote, y emparejar sus turnos con las marcas de tiempo gruesas de los segmentos de Whisper es la parte del pipeline que más tiempo cuesta acertar.

¿La brecha de parámetros se manifiesta como latencia?

No por minuto de audio, no. Whisper Large v3 Turbo devuelve una ventana de 30 segundos en mucho menos de un segundo en un endpoint alojado rápido, y Nemotron 3.5 Transcribe procesa un archivo de una hora en una sola pasada con un rendimiento que NVIDIA describe en el orden de miles de segundos de audio por segundo de GPU. La diferencia visible está en otro lado: turbo no tiene modo de streaming y Nemotron 3.5 Transcribe tampoco, así que el subtitulado en vivo queda fuera del alcance de ambos.

¿Cuál es mejor para audio en idiomas distintos del inglés?

Ninguna de las dos respuestas es segura. Whisper Large v3 Turbo cubre 99 idiomas con una calidad que varía mucho según el idioma, y Nemotron 3.5 Transcribe cubre 40 con resultados multilingües reportados por el proveedor y una receta de adaptación — NVIDIA informa que un dominio médico reservado mejora del 22,44 % al 12,17 % de WER tras el ajuste fino en una GPU durante unas horas. Aún no hay una comparación directa multilingüe independiente, así que para cualquier idioma fuera del inglés, lo responsable es hacer una prueba a ciegas con tu propio audio.

¿Qué cambiaría este veredicto?

Tres cosas, en orden de probabilidad. Que los timestamps a nivel de palabra lleguen a la API de transcripción de vLLM convertiría la ruta de servicio completa en la predeterminada y reduciría la brecha entre las tres recetas de despliegue. Que los checkpoints cuantizados se distribuyan ampliamente bajaría el mínimo de hardware de una tarjeta de 80 GB hacia dispositivos de consumo. Y una comparación directa multilingüe genuinamente independiente contra Whisper Large v3 Turbo reemplazaría la inferencia por la medición.

Hasta que llegue uno de esos, la decisión no está ni cerca de una décima de punto de WER. Es una cuestión sobre tu audio: si tiene más de una voz y necesitas saber qué voz dijo qué, Nemotron 3.5 Transcribe es el primer modelo abierto que hace eso en una sola pasada sin un pipeline detrás. Si no lo hace, un modelo de 809M publicado hace un año sigue haciendo el trabajo por cuarenta dólares cada mil horas, y el modelo de 34B representa una gran cantidad de hardware que comprar para una cifra que se mueve cuando cambias de hosts.