Nemotron 3.5 Transcribe frente a Granite Speech 5.0 470M TurboCTC: 64× los parámetros, 43× más lento

El objeto más útil de esta comparación es un archivo de 279 megabytes. Esa es la cuantización Q4_K_M de Granite Speech 5.0 470M TurboCTC, el reconocedor de voz solo-codificador de IBM, y transcribirá inglés en la CPU de un portátil sin GPU, sin un entorno de Python que merezca ese nombre y sin contrato de servicio. Nemotron 3.5 Transcribe, que NVIDIA publicó como pesos abiertos el 28 de octubre de 2026, es un modelo de lenguaje aumentado con voz de 30 mil millones de parámetros que requiere un acelerador de clase de centro de datos y aproximadamente sesenta gigabytes de pesos BF16. El modelo de NVIDIA es sesenta y cuatro veces más grande y, según las cifras de rendimiento que publica cada proveedor, aproximadamente cuarenta y tres veces más lento por segundo de GPU. También es el único de los dos que puede decirle quién estaba hablando.

Ninguno de esos datos es decisivo. Describen dos máquinas distintas que casualmente se miden en la misma tabla de clasificación, y toda la cuestión es si tu carga de trabajo necesita el espacio o solo las palabras.

Un modelo CTC no autorregresivo frente a un LLM generativo de voz

Granite Speech 5.0 470M TurboCTC consta de dieciséis bloques Conformer con una capa de salida BPE de 16.384 piezas, entrenado con un objetivo CTC y decodificado de forma codiciosa. No hay modelo de lenguaje, ni proyector, ni bucle de generación: entra audio y sale una secuencia de etiquetas sincronizada con las tramas, submuestreada de 100 Hz a 12,5 Hz. Ese diseño explica por qué es rápido, por qué es pequeño y por qué no puede hacer nada que el conjunto de etiquetas no cubra. No tiene noción de prompt, ni estilo de salida, ni destino de traducción, ni campo de hablante.

Nemotron 3.5 Transcribe es la arquitectura opuesta, y la diferencia no es una brecha generacional. Un codificador de voz alimenta un modelo de diarización Nemotron 3 congelado, cuya señal de actividad del hablante se inyecta en el codificador a través de un codificador de expertos paralelo (Parallel Expert Encoder), y un decodificador híbrido Mamba–Transformer de mezcla de expertos produce la transcripción como texto, con aproximadamente 4000 millones de sus 30.000 millones de parámetros activos por token. Como la salida se genera en lugar de clasificarse, se le puede instruir: forma literal o escrita, una lista de entidades esperadas, un destino de traducción, salida con atribución de hablante, o una respuesta hablada a una pregunta sobre el audio.

• Parámetros: aproximadamente 30B en total, alrededor de 4B activos por token frente a 470M de solo codificador.

• Decodificación — generación autorregresiva sobre un MoE de 30B frente a CTC no autorregresivo codicioso.

• Licencia — OpenMDW-1.1 frente a Apache-2.0 (la más permisiva de las dos; el hermano -nc separado de IBM es CC-BY-NC-SA-4.0).

• Huella — aproximadamente 60 GB en las compilaciones BF16, NVFP4 y GGUF ofrecidas, frente a 279 MB en Q4_K_M en un port GGUF de la comunidad.

• Idiomas — 40 transcritos, 31 traducidos frente a 7 (inglés, francés, alemán, español, portugués, italiano, japonés) tras la actualización multilingüe del 21 de octubre de 2026.

• Hablantes: hasta 8, atribuidos, en 13 idiomas frente a ninguno; la diarización requiere un modelo aparte.

• Marcas de tiempo — a nivel de palabra mediante un adaptador CTC posterior a la decodificación frente a ningún adaptador; las posiciones de los picos CTC no son límites de palabra.

• Streaming — ninguno, solo audio grabado frente a ninguno.

La brecha de precisión es menor que la brecha de tamaño, y los promedios no coinciden.

IBM informa una tasa media de error de palabras del 5,51% en nueve conjuntos de prueba públicos en inglés para la versión multilingüe TurboCTC, mejorada desde el 5,78% en el lanzamiento de agosto. NVIDIA informa un WER medio en inglés del 5,33% en la Hugging Face Open ASR Leaderboard, y un 4,71% en nueve conjuntos de prueba públicos en su propia página de investigación. Ambas cifras son reportadas por los proveedores, y los dos promedios no son la misma mezcla: los nueve conjuntos de IBM y la entrada de ocho conjuntos de NVIDIA en la tabla de clasificación difieren en composición y normalización, y la cifra separada de nueve conjuntos de la página de investigación difiere a su vez de su propia entrada en la tabla de clasificación. No las reste ni califique la diferencia como una brecha de calidad. La afirmación defendible es más limitada: en la tabla de clasificación pública de inglés de formato corto, estas dos están a unas pocas décimas de punto entre sí, lo que es un resultado notable para un modelo 64 veces más pequeño y una advertencia sobre cuánto del promedio de una tabla de clasificación corresponde a habla leída limpia al estilo LibriSpeech.

La tasa de error de palabras también oculta lo que realmente los distingue. Granite es un clasificador: emite la secuencia de etiquetas más probable y, cuando la acústica es ambigua, emite algo plausible. Nemotron genera texto con un modelo de lenguaje detrás, y por eso su afirmación sobre el prompting contextual —una reducción de seis veces en los errores de entidades nombradas en ContextASR-Bench con una lista de entidades en el prompt— es siquiera posible. En una transcripción de una llamada de ventas llena de códigos de producto, el modelo pequeño no tiene ningún mecanismo para el sesgo, y el grande sí.

Rendimiento: 19.870 RTFx frente a 462

La entrada de Nemotron 3.5 Transcribe en el leaderboard de Hugging Face tiene un RTFx de 462,09, lo que significa que el modelo procesa aproximadamente 462 segundos de audio por segundo de cómputo en el banco de pruebas del leaderboard. La actualización de octubre de IBM informa 19.870 RTFx para TurboCTC en una única H200, frente a unos 12.600 en el lanzamiento tras una optimización de reutilización de grafo de un solo bloque. Esa es una diferencia de cuarenta y tres veces y, a diferencia de las cifras de WER, al menos se mide en dos aceleradores competitivos en lugar de dos mezclas de prueba diferentes.

El titular de la propia NVIDIA es otro tipo de cifra: hasta 2.238 segundos de audio por segundo en una RTX PRO 6000 Blackwell, usando el checkpoint NVFP4 y un modelo borrador DFlash2. Esa cifra es superior a los 462 de la tabla de clasificación porque se trata de una medición diferente: clips de 30 segundos con alta concurrencia, como indica la propia publicación de NVIDIA en Hugging Face, con decodificación especulativa habilitada y una cuantización que todavía se describía como próxima. Al leer ambos datos juntos, la conclusión honesta es que el rendimiento de Nemotron varía según la configuración en un orden de magnitud, mientras que el de TurboCTC es una propiedad de su arquitectura. Un modelo sin bucle autorregresivo no puede ser lento de la forma en que un MoE de 30B puede serlo.

Lo que 470 millones de parámetros te aportan que 30 mil millones no pueden

La primera respuesta es la forma de despliegue. Un GGUF de 279 MB se ejecuta en una CPU, en un dispositivo de borde de capacidad similar a un teléfono, dentro de una aplicación de escritorio o en una placa de clase Raspberry Pi si se tiene paciencia. Ahora existen adaptaciones GGUF de la comunidad y una familia de entornos de ejecución en C++ que trata el modelo como un motor de primera clase. Nemotron 3.5 Transcribe se ejecuta con vLLM y el plugin NeMo Speech, o con SGLang-Omni, en un acelerador de 80 GB en BF16 o en una tarjeta Blackwell en NVFP4. No son dos puntos de un espectro; son categorías de adquisición diferentes.

La segunda es el mínimo de latencia. Un modelo CTC devuelve una transcripción en una sola pasada hacia adelante. Un modelo generativo devuelve un token a la vez, y su latencia real en un archivo corto está determinada principalmente por el bucle de decodificación, no por el audio. Para archivos por lotes, esto es irrelevante. Para cualquier contexto interactivo — un cuadro de dictado, un monitor de calidad de llamadas, una herramienta de subtítulos que tiene que seguir el ritmo de un desplazamiento — el modelo pequeño es el único de los dos que termina antes de que el usuario lo note.

El tercero es la claridad de licencias. Apache-2.0 es la licencia que los departamentos jurídicos ya han aprobado; OpenMDW-1.1 es lo bastante nueva como para que algunos quieran revisarla. Si tu obstáculo es un formulario de adquisición y no un benchmark, el modelo de IBM lo resuelve más rápido.

Qué te aportan 30.000 millones de parámetros que 470 millones no pueden

Hablantes, primero y de forma decisiva. TurboCTC no tiene ninguna representación de hablantes. Para obtener transcripciones con atribución, necesitas un modelo de diarización delante de él, un paso de fusión y un presupuesto de error para la fusión: la cascada estándar. Nemotron 3.5 Transcribe integra un modelo de diarización congelado en el codificador y emite etiquetas de hablante directamente, hasta ocho de ellas, en 13 idiomas, con temporización de palabras atribuida por hablante a partir de un adaptador CTC posterior a la decodificación. La tasa de error de diarización reportada por NVIDIA es del 18,26 % en 21 idiomas en el benchmark David AI, la mejor de 14 sistemas, y el competidor más cercano es su propio modelo Nemotron 3 Diarization, con 18,38 %. Esas son cifras del proveedor obtenidas con un banco de pruebas del proveedor y no han sido reproducidas de forma independiente. La comparación de cascadas que implican —un modelo frente a tres— no es en absoluto una afirmación de benchmark: es una descripción del despliegue.

Idiomas y traducción, en segundo lugar. TurboCTC cubre siete idiomas tras su actualización de octubre; Nemotron cubre cuarenta para transcripción y treinta y uno para traducción desde o hacia el inglés. Si tu cola es europea y monolingüe, siete es suficiente. Si no lo es, la comparación termina.

En tercer lugar, el ajuste fino. NVIDIA informa de adaptación en una sola GPU a entre 0,5 y 2,3 horas-GPU por tarea, y de un ejemplo de voz médica en el que un ajuste fino llevó la tasa de error de palabras del 30,8 % al 11,8 % en 3.619 clips, con hablantes reservados mejorando del 22,44 % al 12,17 %. TurboCTC de IBM también se puede ajustar —es Apache-2.0—, pero estarías ajustando una cabeza CTC en un modelo mucho más pequeño, y el techo de lo que el contexto adicional puede aportarte es más bajo porque no hay un modelo de lenguaje al que persuadir.

El modelo de costes que lo decide

La economía de TurboCTC es casi aburrida. Un H200 que sirve 19,870 RTFx satura una cola muy grande; una compilación cuantizada de 279 MB en CPU de uso común cuesta casi nada por hora de audio, y la electricidad es la partida principal. No hay ningún medidor por minuto en ninguna parte de la pila.

La economía de Nemotron tiene la misma forma a otra escala: sin medición por minuto, pero con un acelerador mucho más grande y un techo de rendimiento mucho más bajo. Una tarjeta Blackwell que procesa 2.238 segundos de audio por segundo cubre 100 horas en menos de tres minutos con alta concurrencia, y bastante menos en reuniones de una hora con solapamiento.

• Una cola de 20 horas al mes: TurboCTC en CPU es prácticamente gratis; Nemotron necesita un acelerador alquilado o propio que quedará inactivo la mayor parte del mes.

• Un archivo de 2.000 horas al mes sin requisitos de hablante — TurboCTC en una GPU, o una pequeña flota de CPU, es la configuración más económica y rápida por un amplio margen.

• Un archivo de 2.000 horas mensuales de reuniones de seis personas — TurboCTC más un diarizador más una capa de fusión, medido frente a Nemotron en una sola tarjeta. Esta es la única configuración en la que el precio del modelo grande es defendible, e incluso aquí la cascada es más barata en hardware.

• Cualquier cosa sujeta a una restricción de confidencialidad que prohíba subir audio — ambos se pueden alojar en servidores propios, de modo que la restricción se cumple en cualquier caso, y la decisión recae entonces en los hablantes y los idiomas.

La mitad de posprocesamiento del pipeline es donde una capa de enrutamiento justifica su valor, independientemente del reconocedor que elijas. Las transcripciones se resumen, etiquetan y enrutan, y OrcaRouter pone más de 200 modelos de texto y multimodales detrás de una sola clave con los precios de lista de los proveedores repercutidos con 0 % de margen, conmutación automática por error, y un DSL de enrutamiento que puede enviar un tipo de transcripción a un resumidor económico y otro a un modelo más potente sin una segunda integración. Ni Nemotron 3.5 Transcribe ni Granite Speech 5.0 470M TurboCTC se ofrecen en ese catálogo —no alojamos conversión de voz a texto—, así que la elección de voz sigue siendo un contrato aparte y solo la capa superior se vuelve portátil.

Elige por la naturaleza del puesto, no por la clasificación.

Si el trabajo consiste en «convertir una gran cantidad de audio limpio, en su mayoría en inglés, en texto de la forma más económica y rápida posible», Granite Speech 5.0 470M TurboCTC gana y la comparación no está ni cerca: es un modelo de 279 MB con licencia Apache que supera en velocidad a un sistema de 30B por más de cuarenta veces y no renuncia a casi nada en el promedio público de inglés. La cascada que construyes para hablantes es el precio de esa eficiencia, y si nunca necesitaste hablantes, nunca pagas ese precio.

Si la tarea consiste en «producir una transcripción estructurada, cronometrada y con atribución a partir de una grabación difícil en uno de cuarenta idiomas», Nemotron 3.5 Transcribe es el único de los dos que lo intenta, y las cifras de diarización del proveedor —aún no reproducidas de forma independiente— sugieren que lo hace mejor que las cascadas a las que sustituye. El coste en rendimiento es real, el coste de hardware es real y, para una carga de trabajo con muchas reuniones, ninguno de los dos resulta prohibitivo.

El error que hay que evitar es tratar esto como una competición generacional. Un modelo CTC de 470M no es una versión obsoleta de un LLM de voz de 30B; es un instrumento diferente que resulta obtener puntuaciones similares en un benchmark construido principalmente con habla leída limpia. La próxima versión no lo dejará obsoleto. Tu propia peor grabación te dirá cuál de los dos necesitabas.