Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM gana en los benchmarks, Whisper gana en 99 idiomas

En los dos números que la mayoría de la gente revisa primero, Granite Speech 5.0 2B supera a Whisper large-v3-turbo y no hay punto de comparación. El modelo de IBM promedia una tasa de error de palabras del 5,06% en los nueve conjuntos de prueba de formato corto en inglés del Open ASR Leaderboard a 570 RTFx; el checkpoint turbo de OpenAI promedia 7,83% a 200 RTFx en la misma tabla. Más rápido y más preciso, en el mismo benchmark, con aproximadamente dos años de diferencia en la fecha de lanzamiento. Si tu audio está en inglés y está limpio, esa es toda la comparación y puedes dejar de leer. Los fallos de IA y los incidentes de agentes documentados detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive donde cada entrada incluye sus propias fuentes, severidad, grado de confianza y marca de disputa.

La razón por la que esta página todavía tiene que existir es el tercer número: 99. Whisper large-v3-turbo cubre noventa y nueve idiomas; Granite Speech 5.0 2B cubre seis para transcripción y traduce a dos más. Una ventaja de 2,8 puntos de WER en inglés no vale nada si el audio es vietnamita. Así que la verdadera pregunta no es qué modelo es mejor — sino si tu combinación de idiomas cabe en una caja de seis idiomas, y cuánto cuesta la migración si es que cabe.

Qué es realmente Whisper large-v3-turbo

Vale la pena ser preciso aquí porque el nombre se asocia a cosas que no son él. Whisper large-v3-turbo es la versión podada de large-v3 de OpenAI: el codificador no cambia, pero el decodificador tiene 4 capas en lugar de 32. Ese único cambio lleva el modelo de 1.550 millones de parámetros a 809 millones y aproximadamente triplica el rendimiento, a cambio de renunciar a relativamente poca precisión, por lo que se convirtió en el checkpoint de ASR rápido predeterminado en todo el ecosistema a los pocos meses de su lanzamiento en octubre de 2024.

De ese diseño se derivan tres propiedades y todas ellas son relevantes para esta comparación:

• Es un modelo de traducción que resultó podado, por lo que hereda la transcripción y la identificación de idioma en 99 idiomas, pero la variante turbo no está entrenada para traducción. A diferencia de large-v3, transcribe e identifica el idioma; no convierte el habla de un idioma en texto de otro. Los equipos suelen descubrirlo después de haber construido sobre él.

• El decodificador es autorregresivo. Escribe tokens, 4 capas a la vez, y por eso su rendimiento se sitúa en 200 RTFx en lugar de en los miles. La velocidad de Whisper provenía de eliminar capas, no de cambiar el paradigma de decodificación.

• Tiene licencia MIT, que en la práctica es más permisiva que Apache 2.0 exactamente en un aspecto que importa a algunos equipos legales: no hay cláusula de concesión de patentes que analizar ni archivo de atribución que distribuir.

La verdadera ventaja de Whisper nunca fue el benchmark. Son dos años de herramientas: faster-whisper, whisper.cpp, el endpoint gestionado de cada nube, recetas de cuantización, librerías de marcas de tiempo a nivel de palabra, pilas de diarización construidas sobre él. Ese ecosistema es un costo de cambio real y esta comparación tiene que considerarlo con honestidad.

Dónde la brecha es real y dónde es un artefacto del harness de pruebas

La comparación del 5,06 % frente al 7,83 % corresponde a la misma tabla de clasificación, lo que la hace más legítima que la mayoría de las cifras entre proveedores, pero no es una ejecución en condiciones equivalentes, y los detalles pueden interpretarse en ambos sentidos.

• La cifra de Granite procede de una evaluación realizada por la propia IBM y enviada a la clasificación, descrita en el blog del anuncio como «no oficial, a fecha de 15 de octubre de 2026». La ficha del modelo califica esos mismos resultados como «oficiales» a fecha de 20 de octubre. Elige el adjetivo que prefieras; nadie fuera de IBM lo ha reproducido.

• La cifra de Whisper es el resultado publicado por la clasificación para el checkpoint, ejecutado por el propio harness de la clasificación, que es un pipeline distinto al de IBM.

• Ambas cifras son promedios sobre nueve conjuntos de prueba públicos, la mayoría de ellos habla leída en inglés de LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI y VoxPopuli. La debilidad de Whisper en esta tabla está bien documentada y es estructural: se entrenó con 680,000 horas de audio web débilmente supervisado, lo que compra amplitud a costa de un formato preciso.

• En audio de campo lejano y con ruido, el orden se mantiene. El panel FFASR —que promedia campo cercano, SNR alta, SNR media y SNR baja— sitúa a whisper-large-v3 en 18,02 %, mientras que Granite Speech 5.0 2B queda en 14,80 %. Ten en cuenta que es large-v3, no turbo; turbo suele ser algo peor que el modelo del que deriva en audio difícil porque tiene menos capas de decodificador para recuperarse de una mala estimación acústica.

Así que la brecha de precisión probablemente es real en cuanto a dirección y probablemente sea menor que 2,8 puntos en una comparación justa. Lo que no está en duda es de dónde viene: al decodificador de Whisper se le pide que haga identificación de idioma, transcripción, puntuación, uso de mayúsculas y alineación de marcas de tiempo a la vez con cuatro capas, mientras que la arquitectura de Granite separa el trabajo acústico (un codificador CTC con cabezas de caracteres y BPE) de la generación de texto (un modelo de lenguaje de 1B).

El cuadro de idioma, cuantificado

Aquí es donde se toma la decisión, así que merece más que un número en una viñeta.

• Granite Speech 5.0 2B transcribe inglés, francés, alemán, español, portugués y japonés, y traduce entre esos seis idiomas y el inglés, además de traducir del inglés al italiano y del inglés al mandarín.

• Whisper large-v3-turbo transcribe noventa y nueve idiomas e identifica cuál está oyendo. No traduce.

• El hermano de siete idiomas de Granite, Granite Speech 5.0 470M TurboCTC, añade italiano al conjunto de transcripción, por lo que la familia cubre siete idiomas europeos y el japonés, no seis.

Noventa y nueve frente a siete es todo el argumento a favor de Whisper, y es contundente. Pero la distribución práctica importa más que la cifra. Si tu audio está en inglés, francés, alemán, español, portugués, japonés e italiano, Granite lo cubre. Si necesitas hindi, árabe, coreano, turco, polaco, vietnamita, indonesio, neerlandés, sueco o cualquiera de los otros noventa y tantos, Whisper es el único de estos dos que funciona, y ninguna ventaja en WER sobre el inglés cambia eso.

El caso intermedio es en el que realmente están la mayoría de los equipos: un producto mayoritariamente en inglés con una larga cola de idiomas que llega un pequeño porcentaje de las veces. Dos modelos, uno por nivel, es una respuesta normal y correcta, y resulta más barato de lo que parece, porque la cola es donde el volumen es bajo.

Audio largo, marcas de tiempo y las cosas que se rompen a escala

La historia de despliegue de Whisper es madura de formas que no aparecen en ningún benchmark. Marcas de tiempo a nivel de palabra, detección de actividad de voz, diarización de hablantes, streaming con decodificación por fragmentos — todo existe, todo está probado en batalla, y gran parte de ello asume la ventana de 30 segundos de Whisper y sus tokens de marca de tiempo.

Granite Speech 5.0 2B adopta una forma diferente. IBM recomienda segmentos de hasta unos dos minutos, divididos con VAD para grabaciones más largas, y el modelo de lenguaje recibe embeddings de 10 Hz dentro de un contexto de 16k extendido con YaRN. No hay una cabeza de marcas de tiempo a nivel de palabra en el checkpoint base de 2B: la generación 4.1 incluía una variante «-plus» independiente para ASR con atribución de hablante y marcas de tiempo a nivel de palabra, y todavía no existe una variante equivalente de 5.0.

Eso es una carencia real si estás creando subtítulos, transcripciones de reuniones con etiquetas de hablante o cualquier cosa que necesite buscar una frase. El blog de 5.0 sí describe mejoras en las marcas de tiempo, pero pertenecen al renovado granite-speech-4.1-2b-plus, no al 5.0 2B.

• Necesitas marcas de tiempo a nivel de palabra — Whisper large-v3-turbo hoy; Granite 4.1-2b-plus si quieres la familia Granite y puedes aceptar el modelo acústico más antiguo.

• Se necesita atribución de hablante — la misma respuesta; el 5.0 2B no lo hace.

• Se necesita precisión en formato largo más allá de unos minutos: la guía de segmentos de dos minutos de Granite es un límite práctico, y el troceado de 30 segundos de Whisper con condicionamiento en el texto previo tiene su propio modo de fallo bien conocido (bucles de repetición ante silencio). Ninguno es obviamente mejor; ambos necesitan VAD delante.

Dos funciones que tiene Granite y que Whisper turbo no tiene

Sesgo por palabras clave. Granite Speech 5.0 2B acepta una lista de palabras clave de hasta 2000 términos por prompt y se entrenó con 23 600 horas de audio con sesgo de palabras clave en los grupos de lenguas europeas y japonesas. Whisper no tiene una interfaz equivalente: lo más parecido es una cadena de prompt que orienta el estilo y el vocabulario, sin ningún entrenamiento detrás. Para un despliegue que transcriba nombres de productos, nombres de fármacos, ID de tickets o el propio glosario de un cliente, esta es la diferencia más útil entre los dos modelos y no aparece en ningún promedio de WER.

Indicación del ID de idioma. Puedes indicarle a Granite en qué idioma está el audio y pedirle que transcriba en lugar de traducir. Whisper detecta el idioma automáticamente y, en la variante turbo, solo transcribe. Para un corpus multilingüe en el que ya conoces el idioma por los metadatos, forzarlo elimina toda una clase de errores: Whisper a veces identifica mal un clip corto y luego transcribe con seguridad en el idioma equivocado.

La migración, en pasos que realmente funcionan

Si la cuestión del idioma se aclara, el cambio es menos doloroso de lo que sugiere la brecha del ecosistema, porque la mayoría de las canalizaciones basadas en Whisper ya tienen la costura que necesitas.

1. Mantén tu VAD. Ambos modelos quieren segmentos, no archivos. Lo que uses para dividir el audio en fragmentos para Whisper funcionará para Granite con hasta dos minutos por segmento en lugar de treinta segundos.

2. Reemplace la llamada de decodificación, no la infraestructura. Granite se carga mediante AutoModelForSpeechSeq2Seq y AutoProcessor en transformers>=4.52.1, o mediante vLLM, llama.cpp con Q8_0, o mlx-audio en Apple Silicon. Si su servicio invoca faster-whisper mediante un subproceso, está cambiando una llamada a un modelo local por otra.

3. Reescribe el prompt. Granite se guía por instrucciones, y el prompt selecciona el modo: transcripción sin procesar, transcripción con puntuación, sesgada por palabras clave, con el idioma fijado por ID. Este es el paso que los equipos omiten, y luego concluyen que el modelo es peor porque le dieron el comportamiento predeterminado de Whisper.

4. Vuelve a establecer una línea base de tu WER con tu propio audio, no con LibriSpeech. Esto no es una formalidad. La debilidad de Whisper en la tabla de clasificación es el formato y la deriva en audio de formato largo; si tu audio son clips limpios de inglés de 30 segundos y tu paso posterior es un modelo de lenguaje que corrige el formato, la brecha medida puede ser casi cero — o, si tu audio tiene acento y es de campo lejano, mayor que 2,8 puntos.

5. Mantén una ruta de respaldo. La cobertura de idiomas distintos del inglés de Granite Speech 5.0 2B es un límite estricto, y un detector de idioma delante del modelo no es opcional en un producto multilingüe. Todo lo que quede fuera de los siete idiomas se deriva a Whisper.

Donde la capa de enrutamiento se gana su lugar

El paso cinco es la parte de esta migración que se convierte en arquitectura. Un despacho por idioma y calidad delante de dos modelos de voz, más el modelo de lenguaje que sea que limpie la transcripción después, son tres llamadas a modelos por archivo, y tres integraciones separadas de proveedores son la manera en que una canalización sencilla se convierte en un problema de mantenimiento.

OrcaRouter es un único endpoint compatible con OpenAI que ofrece más de 200 modelos al precio de lista del proveedor, sin margen añadido, por lo que la etapa de posprocesamiento —la limpieza, el resumen, la extracción de campos— puede intercambiarse o someterse a pruebas A/B sin tocar el código de voz, y una caída de un proveedor se resuelve mediante conmutación por error en lugar de hacer que falle el trabajo. El DSL de enrutamiento puede contener la propia regla de despacho: detectar el idioma, enviar los siete idiomas admitidos al checkpoint autoalojado de Granite, enviar todo lo demás a Whisper y pasar la transcripción al modelo de limpieza que requiera la tarea. Ese último salto es el que realmente podemos servir hoy; ni Granite Speech 5.0 2B ni Whisper large-v3-turbo están en nuestro catálogo, así que los modelos de voz se quedan en tu propio hardware y el enrutamiento empieza un paso más abajo, donde sigue eliminando la mayor parte del trabajo de integración.

¿Quién debería cambiar y quién no?

Cambia si tu audio es inglés además de los seis idiomas Granite, tu precisión importa más que tu familiaridad con el ecosistema, necesitas sesgo por palabras clave o idioma forzado, y puedes vivir sin marcas de tiempo a nivel de palabra por ahora. El 5,06 % frente al 7,83 % es una brecha real en una dirección que importa, y 570 RTFx frente a 200 RTFx significa que el cambio probablemente reduce tu factura de GPU al mismo tiempo.

No cambie si necesita cualquiera de los otros noventa y dos idiomas, marcas de tiempo a nivel de palabra, atribución de hablante o un endpoint gestionado —Granite Speech 5.0 2B no está desplegado por ningún proveedor de inferencia a la fecha de redacción, y el autoalojamiento es la única vía para acceder a él hoy. Whisper large-v3-turbo está disponible en todas partes, incluso en lugares que no le permitirán ejecutar sus propias GPU.

Ejecuta ambos si tienes una cola larga de idiomas. El despacho es barato, la cola es de bajo volumen por definición, y elimina el único argumento que le queda a Whisper.