Phonon vs Whisper Large v3 Turbo: Dos mitades de un bucle de voz sin conexión

Comparar Phonon 31M con Whisper Large v3 Turbo es un error de categoría, y es el error de categoría más útil en la ingeniería del habla ahora mismo. Phonon 31M, publicado por Gradium el 20 de octubre de 2026, convierte texto en audio. Whisper Large v3 Turbo, publicado por OpenAI el 1 de octubre de 2024, convierte audio en texto. No compiten. Son los dos extremos del mismo bucle, y ambos son lo bastante pequeños y rápidos como para ejecutarse en hardware que posees.

Hay una segunda razón por la que la comparación entre ambos confunde a la gente. Ambos publican un número llamado WER, y los dos números significan cosas opuestas. Para Whisper, la tasa de error de palabras mide con qué frecuencia la transcripción es incorrecta. Para Phonon, mide con qué frecuencia un transcriptor oye mal el habla que generó el modelo. Un número más bajo es mejor en ambos casos, pero no son la misma medición, y ponerlos en una sola columna es como se hacen las malas comparaciones.

Uno escucha, uno habla.

Whisper Large v3 Turbo es un modelo de reconocimiento de voz. Conserva el codificador completo de Whisper large-v3 y reduce el decodificador de 32 capas a cuatro, lo que produce 809 millones de parámetros en lugar de 1,55 mil millones. Cubre 99 idiomas, detecta el idioma automáticamente y no está entrenado para traducción. La documentación de OpenAI lo describe como aproximadamente ocho veces más rápido que el modelo grande con un pequeño costo en precisión; la empresa no publicó un multiplicador preciso en la tarjeta del modelo, por lo que cualquier cifra exacta de velocidad proviene de pruebas de terceros.

Phonon 31M es un modelo de síntesis de voz. Recibe texto y una voz y produce audio mono de 24 kHz mediante un transformador de flow matching sobre latentes de Mimi. Tiene 31 millones de parámetros, sin incluir el tokenizador, se distribuye como un GGUF q8 de 64,5 MB y es Apache 2.0. No tiene ninguna capacidad de escucha: no puede transcribir, diarizar ni detectar idioma.

Lo único que comparten es un objetivo de diseño: ambos están diseñados para funcionar sin un centro de datos. Whisper Turbo es el miembro rápido y económico de una familia que se ha convertido en la línea base abierta predeterminada para ASR. Phonon es un intento de hacer que la mitad de síntesis sea igual de económica.

Las mismas tres letras, dos medidas diferentes

Whisper Large v3 Turbo registra un WER medio de 7,83 en el Open ASR Leaderboard en inglés, frente a 7,44 del large-v3 completo. En LibriSpeech test-clean las cifras rondan el 2,0 %. Esos números describen con qué frecuencia el modelo escribe la palabra equivocada cuando oye habla limpia.

Phonon 31M informa un 0,51 % en Seed-TTS y un 1,5 % en un conjunto más difícil en su ficha de modelo, o un 1,70 % en el mismo conjunto difícil en el blog de lanzamiento. Esos números describen con qué frecuencia whisper-large-v3 escribe la palabra incorrecta cuando escucha la salida de Phonon. Observa que el evaluador es el propio Whisper. La metodología de Gradium es circular de una forma inevitable: para medir un modelo TTS necesitas un modelo ASR, y la propia tasa de error del modelo ASR fija un límite inferior a lo bueno que puede parecer el TTS.

Por eso un WER de TTS del 0,5 % y un WER de ASR del 7,8 % no son comparables, y por eso un WER de TTS inferior a aproximadamente el 1 % debería interpretarse como «el transcriptor no tuvo problemas», no como «el habla es casi perfecta». Los oyentes humanos y los evaluadores automáticos no coinciden, especialmente en la prosodia, que ningún WER captura.

• Tarea — texto a voz para Phonon 31M; voz a texto para Whisper Large v3 Turbo.

• Parámetros — 31M excluyendo el tokenizador para Phonon 31M; 809M para Whisper Large v3 Turbo.

• Idiomas — solo inglés para Phonon 31M; 99 para Whisper Large v3 Turbo.

• Salida — audio mono de 24 kHz para Phonon 31M; texto con marcas de tiempo para Whisper Large v3 Turbo.

• Precisión reportada: WER de 0,51 % en Seed-TTS para Phonon 31M, medido por Whisper; WER medio en inglés de 7,83 para Whisper Large v3 Turbo en Open ASR Leaderboard.

• Licencia — Apache 2.0 para Phonon 31M; MIT para Whisper Large v3 Turbo.

Dimensionar un bucle de voz sin conexión

Si el objetivo es un asistente de voz que funcione sin conexión a la red, la lista de materiales es de tres modelos, no dos. Reconocimiento de voz, generación de lenguaje y síntesis de voz.

Whisper Large v3 Turbo tiene 809 millones de parámetros, aproximadamente 1,6 GB de pesos con precisión de 16 bits. La inferencia en GPU normalmente reserva varios gigabytes de memoria de trabajo para activaciones y procesamiento por lotes; las compilaciones GGUF cuantizadas reducen aún más el espacio ocupado a costa de una pequeña pérdida de precisión. No es un modelo apto para teléfonos en su forma Turbo, aunque las variantes más pequeñas de Whisper y las versiones destiladas sí lo son.

Phonon 31M pesa 64,5 MB. Eso es aproximadamente una vigésima quinta parte del archivo de pesos de Whisper Turbo, y se ejecuta en un núcleo de CPU, en el Neural Engine de un iPhone o en una Raspberry Pi.

El modelo de lenguaje en el medio es la variable. Un modelo instruct de 1B a 4B cuantizado a cuatro bits cabe en un par de gigabytes y es la opción habitual para un asistente sin conexión. El bucle completo —Whisper Turbo, un modelo instruct pequeño, Phonon— queda dentro de un rango que un portátil o un teléfono de gama alta pueden albergar, con el ASR como el componente más pesado.

Esa asimetría es la conclusión práctica. La mitad del bucle que preocupa a la gente —la síntesis, la parte que tiene que sonar humana— es ahora la mitad barata. El reconocimiento es la cara.

El presupuesto de latencia

Las cifras del proveedor de Phonon sitúan el primer audio en 5 a 7 ms en un núcleo M5 de MacBook Air y en 9 ms en un iPhone 16 Pro, con un rendimiento de entre 11,6 y 41 veces el tiempo real, según cuál de los documentos de Gradium se lea. La velocidad de Whisper Turbo depende en gran medida del hardware y del backend: OpenAI lo describe como aproximadamente ocho veces más rápido que large-v3, y los benchmarks de la comunidad con compilaciones cuantizadas informan de decenas de veces el tiempo real en Apple silicon y cifras mucho más lentas en CPU.

En un bucle conversacional, el paso de reconocimiento domina. Un enunciado de tres segundos tarda unos cientos de milisegundos en transcribirse en una GPU de portátil y casi en tiempo real en una CPU débil. El paso de síntesis es prácticamente instantáneo en comparación. Los equipos que optimizan primero el TTS están optimizando el extremo equivocado.

La cobertura de idiomas es la restricción estricta.

Whisper maneja 99 idiomas. Phonon 31M maneja uno, y la ficha de Gradium advierte que otros idiomas se pronuncian mal. Por lo tanto, no se puede construir un asistente de voz multilingüe a partir de este par: el reconocimiento funciona en japonés, la síntesis no.

La respuesta de Gradium es la familia Phonon 40M, que cubre inglés, francés, alemán, español y portugués. Son cinco idiomas, no 99, y los checkpoints de 40M están bajo CC BY-NC 4.0 — no se pueden usar en un producto comercial sin un acuerdo aparte. La brecha multilingüe entre ASR abierto y TTS abierto es una de las más amplias de la pila tecnológica, y nada de lo publicado este mes la cierra.

Donde se encuentran en un producto real

La aplicación natural es una herramienta de transcripción y reproducción: graba una reunión o una nota de voz, transcríbela con Whisper y luego lee un resumen en voz alta con Phonon. Ambas se ejecutan localmente, ambas tienen licencias permisivas y ninguna envía audio a terceros. Una herramienta de dictado médico, una grabadora de campo, una aplicación de accesibilidad para personas sordas y con dificultades auditivas, o un juguete de aprendizaje de idiomas sin conexión encajan en el mismo patrón.

La segunda aplicación es un agente de voz con una primera pasada local y un respaldo en la nube. Whisper transcribe en el dispositivo; si la confianza es baja, el audio pasa a un ASR alojado. El modelo de lenguaje redacta una respuesta; si necesita un modelo más grande, la solicitud se redirige fuera. Phonon pronuncia el resultado; si el dispositivo está limitado térmicamente, un TTS alojado toma el control. Cada etapa tiene una opción local y una remota, y el producto decide cuál usar en cada solicitud.

La capa de texto entre ellos

Whisper produce una transcripción, Phonon consume un guion, y algo tiene que convertir uno en el otro. Ese algo es un modelo de lenguaje, y es la única parte del bucle que se beneficia de ser grande.

OrcaRouter no aloja ninguno de estos dos modelos —Whisper Large v3 Turbo se ejecuta mediante tu propio stack de inferencia y Phonon se ejecuta en el dispositivo—, por lo que ninguno aparece en nuestro catálogo. Lo que cubre la plataforma es el punto intermedio: una API para más de 200 modelos de lenguaje al precio de lista del proveedor con 0 % de margen, conmutación por error automática entre proveedores, y un DSL de enrutamiento que puede enviar un modelo económico a los turnos rutinarios y uno más potente a los difíciles. En un diseño offline-first, esa capa es la parte que permanece en línea.

Qué comparar realmente

Si estás eligiendo un modelo de voz, compara Phonon con otros sistemas TTS y Whisper Turbo con otros sistemas ASR. Si estás creando un producto, compara los bucles: memoria total, latencia total, licencias totales, idiomas totales. Según esa métrica, el par es coherente para trabajo únicamente en inglés, sin conexión y con licencia permisiva, e incoherente para cualquier cosa multilingüe o comercial en el nivel de 40M.

El error que hay que evitar es leer el WER del 0,51 % de Phonon junto al 7,83 % de Whisper y concluir que la síntesis ha superado al reconocimiento. Los números proceden de procesos distintos que miden cosas distintas, y uno de ellos es medido por el otro. La pregunta útil no es qué modelo es mejor. Es si el bucle que puedes montar con componentes abiertos este mes es suficientemente bueno para el producto que tienes en mente; y para inglés, sin conexión, en un portátil, la respuesta acaba de cambiar.