AuK: Tencent liberó silenciosamente un modelo de voz de 1.5B que trata cada tarea de audio como un comando de texto.

He aquí una frase que ninguna herramienta de voz que se pueda descargar hoy en día logrará en una sola pasada: tomar esta grabación, cambiar la palabra "house" por "home", subir el tono un semitono, eliminar la respiración antes de la última frase, limpiar el ruido de fondo y, luego, releer el resultado con una voz completamente nueva descrita únicamente como "un hombre cálido de mediana edad con un ligero acento cantonés". La respuesta de Tencent a esa frase es AuK, un "modelo fundacional para la generación y edición de voz" de 1.500 millones de parámetros que esta semana se ha liberado como código abierto sin publicación de lanzamiento ni comunicado de prensa — y cuyo hermano destilado, AuK-Flash, ahora incluye la única pieza que le faltaba a esta historia cuando la contamos por primera vez: un informe técnico con cifras adjuntas. "AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing" (arXiv:2609.08936, cs.SD, enviado el 2026-09-08) se cita ahora tanto en la tarjeta de modelo de Hugging Face como en el README de GitHub, con la fecha de publicación del artículo del 2026-09-08 y la línea de novedades del repositorio de código con fecha del 2026/09/09. Lo que el informe no hace es zanjar la cuestión que importaba: cada cifra que contiene es de Tencent, calculada frente a líneas de base elegidas por Tencent, y a fecha de 2026-09-10 nadie fuera de la compañía ha reproducido ni una sola.

Esta es una pieza de lo que sabemos hasta ahora, revisada una vez. Tencent todavía no ha anunciado AuK en ninguno de sus canales principales que podamos encontrar, así que el registro es: las tarjetas de modelo y los repositorios de Hugging Face para AuK y AuK-Flash, el repositorio de código en la organización Tencent-Hunyuan, el sitio del proyecto en auk-project.github.io y ahora el artículo. Esa última incorporación cambia lo que se puede saber —la arquitectura, la receta de entrenamiento y los números de evaluación se describen en detalle por primera vez— sin cambiar lo que está verificado. Trate todo lo numérico a continuación como reportado por el proveedor, porque eso es exactamente lo que es, y tenga en cuenta que las comparaciones del informe son enteramente contra otros modelos abiertos, no contra las plataformas de voz alojadas y cerradas con las que AuK realmente competiría.

Lo que realmente se lanzó, y con cuánta discreción.

La cronología sigue siendo el resumen más honesto del lanzamiento, con una corrección respecto a nuestra primera pasada. Los repositorios de Hugging Face se crearon a mediados de agosto — AuK el 2026-08-18 — pero permanecieron inactivos hasta esta semana. Cuando leímos la tarjeta del modelo AuK el 2026-09-09, su única línea de noticias estaba fechada el 2026-09-07; un día después esa misma línea dice 2026/09/09 y dirige a los lectores al artículo y a los Spaces de demostración. El repositorio de GitHub, que contiene el código de inferencia y entrenamiento, se creó el 2026-08-19 y su último push fue el 2026-09-09. En otras palabras: pesos, luego código, luego un informe técnico — tres lanzamientos escalonados en cuatro días, y aún sin anuncio en los canales principales de Tencent al momento de escribir esto.

• Los pesos residen en Hugging Face bajo la organización tencent y tienen su espejo en ModelScope bajo Tencent-Hunyuan — dos espejos, misma licencia MIT.

• Cada repositorio de modelos contiene un único checkpoint de safetensors, además de una configuración y un VAE: auk_base.safetensors de 6,12 GB y vae.safetensors de 0,64 GB para AuK; la misma disposición para AuK-Flash. La tarjeta del modelo pide que también descargues Qwen/Qwen2.5-Omni-3B, el codificador de texto que AuK carga por separado en tiempo de ejecución.

El encuadre de «nadie se dio cuenta» ha caducado, y rápido. Cuando lo comprobamos el 2026-09-09, el repositorio tenía cero estrellas y cero bifurcaciones; para el 2026-09-10 ya muestra 216 estrellas, 12 bifurcaciones y su primer problema abierto. La tarjeta de AuK informa de unas treinta descargas en el último mes, con 26 me gusta. Lo que no ha cambiado: las pestañas de discusión están vacías, y la tarjeta aún señala que el checkpoint no está desplegado por ningún proveedor de inferencia.

• Tanto las fichas de los modelos, el README y el enlace al paper, como los Spaces de demostración en Hugging Face y ModelScope. El Space de Hugging Face no era accesible públicamente sin iniciar sesión cuando lo comprobamos, así que trata la ruta de "pruébalo en tu navegador" como no confirmada para usuarios anónimos.

La tarjeta de Hugging Face de arriba sigue siendo toda la superficie pública de una versión instalable: una tarjeta de modelo, una configuración, dos archivos safetensors y una licencia. Lo que se ha añadido desde entonces es la capa de documentación que la rodea — un artículo, una tabla de benchmarks y un bloque de citas — y nada de eso cambia el hecho de que no hay registro de cambios, ni hilo de discusión ni listado de proveedores de inferencia detrás.

La propuesta: una interfaz de instrucción, dieciséis tareas de habla

La afirmación de AuK no es que sea el mejor modelo de texto a voz jamás lanzado. Es que la generación es solo una de las cinco familias de tareas de habla para las que el modelo fue entrenado a través de una única interfaz de lenguaje natural, donde una solicitud es un mensaje de chat que puede llevar texto más un archivo de audio de referencia opcional. El artículo formaliza exactamente la taxonomía que el sitio del proyecto ya estaba promocionando:

• Generación de voz: TTS de cero disparos (pronuncia este texto con la voz del clip de referencia) y TTS por instrucciones (genera voz a partir de una descripción de voz únicamente, sin ningún audio de referencia).

• Edición de contenido — reescribir lo dicho: reemplazar, insertar o eliminar palabras en una grabación existente; y edición de letras, que reescribe las letras cantadas preservando la melodía y la voz.

• Edición acústica — tono en semitonos, escalado de la velocidad del habla y volumen en decibelios.

• Edición paralingüística: cambios de emoción, cambios de timbre a partir de una descripción, eliminación de acento, adición o eliminación de sonidos no verbales (respiraciones, risas, toses) y conversión entre habla normal y susurro manteniendo al hablante.

• Mejora y separación: eliminación de ruido y reverberación de la voz, separación del habla por turno de palabra, separación de música/voz y extracción del hablante objetivo según lo que dice.

El caso de TTS por instrucciones es lo que separa esto de un lanzamiento típico de clonación de voz: AuK leerá una frase con una voz que existe solo como descripción de texto — el propio ejemplo de la documentación especifica a una mujer de veintitantos años hablando con una pareja que acaba de llegar a casa, cálida, cariñosa y ligeramente coqueta, con un timbre suave y dulce y un tono ligeramente ascendente al final de la frase, todo sin ninguna muestra de referencia adjunta. Esto elimina la necesidad de una grabación de referencia, que es el coste habitual que limita la clonación. El informe pone cifras a esa tarea por primera vez, y es uno de los pocos lugares donde AuK supera claramente al resto en lugar de solo aventajarlo por poco.

Dentro del "1.5B": el número subestima el tiempo de ejecución.

El recuento de parámetros de AuK describe el Transformer de difusión, no todo el pipeline, y el artículo ahora detalla ambas mitades. El backbone es un Transformer híbrido de flujo rectificado: treinta capas compuestas por diez bloques MMDiT de doble flujo seguidos de veinte bloques DiT unificados de flujo único, tamaño oculto 1536, 24 cabezas de atención de dimensión 64, ancho intermedio SwiGLU 3072, que es de donde proviene la cifra de "aproximadamente 1500 millones de parámetros". A su alrededor se asientan dos componentes que se cargan por separado: un LLM multimodal (Qwen/Qwen2.5-Omni-3B) que convierte la instrucción y cualquier audio de referencia en condicionamiento semántico, y un VAE de audio causal de 24 kHz — la configuración lo denomina BigVGANFlowVAE — que opera con latentes de 64 dimensiones a una frecuencia de cuadro de 50 Hz, con anchos de canal de codificador de hasta 768 y un decodificador de hasta 1536. Por lo tanto, el tiempo de ejecución completo es el backbone de ~1,5B más un codificador de 3B más el VAE, y la instrucción de descarga es explícita en que el codificador es un checkpoint separado con sus propios términos.

El entrenamiento, según el informe, se realizó en etapas y a una escala que el sitio del proyecto apenas insinuaba: un calentamiento de solo generación de 50 000 actualizaciones, luego 600 000 actualizaciones conjuntas de generación y edición, sobre aproximadamente 3.03 mil millones de instancias de instrucción–audio que representan cerca de 1.95 millones de horas de supervisión efectiva, en 256 GPU, con otras 1.24 millones de actualizaciones en el VAE. El post-entrenamiento combinó la optimización de preferencias con retroalimentación humana con el aprendizaje por refuerzo basado en recompensas, construido sobre 818 grupos de preferencia informativos y 9080 candidatos calificados, grupos de indicaciones (prompts) de RL de 10 000 indicaciones zero-shot y 5000 de seguimiento de instrucciones, 30 000 muestras de evaluación de estilo, y un modelo de recompensa ajustado a partir de Qwen2.5-Omni-7B. Eso es un stack de post-entrenamiento serio para un lanzamiento abierto de 1.5B, y también es un recordatorio de que "open weights" describe el artefacto, no la potencia de cómputo que lo produjo — un punto que vale la pena tener presente al sopesar si podrías reproducirlo.

Cada cifra en esa ficha técnica se lee de los repositorios y el sitio web de la propia Tencent, en lugar de ser medida por nosotros, y el artículo no cambió eso — solo movió más de esas líneas de "afirmado" a "documentado". El único número que realmente se ha probado desde que publicamos por primera vez es la actividad del propio repositorio, que pasó de cero estrellas a unos cientos en un día.

El sitio del proyecto sigue siendo donde viven el diagrama de arquitectura y el co-branding académico, y sigue siendo la forma más barata de ver la forma del modelo: un modelo de lenguaje multimodal para condicionamiento semántico, un VAE de 50 Hz para acústica y un transformador híbrido bajo un objetivo de flow-matching. Su sección de benchmarks, que cuando la vimos por primera vez enumeraba un aparato de evaluación sin puntuaciones, ahora tiene un paper al que remitirse.

El informe técnico aterriza, y las cifras son propias de Tencent.

Esta es la esencia de la actualización. El artículo reporta resultados en siete suites de evaluación — la misma lista que el sitio del proyecto había estado promocionando sin números — y en la mayoría de los ejes de generación y edición de contenido, AuK lidera el campo abierto. Interprétalos como una tabla de benchmarks del proveedor, porque eso es lo que son: Tencent ejecutó cada comparación, eligió cada línea base y aún no ha publicado ningún código para reproducir el banco de pruebas.

• TTS de cero disparos en Seed-TTS-Eval: AuK promedia 2.65 de WER con 0.795 de similitud de hablante, frente a Qwen3-TTS con 3.07 y 0.745, Seed-TTS con 3.65 y 0.778, y VoxCPM2 con 3.65 y 0.767. AuK-Flash se sitúa en 2.85 y 0.790. Los mejores resultados individuales son 1.02 de WER en el conjunto de prueba en inglés y 5.91 en el conjunto difícil en chino.

• TTS controlado por instrucciones en InstructTTSEval: AuK obtiene 83.37 en chino y 81.60 en seguimiento de descripciones en inglés, frente a Qwen3-TTS-VD con 81.10 y 82.40 y MOSS-VoiceGenerator con 80.00 y 82.00. AuK-Flash obtiene 78.80 en chino, pero empata con la mejor puntuación de inglés del campo con 82.40.

• Edición de contenido en SpeechEditBench: 91.83 de precisión frente a 76.46 de Ming-UniAudio, y 71.33 en prosodia frente a 26.50 — las dos mayores diferencias en todo el informe.

• Edición guiada por instrucciones en Ming-Freeform-Audio-Edit, configuración completa: el error de palabras baja de 10,46 a 3,09 en chino y de 14,28 a 3,96 en inglés frente a Ming-UniAudio, con una precisión de edición que sube de 79,62 a 91,47 y de 70,98 a 85,25. En las ediciones acústicas, la misma comparación reduce el error de palabras de 5,01 a 2,02 en chino y de 10,75 a 3,48 en inglés.

• Edición paralingüística en MMAE-Speech: tasa de seguimiento de instrucciones 48.23 y reescritura de contenido 88.11 frente a Step-Audio-EditX con 43.52 y 77.27, y Ming-UniAudio con 34.13 y 76.01. AuK-Flash registra el mejor recall del modelo de edición en la tabla con 13.85.

• Restauración, donde el modelo es competitivo más que dominante: DNS Challenge error de palabra desincronizado 2.66 con 0.99 de similitud de hablante frente a RE-USE con 3.31; CHiME-4 error de palabra 7.98 frente a RE-USE con 10.71; Libri2Mix error de palabra 9.12 frente a MossFormer2-SS con 9.34; y VCTKSR error de palabra 3.06 con 0.97 de similitud.

• El propio VAE, evaluado por separado: AuK-VAE alcanza 4.143 de PESQ en habla, 3.833 en audio general y 3.884 en música, frente a MiniMax-H3-AudioVAE con 3.633, 2.835 y 2.801 — una victoria contundente que importa más de lo que parece, porque un latente acústico con pérdidas limita cada tarea construida sobre él.

El patrón que se observa en esos puntos es más interesante que las victorias destacadas. AuK está muy por delante en todo lo que significa "cambiar lo que se dice o cómo suena, y mantener todo lo demás": edición de contenido, prosodia, ediciones acústicas, reconstrucción. Está mucho más cerca del resto del campo en edición de emociones y paralingüística, donde su precisión de emoción de 9.94 en SpeechEditBench apenas se distingue de los 3.43 de Ming-UniAudio en un punto de referencia donde ambos son débiles, y su puntuación acústica general de 37.07 se sitúa en el mismo rango que las líneas base. Así que "un modelo para cada tarea de habla" es el marco que presenta Tencent; lo que el informe realmente muestra es un modelo que es excelente en varias de ellas y meramente presente en el resto.

Dos puntos de control: AuK y AuK-Flash

Tencent lanzó dos variantes bajo la misma licencia MIT. AuK es el modelo base de máxima calidad, y el informe fija sus ajustes de muestreo en 32 evaluaciones de función con una escala de guía sin clasificador de 2.0. AuK-Flash es la versión destilada: inicialización de consistencia y un objetivo DMD acoplado con enrutamiento por tareas, que genera en cuatro pasos fijos con la guía completamente desactivada, lo que el artículo reporta como una aceleración de 4,5× en tiempo de reloj respecto al modelo completo en condiciones equiparables. Las cifras del propio artículo mantienen a Flash cerca en la mayoría de las tareas de generación —2,85 de error de palabra promedio y 0,790 de similitud en Seed-TTS-Eval—, que es lo que hace que la afirmación de velocidad merezca ser puesta a prueba en lugar de descartada: difusión de cuatro pasos con calidad cercana a la del profesor es lo que haría que un editor de voz de 1.5B se sintiera interactivo en una sola GPU. Dicho esto, "condiciones equiparables" es la frase de Tencent para describir el punto de referencia de Tencent, y una cifra de 4,5× medida por los autores es exactamente el tipo de afirmación que necesita a un tercero antes de que cambie cualquier decisión de compra.

Lo que puedes ejecutar hoy

La superficie práctica es más amplia que la de una típica publicación discreta, porque el código llegó con ella. La instalación está dirigida a Python 3.10 mediante uv o Conda, y el README ofrece opciones de instalación adicionales que incluyen Gradio, nodos de ComfyUI o la pila de fine-tuning. La herramienta de línea de comandos auk-infer cubre todas las tareas con la misma forma de mensaje: siempre se requiere una `--instruction`, y `--audio` es opcional según la tarea. Un servidor Gradio (`auk-gradio`) expone los modelos con un selector, y hay nodos personalizados de ComfyUI con un flujo de trabajo reutilizable, aunque la integración está documentada con un límite de secuencia de 30 segundos de origen más destino. Una API de Python refleja la CLI, y un pipeline ligero de fine-tuning entrena con JSONL de pares de instrucción más audio utilizando el mismo formato de mensaje que la inferencia. El README también describe un Prompt Enhancer que convierte solicitudes de forma libre en comandos `auk-infer` listos para ejecutar; espera un endpoint de chat compatible con OpenAI y recurre a un modelo local SenseVoiceSmall para reconocimiento de voz cuando no se establecen credenciales de ASR en la nube. Una limitación actual está documentada claramente: Qwen3-Omni aún no se admite como ruta de codificador, por lo que el checkpoint Qwen2.5-Omni-3B sigue siendo el que hay que descargar.

Lo que los docs aún no te dan es un piso de hardware. No se publica ninguna cifra de VRAM para inferencia. Los archivos de configuración incluyen una nota sobre gradient checkpointing acerca de un pico de ~91 GB que desciende a ~75 GB, lo cual describe la envolvente de memoria en tiempo de entrenamiento más que una cifra realista de inferencia de una sola pasada, y el comando de referencia que carga AuK y AuK-Flash juntos los distribuye entre dos GPUs — aunque señala que ambos pueden compartir una. Ten en cuenta la descarga en sí: aproximadamente 6.8 GB por variante más el codificador Qwen2.5-Omni-3B, y luego mide la memoria en tu propia GPU.

Lo que no está confirmado

Ser precisos sobre lo desconocido sigue siendo el propósito de cubrir un modelo tan temprano, y el informe eliminó exactamente un elemento de esta lista dejando el resto intacto:

• No existe ninguna ejecución independiente que podamos encontrar. No hay muestras de voz de terceros, ni replicación de benchmarks, ni impresiones en hilos de discusión. El primer issue abierto del repositorio está registrado y sin respuesta, y el contador de descargas de la tarjeta del modelo sigue en decenas, por lo que la brecha entre una tabla publicada y una reproducida es actualmente toda la historia.

• La evaluación la realizan ellos mismos y es limitada en un aspecto concreto. Cada línea base del informe es otro modelo de pesos abiertos — Qwen3-TTS, Seed-TTS, VoxCPM2, Ming-UniAudio, Step-Audio-EditX, MOSS-VoiceGenerator, RE-USE, MossFormer2-SS. Ninguna de las plataformas de voz cerradas y alojadas con las que un comprador compararía realmente a AuK aparece, así que «lidera el campo» aquí significa «lidera el campo abierto que Tencent seleccionó».

El nombre "AuK" sigue sin expandirse en ningún lugar del artículo, las tarjetas o el código, y choca fuertemente en las búsquedas con el ave marina, la Universidad Americana de Kuwait y repositorios no relacionados.

• Por lo menos ahora el equipo es visible: el artículo cuenta con 33 autores, liderados por Ziyang Ma, con afiliaciones que abarcan la organización Tencent Hunyuan, la Universidad Jiao Tong de Shanghái, la Institución de Innovación de Shanghái y la Universidad Tecnológica de Nanyang. Sin embargo, quién dentro de Tencent es el responsable del modelo en el día a día, y si se trata de una línea de Hunyuan o de una colaboración académica independiente, sigue sin especificarse.

La cobertura de idiomas todavía está solo parcialmente documentada: la ficha de AuK-Flash declara chino e inglés y los ejemplos de código mezclan ambos, pero el modelo base no tiene una lista formal de idiomas. El licenciamiento tiene la misma forma: AuK en sí es MIT, mientras que su codificador Qwen, descargado por separado, tiene sus propios términos, por lo que "modelo MIT" y "todo lo que necesitas para ejecutarlo es MIT" no son la misma afirmación.

Por qué importa un modelo de voz unificado de pesos abiertos

Lee la lista de tareas de AuK en comparación con lo que un constructor hace realmente hoy, y la apuesta se vuelve más clara de lo que era antes de que llegaran los números. Hacer todos esos trabajos con las herramientas existentes implica encadenar varios modelos especializados — un checkpoint abierto para clonación, otro diferente para mejora, un separador aparte, y edición manual o asistida por modelos para el contenido — o alquilar varias APIs alojadas cerradas, cada una con su precio por tarea y por minuto de audio, y ninguna de ellas editable de la manera que AuK describe. Un único checkpoint de peso abierto que trata todo eso como un solo problema de generación condicionada por texto es un objeto genuinamente diferente, y el informe ahora respalda una versión más precisa de esa afirmación que el marketing: la mitad de edición es real, no aspiracional. La clonación de voz se mercantilizó durante el último año, pero la edición de contenido y prosodia impulsada por instrucciones es donde las plataformas alojadas cerradas todavía obtienen su margen, y un 91.83 frente a 76.46 en edición de contenido es la primera evidencia de que un modelo abierto puede ocupar ese terreno.

La calificación honesta es que se trata de un modelo de difusión con un modelo de lenguaje de 3B acoplado para el condicionamiento, y hereda los costos de esa arquitectura. La calidad por tarea es desigual — excelente cuando la tarea es "conservar todo excepto la edición", más débil en emoción — y no hay endpoint alojado, ni soporte de procesamiento por lotes, ni latencia publicada salvo por la comparación interna de la variante Flash. Para las piezas de un pipeline de voz que lo rodean — el LLM que decide qué se debe decir, y el endpoint de chat compatible con OpenAI del Prompt Enhancer — una API de enrutamiento es la opción natural, y OrcaRouter enruta más de 200 modelos al precio de lista del proveedor sin recargo, de modo que esa mitad de la pila necesita una sola clave y ningún segundo contrato. La mitad de audio sigue siendo una GPU que controlas y un checkpoint que nadie fuera de Tencent ha auditado.

Quién debería mirar ahora y quién debería esperar

Para investigadores del habla, desarrolladores de herramientas y cualquier persona cuyo trabajo sea evaluar nuevos modelos de voz, los argumentos para descargar AuK esta semana son más sólidos que los del primer día y siguen conllevando la misma salvedad. Ahora hay una arquitectura documentada, una receta de aspecto reproducible y una tabla completa de objetivos a batir, que es exactamente lo que hace que una afirmación aún no replicada merezca la pena ser rebatida. El coste de ser de los primeros sigue siendo un fin de semana de configuración y una GPU. Para quien elija una pila de voz para producción, el informe replantea la decisión sin zanjarla: ahora hay cifras con las que debatir, pero son las del proveedor, excluyen las plataformas cerradas contra las que realmente harías los benchmarks, y sigue sin haber API, ni requisito mínimo de VRAM, ni trayectoria. Vigila, en este orden: una replicación independiente de las filas de Seed-TTS-Eval y SpeechEditBench; muestras publicadas o un demo Space accesible; y un proveedor de inferencia o una API alojada que adopte AuK, momento en el que el precio de traspaso por nuestra parte será el precio de lista del proveedor, ese mismo día, porque eso es lo que significa un margen del 0%. La pregunta interesante ya no es si Tencent ha lanzado otro modelo TTS, sino si un único modelo abierto puede realmente abarcar las cinco familias de tareas a la vez, y ahora que Tencent ha publicado su propia respuesta, lo único que queda es que alguien más la compruebe.