Una tarjeta de título generada que dice «Ming-3.0-audio-tiny vs Sesame Preview» con el subtítulo «un Talker sin benchmark de TTS frente a una voz sin modelo», tres chips que dicen «Ming: MIT, 9,3 B en total», «Talker: 1,4 GB, opcional» y «Sesame: sin API, sin ID de modelo», y un pie de página que dice «Las cifras de Ming provienen del repositorio de inclusionAI; las de Sesame, de las publicaciones de la propia empresa. Ninguna incluye una puntuación de voz comparable».
Engineering & Research

Ming-3.0-audio-tiny vs. Sesame Preview: uno puede hablar y no será evaluado; el otro habla para ganarse la vida

Autor

Magnus Corvin

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Lo curioso de poner Ming-3.0-audio-tiny junto a Sesame Preview es que el eje obvio —la calidad de la voz— es el que ninguno de los dos lados te permite medir. Ming-3.0-audio-tiny incluye un generador de voz: un Talker de 1,4 GB, un VAE de 1,6 GB, un codificador de hablante CAM++, tres voces con nombre y una ruta de clonación mediante clip de referencia. Y su proveedor no publica ningún benchmark de texto a voz para nada de ello. Las tres imágenes de evaluación del repositorio cubren reconocimiento, inteligencia de audio y texto. No hay una fila de similitud de hablante, ni una fila de tasa de error de palabras para voz sintetizada, nada. Sesame Preview es la imagen especular: un producto cuya reputación entera es el sonido de su voz, sin identificador de modelo, sin API y sin ninguna puntuación asociada a la voz en la app. Los fallos de IA y los incidentes de agentes documentados detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza e indicador de disputa.

Ambos guardan silencio en la misma dirección y por razones distintas, y ese es el punto de partida honesto. Ming-3.0-audio-tiny es un checkpoint que puedes descargar —los pesos están en Hugging Face desde el 3 de septiembre de 2026, y lo que cambió entre el 16 y el 19 de octubre fue el papeleo que los rodea: una configuración corregida, el árbol de Talker, presets de voz, perfiles de despliegue y, el 19 de octubre, la primera model card. Sesame Preview es una aplicación con la que hablas, actualizada en público, descrita por la empresa con sus propias palabras y nunca reducida a un archivo. Uno está sin medir porque su proveedor optó por no medirlo; el otro es inmedible porque no hay nada que ejecutar.

Lo que realmente es la ruta del habla del modelo pequeño

Es un adjunto, no el modelo. El Thinker —17,74 GB repartidos en dos fragmentos, 9,3B parámetros en total y 2,7B activos— lee audio y escribe texto. El Talker es un segundo proceso que convierte el estado oculto del Thinker en habla, y el despliegue de referencia le asigna su propia GPU. El perfil de texto se ejecuta en dispositivos: "0" con paralelismo tensorial de uno; el perfil de audio completo coloca al Thinker en la GPU 0 con 0,78 de la tarjeta y al Talker en la GPU 1 con 0,18. El perfil de SGLang es solo texto y la ficha lo indica claramente.

• Voces — la opción predeterminada de vLLM-Omni es una voz IP integrada llamada 灵小柔; el repositorio también incluye 灵楷 y US_James como voces de referencia predefinidas en voice_presets/voice_audio/, con transcripciones coincidentes en voice_prompts.json.

• Clonación: un WAV de referencia junto con su transcripción exacta. La tarjeta advierte de que no se puede combinar una selección de voz integrada con un clip de referencia en una sola solicitud.

• Idiomas: chino e inglés, "incluidos diversos acentos y dialectos", sin una lista de idiomas separada para el Talker. En ningún lugar se indica si habla inglés con acento estadounidense tan bien como lo lee.

• Licencia — MIT sobre los pesos; los preajustes de voz son la parte que conviene leer con atención, porque un clip de referencia conlleva los derechos que tuviera su hablante. El repositorio no incluye términos separados para las dos voces incluidas.

• Evidencia: ninguna para la vía del habla. Las cifras de reconocimiento y razonamiento son de inclusionAI; el lado de la síntesis no tiene ninguna cifra publicada en absoluto.

Esa última frase explica por qué esta comparación tiene tan pocos veredictos. Un proveedor que mide su ASR con dos decimales de precisión y no publica nada sobre su TTS ya te ha dicho en qué mitad del modelo confía.

El lado de Sesame del mismo libro mayor

La postura pública de Sesame es la inversa: una voz lo bastante buena como para que la gente asumiera que había una persona al otro lado de la línea, ofrecida mediante un asistente con memoria, conectores, navegación y, desde una actualización de octubre de 2026, la capacidad de coordinar otros agentes. La empresa describió esa actualización como un nuevo Conversational Speech Model con mejor expresividad y pronunciación. No publicó un checkpoint para él, ni un ID de modelo, ni cifras de latencia, ni una licencia. No hay endpoint, así que no hay solicitud que hacer ni respuesta que puntuar.

El único artefacto que un desarrollador puede tener en sus manos es sesame/csm-1b en Hugging Face: Apache-2.0, solo en inglés, aproximadamente 1.100 millones de parámetros, un backbone de la familia Llama que predice un primer codebook de audio con un decodificador de profundidad más pequeño para el resto, decodificado mediante el códec Mimi de Kyutai a 24 kHz. Se publicó en marzo de 2025 y se ha descargado unas 130.000 veces en el último mes, con aproximadamente 2.500 me gusta. La tarjeta es sincera al afirmar que es un modelo de generación base —puede producir voces variadas, no está ajustado a ninguna en particular, y la demo interactiva es un derivado, no el propio checkpoint—.

Entonces, la afirmación justa es: puedes conservar la arquitectura de Sesame de 2025. No puedes conservar la voz que hizo famosa a la empresa en 2026.

A screenshot of the sesame/csm-1b model card on Hugging Face, showing the repository header with its Like and Follow counts, a tag row including text-to-speech and English, a licence line reading Apache-2.0, and card text dating the 1B CSM release to 13 March 2025 and describing a Llama backbone with a smaller audio decoder that produces Mimi audio codes.

Dos trabajos diferentes que llevan la misma palabra

Si quitas la palabra «audio» de ambas descripciones, la discrepancia se vuelve obvia. Ming-3.0-audio-tiny es un modelo de escucha que también puede hablar. Su evaluación está dominada por la comprensión: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, ASR en chino con un promedio de 3.79 de error de caracteres y un promedio de 10.29 en dialectos. Esos son los números que su proveedor eligió publicar, y todos tienen que ver con entender. Sesame Preview es un producto que habla y que también escucha, y su reputación se basa en la alternancia de turnos: las interrupciones, el backchannel, la sincronización que hace que una conversación se sienta como tal.

No son la misma habilidad y no se compensan entre sí. Un modelo puede ser excelente en «qué dijo el tercer hablante sobre la factura» y mediocre a la hora de sonar como una persona, y lo contrario es igualmente posible. Nada en el material de ninguno de los dos proveedores permite clasificarlos en un eje común, porque nunca midieron el mismo eje.

Donde la asimetría se hace más patente es en el experimento barato. Con Ming-3.0-audio-tiny puedes sintetizar la misma frase cincuenta veces, variar el clip de referencia y escuchar: una tarde de trabajo, sin necesidad de permiso. Con Sesame Preview, el experimento equivalente consiste en abrir la app y formarte una opinión, porque no hay una segunda muestra de la que tomar.

La única publicación de Sesame que vale la pena pedir prestada

En agosto de 2026, Sesame publicó TurnBench, un benchmark abierto para la toma de turnos en el diálogo hablado: unas 30 horas de habla diádica con triple anotación, un protocolo de puntuación tomado del análisis de la conversación, una tabla de clasificación pública y resultados para 14 sistemas, desarrollado junto con Carnegie Mellon, Mundo AI y Oto. Es lo más útil de todo el enfrentamiento, y es útil precisamente porque mide la cualidad que tanto las tablas de tasa de error de palabra como las de Elo de preferencia pasan por alto.

Úsalo como un instrumento en lugar de como un marcador. La propia aplicación de Sesame no aparece en él, y Ming-3.0-audio-tiny desde luego que no. Pero si estás considerando el modelo tiny para algo conversacional —y su Talker junto con su ventana de 131.072 tokens hacen que considerarlo sea razonable—, entonces la gestión de interrupciones y la sincronización de los backchannels son lo que deberías evaluar, y TurnBench te ofrece un protocolo para hacerlo en lugar de guiarte por una corazonada.

A screenshot of Sesame's research page on crossing the uncanny valley of voice, dated 27 February 2025, showing a 'Try preview now' button and the essay's opening line about how we know when someone truly understands us.

El corolario es incómodo para ambos proveedores. Un modelo puede incluir un generador de voz y un contexto de 128K y seguir siendo terrible en aquello por lo que Sesame es conocido, y ninguno de los conjuntos de datos de esta comparación te lo diría.

El costo, una vez que dejas de comparar tarifas

Sesame Preview no tiene precio porque no tiene ningún producto que vender a un precio: la app es gratuita, la empresa afirma que no muestra anuncios y no vende datos, y no hay ningún nivel publicado. Ming-3.0-audio-tiny tampoco tiene tarifa, pero tiene algo mejor: un suelo aritmético. El texto y el ASR se ejecutan en una GPU. La salida de voz se ejecuta en dos, porque el Talker y su VAE son un segundo conjunto de pesos con su propio dispositivo. Si solo necesitas la mitad de escucha, la segunda tarjeta es dinero que no gastas y, a diferencia de una suscripción, no escala con la cantidad de frases que generes.

Ese es el único punto en el que estos dos son realmente comparables, y es una comparación de formas más que de números: una factura fija de hardware que puedes prever, frente a un producto gratuito cuyas condiciones no puedes auditar y cuya capacidad no puedes comprar.

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Sesame Preview across six dimensions: what you can run, speech quality score, voices, licence, cost shape, and turn-taking evidence, with a footer noting that neither vendor ships a comparable speech score.

OrcaRouter queda fuera de ambos. No servimos Ming-3.0-audio-tiny —es un checkpoint que ejecutas tú, no un endpoint que alojamos nosotros— y no hay ningún modelo Sesame que enrutar en primer lugar. A lo que sí llega un router es a la mitad de texto de un pipeline de voz: el guion, la traducción, el resumen, el clasificador que decide qué grabación necesita a una persona. Una sola clave para más de 200 modelos al precio de lista del proveedor sin recargo añadido es un contrato más corto que tres, y la conmutación por error automática evita que un lote largo de síntesis muera porque un proveedor tuvo una mala tarde. Nada de eso hace que ninguno de los dos modelos sea mejor como voz.

¿Qué cambiaría la respuesta?

Tres eventos, cada uno verificable. Primero, que inclusionAI publique una evaluación de texto a voz de Ming-3.0-audio-tiny —naturalidad, similitud del hablante con el clip de referencia, tasa de error en el habla sintetizada— convertiría al Talker de una característica sin medir en un candidato. Segundo, que Sesame publique el checkpoint o una API para la voz de producción haría que la reputación de la app se pudiera poner a prueba, y la comparación sería por fin entre dos cosas ejecutables. Tercero, que un tercero independiente puntúe cualquiera de los dos modelos en TurnBench zanjaría la única cualidad a la que ambos proveedores aluden y que ninguno publica.

Hasta que llegue uno de esos, la descripción precisa es poco glamurosa. Ming-3.0-audio-tiny es un modelo de escucha de 17,74 GB con un complemento opcional de voz de 3 GB, pesos MIT, una config corregida, una ficha que es cuatro días más nueva que la config que describe y ningún número publicado para la mitad que habla. Sesame Preview es una voz que puedes oír, admirar y no obtener. La elección entre ambos no es una elección entre dos modelos. Es una elección entre medir algo tú mismo y que no se te permita.

Si tienes que decidir esta semana

Para transcripción, comprensión de grabaciones largas o cualquier cosa en la que la salida sea texto que vayas a analizar, Ming-3.0-audio-tiny es el único de los dos que siquiera es candidato: asigna una GPU, usa el prompt de ASR validado con su delimitador de tabulación y establece el contexto a la longitud que realmente necesitas. Para una experiencia de voz para consumidores que estás prototipando, Sesame es la referencia con la que debes comparar tu trabajo, no una dependencia sobre la que construir, porque no hay ninguna dependencia que instalar.

Y para la salida de voz del modelo pequeño: pruébala antes de basar tus planes en ella. Dos GPU, un clip de referencia, una transcripción que coincida exactamente con ese clip y una hora de escucha te dirán más que toda la carpeta de benchmarks, porque la carpeta de benchmarks no contiene ni un solo dato al respecto.