Une carte de titre générée indiquant « Ming-3.0-audio-tiny vs Sesame Preview », avec le sous-titre « un Talker sans benchmark TTS face à une voix sans modèle », trois pastilles indiquant « Ming : MIT, 9,3 B au total », « Talker : 1,4 Go, facultatif » et « Sesame : pas d’API, pas d’ID de modèle », et un pied de page indiquant « Chiffres de Ming issus du dépôt d’inclusionAI ; chiffres de Sesame issus des publications de l’entreprise. Aucun des deux ne fournit de score vocal comparable. »
Engineering & Research

Ming-3.0-audio-tiny vs Sesame Preview : l'un sait parler mais ne sera pas noté, l'autre parle pour gagner sa vie

Auteur

Magnus Corvin

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Ce qui est étrange lorsqu’on place Ming-3.0-audio-tiny à côté de Sesame Preview, c’est que l’axe évident — la qualité de la voix — est précisément celui qu’aucun des deux ne vous laisse mesurer. Ming-3.0-audio-tiny embarque un générateur de parole : un Talker de 1,4 Go, un VAE de 1,6 Go, un encodeur de locuteur CAM++, trois voix nommées et une voie de clonage à partir d’un clip de référence. Et son fournisseur ne publie aucun benchmark de synthèse vocale pour l’ensemble. Les trois images d’évaluation du dépôt couvrent la reconnaissance, l’intelligence audio et le texte. Il n’y a aucune ligne de similarité de locuteur, aucune ligne de taux d’erreur de mots pour la parole synthétisée, rien. Sesame Preview est l’image miroir : un produit dont toute la réputation tient au son de sa voix, sans identifiant de modèle, sans API et sans score associé à la voix dans l’application. Les défaillances documentées de l’IA et les incidents d’agents derrière des versions comme celle-ci sont recensés dans the OrcaRouter AI Incident Archive où chaque entrée porte ses propres sources, son niveau de gravité, sa note de confiance et son indicateur de contestation.

Les deux sont silencieux dans la même direction et pour des raisons différentes, et c’est le point de départ honnête. Ming-3.0-audio-tiny est un checkpoint que vous pouvez télécharger — les poids sont sur Hugging Face depuis le 3 septembre 2026, et ce qui a changé entre le 16 et le 19 octobre, c’est la documentation qui les entoure : une configuration corrigée, l’arborescence Talker, des préréglages de voix, des profils de déploiement et, le 19 octobre, la première fiche modèle. Sesame Preview est une application à laquelle on parle, mise à jour en public, décrite par l’entreprise dans ses propres termes, et jamais réduite à un fichier. L’un n’est pas mesuré parce que son fournisseur a choisi de ne pas le mesurer ; l’autre est inmesurable parce qu’il n’y a rien à exécuter.

Ce qu’est réellement le chemin vocal du petit modèle

C'est un composant annexe, pas le modèle. Le Thinker — 17,74 Go répartis sur deux fragments, 9,3 Md de paramètres au total et 2,7 Md actifs — lit l'audio et écrit du texte. Le Talker est un second processus qui transforme l'état caché du Thinker en parole, et le déploiement de référence lui attribue son propre GPU. Le profil texte s'exécute sur les périphériques : « 0 » avec un parallélisme tensoriel de un ; le profil audio complet place le Thinker sur le GPU 0 à 0,78 de la carte et le Talker sur le GPU 1 à 0,18. Le profil SGLang est réservé au texte et la carte l'indique clairement.

• Voix — la valeur par défaut de vLLM-Omni est une voix IP intégrée appelée 灵小柔 ; le dépôt fournit également 灵楷 et US_James comme voix de référence prédéfinies sous voice_presets/voice_audio/, avec les transcriptions correspondantes dans voice_prompts.json.

• Clonage — un fichier WAV de référence ainsi que sa transcription exacte. La carte indique que vous ne pouvez pas combiner une sélection de voix intégrée avec un clip de référence dans une même requête.

• Langues — chinois et anglais, « y compris des accents et dialectes variés », sans liste de langues distincte pour le Talker. Il n’est indiqué nulle part s’il parle anglais avec un accent américain aussi bien qu’il le lit.

• Licence — MIT sur les poids ; les préréglages vocaux sont la partie à lire attentivement, car un clip de référence est assorti des droits que son locuteur possédait. Le dépôt ne fournit aucune condition distincte pour les deux voix incluses.

• Preuves — aucune pour le volet parole. Les chiffres de reconnaissance et de raisonnement sont ceux d’inclusionAI ; le volet synthèse ne dispose d’aucun chiffre publié.

Cette dernière ligne explique pourquoi cette comparaison est avare de verdicts. Un fournisseur qui mesure son ASR à deux décimales près et ne publie rien sur son TTS vous a dit de quelle moitié du modèle il est sûr.

Le côté de Sesame du même registre

La position publique de Sesame est l’inverse : une voix suffisamment bonne pour que les gens pensent qu’un humain était au bout du fil, fournie via un assistant doté de mémoire, de connecteurs, de navigation web et, depuis une mise à jour d’octobre 2026, de la capacité de coordonner d’autres agents. L’entreprise a décrit cette mise à jour comme un nouveau Conversational Speech Model avec une meilleure expressivité et une meilleure prononciation. Elle n’a publié ni checkpoint pour celui-ci, ni identifiant de modèle, ni chiffres de latence, ni licence. Il n’y a pas de point de terminaison, donc il n’y a pas de requête à effectuer et pas de réponse à évaluer.

Le seul artefact qu’un développeur peut avoir entre les mains est sesame/csm-1b sur Hugging Face : Apache-2.0, uniquement en anglais, environ 1,1 milliard de paramètres, un backbone de la famille Llama qui prédit un premier codebook audio avec un décodeur de profondeur plus petit pour le reste, décodé via le codec Mimi de Kyutai à 24 kHz. Il a été mis en ligne en mars 2025 et a été téléchargé environ 130 000 fois au cours du dernier mois, avec environ 2 500 likes. La fiche reconnaît franchement qu’il s’agit d’un modèle de génération de base — il peut produire des voix variées, il n’est pas ajusté à une voix en particulier, et la démo interactive est un dérivé plutôt que le checkpoint lui-même.

Donc, l’affirmation juste est la suivante : vous pouvez conserver l’architecture de Sesame de 2025. Vous ne pouvez pas conserver la voix qui a rendu l’entreprise célèbre en 2026.

A screenshot of the sesame/csm-1b model card on Hugging Face, showing the repository header with its Like and Follow counts, a tag row including text-to-speech and English, a licence line reading Apache-2.0, and card text dating the 1B CSM release to 13 March 2025 and describing a Llama backbone with a smaller audio decoder that produces Mimi audio codes.

Deux métiers différents qui portent le même mot

Retirez le mot « audio » des deux descriptions, et le décalage saute aux yeux. Ming-3.0-audio-tiny est un modèle d’écoute qui sait aussi parler. Son évaluation est dominée par la compréhension : MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, moyenne ASR chinois 3.79 d’erreur de caractère, moyenne dialectes 10.29. Ce sont les chiffres que son fournisseur a choisi de publier, et ils portent tous sur la compréhension. Sesame Preview est un produit qui parle et qui sait aussi écouter, et sa réputation repose sur l’alternance des tours de parole — interruption, rétroaction, le timing qui fait qu’une conversation ressemble à une conversation.

Ce ne sont pas les mêmes compétences et elles ne se compensent pas l’une l’autre. Un modèle peut être excellent pour « qu’a dit le troisième intervenant à propos de la facture » et médiocre pour ce qui est de parler comme une personne, et l’inverse est tout aussi possible. Rien dans la documentation de l’un ou l’autre fournisseur ne permet de les classer sur un axe commun, car ils n’ont jamais mesuré le même axe.

Là où l’asymétrie se fait le plus sentir, c’est dans l’expérience peu coûteuse. Avec Ming-3.0-audio-tiny, vous pouvez synthétiser la même phrase cinquante fois, varier le clip de référence et écouter — un après-midi de travail, sans autorisation à demander. Avec Sesame Preview, l’expérience équivalente consiste à ouvrir l’application et à se forger une opinion, car il n’y a pas de second échantillon à tirer.

La seule publication Sesame qui vaille la peine d'être empruntée

En août 2026, Sesame a publié TurnBench, un benchmark ouvert pour la gestion des tours de parole dans le dialogue parlé : environ 30 heures de parole dyadique triplement annotée, un protocole de notation emprunté à l’analyse conversationnelle, un classement public et les résultats de 14 systèmes, développé avec Carnegie Mellon, Mundo AI et Oto. C’est l’élément le plus utile de toute cette comparaison, et il est utile précisément parce qu’il mesure la qualité que les classements fondés sur le taux d’erreur de mots et sur l’Elo de préférence omettent tous les deux.

Utilisez-le comme un instrument plutôt que comme un tableau des scores. L’application de Sesame elle-même n’y figure pas, et Ming-3.0-audio-tiny encore moins. Mais si vous envisagez le petit modèle pour un usage conversationnel — et son Talker ainsi que sa fenêtre de 131 072 tokens en font une option raisonnable à considérer — alors ce que vous devriez évaluer, c’est la gestion des interruptions et le timing des backchannels, et TurnBench vous donne un protocole pour le faire plutôt qu’une impression subjective.

A screenshot of Sesame's research page on crossing the uncanny valley of voice, dated 27 February 2025, showing a 'Try preview now' button and the essay's opening line about how we know when someone truly understands us.

Le corollaire est inconfortable pour les deux fournisseurs. Un modèle peut embarquer un générateur de parole et un contexte de 128K tout en étant lamentable sur ce pour quoi Sesame est connu, et aucun des deux jeux de données de cette comparaison ne vous le révélerait.

Le coût, une fois que vous cessez de comparer les grilles tarifaires

Sesame Preview n’a pas de prix, car elle n’a aucun produit à vendre à un prix : l’application est gratuite, l’entreprise affirme qu’elle n’affiche pas de publicité et ne vend pas de données, et aucun niveau tarifaire n’est publié. Ming-3.0-audio-tiny n’a pas non plus de grille tarifaire, mais elle a mieux : un plancher arithmétique. Le texte et l’ASR tournent sur un seul GPU. La sortie vocale en utilise deux, car le Talker et son VAE constituent un second ensemble de poids avec son propre dispositif. Si vous n’avez jamais besoin que de la partie écoute, la seconde carte est de l’argent que vous n’avez pas à dépenser et, contrairement à un abonnement, elle ne varie pas selon le nombre de phrases que vous générez.

C’est le seul point où ces deux-là sont réellement comparables, et il s’agit d’une comparaison de formes plutôt que de chiffres : une facture matérielle fixe que vous pouvez prévoir, face à un produit gratuit dont vous ne pouvez pas auditer les conditions et dont vous ne pouvez pas acheter la capacité.

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Sesame Preview across six dimensions: what you can run, speech quality score, voices, licence, cost shape, and turn-taking evidence, with a footer noting that neither vendor ships a comparable speech score.

OrcaRouter se situe en dehors des deux. Nous ne servons pas Ming-3.0-audio-tiny — c'est un checkpoint que vous exécutez, pas un point de terminaison que nous hébergeons — et il n'y a de toute façon aucun modèle Sesame à router. Ce qu'un routeur atteint, c'est la moitié textuelle d'un pipeline vocal : le script, la traduction, le résumé, le classificateur qui détermine quel enregistrement nécessite une intervention humaine. Une seule clé pour plus de 200 modèles au prix catalogue du fournisseur, sans marge ajoutée est un contrat plus simple que trois, et le basculement automatique évite qu'un long lot de synthèse échoue parce qu'un fournisseur a passé un mauvais après-midi. Rien de tout cela ne rend l'un ou l'autre modèle meilleur pour jouer le rôle d'une voix.

Qu’est-ce qui changerait la réponse ?

Trois événements, chacun vérifiable. Premièrement, la publication par inclusionAI d’une évaluation de synthèse vocale pour Ming-3.0-audio-tiny — naturel, similarité de la voix avec l’extrait de référence, taux d’erreur sur la parole synthétisée — ferait passer le Talker du statut de fonctionnalité non mesurée à celui de candidat. Deuxièmement, la publication par Sesame du checkpoint ou d’une API pour la voix de production rendrait la réputation de l’application testable, et la comparaison porterait enfin entre deux éléments exécutables. Troisièmement, si un tiers indépendant évaluait l’un ou l’autre modèle sur TurnBench, cela trancherait sur la seule qualité que les deux fournisseurs évoquent du bout des lèvres sans qu’aucun ne la publie.

Jusqu’à ce que l’une de ces sorties arrive, la description exacte manque de glamour. Ming-3.0-audio-tiny est un modèle d’écoute de 17,74 Go avec un module vocal optionnel de 3 Go, des poids sous licence MIT, une configuration corrigée, une fiche quatre jours plus jeune que la configuration qu’elle décrit, et aucun chiffre publié pour la moitié qui parle. Sesame Preview est une voix que l’on peut entendre, admirer et ne pas obtenir. Le choix entre les deux n’est pas un choix entre deux modèles. C’est un choix entre mesurer quelque chose soi-même et ne pas être autorisé à le faire.

Si vous devez décider cette semaine

Pour la transcription, la compréhension de longs enregistrements, ou tout cas où la sortie est du texte que vous allez analyser, Ming-3.0-audio-tiny est le seul des deux qui soit ne serait-ce qu'un candidat — prévoyez un seul GPU, utilisez le prompt ASR validé avec son délimiteur de tabulation, et réglez le contexte sur la longueur dont vous avez réellement besoin. Pour une expérience vocale grand public que vous prototypez, Sesame est la référence à laquelle confronter votre travail, et non une dépendance sur laquelle bâtir, car il n'y a aucune dépendance à installer.

Et pour la sortie vocale du petit modèle : essayez-le avant de planifier quoi que ce soit autour. Deux GPU, un clip de référence, une transcription qui correspond exactement à ce clip et une heure d’écoute vous en apprendront plus que tout le dossier de benchmarks — car ce dossier ne contient pas un seul chiffre à ce sujet.