Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B : cinq tirets face à un flux avec attribution des locuteurs

Ouvrez l'image de reconnaissance dans le dépôt Hugging Face de Ming-3.0-audio-tiny et faites défiler jusqu'en bas. Cinq lignes — la diarisation des locuteurs et l'erreur de permutation minimale concaténée pour AISHELL-4, AliMeeting et AMI — portent un tiret dans la colonne tiny. Pas un mauvais chiffre. Une case vide. Le fournisseur a mesuré son grand frère sur les cinq et s'est abstenu de mesurer le petit. Ouvrez maintenant la fiche modèle de VibeVoice-ASR-Streaming 1.5B et lisez la première puce : il transcrit qui a dit quoi, en continu, au fur et à mesure que la parole arrive. Ce sont les cinq mêmes lignes, inversées. Un modèle publie presque tout sauf l'attribution des locuteurs ; l'autre existe principalement pour la publier. Les défaillances d'IA et incidents d'agents documentés derrière des versions comme celle-ci sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, son niveau de confiance et son indicateur de contestation.

Aucun des deux n’a été évalué de manière indépendante. Cela compte moins ici que d’habitude, car ce duel se joue sur une décision de conception plutôt que sur un chiffre : ce qui se passe lorsque l’audio ne cesse jamais d’arriver. Ming-3.0-audio-tiny est un modèle de fichiers avec une grande fenêtre et une sortie vocale facultative. VibeVoice-ASR-Streaming 1.5B est un modèle de flux qui émet du texte environ toutes les trois secondes et attribue un locuteur à chaque segment. Si votre charge de travail est un enregistrement, ils sont en concurrence. Si votre charge de travail est une pièce, un seul des deux essaie.

Ce que coûte le « streaming » dans la configuration

Le dépôt de Microsoft est inhabituellement explicite sur son propre budget de latence, ce qui rend le compromis vérifiable plutôt que purement marketing. Les tokeniseurs acoustique et sémantique sont causaux et fonctionnent à une compression de 3 200× sur une entrée à 24 kHz, si bien que le flux de tokens représente environ 7,5 tokens par seconde d’audio. L’enveloppe de streaming regroupe 22 trames de tokens par bloc avec 4 trames d’anticipation : 22 divisé par 7,5 donne environ 2,9 secondes par émission, et 4 divisé par 7,5 correspond à environ une demi-seconde d’audio futur que le modèle est autorisé à voir avant de valider sa sortie.

• Cadence d’émission — environ 2,9 secondes ; l’anticipation est ce qui permet de gagner en précision au prix de la latence.

• Backbone — un décodeur de la famille Qwen2, 28 couches, 1 536 dimensions cachées, 12 têtes avec 2 têtes clé-valeur, fenêtre de 64 000 jetons.

• Taille — trois fragments safetensors totalisant 5,63 Go. Ce n’est pas 1.5B de paramètres ; 5,63 Go en bf16 correspond plutôt à environ 2,8 milliards, et le 1.5B du nom se lit mieux comme le socle linguistique plutôt que comme l’ensemble de la pile.

• Langues — dix : chinois, anglais, français, allemand, italien, japonais, coréen, portugais, russe, espagnol.

• Extras — mots-clés personnalisés transmis comme contexte, et une étiquette de locuteur attachée à chaque segment émis.

• Datation — dépôt créé le 2 septembre 2026 à 15:51 UTC, dernière modification le lendemain matin. Annoncé uniquement par une ligne d’actualités dans le README GitHub de VibeVoice, autrement dit à peine annoncé.

Cette fenêtre de 64K est le chiffre à opposer aux 131,072 de Ming. Cela ressemble à la moitié de la capacité, mais ce n’est pas le même type de capacité. Un modèle de streaming n’a pas besoin de retenir une heure, parce qu’il a déjà consigné les cinquante-neuf dernières minutes. La fenêtre est la mémoire de travail pour le segment courant, plus tout contexte de dialogue que le modèle reporte. Le 131K de Ming est le pari inverse : tout garder en direct et raisonner dessus.

Le pari de Ming, et ce qu'il rapporte

Le point fort du petit modèle n'est pas la précision de reconnaissance — dans les propres tableaux d'inclusionAI, il a 0,34 point de retard sur son grand frère en chinois (3,79 contre 3,45 d'erreur de caractère) et 0,89 point de retard sur les dialectes (10,29 contre 9,40). Son atout, c'est qu'un seul checkpoint effectue la reconnaissance, la compréhension, le raisonnement et la parole dans la même passe avant, sur une fenêtre suffisamment longue pour que « qu'a-t-elle dit dans les dix premières minutes » soit une question que l'on peut poser.

Ses chiffres d’intelligence audio sont respectables pour sa taille et constituent la raison de le préférer à un simple transcripteur : MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, MuchoMusic 58,07 pour la musique. Tous proviennent d’évaluations menées par le fournisseur, avec des astérisques sur les lignes auto-évaluées, et la fiche indique que les modèles de comparaison ont été reproduits avec les propres prompts et le décodage d’inclusionAI. À interpréter comme un cahier des charges de conception.

Ce que les tableaux ne vous diront pas, c’est qui a parlé. C’est l’écart que marquent les cinq tirets, et il est structurel plutôt qu’accidentel. Un modèle qui répond à des questions sur un enregistrement n’a pas besoin d’une segmentation par locuteur pour y répondre ; un modèle qui produit une transcription pour une réunion en a besoin. Ming peut probablement être amené, via une invite, à faire quelque chose comme de l’étiquetage des locuteurs, et la mention mise en avant sur la fiche à propos des « enregistrements multi-locuteurs » suggère qu’il a été entraîné près du problème. Mais « probablement » fait le travail de cinq lignes non publiées.

Deux pipelines, dessinés honnêtement

Imaginez le même enregistrement de quatre-vingt-dix minutes passer dans chacun d’eux.

Avec VibeVoice-ASR-Streaming 1.5B, l’audio arrive par segments d’environ trois secondes et le texte sort au même rythme, chaque segment portant un locuteur. Vous pouvez l’afficher en direct. Le coût, c’est que chaque décision est plus ou moins locale : le modèle a vu une demi-seconde d’avance et tout le contexte qu’il conserve, si bien qu’un locuteur qui marque une pause de quatre secondes peut revenir avec une étiquette différente, et un nom introduit à la deuxième minute n’est récupérable que via le mécanisme de hotwords, que vous fournissez. La cohérence entre segments est ce qu’il faut tester et ce que la fiche ne quantifie pas.

Avec Ming-3.0-audio-tiny, le fichier arrive, tout tient dans le contexte, et la réponse arrive quand elle arrive. La cohérence entre segments n’est pas un risque, car il n’y a pas de segments — dans la limite de la fenêtre. Le coût, c’est que rien n’est disponible avant que le modèle ait terminé, et la réservation mémoire est dimensionnée pour la fenêtre complète : le profil ASR de référence occupe 0,92 carte avec un lot de 32 768 tokens. Vous pouvez réduire max_model_len ; vous ne pouvez pas le faire fonctionner en streaming, car il n’existe aucun chemin de streaming dans le dépôt.

• Profil de latence — VibeVoice : continu, ~3 s de retard. Ming : une seule réponse à la fin.

• Attribution — VibeVoice : par segment, par conception. Ming : non publié.

• Contexte — VibeVoice : fenêtre de travail de 64K plus sa propre transcription. Ming : 131 072 positions, soit environ trois heures d’audio par calcul sur l’encodeur, si le processeur alimente un flux continu.

• Sortie — VibeVoice : texte. Ming : texte, ou texte plus parole synthétisée via un Talker optionnel sur un second GPU.

• Matériel — VibeVoice : un checkpoint de 5,63 Go, donc une seule carte standard. Ming : 17,74 Go de Thinker, une carte pour le texte, deux pour la parole.

La licence et les formalités administratives sont identiques, ce qui est inhabituel.

Les deux sont sous licence MIT. Les deux sont des sorties discrètes. Les deux ont mis les poids en ligne avant que la documentation ne suive, et les deux s’appuient sur un dépôt GitHub qui ne porte pas le nom du checkpoint : les profils de déploiement de Ming se trouvent dans inclusionAI/Ming-3.0-audio-flash, et les instructions d’utilisation de VibeVoice se trouvent dans microsoft/VibeVoice aux côtés de son homologue 7B.

Les différences résident dans ce que chaque dépôt vous indique. Microsoft fournit un rapport technique — arXiv 2609.02812 — ainsi qu’une figure de résultats dans la fiche, qui est une image plutôt qu’un tableau ; les chiffres ne sont donc pas extractibles et aucun taux d’erreur par langue n’est indiqué dans le texte. inclusionAI fournit trois images de benchmark, elles aussi des images, ainsi qu’une fiche qui ne nomme ses propres faiblesses qu’implicitement, en laissant des cellules vides. Aucun des deux fournisseurs ne vous donne un chiffre que vous pouvez coller dans un tableur sans le retranscrire à la main.

Une asymétrie mérite d’être signalée à quiconque s’occupe d’achats : le dépôt Hugging Face de Ming ne contient aucun fichier LICENSE, seulement un lien, dans les métadonnées de la carte, vers une licence située dans l’autre dépôt. La carte de VibeVoice indique MIT dans les métadonnées et le dépôt contient le fichier de licence. Les deux affirmations sont vraies ; une seule se trouve à l’intérieur de l’artefact.

À quoi sert un routeur ici et à quoi il ne sert pas

OrcaRouter ne sert aucun des deux modèles. Ming-3.0-audio-tiny est un checkpoint et VibeVoice-ASR-Streaming 1.5B est un checkpoint ; aucun des deux ne figure dans notre catalogue, et rien dans cet article ne constitue une offre de les héberger. La place du routeur dans un pipeline comme celui-ci se situe en aval de la transcription et en amont de la décision : résumer l'appel, extraire les engagements, classer si le segment nécessite une intervention humaine, traduire les parties qui n'étaient pas dans la langue de travail. Ces appels sont du texte, et un seul point de terminaison pour plus de 200 modèles à 0 % de marge — prix catalogue du fournisseur répercuté, de sorte qu'une modification de prix d'un fournisseur arrive de notre côté le jour même — supprime un contrat par fournisseur de l'intégration. Le basculement automatique est la fonctionnalité spécifique qui compte lorsqu'une tâche de transcription de deux heures doit remettre son résultat à un endroit fiable à 2 h du matin.

Ce qu'un routeur ne fera pas, c'est concilier deux étiquettes de locuteur qui ne concordent pas, ni décider si les lignes de diarisation manquantes de Ming constituent une véritable faiblesse ou une faiblesse non mesurée. C'est à votre propre audio qu'il appartient de s'en charger.

Le test qui les départage en un après-midi

Enregistrez vingt minutes avec trois personnes, dont une coupe la parole aux autres deux fois et une autre utilise le microphone d'un ordinateur portable. Faites-le passer dans VibeVoice-ASR-Streaming 1.5B avec la liste de mots-clés renseignée avec les trois noms, car c'est le mécanisme que le modèle fournit précisément pour cela. Faites passer le même fichier dans Ming-3.0-audio-tiny en utilisant le prompt validé qui demande l'étiquette de langue, une tabulation, puis la transcription — puis demandez-lui, dans un second tour, d'attribuer chaque phrase.

Évaluez quatre choses : combien de changements de locuteur le premier modèle a correctement identifiés, si une étiquette de locuteur a basculé en cours d’enregistrement, si l’attribution du second modèle est restée stable sur tout le fichier, et quelle sortie vous pourriez corriger plus rapidement à la main. La dernière n’est pas un benchmark et prédira mieux votre expérience en production que les chiffres de l’un ou l’autre fournisseur.

Et gardez les tirets à l’esprit pendant que vous faites cela. Un fournisseur qui publie un tableau des dialectes à deux décimales près et laisse cinq cellules de diarisation vides vous a dit quelque chose de précis sur l’endroit où sa confiance s’arrête. Microsoft, pour sa part, a publié une figure plutôt qu’un tableau et vous a laissé lire l’image. Ni l’un ni l’autre ne vous a donné un nombre qu’un inconnu a vérifié.

Où chacun a réellement sa place

Sous-titres en direct, surveillance de centres d’appels, assistants de réunion qui ont besoin d’un nom à côté de chaque ligne : VibeVoice-ASR-Streaming 1.5B est conçu pour ce type d’usage et, avec ses 5,63 Go, il tourne sur du matériel que vous possédez probablement déjà. Pour l’examen de conformité d’une archive, « trouver chaque mention de l’accord dans ces quarante enregistrements », tout cas où la question vient après l’audio plutôt que pendant : la grande fenêtre unique de Ming-3.0-audio-tiny et ses scores de compréhension sont plus adaptés, et les lignes de diarisation manquantes cessent d’avoir de l’importance si personne n’a demandé qui a parlé.

L’erreur serait de choisir Ming pour une tâche de streaming parce que 131 072 vaut le double de 64 000, ou de choisir VibeVoice pour une tâche de raisonnement parce que 1,5 B semble moins coûteux que 9,3 B. Les deux nombres décrivent autre chose que ce que la phrase suppose, ce qui est l’élément le plus fiable que cette comparaison ait permis d’établir.