Ming-3.0-audio-tiny vs Sesame Preview: De ene kan spreken en wordt niet beoordeeld, de andere spreekt voor de kost

Het vreemde aan het naast elkaar zetten van Ming-3.0-audio-tiny naast Sesame Preview is dat de voor de hand liggende as — stemkwaliteit — degene is die geen van beide kanten je laat meten. Ming-3.0-audio-tiny levert een spraakgenerator: een Talker van 1,4 GB, een VAE van 1,6 GB, een CAM++-sprekerencoder, drie benoemde stemmen en een kloonpad via referentieclips. En de leverancier publiceert voor geen van die onderdelen een tekst-naar-spraakbenchmark. De drie evaluatieafbeeldingen in de repository bestrijken herkenning, audio-intelligentie en tekst. Er is geen rij voor sprekerovereenkomst, geen woordfoutenrij voor gesynthetiseerde spraak, niets. Sesame Preview is het spiegelbeeld: een product waarvan de hele reputatie de klank van zijn stem is, zonder model-ID, zonder API en zonder enige score die aan de stem in de app is verbonden. De gedocumenteerde AI-fouten en agentincidenten achter releases zoals deze zijn verzameld in het OrcaRouter AI Incident Archive waarbij elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistmarkering heeft.

Beide zijn stil in dezelfde richting en om verschillende redenen, en dat is het eerlijke uitgangspunt. Ming-3.0-audio-tiny is een checkpoint dat je kunt downloaden — de gewichten staan sinds 3 september 2026 op Hugging Face, en wat er tussen 16 en 19 oktober veranderde, was het papierwerk eromheen: een gecorrigeerde config, de Talker-tree, stemprofielen, deploymentprofielen, en op 19 oktober de eerste modelkaart. Sesame Preview is een app waarmee je praat, in het openbaar bijgewerkt, door het bedrijf in zijn eigen woorden beschreven, en nooit teruggebracht tot een bestand. De ene is ongemeten omdat de leverancier ervoor koos hem niet te meten; de andere is onmeetbaar omdat er niets valt te draaien.

Wat het spraakpad van het kleine model eigenlijk is

Het is een bijlage, niet het model. De Thinker — 17,74 GB verdeeld over twee shards, in totaal 9,3 miljard parameters en 2,7 miljard actief — leest audio en schrijft tekst. De Talker is een tweede proces dat de verborgen toestand van de Thinker omzet in spraak, en de referentie-implementatie geeft het een eigen GPU. Het tekstprofiel draait op devices: "0" met tensor-parallelisme van één; het volledig-audioprofiel plaatst de Thinker op GPU 0 met 0,78 van de kaart en de Talker op GPU 1 met 0,18. Het SGLang-profiel is alleen tekst en de kaart zegt dat duidelijk.

• Stemmen — de vLLM-Omni-standaard is een ingebouwde IP-stem genaamd 灵小柔; de repository bevat ook 灵楷 en US_James als vooraf ingestelde referentiestemmen onder voice_presets/voice_audio/, met bijbehorende transcripties in voice_prompts.json.

• Klonen — een referentie-WAV plus het exacte transcript ervan. De kaart waarschuwt dat je een ingebouwde stemselectie niet kunt combineren met een referentieclip in één verzoek.

• Talen — Chinees en Engels, "inclusief diverse accenten en dialecten", zonder een aparte talenlijst voor de Talker. Of de Talker Engels met een Amerikaans accent even goed spreekt als leest, wordt nergens vermeld.

• Licentie — MIT op de gewichten; de stemvoorinstellingen zijn het onderdeel dat je zorgvuldig moet lezen, want een referentieclip draagt alle rechten die de spreker ervan had. De repository levert geen afzonderlijke voorwaarden voor de twee meegeleverde stemmen.

• Bewijs — niets voor het spraakpad. De cijfers voor herkenning en redenering zijn van inclusionAI zelf; voor de synthesezijde is er helemaal geen gepubliceerd cijfer.

Die laatste zin is de reden dat deze vergelijking weinig oordelen bevat. Een leverancier die zijn ASR tot op twee decimalen meet en niets publiceert over zijn TTS, heeft je laten weten in welke helft van het model hij vertrouwen heeft.

De kant van Sesame van hetzelfde grootboek

Sesame's publieke standpunt is het omgekeerde: een stem die goed genoeg is dat mensen aannamen dat er een mens aan de lijn was, geleverd via een assistent met geheugen, connectors, browsen en, sinds een update in oktober 2026, de mogelijkheid om andere agents te coördineren. Het bedrijf beschreef die update als een nieuw Conversational Speech Model met betere expressiviteit en uitspraak. Het publiceerde er geen checkpoint, model-ID, latentiecijfers of licentie voor. Er is geen endpoint, dus er is geen verzoek om te doen en geen reactie om te scoren.

Het enige artefact dat een ontwikkelaar in handen kan krijgen, is sesame/csm-1b op Hugging Face: Apache-2.0, alleen Engels, ongeveer 1,1 miljard parameters, een backbone uit de Llama-familie die een eerste audiocodeboek voorspelt met een kleinere dieptedecoder voor de rest, gedecodeerd via Kyutai's Mimi-codec op 24 kHz. Het is in maart 2025 verschenen en is de afgelopen maand ongeveer 130.000 keer gedownload met ongeveer 2.500 likes. De modelkaart is openhartig dat het een basisgeneratiemodel is — het kan gevarieerde stemmen produceren, het is niet op een bepaalde stem afgestemd, en de interactieve demo is een afgeleide in plaats van het checkpoint zelf.

Dus de eerlijke bewering is: je kunt vasthouden aan de architectuur van Sesame uit 2025. Je kunt niet vasthouden aan de stem die het bedrijf in 2026 beroemd heeft gemaakt.

Twee verschillende banen die hetzelfde woord dragen

Haal het woord 'audio' uit beide beschrijvingen en de mismatch wordt meteen duidelijk. Ming-3.0-audio-tiny is een luisterend model dat ook kan praten. De evaluatie wordt gedomineerd door begrip: MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, Chinees ASR-gemiddelde 3,79 tekenfout, dialectgemiddelde 10,29. Dat zijn de cijfers die de leverancier ervan heeft gekozen te publiceren, en ze gaan allemaal over begrijpen. Sesame Preview is een pratend product dat ook luistert, en zijn reputatie berust op beurtwisseling — onderbreking, backchannel, de timing waardoor een gesprek als een echt gesprek aanvoelt.

Dat zijn niet dezelfde vaardigheden en ze gaan niet ten koste van elkaar. Een model kan uitblinken in "wat zei de derde spreker over de factuur" en middelmatig zijn in klinken als een mens, en het omgekeerde is net zo goed mogelijk. Niets in het materiaal van beide leveranciers stelt je in staat om ze op een gedeelde as te rangschikken, omdat ze nooit dezelfde as hebben gemeten.

Waar de asymmetrie het hardst bijt, is bij het goedkope experiment. Met Ming-3.0-audio-tiny kun je dezelfde zin vijftig keer synthetiseren, de referentieclip variëren en luisteren — een middag werk, geen toestemming nodig. Bij Sesame Preview is het equivalente experiment de app openen en een mening vormen, omdat er geen tweede sample is om te trekken.

De enige Sesame-publicatie die de moeite van het lenen waard is

In augustus 2026 bracht Sesame TurnBench uit, een open benchmark voor beurtwisseling in gesproken dialoog: ongeveer 30 uur drievoudig geannoteerde dyadische spraak, een scoringsprotocol ontleend aan conversatieanalyse, een openbaar leaderboard en resultaten voor 14 systemen, ontwikkeld met Carnegie Mellon, Mundo AI en Oto. Dit is het nuttigste onderdeel van de hele vergelijking, en het is juist nuttig omdat het de kwaliteit meet die zowel woordfout- als preferentie-Elo-ranglijsten missen.

Gebruik het als een instrument in plaats van als een scorebord. De eigen app van Sesame staat er niet op, en Ming-3.0-audio-tiny zeker niet. Maar als je het tiny-model overweegt voor iets conversationeels — en de Talker plus het venster van 131.072 tokens maken dat een redelijke overweging — dan zijn onderbrekingsafhandeling en backchannel-timing wat je zou moeten scoren, en TurnBench geeft je een protocol om dat te doen in plaats van op gevoel.

Het gevolg is ongemakkelijk voor beide leveranciers. Een model kan een spraakgenerator en een context van 128K leveren en nog steeds slecht zijn in datgene waar Sesame om bekendstaat, en geen van beide datasets in deze vergelijking zou je dat vertellen.

Kosten, zodra je stopt met het vergelijken van tariefkaarten

Sesame Preview heeft geen prijs omdat er geen product is om tegen een prijs te verkopen: de app is gratis, het bedrijf zegt dat er geen advertenties worden getoond en geen data worden verkocht, en er is geen gepubliceerd prijsniveau. Ming-3.0-audio-tiny heeft ook geen tarievenkaart, maar wel iets beters: een rekenkundige ondergrens. Tekst en ASR draaien op één GPU. Spraakuitvoer draait op twee, omdat de Talker en de bijbehorende VAE een tweede gewichtenset met een eigen apparaat vormen. Als je alleen ooit de luisterhelft nodig hebt, is de tweede kaart geld dat je niet uitgeeft, en anders dan een abonnement schaalt die niet mee met het aantal zinnen dat je genereert.

Dat is de enige plek waar deze twee echt vergelijkbaar zijn, en het is een vergelijking van vormen in plaats van cijfers: een voorspelbare, vaste hardwarefactuur tegenover een gratis product waarvan je de voorwaarden niet kunt controleren en waarvan je de capaciteit niet kunt kopen.

OrcaRouter staat buiten beide. We leveren Ming-3.0-audio-tiny niet — het is een checkpoint dat je zelf draait, niet een endpoint dat wij hosten — en er is sowieso geen Sesame-model om te routeren. Wat een router wel bereikt, is de teksthelft van een spraakpijplijn: het script, de vertaling, de samenvatting, de classifier die bepaalt welke opname een mens nodig heeft. Eén sleutel voor meer dan 200 modellen tegen de lijstprijs van de provider, zonder opslag is een korter contract dan drie, en automatische failover voorkomt dat een lange synthesebatch eraan onderdoor gaat omdat één provider een slechte middag had. Niets daarvan maakt een van beide modellen beter als stem.

Wat zou het antwoord veranderen

Drie gebeurtenissen, elk controleerbaar. Ten eerste: als inclusionAI een tekst-naar-spraakevaluatie voor Ming-3.0-audio-tiny publiceert — natuurlijkheid, gelijkenis van de spreker met de referentieclip, foutpercentage op gesynthetiseerde spraak — zou dat de Talker van een ongemeten functie in een kandidaat veranderen. Ten tweede: als Sesame het checkpoint of een API voor de productiestem uitbrengt, zou de reputatie van de app testbaar worden, en zou de vergelijking eindelijk tussen twee dingen gaan die daadwerkelijk kunnen draaien. Ten derde: als een onafhankelijke partij een van beide modellen op TurnBench zou beoordelen, zou dat die ene kwaliteit beslechten waar beide leveranciers slechts naar zinspelen en die geen van beide publiceert.

Totdat een van beide beschikbaar komt, is de nauwkeurige beschrijving weinig glamoureus. Ming-3.0-audio-tiny is een luistermodel van 17,74 GB met een optionele spraakmodule van 3 GB, MIT-gewichten, een gecorrigeerde config, een kaart die vier dagen jonger is dan de config die ze beschrijft, en geen gepubliceerd cijfer voor de helft die praat. Sesame Preview is een stem die je kunt horen, bewonderen en niet kunt verkrijgen. De keuze tussen hen is geen keuze tussen twee modellen. Het is een keuze tussen zelf iets meten en het niet mogen.

Als je deze week moet beslissen

Voor transcriptie, het begrijpen van lange opnamen of alles waarbij de uitvoer tekst is die je gaat parsen, is Ming-3.0-audio-tiny de enige van de twee die zelfs maar in aanmerking komt — reserveer één GPU, gebruik de gevalideerde ASR-prompt met het bijbehorende tab-scheidingsteken en stel de context in op de lengte die je daadwerkelijk nodig hebt. Voor een consumentenspraakervaring die je aan het prototypen bent, is Sesame de benchmark waaraan je je werk moet afmeten, niet een afhankelijkheid om op voort te bouwen, want er is geen afhankelijkheid om te installeren.

En voor de spraakuitvoer van het kleine model: probeer het voordat je er je plannen op afstemt. Twee GPU's, een referentieclip, een transcriptie die exact overeenkomt met die clip, en een uur luisteren zullen je meer vertellen dan de hele benchmarkmap — want de benchmarkmap bevat er geen enkel cijfer over.