Ming-3.0-audio-tiny vs Sesame Preview: Den ena kan tala och poängsätts inte, den andra talar för sitt levebröd

Det märkliga med att ställa Ming-3.0-audio-tiny bredvid Sesame Preview är att den uppenbara axeln – röstkvalitet – är den som ingen av parterna låter dig mäta. Ming-3.0-audio-tiny levereras med en talgenerator: en Talker på 1,4 GB, en VAE på 1,6 GB, en CAM++-talarenkodare, tre namngivna röster och en kloningsväg för referensklipp. Och leverantören publicerar inget text-till-tal-benchmark för något av det. De tre utvärderingsbilderna i repot täcker igenkänning, ljudintelligens och text. Det finns ingen rad för talarlikhet, ingen ordfelsrad för syntetiserat tal, ingenting. Sesame Preview är spegelbilden: en produkt vars hela rykte är ljudet av dess röst, utan modellidentifierare, utan API och utan någon poäng kopplad till rösten i appen. De dokumenterade AI-felen och agentincidenterna bakom versioner som den här samlas i the OrcaRouter AI Incident Archive där varje post har egna källor, allvarlighetsgrad, konfidensgrad och flagga för omtvistad uppgift.

Båda är tysta i samma riktning och av olika skäl, och det är den ärliga utgångspunkten. Ming-3.0-audio-tiny är en checkpoint som du kan ladda ner – vikterna har funnits på Hugging Face sedan 3 september 2026, och det som förändrades mellan 16 och 19 oktober var dokumentationen runt dem: en korrigerad konfiguration, Talker-trädet, röstpresets, driftsättningsprofiler och den 19 oktober det första modellkortet. Sesame Preview är en app som du pratar med, uppdaterad offentligt, beskriven av företaget med dess egna ord och aldrig reducerad till en fil. Den ena är omätt eftersom dess leverantör valde att inte mäta den; den andra är omätbar eftersom det inte finns något att köra.

Vad den lilla modellens talbana egentligen är

Det är en bilaga, inte modellen. Thinker – 17,74 GB över två shards, 9,3B parametrar totalt och 2,7B aktiva – läser ljud och skriver text. Talker är en andra process som omvandlar Thinkers dolda tillstånd till tal, och referensdistributionen ger den en egen GPU. Textprofilen körs på enheter: "0" med tensorparallellism satt till ett; den fullständiga ljudprofilen placerar Thinker på GPU 0 vid 0,78 av kortet och Talker på GPU 1 vid 0,18. SGLang-profilen är endast text och kortet säger det tydligt.

• Röster – standarden i vLLM-Omni är en inbyggd IP-röst som heter 灵小柔; repot levererar även 灵楷 och US_James som förinställda referensröster under voice_presets/voice_audio/, med matchande transkriptioner i voice_prompts.json.

• Kloning – en referens-WAV plus dess exakta transkript. Kortet varnar för att du inte kan kombinera ett inbyggt röstval med ett referensklipp i en enda begäran.

• Språk — kinesiska och engelska, "inklusive varierande accenter och dialekter", utan någon separat språklista för Talker. Huruvida den talar engelska med amerikansk accent lika bra som den läser det framgår inte någonstans.

• Licens — MIT för vikterna; röstförvalen är den del som bör läsas noga, eftersom ett referensklipp omfattas av de rättigheter som talaren hade. Repositoriet innehåller inga separata villkor för de två medföljande rösterna.

• Bevis — inga för talvägen. Siffrorna för igenkänning och resonemang är inclusionAI:s egna; syntessidan har inga publicerade siffror alls.

Den där sista raden är anledningen till att den här jämförelsen är fattig på utlåtanden. En leverantör som mäter sin ASR till två decimaler och inte publicerar något om sin T​TS har talat om för dig vilken halva av modellen den är säker på.

Sesames sida av samma reskontra

Sesames offentliga hållning är den motsatta: en röst som är så bra att människor antog att en människa var i luren, förmedlad genom en assistent med minne, anslutningar, surfning och – sedan en uppdatering i oktober 2026 – förmågan att samordna andra agenter. Företaget beskrev uppdateringen som en ny Conversational Speech Model med bättre uttrycksfullhet och uttal. Det publicerade ingen checkpoint för den, inget modell-ID, inga latenssiffror och ingen licens. Det finns ingen endpoint, så det finns ingen förfrågan att göra och inget svar att poängsätta.

Den enda artefakten en utvecklare kan hålla i är sesame/csm-1b på Hugging Face: Apache-2.0, endast engelska, ungefär 1,1 miljarder parametrar, en ryggrad i Llama-familjen som förutsäger en första ljudkodbok med en mindre djupavkodare för resten, avkodad via Kyutais Mimi-kodek vid 24 kHz. Den lades upp i mars 2025 och har laddats ner cirka 130 000 gånger den senaste månaden med ungefär 2 500 gillningar. Modellkortet är uppriktigt om att den är en basgenereringsmodell – den kan producera varierade röster, den är inte finjusterad för någon särskild, och den interaktiva demon är ett derivat snarare än själva checkpointen.

Så det rimliga påståendet är: du kan behålla Sesames arkitektur från 2025. Du kan inte behålla den röst som gjorde företaget berömt 2026.

Två olika jobb som bär på samma ord

Ta bort ordet ”audio” från båda beskrivningarna, så blir det uppenbart att de inte matchar. Ming-3.0-audio-tiny är en lyssnande modell som också kan tala. Dess utvärdering domineras av förståelse: MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, kinesisk ASR i genomsnitt 3,79 teckenfel, dialekt i genomsnitt 10,29. Det är siffrorna som leverantören valde att publicera, och de handlar alla om förståelse. Sesame Preview är en talande produkt som också lyssnar, och dess rykte vilar på turväxling – avbrott, backchannel, tajmingen som får ett samtal att kännas som ett samtal.

De är inte samma färdighet, och de står inte i motsatsförhållande till varandra. En modell kan vara utmärkt på ”vad sa den tredje talaren om fakturan” och medelmåttig på att låta som en människa, och det omvända är lika möjligt. Inget i någon av leverantörernas material låter dig rangordna dem på en gemensam axel, eftersom de aldrig mätte samma axel.

Det är i det billiga experimentet som asymmetrin biter hårdast. Med Ming-3.0-audio-tiny kan du syntetisera samma mening femtio gånger, variera referensklippet och lyssna – en eftermiddags arbete, inget tillstånd behövs. Med Sesame Preview går motsvarande experiment ut på att öppna appen och bilda sig en uppfattning, eftersom det inte finns ett andra sampel att dra.

Den enda Sesame-publikationen värd att låna

I augusti 2026 släppte Sesame TurnBench, ett öppet riktmärke för turtagning i talad dialog: cirka 30 timmar trefaldigt annoterat dyadiskt tal, ett bedömningsprotokoll lånat från samtalsanalys, en offentlig resultattavla och resultat för 14 system, byggt med Carnegie Mellon, Mundo AI och Oto. Detta är det mest användbara i hela jämförelsen, och det är användbart just därför att det mäter den kvalitet som både ordfelsbaserade resultattavlor och preferens-Elo-tavlor missar.

Använd det som ett instrument snarare än som en resultattavla. Sesames egen app finns inte med på den, och Ming-3.0-audio-tiny är sannerligen inte det. Men om du överväger den lilla modellen för något samtalsinriktat — och dess Talker plus dess fönster på 131 072 token gör det till en rimlig sak att överväga — så är hantering av avbrott och tajming för backchannel det du bör poängsätta, och TurnBench ger dig ett protokoll för att göra det i stället för att gå på känsla.

Följdsatsen är obekväm för båda leverantörerna. En modell kan leverera en talgenerator och ett 128K-kontext och ändå vara usel på det som Sesame är känt för, och ingen av datamängderna i den här jämförelsen skulle avslöja det.

Kostnaden, när du slutar jämföra prislistor

Sesame Preview har inget pris eftersom det inte finns någon produkt att sälja till ett pris: appen är gratis, företaget säger att det inte visar någon reklam och inte säljer data, och det finns ingen publicerad nivå. Ming-3.0-audio-tiny har inte heller något prisblad, men det har något bättre – ett aritmetiskt golv. Text och ASR körs på en GPU. Talutdata körs på två, eftersom Talker och dess VAE är en andra uppsättning vikter med sin egen enhet. Om du bara någonsin behöver lyssnarhalvan är det andra kortet pengar du inte spenderar, och till skillnad från en prenumeration skalar det inte med hur många meningar du genererar.

Det är den enda platsen där dessa två verkligen är jämförbara, och det är en jämförelse av former snarare än av siffror: en fast hårdvarukostnad som du kan förutse, mot en gratis produkt vars villkor du inte kan granska och vars kapacitet du inte kan köpa.

OrcaRouter står utanför båda. Vi tillhandahåller inte Ming-3.0-audio-tiny – det är en checkpoint du kör, inte en slutpunkt som vi driftar – och det finns ingen Sesame-modell att routa överhuvudtaget. Det en router faktiskt når är textdelen av en röstpipeline: manuset, översättningen, sammanfattningen, klassificeraren som avgör vilken inspelning som behöver en människa. En nyckel för mer än 200 modeller till leverantörens listpris utan påslag är ett kortare avtal än tre, och automatisk failover hindrar en lång syntesbatch från att dö för att en leverantör hade en dålig eftermiddag. Inget av detta gör någon av modellerna bättre på att vara en röst.

Vad skulle ändra svaret

Tre händelser, var och en verifierbar. För det första skulle inclusionAI:s publicering av en utvärdering av text-till-tal för Ming-3.0-audio-tiny – naturlighet, talarlikhet med referensklippet, felkvot på syntetiserat tal – förvandla Talker från en omätt funktion till en kandidat. För det andra skulle Sesame släppa checkpointen eller ett API för produktionsrösten, vilket skulle göra appens rykte testbart, och jämförelsen skulle äntligen stå mellan två körbara saker. För det tredje skulle en oberoende part som betygsätter endera modellen på TurnBench avgöra den enda kvalitet som båda leverantörerna antyder men ingen publicerar.

Tills en av dem blir tillgänglig är den korrekta beskrivningen oglamorös. Ming-3.0-audio-tiny är en lyssnande modell på 17,74 GB med ett valfritt talbilaga på 3 GB, MIT-vikter, en korrigerad konfiguration, ett kort som är fyra dagar yngre än konfigurationen det beskriver, och inget publicerat nummer för den halva som talar. Sesame Preview är en röst man kan höra, beundra och inte få tag i. Valet mellan dem är inte ett val mellan två modeller. Det är ett val mellan att själv mäta något och att inte få lov att göra det.

Om du måste fatta ett beslut den här veckan

För transkribering, förståelse av långa inspelningar eller vad som helst där utdata är text som du ska tolka, är Ming-3.0-audio-tiny den enda av de två som ens är en kandidat – avsätt en GPU, använd den validerade ASR-prompten med dess tabbavgränsare och ställ in kontexten till den längd du faktiskt behöver. För en konsumentinriktad röstupplevelse som du prototypar är Sesame riktmärket att jämföra ditt arbete mot, inte ett beroende att bygga på, eftersom det inte finns något beroende att installera.

Och när det gäller talutdata från den lilla modellen: prova det innan du planerar utifrån det. Två GPU:er, ett referensklipp, en transkription som matchar det klippet exakt och en timmes lyssnande ger dig mer än hela benchmarkmappen — för benchmarkmappen innehåller inte ett enda nummer om det.