Ming-3.0-tts vs Ming-3.0-tts-tiny: de kleinere checkpoint is de betere download, en de grotere is de enige die iemand ooit heeft gemeten

Ant Group heeft twee spraakmodellen onder één naam uitgebracht, en de naamgeving is het eerste dat je op het verkeerde been zal zetten. Ming-3.0-tts-the-default is het 0,5B dense model: 2,96 GB op schijf, een Qwen2.5-0.5B-backbone, snel, goedkoop, en het enige van de twee met een onafhankelijke score. Ming-3.0-tts-tiny is een orde van grootte groter dan de andere — een mixture-of-expertsmodel met 7,9B parameters en 1,3B actief per token, gebouwd op de Ling V3-backbone, 18 GB aan gesharde gewichten — en het heet tiny vanwege wat het kost om te draaien, niet wat het kost om te downloaden. Kies je op basis van het label, dan krijg je het verkeerde bestand. De gedocumenteerde AI-fouten en agentincidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive waarbij elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistmarkering heeft.

Het tweede dat je op het verkeerde been zal zetten, is het leaderboard. Artificial Analysis heeft een Ming-3.0-tts-rij op 1.188 Provider Voice Elo en 93,2% uitspraakrobuustheid, en die rij linkt naar het 0.5B-checkpoint. Niets daarvan hoort bij tiny. Tiny's cijfers zijn Ant's eigen tabellen, gepubliceerd in de modelkaart en de GitHub README, en geen enkele derde partij heeft ze gereproduceerd. De eerlijke vergelijking heeft dus twee helften: één model met onafhankelijk bewijs en geen podcastmodus, één model met leveranciersbewijs en een capaciteit die het andere mist. Welke helft je nodig hebt, is een vraag over je workload, niet over welk model beter is.

Zelfde architectuurfamilie, twee heel verschillende machines

Beide modellen delen het generatiekader dat Ant in de README beschrijft: tekst en taakspecifieke controletokens sturen een taalmodel aan, dat een diffusie-transformer-patchhoofd aanstuurt dat audiotokens uitzendt. Het verschil zit in het onderliggende taalmodel. De 0.5B gebruikt een dense Qwen2.5-0.5B; tiny gebruikt een sparse Ling V3 mixture of experts met in totaal 7,9B en ongeveer 1,3B geactiveerd per token.

• Downloadgrootte — Ming-3.0-tts 2,96 GB versus Ming-3.0-tts-tiny ongeveer 18 GB verdeeld over 30 shards

• Parameters — 0,5B dense vs 7,9B totaal / 1,3B actieve MoE

• Ruggengraat — Qwen2.5-0.5B vs Ling V3

• Runtime — PyTorch 2.6 + CUDA 12.4 op een stack uit het Python 3.8-tijdperk versus Python 3.10.15 + PyTorch/torchaudio 2.7.1+cu118

• Hardware — getest op H800-80GB en H20-96G vs H800 aanbevolen; SGLang-Omni kan op één GPU draaien

• Podcastgeneratie met meerdere sprekers — niet ondersteund vs. ondersteund

• Licentie — MIT vs MIT

• Onafhankelijke arena-score — ja, 1.188 Provider / 1.068 Controlled / 93,2% uitspraak vs geen

De twee checkpoints delen geen Python-omgeving. Dat is geen eigenaardigheid van de documentatie; het betekent dat een team dat beide op dezelfde machine wil evalueren twee virtualenvs moet onderhouden, en dat een team dat ze in productie A/B wil testen twee deployment-images moet onderhouden. Als je plan is "begin met de kleine en upgrade later", begroot de migratie dan als een echt stuk werk, niet als een configuratiewijziging.

Waar tiny echt beter is, volgens Ants eigen cijfers

Sprekerovereenkomst is de duidelijkste en meest consistente winst, en het is het getal dat bepaalt of een gekloonde stem als de persoon klinkt.

• Seed-TTS Chinese sprekersimilariteit — Ming-3.0-tts 0.758 vs tiny 0.781

• Seed-TTS gelijkenis van Engelse sprekers — 0,691 vs 0,728

• Duitse gelijkenis — 0,753 vs 0,791

• Spaanse overeenkomst — 0,763 vs. 0,797

• Franse gelijkenis — 0,675 vs 0,733

• Japanse gelijkenis — 0.765 vs 0.780

• Koreaanse gelijkenis — 0,793 vs 0,797

Tiny wint in elke taal op gelijkenis, meestal met drie tot zes punten, en het patroon geldt ook voor de controlebenchmarks: gemiddeld 74,00% op CV3-emotie tegenover 72,33%, en 75,37% op nauwkeurigheid van stemontwerp tegenover 72,29%. Dat zijn de twee dingen die een klant opmerkt zonder dat het gezegd wordt — klinkt het zoals ik, en deed het wat ik beschreef. Op beide punten loopt de 7.9B MoE voor.

De tweedeling in inhoudelijke nauwkeurigheid valt de andere kant op, en die tweedeling is niet symmetrisch.

• Seed-TTS Chinese woordfout — 0,800% vs 0,820%. Feitelijk een gelijkspel; het dense model ligt marginaal voor.

• Seed-TTS Engelse woordfout — 1,584% vs 1,666%. Dense voorop.

• Duits — 0,365% vs 0,325%. Net iets voor.

• Spaans — 1,099% vs 0,971%. Kleine voorsprong.

• Frans — 4,264% vs 3,470%. Tiny heeft een ruime voorsprong.

• Japanse tekenfout — 3,765% vs 3,427%. Net iets voor.

Fout bij Koreaanse tekens — 1,728% vs 6,000%. Dense loopt met een factor drieënhalf voor.

Koreaans is de uitschieter die voorkomt dat iemand uit de resultaten afleest dat 'tiny is beter in meertaligheid'. De eigen modelkaart van Ant wijst erop: Koreaans heeft de grootste meertalige nauwkeurigheidskloof in het tiny-model, en het cijfer van 6,000% is meer dan driemaal wat het model van een half miljard aankan. Een team dat voor de Koreaanse markt bouwt, heeft een duidelijk antwoord, en dat is niet het grotere model.

Het vermogen dat geen benchmark is

Ming-3.0-tts-tiny genereert meerstemmige podcastdialoog op basis van een script met sprekerreferenties. Ming-3.0-tts doet dat niet. Dat is een productcapaciteit, geen score, en het staat op geen enkel leaderboard — en dat is precies waarom het makkelijk over het hoofd wordt gezien bij het vergelijken van specificatiebladen die beide "spraakklonen" en "stemontwerp" vermelden.

Ants podcastevaluatie, op zijn eigen harness, plaatst tiny op een karakterfoutpercentage van 2,03% met een sprekersimilariteit van 0,561 en 2,12 UTMOS, tegenover ZipVoice-Dia op 2,24 UTMOS, FireRedTTS2 op 3,34% CER en MOSS-TTSD op 8,62%. Het UTMOS-verschil is het punt om op te letten: tiny loopt voorop qua inhoudelijke nauwkeurigheid en blijft achter qua natuurlijkheid bij het beste vergelijkingsmodel, wat dezelfde afweging is waar de sprekersimilariteitscijfers vanuit de andere richting op wijzen. Podcastgeneratie beloont beurtwisseling en sprekerconsistentie meer dan een enkele perfecte clip, en dat is de aard van tiny's voordeel.

Als je twee mensen met elkaar wilt laten praten, valt er hier niets te vergelijken — het ene model kan het wel en het andere niet. De rest van dit artikel gaat over het geval waarin beide de taak aankunnen.

Wat de onafhankelijkheidskloof je daadwerkelijk kost

De arenapositie van het 0,5B-model is het waard om te begrijpen voordat je besluit hoeveel gewicht je eraan wilt toekennen. Het scoort 1.188 Provider Voice Elo, 18e van 97, en 1.068 Controlled Voice, eerste onder open-weightmodellen en 12e in totaal. Op het gebied van uitspraak scoort het 93,2%, praktisch gelijk aan Fish Audio Drama 3 Preview en beter dan Eleven v4. Dat zijn onafhankelijke metingen met gepubliceerde steekproefaantallen en betrouwbaarheidsintervallen.

Wat je daarmee wint, is calibratie. Je weet ongeveer waar het dense model staat ten opzichte van ElevenLabs en Cartesia, omdat hetzelfde lab alle drie op hetzelfde scorebord heeft gemeten. Voor tiny weet je alleen wat Ant zegt, gemeten met Ants harness en Ants instellingen, en Ant is de partij die belang heeft bij de uitkomst. Dit is geen beschuldiging — de tabellen zijn ongewoon openhartig, inclusief het Koreaanse cijfer en een lijst met beperkingen die pitchcontrol en role-play-stemontwerp als zwakke plekken noemt. Het is een uitspraak over wat een getal kan onderbouwen. Een leverancierstabel vertelt je dat het model concurrerend is op de assen die de leverancier koos te meten; een arena-rij vertelt je waar het uitkomt ten opzichte van systemen die je al gebruikt.

Er is nog iets specifieks dat de onafhankelijke board je evenmin vertelt: hij heeft één stem gemeten. Artificial Analysis merkt op dat elk model op het uitspraakboard met één enkele stem wordt geëvalueerd, en dat de rij van Ming het endpoint van Ant gebruikt, waarbij drie native stemmen beschikbaar zijn. Of de 93,2% standhoudt bij de gekloonde stemmen die een product daadwerkelijk zou uitbrengen, is onbekend, en dat is het eerste dat je zelf zou moeten testen.

Kiezen, in de praktijk

De beslisboom is kort.

Kies Ming-3.0-tts (0.5B) als je de kleinste haalbare download wilt, als je voor Koreaans deployt, als je hardware één 80 GB-kaart is die je ook voor andere dingen gebruikt, of als je een model nodig hebt waarvan het gedrag door iemand anders dan de auteur is gemeten. Met 2,96 GB en 44,3 tekens per seconde op de onafhankelijke testopstelling is het een bruikbare verteller die realtime spraak op één GPU voorbijstreeft.

Kies Ming-3.0-tts-tiny als sprekersgelijkenis het product is — een gekloonde merkstem, een gepersonaliseerd voorleesverhaal, alles waarbij het eerste oordeel van de luisteraar is "klinkt dat als die persoon" — of als je podcastdialoog nodig hebt, of als nauwkeurigheid in het Frans, Duits, Spaans of Japans de beperkende factor is. Reken op 18 GB aan gewichten, een aparte Python 3.10-omgeving en een kaart van de H800-klasse.

Neem geen van beide, maar als je een onafhankelijk cijfer nodig hebt voordat je productiecapaciteit aan tiny toewijst. De arena-rij bestaat niet, het technische rapport staat nog steeds niet afgevinkt op de roadmap, en vLLM-Omni-versnelling is als voltooid gemarkeerd in de README zonder gepubliceerd recept. Die drie hiaten zijn dezelfde drie dingen die tiny gemakkelijk aan te bevelen zouden maken.

Eén operationele opmerking die voor beide geldt: geen van beide checkpoints streamt. Er is voor geen van beide modellen een gepubliceerde time-to-first-audio, en het doorvoercijfer van de arena is de generatie over een voltooide aanvraag. Als je toepassing conversationeel is, is deze familie niet het juiste gereedschap, ongeacht welke grootte je kiest.

De routeringsvraag, die hier anders is

De meeste vergelijkingen op deze site eindigen met een alinea over het consolideren van toegang. Deze kan dat niet, omdat OrcaRouter geen van beide Ming-checkpoints host — de catalogus bevat geen Ming-spraakmodel, en beide zijn bereikbaar door Ants GitHub-repository te klonen en de weights zelf te draaien. Het tegendeel beweren zou een leugen zijn die een lezer binnen dertig seconden kan controleren.

Wat waar is, is smaller en nog steeds nuttig. Een spraakpijplijn is meestal tekst-eerst: iets schrijft het script, iets vertaalt het, iets controleert het tegen een huisstijl. Die tekstfase kan achter één sleutel zitten — meer dan 200 modellen tegen de lijstprijs van de provider, zonder extra marge, automatische failover wanneer een provider verslechtert, en een routing-DSL om een taak naar een ander model te sturen op basis van wat het verzoek bevat. De spraakfase in deze vergelijking blijft hoe dan ook op je eigen hardware, en de self-hosted-route is wat de keuze tussen de twee checkpoints omkeerbaar maakt: MIT-gewichten verlopen niet, en een model dat je al op schijf hebt, is er een dat je kunt blijven serveren terwijl je de vervanging ervan evalueert.

Wat zou het beslechten?

Drie ontwikkelingen, gerangschikt naar hoeveel ze de aanbeveling zouden beïnvloeden. Een kleine regel op de arena zou je vertellen of het gelijkenisvoordeel een blinde luisteraarsvergelijking doorstaat, de enige test die nog niet is uitgevoerd. Het technische rapport zou uitleggen waarom een MoE met 1,3B actieve parameters sprekergelijkenis wint en Koreaanse nauwkeurigheid verliest, en of dat een gevolg is van de data-opdeling of van de architectuur. En een gepubliceerd vLLM-Omni-recept zou de checkpoint van 18 GB praktisch maken op gehuurde hardware in plaats van een onderzoeksdeployment.

Tot die tijd is het nuttige kader dat Ant twee modellen voor twee taken heeft uitgebracht en ze namen heeft gegeven waardoor de kleinere taak klinkt als het kleinere bestand. Dat is het niet. De 0.5B is degene die je kunt meten, inzetten en verdedigen in een designreview; de 7.9B is degene die meer klinkt als de persoon die je hebt gekloond, in zes van de zeven talen, als je het je kunt veroorloven om dat op goed vertrouwen aan te nemen.