Ming-3.0-audio-tiny vs Voxtral 4B TTS: Den ena är en lyssnare med en röst kopplad till sig, den andra säljer inget annat

Om du vill generera tal och inget annat bör den här jämförelsen ta ungefär trettio sekunder. Voxtral 4B T​TS är en text-till-talmodell: text in, 24 kHz-ljud ut, tjugo förinställda röster, nio språk, en publicerad latensstabell och licensvillkor som hindrar dig från att sälja resultatet. Ming-3.0-audio-tiny är en ljudspråkmodell som råkar innehålla en talgenerator – en Talker på 1,4 GB fastskruvad på en Thinker på 17,74 GB, med tre namngivna röster och en kloningsväg, liggande i ett repository vars utvärderingsavsnitt aldrig någonsin mäter syntes. Om tal är produkten är jämförelsen över innan den ens har börjat. De dokumenterade AI-felen och agentincidenterna bakom releaser som den här samlas i OrcaRouter AI Incident Archive där varje post har egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.

Den intressanta versionen av frågan är den andra: du bygger något som måste förstå ljud och tala tillbaka, och du försöker avgöra om du ska köpa en modell som gör båda sakerna eller koppla en lyssnare till en dedikerad röst. Det är där de trettio sekunderna förvandlas till en hel eftermiddag, eftersom de två alternativen misslyckas på olika punkter och bara ett av dem kommer med en siffra som du kan planera efter.

Licensen avgör mer än benchmarken

Börja med det som ingen mängd utvärdering kan åtgärda. Voxtral 4B T​TS är CC BY-NC 4.0 – icke-kommersiell – och licensen ärvs från de referensröstdatauppsättningar som modellen byggdes med: EARS, CML-T​TS, IndicVoices-R och en arabisk datauppsättning med naturligt ljud. Mistral anger detta tydligt på modellkortet och hänvisar kommersiella användare till sitt API. Så vikterna är öppna för forskning och personligt bruk, och den kommersiella vägen är en prislista snarare än en nedladdning.

Ming-3.0-audio-tiny anges som MIT i kortets metadata och i LICENSE-filen i det GitHub-repositorium som den pekar på. Värt att veta: själva Hugging Face-repositoriet innehåller ingen LICENSE-fil, och de två medföljande referensrösterna har inga egna separata villkor. MIT är ett genuint tillåtande anspråk här, men det är ett anspråk i metadata snarare än en fil i artefakten, och upphandling kommer att märka det.

• Kommersiell användning — Ming: ja, MIT, vikter och kod. Voxtral: inte från vikterna; leverantörens API är den godkända vägen.

• Röster som ingår – Ming: tre namngivna, varav två medföljer som referens-WAV-filer med transkript. Voxtral: tjugo förinställningar.

• Språk — Ming: kinesiska och engelska för modellen som helhet, utan någon separat språklista för Talker. Voxtral: engelska, franska, spanska, tyska, italienska, portugisiska, nederländska, arabiska och hindi.

• Utdata — Ming: vad Talker än producerar; kortet anger varken samplingsfrekvens eller container. Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC eller Opus.

• Det du kör — Ming: the Thinker, 17,74 GB, plus en Talker på 1,4 GB och en VAE på 1,6 GB på en andra enhet. Voxtral: en BF16-checkpoint på en enda GPU med minst 16 GB.

• Publicerad röstkvalitet — Ming: ingen. Voxtral: inte heller någon, men i stället en tabell över latens och genomströmning, vilket är mer än inget.

Den sista raden är den ärliga sammanfattningen av den här jämförelsens bevisbas. Ingen av leverantörerna har publicerat en naturlighetspoäng, ett talarlikhetsvärde eller en ordfelsfrekvens för syntetiserat tal. Mistral har publicerat hur snabb den är; inclusionAI har publicerat hur bra modellen lyssnar. Ingen har publicerat hur bra någon av dem låter.

Vad Mistrals siffror faktiskt säger

Voxtral-tabellen är ett serving-benchmark, och det är viktigt att läsa den korrekt. Mätt på en enda NVIDIA H200 med vLLM-Omni 0.18.0, en indata på 500 tecken och ett tio sekunder långt referensklipp:

• Samtidighet 1 — 70 ms latens, realtidsfaktor 0,103, cirka 119 tecken per sekund per GPU.

• Samtidighet 16 – 331 ms, RTF 0,237, cirka 879 tecken per sekund.

• Samtidighet 32 – 552 ms, RTF 0,302, cirka 1 431 tecken per sekund.

Två saker följer av detta. För det första stiger RTF med samtidigheten – 0,103 till 0,302 – så genomströmningsvinsten från batchning är verklig men sublinjär; du får ungefär tolv gånger så många tecken för ungefär åtta gånger så hög realtidsfaktor. För det andra är 70 ms till första ljud vid samtidighet 1 det tal som avgör om en röstagent känns levande, och det är ett tal som Ming-3.0-audio-tiny inte har. Inte ett sämre. Inget.

Mistral betecknar allt detta som oreproducerat och leverantörsdrivet, vilket det är. Men det är åtminstone ett påstående med en metod kopplad: namngiven hårdvara, namngiven runtime-version, namngiven indatalängd, namngiven referenslängd. Du skulle kunna bygga om testramverket.

Det som Mings talbana inte kan svara på

Den lilla modellens talutdata beskrivs i kortet i tre meningar: inbyggda röster eller en referensröst, tre namngivna röster, kloning från ett referensklipp plus dess exakta transkript. Driftsättningsguiden tillför driftdetaljen – Talker körs som ett andra steg vid 0,18 av ett sekundkort, begränsad till en utdatatoken med temperatur 0,0 eftersom den inte genererar text.

Ingenstans i repositoryt finns en samplingsfrekvens för den syntetiserade utdatan, ett naturlighetsmått, ett likhetsmått mot referensklippet eller ett uttalande om huruvida de tre rösterna är samma röst i olika register eller faktiskt olika talare. Utvärderingsbilderna täcker igenkänning, ljudintelligens och text. Talgenerering är den enda förmåga som leverantören lyfter fram i sina höjdpunkter och inte utvärderar alls.

Det är inte en skandal, men det är en planeringsbegränsning. Med Voxtral kan du dimensionera en driftsättning innan du hör den: ett kort, 16 GB, 119 tecken per sekund vid samtidighet 1, och en prislista för den kommersiella vägen. Med Ming dimensionerar du hårdvaran (två kort, det andra vid 0,18 utnyttjandegrad) och får sedan reda på rösten genom att generera något.

När den kombinerade modellen ändå är det rätta svaret

Det finns ett verkligt argument för Talker, och det är inte "billigare TTS". Det är att samma modell hörde ljudet och nu talar om det. Ming-3.0-audio-tiny tar emot ljud plus en textinstruktion och returnerar text, eller text plus tal. En fråga om en inspelning, besvarad högt, i ett enda pass, utan att en transkription serialiseras in i en andra modell. Inget "ASR:en sa 'their', TTS:en läste det fel"-fel, eftersom det inte finns någon andra modell och ingen mellanliggande text som kan förvanskas.

Det spelar roll för talat frågebesvarande, för en assistent som lyssnar på ett rum och svarar, och för allt där svaret är en mening om något den just hört. Det spelar ingen roll för berättande, ljudböcker, dubbning eller någon arbetsbelastning där texten kom från någon annanstans — och det är precis de arbetsbelastningar som Voxtral byggdes för, med tjugo röster och nio språk mot Mings tre och två.

• Samma modellkontinuitet — Ming: ja, ett enda framåtpass från ljud till tal. Voxtral: text som indata, så den lyssnande halvan måste komma från någon annanstans.

• Röstvariation — Ming: tre namngivna plus kloning. Voxtral: tjugo förinställningar plus anpassning till referensröst.

• Streaming — Ming: erbjuds inte; Talker är en scen, inte en ström. Voxtral: kortet annonserar streaming och batchinferens, och leverantörens egen API-demo är referensimplementationen.

• Flerspråkigt tal — Ming: kinesiska och engelska. Voxtral: nio språk, med dialekter angivna.

• Kostnadsstruktur — Ming: fast hårdvara, två kort, ingen mätare per tecken. Voxtral: vikter gratis för icke-kommersiell användning, API prissätts per tecken för allt annat.

Vad en router tillför en röstprodukt, och vad den inte tillför

OrcaRouter tillhandahåller ingen av dessa. Ming-3.0-audio-tiny är en checkpoint som du kör och Voxtral 4B TTS nås via Mistrals egen API; ingen av dem finns i vår katalog, och den här artikeln är inte ett erbjudande om att hosta någon av dem. Routerns roll i en röstprodukt är texten som omger rösten: att generera manuset, översätta det till de nio språk som Voxtral stöder, skriva sammanfattningen av vad den som ringer har sagt, avgöra om ett segment behöver en människa. Det är vanliga textanrop — fler än 200 textmodeller bakom en enda nyckel till leverantörens listpris med 0 % påslag, med automatisk failover så att en batch på tiotusen klipp inte fastnar för att en uppströmsleverantör hade en dålig eftermiddag.

Det är en verklig besparing i en dubbningspipeline och ett avrundningsfel i en demo med en enda modell. Det berör inte heller frågan som den här artikeln handlar om, nämligen om rösten är något att ha.

Hur ska man välja utan att först ha hört någon av dem?

Om produkten är tal, välj Voxtral och budgetera för licensen: kör de icke-kommersiella vikterna för att utvärdera och gå sedan över till API:et för allt du släpper, till den aktuella taxan per tecken. Du får en latensöversikt, tjugo röster, nio språk och en runtime som har testats med vLLM-Omni. Du avstår från rätten att självhosta kommersiellt, vilket för många team är det egentliga beslutet.

Om produkten är en förståelse som ibland talar, välj Ming-3.0-audio-tiny, budgetera för två GPU:er och behandla Talker som en ej uppmätt funktion – bygg reservlösningen först. Generera tjugo meningar med alla tre rösterna, lyssna och behåll möjligheten att senare byta in en dedikerad TTS-modell. Arkitekturen stöder ett sådant byte smidigt eftersom Thinker ändå returnerar text; Talker är ett tillägg, inte ryggraden.

Och i båda fallen ska ni skriva ned vad ni mätte. Ingen av leverantörerna har gjort det, och det första teamet som publicerar en siffra för naturlighet eller likhet för någon av modellerna kommer att göra fältet en tjänst – inklusive leverantörerna.

Det trettioandra svaret, reviderat

Kortversionen högst upp i den här artikeln sa att jämförelsen var över på trettio sekunder. Den är över på trettio sekunder om tal är din produkt och du är villig att betala för en licens. Det tar längre tid om du bygger något som lyssnar och sedan talar, eftersom de två alternativen inte är utbytbara: det ena är en röst utan öron, det andra är öron med en röst som aldrig har betygsatts. De trettio sekunderna tar dig till frågan. Resten av artikeln är den del där du får reda på vilket av dem du faktiskt behöver.