Ming-3.0-audio-tiny vs Voxtral 4B TTS: uno è un ascoltatore con una voce attaccata, l'altro non vende nient'altro

Se vuoi generare parlato e nient'altro, questo confronto dovrebbe richiedere circa trenta secondi. Voxtral 4B T​TS è un modello text-to-speech: testo in ingresso, audio a 24 kHz in uscita, venti voci preimpostate, nove lingue, una tabella di latenza pubblicata e condizioni di licenza che ti impediscono di vendere il risultato. Ming-3.0-audio-tiny è un modello audio-lingua che include anche un generatore di parlato — un Talker da 1,4 GB imbullonato a un Thinker da 17,74 GB, con tre voci denominate e un percorso di clonazione, inserito in un repository la cui sezione di valutazione non misura mai la sintesi. Se il parlato è il prodotto, il confronto è chiuso prima ancora di iniziare. I fallimenti documentati dell'AI e gli incidenti degli agenti dietro rilasci come questo sono raccolti in l'Archivio degli incidenti AI di OrcaRouter dove ogni voce riporta le proprie fonti, gravità, livello di confidenza e flag di contestazione.

La versione interessante della domanda è l'altra: stai costruendo qualcosa che deve capire l'audio e rispondere a voce, e stai decidendo se acquistare un unico modello che faccia entrambe le cose o collegare un ascoltatore a una voce dedicata. È qui che i trenta secondi diventano un pomeriggio, perché le due opzioni falliscono in punti diversi e solo una delle due include un numero su cui puoi pianificare.

La licenza conta più del benchmark

Partiamo da ciò che nessuna valutazione può correggere. Voxtral 4B TTS è CC BY-NC 4.0 — non commerciale — ereditata dai dataset di voci di riferimento con cui il modello è stato costruito: EARS, CML-TTS, IndicVoices-R e un set di audio naturali arabi. Mistral lo dichiara chiaramente sulla scheda e rimanda gli utenti commerciali alla propria API. Quindi i pesi sono aperti per la ricerca e l'uso personale, e la via commerciale è un listino prezzi anziché un download.

Ming-3.0-audio-tiny è MIT nei metadati della card e nella LICENSE del repository GitHub a cui punta. Vale la pena sapere: il repository Hugging Face stesso non contiene alcun file LICENSE, e le due voci di riferimento incluse non riportano termini separati propri. MIT è un'affermazione genuinamente permissiva in questo caso, ma è un'affermazione nei metadati anziché un file nell'artefatto, e il procurement se ne accorgerà.

• Uso commerciale — Ming: sì, MIT, pesi e codice. Voxtral: no dai pesi; l'API del fornitore è il percorso autorizzato.

• Voci incluse — Ming: tre denominate, due delle quali fornite come WAV di riferimento con trascrizioni. Voxtral: venti preset.

• Lingue — Ming: cinese e inglese per il modello nel suo complesso, senza un elenco separato delle lingue per Talker. Voxtral: inglese, francese, spagnolo, tedesco, italiano, portoghese, olandese, arabo e hindi.

• Uscita — Ming: qualunque cosa produca il Talker; la scheda non specifica né la frequenza di campionamento né il contenitore. Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC o Opus.

• Cosa esegui — Ming: il Thinker, 17,74 GB, più un Talker da 1,4 GB e un VAE da 1,6 GB su un secondo dispositivo. Voxtral: un checkpoint BF16 su una singola GPU con almeno 16 GB.

• Qualità vocale pubblicata — Ming: nessuna. Voxtral: nemmeno, ma al suo posto una tabella di latenza e throughput, che è comunque più di niente.

Quell'ultima riga è l'onesta sintesi della base probatoria di questo confronto. Nessuno dei due fornitori ha pubblicato un punteggio di naturalezza, un dato di somiglianza con il parlante o un tasso di errore di parola sul parlato sintetizzato. Mistral ha pubblicato quanto è veloce; inclusionAI ha pubblicato quanto bene il modello ascolta. Nessuno ha pubblicato quanto bene suoni l'uno o l'altro.

Cosa dicono davvero i numeri di Mistral

La tabella Voxtral è un benchmark di serving, e leggerla correttamente è importante. Misurata su una singola NVIDIA H200 con vLLM-Omni 0.18.0, un input di 500 caratteri e una clip di riferimento di dieci secondi:

Concorrenza 1 — latenza di 70 ms, fattore tempo reale 0,103, circa 119 caratteri al secondo per GPU.

• Concorrenza 16 — 331 ms, RTF 0,237, circa 879 caratteri al secondo.

• Concorrenza 32 — 552 ms, RTF 0.302, circa 1,431 caratteri al secondo.

Ne seguono due cose. Primo, l'RTF cresce con la concorrenza — da 0,103 a 0,302 — quindi il guadagno di throughput dovuto al batching è reale ma sublineare; si ottengono all'incirca dodici volte i caratteri per circa otto volte il fattore in tempo reale. Secondo, 70 ms al primo audio con concorrenza 1 è il numero che decide se un agente vocale sembra vivo, ed è un numero che Ming-3.0-audio-tiny non ha. Non uno peggiore. Nessuno.

Mistral etichetta tutto questo come non riprodotto ed eseguito dal fornitore, e in effetti lo è. Ma è almeno un'affermazione con un metodo allegato: hardware indicato, versione del runtime indicata, lunghezza dell'input indicata, lunghezza di riferimento indicata. Si potrebbe ricostruire l'harness.

La cosa a cui il percorso vocale di Ming non può rispondere

L'output vocale del modello minuscolo è descritto nella scheda in tre frasi: voci integrate o una voce di riferimento, tre voci denominate, clonazione da una clip di riferimento più la sua trascrizione esatta. La guida al deployment aggiunge il dettaglio operativo — il Talker viene eseguito come seconda fase a 0,18 di una seconda scheda, limitato a un token di output con temperatura 0,0 perché non sta generando testo.

Da nessuna parte nel repository c'è una frequenza di campionamento per l'output sintetizzato, una misura di naturalezza, una misura di somiglianza rispetto al clip di riferimento, o un'affermazione sul fatto che le tre voci siano la stessa voce in registri diversi o parlanti realmente diversi. Le immagini di valutazione coprono riconoscimento, intelligenza audio e testo. La generazione vocale è l'unica capacità che il fornitore pubblicizza nei suoi punti salienti e non valuta affatto.

Non è uno scandalo, ma è un vincolo di pianificazione. Con Voxtral puoi dimensionare un deployment prima di ascoltarlo: una scheda, 16 GB, 119 caratteri al secondo con concorrenza 1, e un listino prezzi per il percorso commerciale. Con Ming dimensioni l'hardware (due schede, la seconda a 0,18 di utilizzo) e poi scopri la voce generando qualcosa.

Quando il modello combinato è comunque la risposta giusta

C’è un argomento valido a favore del Talker, e non è “TTS più economico”. È che lo stesso modello ha ascoltato l’audio e ora ne sta parlando. Ming-3.0-audio-tiny accetta audio più un’istruzione testuale e restituisce testo, oppure testo più parlato. Una domanda su una registrazione, con risposta ad alta voce, in un solo passaggio, senza che una trascrizione venga serializzata in un secondo modello. Nessun errore del tipo “l’ASR ha detto ‘their’, il TTS l’ha letto male”, perché non c’è un secondo modello e nessun testo intermedio da corrompere.

Questo è importante per la risposta a domande vocali, per un assistente che ascolta una stanza e risponde, e per qualsiasi caso in cui la risposta sia una frase su qualcosa che ha appena sentito. Non è importante per la narrazione, gli audiolibri, il doppiaggio o qualsiasi carico di lavoro in cui il testo provenga da altrove — e questi sono esattamente i carichi di lavoro per cui è stato creato Voxtral, con venti voci e nove lingue contro le tre e due di Ming.

• Continuità dello stesso modello — Ming: sì, un unico passaggio in avanti dall'audio al parlato. Voxtral: testo in ingresso, quindi la metà dedicata all'ascolto deve arrivare da altrove.

• Varietà vocale — Ming: tre voci denominate più clonazione. Voxtral: venti preset più adattamento alla voce di riferimento.

• Streaming — Ming: non offerto; il Talker è uno stadio, non uno stream. Voxtral: la scheda pubblicizza l'inferenza in streaming e batch, e la demo API del fornitore stesso è l'implementazione di riferimento.

• Discorso multilingue — Ming: cinese e inglese. Voxtral: nove lingue, con varianti dialettali indicate.

• Struttura dei costi — Ming: hardware fisso, due schede, nessun conteggio per carattere. Voxtral: pesi gratuiti per uso non commerciale, API con prezzo per carattere per tutto il resto.

Che cosa aggiunge un router a un prodotto vocale, e che cosa no

OrcaRouter non offre nessuno dei due. Ming-3.0-audio-tiny è un checkpoint che esegui tu e Voxtral 4B T​TS è raggiungibile tramite l'API di Mistral; nessuno dei due è nel nostro catalogo, e questo articolo non è un'offerta per ospitare l'uno o l'altro. Il ruolo del router in un prodotto vocale è il testo che circonda la voce: generare lo script, tradurlo nelle nove lingue supportate da Voxtral, scrivere il riassunto di ciò che ha detto il chiamante, decidere se un segmento richiede un intervento umano. Quelle sono normali chiamate di testo — più di 200 modelli di testo dietro una sola chiave al prezzo di listino del provider con 0% di ricarico aggiunto, con failover automatico così un lotto di diecimila clip non si blocca perché un upstream ha avuto un pomeriggio difficile.

Si tratta di un risparmio reale in una pipeline di doppiaggio e di un errore di arrotondamento in una demo con un singolo modello. Inoltre non tocca la questione di cui tratta questo articolo, cioè se la voce sia buona o meno.

Come scegliere senza ascoltare prima nessuno dei due

Se il prodotto è vocale, scegli Voxtral e prevedi un budget per la licenza: esegui i pesi non commerciali per valutare, poi passa all'API per qualsiasi cosa tu distribuisca, alla tariffa per carattere attualmente in vigore. Ottieni una tabella di latenza, venti voci, nove lingue e un runtime testato con vLLM-Omni. Rinunci al diritto al self-hosting commerciale, che per molti team è la decisione effettiva.

Se il prodotto è comprensione che occasionalmente parla, scegli Ming-3.0-audio-tiny, prevedi due GPU e tratta il Talker come una funzionalità non misurata — costruisci prima il fallback. Genera venti frasi per tutte e tre le voci, ascoltale e mantieni la possibilità di passare in seguito a un modello TTS dedicato. L'architettura supporta questo cambio in modo pulito perché il Thinker restituisce comunque testo; il Talker è un accessorio, non la spina dorsale.

E in entrambi i casi, annotate ciò che avete misurato. Nessuno dei due fornitori l'ha fatto, e il primo team che pubblicherà un valore di naturalezza o similarità per l'uno o l'altro modello renderà un favore al settore, fornitori compresi.

La trentaduesima risposta, rivista

La versione breve all’inizio di questo pezzo diceva che il confronto si chiudeva in trenta secondi. Si chiude in trenta secondi se il parlato è il tuo prodotto e sei disposto a pagare una licenza. Ci vuole più tempo se stai costruendo qualcosa che ascolta e poi parla, perché le due opzioni non sono sostituti: una è una voce senza orecchie, l’altra sono orecchie con una voce che non è mai stata valutata. I trenta secondi ti portano alla domanda. Il resto del pezzo è la parte in cui scopri quale delle due ti serve davvero.