Una scheda di titolo generata che riporta "Ming-3.0-audio-tiny vs Sesame Preview" con il sottotitolo "un Talker senza benchmark TTS contro una voce senza modello", tre chip che riportano "Ming: MIT, 9,3B totali", "Talker: 1,4 GB, opzionale" e "Sesame: nessuna API, nessun ID modello", e un footer che riporta "Dati di Ming dal repository di inclusionAI; dati di Sesame dalle pubblicazioni dell'azienda. Nessuno dei due fornisce un punteggio vocale comparabile."
Engineering & Research

Ming-3.0-audio-tiny vs Sesame Preview: uno può parlare e non verrà valutato, l'altro parla per mestiere

Autore

Magnus Corvin

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

La cosa strana di mettere Ming-3.0-audio-tiny accanto a Sesame Preview è che l'asse ovvio — la qualità della voce — è proprio quello che nessuna delle due parti ti permette di misurare. Ming-3.0-audio-tiny include un generatore vocale: un Talker da 1,4 GB, un VAE da 1,6 GB, un encoder di parlante CAM++, tre voci denominate e un percorso di clonazione tramite clip di riferimento. E il suo fornitore non pubblica alcun benchmark text-to-speech per nessuno di questi componenti. Le tre immagini di valutazione nel repository coprono riconoscimento, intelligenza audio e testo. Non c'è alcuna riga di similarità del parlante, nessuna riga di word error per il parlato sintetizzato, nulla. Sesame Preview è l'immagine speculare: un prodotto la cui intera reputazione è il suono della sua voce, senza identificativo del modello, senza API e senza alcun punteggio associato alla voce nell'app. I fallimenti documentati dell'IA e gli incidenti degli agenti dietro a rilasci come questo sono raccolti nell'OrcaRouter AI Incident Archive dove ogni voce riporta le proprie fonti, gravità, grado di confidenza e flag di contestazione.

Entrambi tacciono nella stessa direzione e per ragioni diverse, e questo è l’onesto punto di partenza. Ming-3.0-audio-tiny è un checkpoint che puoi scaricare — i pesi sono su Hugging Face dal 3 settembre 2026, e ciò che è cambiato tra il 16 e il 19 ottobre è stata la documentazione che li riguarda: una configurazione corretta, l’albero Talker, i preset vocali, i profili di deployment e, il 19 ottobre, la prima model card. Sesame Preview è un’app con cui parli, aggiornata pubblicamente, descritta dall’azienda con le sue stesse parole e mai ridotta a un file. Uno non è misurato perché il suo fornitore ha scelto di non misurarlo; l’altro non è misurabile perché non c’è nulla da eseguire.

Che cos’è in realtà il percorso vocale del modello minuscolo

È un allegato, non il modello. Il Thinker — 17,74 GB su due shard, 9,3 miliardi di parametri totali e 2,7 miliardi attivi — legge audio e scrive testo. Il Talker è un secondo processo che trasforma lo stato nascosto del Thinker in parlato, e il deployment di riferimento gli assegna una GPU dedicata. Il profilo di testo viene eseguito su dispositivi: "0" con parallelismo tensoriale pari a uno; il profilo audio completo colloca il Thinker sulla GPU 0 a 0,78 della scheda e il Talker sulla GPU 1 a 0,18. Il profilo SGLang è solo testo e la scheda lo dice chiaramente.

• Voci — l'impostazione predefinita di vLLM-Omni è una voce IP integrata chiamata 灵小柔; il repository include anche 灵楷 e US_James come voci di riferimento preimpostate in voice_presets/voice_audio/, con trascrizioni corrispondenti in voice_prompts.json.

• Clonazione — un WAV di riferimento più la sua trascrizione esatta. La scheda avverte che non è possibile combinare la selezione di una voce predefinita con una clip di riferimento in un'unica richiesta.

• Lingue — cinese e inglese, «compresi accenti e dialetti variegati», senza un elenco linguistico separato per il Talker. Non è specificato da nessuna parte se parla inglese con accento americano altrettanto bene come lo legge.

• Licenza — MIT sui pesi; i preset vocali sono la parte da leggere con attenzione, perché una clip di riferimento porta con sé qualunque diritto avesse il suo parlante. Il repository non fornisce termini separati per le due voci incluse.

• Prove — nessuna per il percorso vocale. I numeri relativi a riconoscimento e ragionamento sono di inclusionAI; il lato della sintesi non ha alcun numero pubblicato.

Quell'ultima frase è il motivo per cui questo confronto è povero di verdetti. Un fornitore che misura il proprio ASR fino a due cifre decimali e non pubblica nulla sul proprio T​TS ti ha già detto in quale metà del modello ha fiducia.

Il lato di Sesame dello stesso registro

La posizione pubblica di Sesame è l'inverso: una voce talmente buona che le persone presumevano ci fosse una persona in linea, offerta tramite un assistente con memoria, connettori, navigazione e, da un aggiornamento di ottobre 2026, la capacità di coordinare altri agenti. L'azienda ha descritto quell'aggiornamento come un nuovo Conversational Speech Model con migliore espressività e pronuncia. Non ne ha pubblicato un checkpoint, un ID del modello, dati sulla latenza o una licenza. Non esiste un endpoint, quindi non c'è alcuna richiesta da fare e alcuna risposta da valutare.

L'unico artefatto che uno sviluppatore può tenere in mano è sesame/csm-1b su Hugging Face: Apache-2.0, solo inglese, circa 1,1 miliardi di parametri, un backbone della famiglia Llama che predice un primo codebook audio con un depth decoder più piccolo per il resto, decodificato tramite il codec Mimi di Kyutai a 24 kHz. È stato pubblicato a marzo 2025 e nell'ultimo mese è stato scaricato circa 130.000 volte, con circa 2.500 like. La scheda è schietta nel dire che si tratta di un modello generativo di base: può produrre voci diverse, non è messo a punto per nessuna in particolare, e la demo interattiva è un derivato anziché il checkpoint stesso.

Quindi l'affermazione corretta è: puoi conservare l'architettura di Sesame del 2025. Non puoi conservare la voce che ha reso famosa l'azienda nel 2026.

A screenshot of the sesame/csm-1b model card on Hugging Face, showing the repository header with its Like and Follow counts, a tag row including text-to-speech and English, a licence line reading Apache-2.0, and card text dating the 1B CSM release to 13 March 2025 and describing a Llama backbone with a smaller audio decoder that produces Mimi audio codes.

Due lavori diversi che indossano la stessa parola

Togli la parola "audio" da entrambe le descrizioni e l'incongruenza diventa evidente. Ming-3.0-audio-tiny è un modello che ascolta e che sa anche parlare. La sua valutazione è dominata dalla comprensione: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, ASR cinese con un errore medio per carattere di 3.79, dialetti con una media di 10.29. Sono i numeri che il suo fornitore ha scelto di pubblicare, e riguardano tutti la comprensione. Sesame Preview è un prodotto che parla e che ascolta anche, e la sua reputazione si basa sull'alternanza dei turni: interruzioni, backchannel, quella tempistica che fa sembrare una conversazione tale.

Quelle non sono la stessa competenza e non si escludono a vicenda. Un modello può essere eccellente nel «che cosa ha detto il terzo interlocutore riguardo alla fattura» e mediocre nel sembrare una persona, e il contrario è altrettanto possibile. Nulla nel materiale di nessuno dei due fornitori consente di classificarli su un asse comune, perché non hanno mai misurato lo stesso asse.

Dove l'asimmetria si fa sentire di più è nell'esperimento a basso costo. Con Ming-3.0-audio-tiny puoi sintetizzare la stessa frase cinquanta volte, variare il clip di riferimento e ascoltare — un pomeriggio di lavoro, senza bisogno di permessi. Con Sesame Preview l'esperimento equivalente consiste nell'aprire l'app e farsi un'opinione, perché non c'è un secondo campione da cui attingere.

L'unica pubblicazione Sesame che vale la pena prendere in prestito

Nell'agosto 2026 Sesame ha rilasciato TurnBench, un benchmark aperto per l'alternanza dei turni nel dialogo parlato: circa 30 ore di parlato diadico con triplice annotazione, un protocollo di valutazione mutuato dall'analisi della conversazione, una classifica pubblica e i risultati per 14 sistemi, sviluppato con Carnegie Mellon, Mundo AI e Oto. Questa è la cosa più utile dell'intero confronto, ed è utile proprio perché misura la qualità che sia le classifiche basate sul tasso di errore di parola sia quelle basate sull'Elo delle preferenze trascurano.

Usalo come uno strumento, non come un tabellone. L'app di Sesame non è inclusa, e Ming-3.0-audio-tiny certamente non lo è. Ma se stai considerando il modello tiny per qualcosa di conversazionale — e il suo Talker insieme alla sua finestra di 131.072 token rendono la cosa ragionevole da considerare — allora ciò che dovresti valutare sono la gestione delle interruzioni e la sincronizzazione dei backchannel, e TurnBench ti fornisce un protocollo per farlo invece di affidarti a una sensazione.

A screenshot of Sesame's research page on crossing the uncanny valley of voice, dated 27 February 2025, showing a 'Try preview now' button and the essay's opening line about how we know when someone truly understands us.

Il corollario è scomodo per entrambi i fornitori. Un modello può includere un generatore vocale e una finestra di contesto da 128K e restare comunque pessimo in ciò per cui Sesame è nota, e nessuno dei due dataset di questo confronto te lo direbbe.

Il costo, una volta smesso di confrontare le tariffe

Sesame Preview non ha un prezzo perché non ha un prodotto da vendere a un prezzo: l'app è gratuita, l'azienda dichiara che non mostra annunci e non vende dati, e non esiste un livello pubblicato. Anche Ming-3.0-audio-tiny non ha un tariffario, ma ha qualcosa di meglio: una soglia aritmetica. Testo e ASR girano su una GPU. L'output vocale gira su due, perché il Talker e il suo VAE sono un secondo insieme di pesi con un proprio dispositivo. Se ti serve solo la metà dedicata all'ascolto, la seconda scheda sono soldi che non spendi e, a differenza di un abbonamento, non scala con il numero di frasi che generi.

Quello è l'unico punto in cui questi due sono davvero paragonabili, ed è un confronto tra forme più che tra numeri: una spesa hardware fissa che puoi prevedere, contro un prodotto gratuito le cui condizioni non puoi verificare e la cui capacità non puoi acquistare.

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Sesame Preview across six dimensions: what you can run, speech quality score, voices, licence, cost shape, and turn-taking evidence, with a footer noting that neither vendor ships a comparable speech score.

OrcaRouter resta fuori da entrambi. Non eroghiamo Ming-3.0-audio-tiny — è un checkpoint che esegui tu, non un endpoint che ospitiamo — e non c'è nemmeno un modello Sesame da instradare. Ciò che un router raggiunge è la metà testuale di una pipeline vocale: lo script, la traduzione, il riassunto, il classificatore che decide quale registrazione necessita di un intervento umano. Una sola chiave per oltre 200 modelli al prezzo di listino del provider senza ricarichi aggiunti è un contratto più snello rispetto a tre, e il failover automatico impedisce che un lungo lotto di sintesi muoia perché un provider ha avuto un pomeriggio negativo. Niente di tutto ciò rende l'uno o l'altro modello migliore nell'essere una voce.

Cosa cambierebbe la risposta

Tre eventi, ciascuno verificabile. Primo, la pubblicazione da parte di inclusionAI di una valutazione text-to-speech per Ming-3.0-audio-tiny — naturalezza, somiglianza del parlante rispetto al clip di riferimento, tasso di errore sul parlato sintetizzato — trasformerebbe il Talker da funzionalità non misurata a candidato. Secondo, il rilascio da parte di Sesame del checkpoint o di un'API per la voce di produzione renderebbe testabile la reputazione dell'app, e il confronto sarebbe finalmente tra due cose eseguibili. Terzo, una valutazione indipendente di uno dei due modelli su TurnBench risolverebbe l'unica qualità a cui entrambi i fornitori alludono e che nessuno dei due pubblica.

Finché uno di questi non arriva, la descrizione accurata è poco affascinante. Ming-3.0-audio-tiny è un modello di ascolto da 17,74 GB con un modulo vocale opzionale da 3 GB, pesi MIT, una configurazione corretta, una scheda di quattro giorni più recente della configurazione che descrive e nessun numero pubblicato per la metà che parla. Sesame Preview è una voce che puoi ascoltare, ammirare e non ottenere. La scelta tra i due non è una scelta tra due modelli. È una scelta tra misurare qualcosa da soli e non avere il permesso di farlo.

Se devi decidere questa settimana

Per la trascrizione, la comprensione di registrazioni lunghe o qualsiasi cosa in cui l'output sia testo che dovrai analizzare, Ming-3.0-audio-tiny è l'unico dei due a essere anche solo un candidato — prevedi una sola GPU, usa il prompt ASR convalidato con il suo delimitatore di tabulazione e imposta il contesto sulla lunghezza di cui hai effettivamente bisogno. Per un'esperienza vocale per consumatori che stai prototipando, Sesame è il benchmark con cui confrontare il tuo lavoro, non una dipendenza su cui costruire, perché non c'è alcuna dipendenza da installare.

E per l'output vocale del modello minuscolo: provalo prima di pianificare in base ad esso. Due GPU, una clip di riferimento, una trascrizione che corrisponda esattamente a quella clip e un'ora di ascolto ti diranno più dell'intera cartella dei benchmark — perché la cartella dei benchmark non contiene un solo numero al riguardo.