Ming-3.0-asr-tiny vs Granite Speech 5.0 470M TurboCTC: 19× i parametri, nessun vantaggio in termini di throughput

Metti Ming-3.0-asr-tiny e Granite Speech 5.0 470M TurboCTC sulla stessa pagina e il primo numero che salta all'occhio è il rapporto tra i parametri: 8,87 miliardi contro 470 milioni, all'incirca diciannove a uno. Il secondo è che il modello piccolo è quello costruito per la velocità con un margine enorme, e il terzo è che non si tratta di una contraddizione. Granite Speech 5.0 470M TurboCTC non ha alcun decoder da eseguire: è un encoder che emette caratteri e si ferma. Ming-3.0-asr-tiny ha un decoder mixture-of-experts a 24 livelli che scrive un token alla volta e a cui si può indicare in anticipo quali nomi stanno per essere pronunciati. Uno è una macchina orientata al throughput per l'audio in inglese. L'altro è una macchina orientata al contesto per l'audio in cinese. IBM ha rilasciato Granite Speech 5.0 470M TurboCTC il 25 agosto 2026 con un post sul blog, un rapporto tecnico e una voce nella classifica Open ASR; inclusionAI ha pubblicato i pesi di Ming-3.0-asr-tiny su Hugging Face il 14 ottobre 2026 senza alcun annuncio. Ogni dato di Granite usato qui proviene da la scheda modello di Granite Speech 5.0 470M TurboCTC, che contiene la tabella Open ASR, la scansione del rumore e la dichiarazione sulla singola lingua. I guasti dell'IA e gli incidenti degli agenti documentati dietro rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.

Nessuno dei due modelli figura nel catalogo OrcaRouter e nessuno dei due compare nella valutazione dell’altro, perciò non c’è alcun confronto diretto tra fornitori da citare. Tutto quanto segue è tratto dalla configurazione e dai grafici pubblicati da ciascun modello, etichettati come tali.

La biforcazione architetturale, detta in parole semplici

Granite Speech 5.0 470M TurboCTC è un modello solo encoder, e IBM lo presenta come una rottura deliberata con il proprio passato. I precedenti modelli Granite Speech erano un encoder acustico, un proiettore e un modello linguistico Granite con adattatori LoRA; vale a dire, erano modelli linguistici con un microfono addosso. La generazione 5.0 elimina completamente il modello linguistico e ottimizza un obiettivo CTC su una testa BPE da 16.384 unità. Sedici blocchi conformer, 1.024 dimensioni nascoste, otto teste di attenzione, attenzione a blocchi su 128 frame, self-conditioning all'ottavo blocco e un kernel di convoluzione di ampiezza 7.

Il sottocampionamento è la parte che produce la velocità. L'audio arriva come log-mel più delta a 100 frame al secondo in 320 dimensioni. Tre stadi di riduzione 2× — prima un reshape che impila frame consecutivi, poi convoluzioni con stride all'interno dei primi due blocchi conformer — lo portano a 12,5 token di output al secondo. Il blog di IBM è esplicito sul fatto che questo è il cambiamento rispetto ai suoi precedenti encoder, che emettevano 50 caratteri al secondo: quattro volte meno passaggi di output al secondo di audio, e nessun ciclo autoregressivo che decide ciascuno di essi.

Ming-3.0-asr-tiny ha preso la direzione opposta su ogni asse che conta qui. Il suo decoder è composto da 24 strati di mixture-of-experts con 128 esperti, otto instradati per token, un esperto condiviso e un primo strato denso, alternando tre strati Kimi Delta Attention con uno strato Gated MLA. Scrive i token in modo autoregressivo. Porta inoltre un encoder a forma di Whisper da 32 strati e 1.280 dimensioni — la forma di Whisper large-v3, con il repository che distribuisce modeling_whisper_encoder.py e l'avviso MIT di OpenAI in un file separato. Ming ha mantenuto il modello linguistico e ne ha fatto la parte costosa.

Da dove arrivano davvero i numeri

Questa è la sezione che stabilisce quanto peso meritino le affermazioni dell'uno o dell'altro modello, e i due rilasci non sono confrontabili per genere.

• Granite Speech 5.0 470M TurboCTC — 5,00% di WER aggregato complessivo sui set pubblici inglesi short-form della Open ASR leaderboard, al 25 agosto 2026, con 1,93% su LibriSpeech test-clean e 3,59% su test-other. Il suo fratello non commerciale segna 4,85%. Il throughput supera i 12.600 RTFx su un singolo H200 con inferenza batched. Esiste un report tecnico su arXiv e un post sul blog di Hugging Face, e i risultati sono stati inviati a una leaderboard pubblica che li elenca.

• Ming-3.0-asr-tiny — CER medio di 3,55 sui set pubblici cinesi, WER medio di 3,99 sui set pubblici inglesi, 8,42 su quindici set dialettali, 1,67 su cinque domini interni, 4,36 su un aggregato ASR con contesto. Tutto ciò esiste sotto forma di immagini PNG su una scheda del modello. Non c'è alcun report tecnico, nessun invio a una leaderboard e nessuno script di valutazione nel repository.

Quel post del blog vale la pena di essere aperto per la stessa ragione per cui vale la pena aprire la model card: è la traccia che Ming non ha. IBM ha pubblicato un articolo datato, un rapporto tecnico e una voce in classifica, e l'affermazione sulla throughput nell'articolo può essere verificata rispetto alla configurazione batch che descrive.

Quell’asimmetria non è una critica ai numeri di Ming; è un’affermazione su ciò che si può verificare. Chiunque può rieseguire le cifre Open ASR di Granite dai dati pubblici in un pomeriggio. Rieseguire quelle di Ming richiede ricostruire i suoi set di test, inclusi cinque domini interni la cui composizione non è pubblicata.

Un'altra asimmetria, e va nella direzione opposta: i due modelli non hanno nemmeno un set di valutazione in comune. I grafici di Granite sono solo in inglese e coprono LibriSpeech, AMI, Earnings-22, GigaSpeech, SPGISpeech, TED-LIUM e VoxPopuli. La media inglese di Ming usa LibriSpeech, Multilingual LibriSpeech, FLEURS English, Common Voice 15 English e VoxPopuli — con una sovrapposizione su due su cinque e un'aggregazione diversa. Chi legge e vuole sapere «quale dei due è più accurato in inglese» non otterrà una risposta da nessuno dei due fornitori, perché nessuno dei due ha posto la domanda.

Qui “velocità” significa due cose diverse.

Il valore RTFx di 12.600 di IBM è un dato di throughput batch: audio elaborato in blocco su una GPU, più di tre ore e mezza di parlato per ogni secondo di calcolo. È il numero giusto per trascrivere un archivio, ed è quasi privo di significato per un microfono dal vivo. IBM offre effettivamente lo streaming — una demo WebGPU nel browser, l'attenzione a blocchi e un percorso MLX per Apple Silicon — ma la cifra di punta descrive il caso batch.

Ming non pubblica affatto RTFx. Ciò che pubblica è una dimensione: 17,7 GB di pesi BF16 e un decoder autoregressivo con 128 esperti. Il ciclo token per token è il modello di costo. Ogni secondo di audio in più significa più passaggi del decoder, e ogni passaggio del decoder tocca una decisione di routing tra 128 esperti. Questa è la ragione strutturale per cui un modello solo encoder 19 volte più piccolo è quello con un dato di throughput dichiarato, e non serve un benchmark perché sia vero.

La conseguenza pratica è che questi non competono per lo stesso deployment. Granite Speech 5.0 470M TurboCTC è progettato per stare su un laptop, un telefono o una singola H200 che macina un archivio di podcast. Ming-3.0-asr-tiny richiede una GPU CUDA, PyTorch 2.11.0, torchaudio 2.11.0, Transformers 5.12.1, fla-core 0.5.2 e trust_remote_code=True, e un adattatore SGLang separato fissato a un commit specifico se vuoi servirlo. Uno di questi è un elenco di dipendenze che puoi mettere in un prodotto.

La capacità a cui Granite ha rinunciato per arrivarci

Il design encoder-only offre velocità e compattezza, e IBM è trasparente sui costi. Il suo blog afferma che i modelli 5.0 rinunciano a capacità di cui disponevano le versioni dotate di LM, citando la traduzione vocale e il keyword biasing. Quest'ultimo è quello interessante, perché il keyword biasing è esattamente ciò che Ming chiama Context ASR e considera la sua funzione di punta.

Ming accetta un elenco di hotword o il turno precedente del dialogo come parte del prompt di trascrizione, e l'esempio fornito dal fornitore stesso è istruttivo: una clip audio in cui il titolo del film 同囚 viene reso come 同球 nel percorso semplice e correttamente una volta forniti l'argomento e un elenco di hotword. La scheda tiene a precisare che le hotword sono suggerimenti e non garanzie, il che è un'inquadratura onesta: il bias sposta la probabilità, non impone l'output.

Granite Speech 5.0 470M TurboCTC non ha equivalenti. Non c'è alcun prompt, alcun campo contesto, alcun elenco di nomi da fornire, perché non c'è un modello linguistico da condizionare. Se il tuo audio è denso di nomi di prodotti, nomi di farmaci o cognomi provenienti da un database clienti, il modello ha esattamente uno strumento: tutto ciò che ha appreso durante l'addestramento. La risposta di IBM a questa classe di problemi è un notebook per il fine-tuning sui propri dati, che rappresenta un flusso di lavoro diverso con un costo diverso.

La copertura linguistica funziona allo stesso modo. Granite è in inglese, indicato come l'unica lingua supportata, addestrato su circa 60.000 ore di audio inglese in dieci giorni su otto H100. Ming è cinese e inglese con quindici set di test di dialetti cinesi regionali, tra cui cantonese, minnan e shanghainese, e una media dialettale di 8,42 che i suoi stessi grafici collocano al di sopra di ogni baseline aperta che elenca.

Scegliere tra loro

Se il tuo audio è in inglese e il tuo problema è il volume — registrazioni di chiamate, archivi, trascrizioni di riunioni, qualsiasi cosa in cui il costo orario superi l'ultimo punto di precisione — Granite Speech 5.0 470M TurboCTC è il punto di partenza più sensato, e il fatto che venga eseguito quantizzato tramite un runtime C++ nativo senza Python è un vantaggio di distribuzione che nessuna copertura dei dialetti cinesi, per quanto ampia, può compensare.

Se il tuo audio è in mandarino o in un dialetto regionale, oppure se il problema di accuratezza riguarda nomi propri che puoi elencare in anticipo, Ming-3.0-asr-tiny è l'unico dei due che lo affronta, e lo fa con un'architettura pensata apposta anziché con un fine-tuning aggiunto a posteriori. Inoltre ha solo cinque giorni e 35 download, il che significa che saresti tra i primi a scoprire come fallisce.

C'è un terzo caso che vale la pena menzionare: vuoi entrambi e vuoi sapere quale sta vincendo sul tuo traffico. È proprio il problema di routing per cui OrcaRouter è stato creato. Nessuno dei due modelli è ospitato lì — Ming-3.0-asr-tiny e Granite Speech 5.0 470M TurboCTC sono entrambi pesi aperti self-hosted — ma lo stesso endpoint che espone i tuoi modelli ospitati può esporre un percorso ASR candidato, con failover automatico, così una richiesta fallita ripiega sulla soluzione attuale anziché manifestarsi all'utente, e con una sola chiave per oltre 200 modelli, così il confronto non richiede un secondo contratto.

Quello che nessuno dei due fornitori ti ha mostrato

Nessuno dei due modelli è stato valutato da qualcuno indipendente. I dati di Granite, almeno, si trovano su una classifica pubblica a cui contribuiscono anche altri team, il che significa che si possono contestare; quelli di Ming stanno in quattro PNG che venivano ancora modificati il pomeriggio stesso in cui sono stati pubblicati. Nessuna delle due schede documenta timestamp a livello di parola o la diarizzazione degli interlocutori, quindi qualsiasi pipeline che richieda la sincronizzazione temporale è fuori portata per entrambi: la scheda di Granite descrive un semplice output di trascrizione, e le note d'uso di Ming affermano esplicitamente che l'output è testo trascritto, senza timestamp a livello di parola né diarizzazione.

Il confronto che potrebbe davvero risolvere la questione non può essere eseguito da nessuno dei due fornitori. Richiede un unico corpus, un'unica coppia linguistica, un unico script di valutazione e entrambi i modelli sulla stessa GPU. Finché qualcuno non lo pubblica, l'unica affermazione difendibile è quella che le architetture già fanno: un modello autoregressivo mixture-of-experts diciannove volte più grande non compete con un modello CTC encoder-only in termini di throughput, e a un modello CTC encoder-only non si può indicare quali parole aspettarsi.