Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: 35× il throughput per 0,45 punti di WER

IBM ha rilasciato due checkpoint di Granite Speech 5.0 a un giorno di distanza l'uno dall'altro, e la cosa interessante non è che uno sia più grande. È che Granite Speech 5.0 2Btotalizza un WER medio in inglese del 5,06% a 570 RTFx sulla Open ASR Leaderboard, mentre Granite Speech 5.0 470M TurboCTCtotalizza il 5,51% a 19.870 RTFx — circa trentacinque volte il throughput per ben meno di mezzo punto di accuratezza. Se davate per scontato che il numero di parametri vi comprasse qualcosa di proporzionale, non è così. Vi compra la traduzione, il keyword biasing, il controllo della language-ID e un modello linguistico in grado di seguire un prompt. La velocità non è in questa lista. I fallimenti documentati dell'IA e gli incidenti degli agenti dietro rilasci come questo sono raccolti in the OrcaRouter AI Incident Archive dove ogni voce riporta le proprie fonti, la severità, il grado di confidenza e il flag di contestazione.

Entrambi i dati sono di IBM, misurati sulla stessa classifica e datati a una settimana di distanza l’uno dall’altro, il che rende questo uno dei confronti intrafamiliari più puliti disponibili — e anche uno in cui dovreste comunque presumere una valutazione condotta dal fornitore anziché una sottoposta ad audit. Nessuno dei due modelli ha una riproduzione indipendente e, al momento in cui scriviamo, nessuno dei due è erogato da alcun fornitore di inferenza che io riesca a trovare, incluso il nostro catalogo.

Nella stessa settimana, due diverse storie di rilascio

Questi due modelli non sono gemelli di dimensioni diverse. Sono stati rilasciati in modo diverso e sono costruiti in modo diverso, e le cronologie di rilascio spiegano perché le loro schede modello si leggono in modo così diverso.

• Granite Speech 5.0 2B — repository creato il 7 ottobre 2026, pesi committati quella sera, scheda modificata apertamente per due settimane, data di rilascio indicata il 20 ottobre, blog di annuncio il 21 ottobre. Nuovo modello, partenza silenziosa, finale fragoroso.

• Granite Speech 5.0 470M TurboCTC — distribuito inizialmente il 25 agosto 2026 come modello solo inglese con un valore dichiarato di 12.600 RTFx. La versione del 21 ottobre è un aggiornamento, non un nuovo modello: la stessa architettura, una nuova testa BPE multilingue da 16.384 token, sei lingue aggiunte e punteggiatura e maiuscole native.

Quella differenza conta quando si leggono i numeri. Il 5,06% del 2B è una valutazione nuova di un nuovo checkpoint. Il 5,51% del 470M è un miglioramento rispetto a un valore del 5,78% pubblicato ad agosto, e il blog di IBM lo presenta come «un WER inglese migliore nonostante l'aggiunta di sei lingue», che è il modo giusto di leggerlo — l'aggiornamento multilingue non ha compromesso l'accuratezza dell'inglese, anzi l'ha migliorata un po'.

Due architetture, una conseguenza

Granite Speech 5.0 2B è un modello speech-language. Un encoder CTC Conformer a 16 blocchi alimenta un proiettore window query transformer a due strati, che esegue un downsampling di 10× portando gli embedding acustici a 10 Hz, i quali entrano in un checkpoint intermedio di granite-4.0-1b-base esteso a 16k posizioni con YaRN. Il fine-tuning supervisionato è LoRA congiuntamente sul proiettore e sul modello linguistico. La generazione è autoregressiva: il modello linguistico scrive la trascrizione token per token.

Granite Speech 5.0 470M TurboCTC è un encoder. Sedici blocchi Conformer, obiettivo CTC, una testa di classificazione BPE multilingue da 16.384 unità, sottocampionamento temporale di 8 per portare i frame da 100 Hz a 12,5 Hz, decodifica greedy non autoregressiva. Nessun proiettore, nessun modello linguistico, nessun ciclo di generazione. L'output è punteggiato e presenta le maiuscole perché il modello è stato addestrato a emettere la punteggiatura nel flusso di token, non perché un secondo modello l'abbia aggiunta successivamente.

La conseguenza è l'intero confronto. Un modello 2B che genera token ha una soglia minima di latenza per token che nessuna quantità di batching elimina del tutto; un encoder non autoregressivo emette l'intero output in un'unica forward pass, quindi il throughput scala con la dimensione del batch e quasi null'altro. È così che un modello con un quarto dei parametri finisce per essere trentacinque volte più veloce anziché quattro volte più veloce.

È anche il motivo per cui il {{1}}470M{{/1}} rinuncia a cose che il {{2}}2B{{/2}} ha. Non c'è alcun prompt da seguire, quindi non ci sono istruzioni per l'identificazione della lingua né un elenco di parole chiave, e nessuna traduzione — una testa CTC mappa l'acustica sui token, non le si può chiedere di rendere il parlato tedesco come testo inglese.

Il tabellone, e da dove proviene ogni numero

• Parametri — Granite Speech 5.0 2B è 2B; Granite Speech 5.0 470M TurboCTC è 470M.

• WER inglese, media sui 9 set di Open ASR — 5,06% vs 5,51%. Entrambe le esecuzioni di valutazione IBM, 15–20 ottobre 2026.

• Throughput, RTFx — 570 vs 19.870. Stesso harness della classifica, stesso intervallo di date.

• WER in condizioni rumorose e con riverbero, FFASR — 14,80% (posizione n. 4 su 42) rispetto a 17,57% (posizione n. 12). Il modello 2B è più robusto di circa 2,8 punti.

• Licenza — Apache 2.0 per entrambi. TurboCTC ha anche un fratello -NC con licenza CC-BY-NC-SA-4.0; controlla il nome del repository prima di distribuire.

• Lingue — sei lingue di trascrizione (En, Fr, De, Es, Pt, Ja) più traduzione, rispetto a sette (aggiungendo l'italiano) senza traduzione.

• Funzionalità di controllo: prompting con identificazione della lingua, bias delle parole chiave fino a 2.000 termini e traduzione vocale sul 2B; nessuna sul 470M.

• Addestramento — 390.000 ore in 40 giorni su 8 H100 per il modello 2B; 153.000 ore in 24 giorni su 8 H100 per il modello 470M.

Il divario di robustezza è la riga che tutti saltano. Trentacinque volte la velocità salta all'occhio, ma un WER del 17,57% su audio rumoroso in campo lontano rispetto al 14,80% è una differenza di errore relativa del 19%, e l'audio rumoroso è quello che caratterizza la maggior parte delle implementazioni reali. Se il tuo audio arriva da un laptop in cucina, il vantaggio di velocità del modello piccolo viene speso in una trascrizione che poi devi correggere.

L'unico punto in cui il 470M vince davvero in accuratezza

Giapponese. La scheda TurboCTC afferma che supera il modello 2B in termini di tasso di errore sui caratteri su CSJ eval1, CommonVoice-17 e FLEURS — tutti e tre i set di test — e lo dichiara esplicitamente nel testo della scheda invece di nasconderlo in un grafico. I numeri stessi sono solo in una figura, quindi l'entità del vantaggio non è citabile, ma la direzione è un'affermazione di IBM sui propri due modelli, il che la rende più credibile di un confronto tra fornitori diversi.

Esiste un meccanismo plausibile. Il 2B gestisce il giapponese aggiungendo al character head un set fonetico di 92 caratteri katakana e 16.500 ore di ASR giapponese con bias sulle parole chiave più 9.600 ore di TTS Fineweb-2 all'addestramento, ma instrada comunque il risultato attraverso un modello linguistico addestrato prevalentemente su testo europeo. Il 470M utilizza un unico vocabolario BPE multilingue da 16.384 unità con il giapponese incluso fin dall'inizio e dedica 8.130 ore a ReazonSpeech e 1.860 a giapponese sintetico. Se il tuo prodotto è la trascrizione giapponese su larga scala, questo è l'unico confronto in cui il modello piccolo è sia più veloce che migliore, e vale la pena fare un test diretto prima di scegliere il 2B per default in base alla dimensione.

Costo, calcolato anziché preventivato

IBM non pubblica un prezzo per nessuno dei due modelli. Entrambi sono pesi Apache 2.0, quindi il costo per eseguirli è il costo dell'hardware, e i numeri RTFx sono l'unica leva che hai per stimarlo.

Prendi un carico di lavoro di 1.000 ore di audio al giorno — un archivio di call center di medie dimensioni. A 570 RTFx, il modello 2B richiede circa 6.300 secondi di tempo GPU, poco più di 1,7 ore GPU. A 19.870 RTFx, il 470M richiede circa 181 secondi, ovvero 0,05 ore GPU. Su una H100 a circa 2–3 dollari l'ora, si tratta di pochi dollari al giorno contro pochi centesimi. Entrambi sono numeri piccoli, e questo è il punto: a questa scala nessuno dei due modelli è costoso, e la decisione dovrebbe essere presa in base all'accuratezza e alle capacità, non alla potenza di calcolo.

L'aritmetica cambia all'altro capo. Se stai trascrivendo un flusso in tempo reale su un laptop, o eseguendo un'app sul dispositivo, il 2B necessita di una GPU per restare al passo con il tempo reale, mentre il 470M ha margine in abbondanza — ecco perché IBM posiziona TurboCTC per laptop, telefoni e dispositivi edge e documenta mlx-audio per Apple Silicon. Il 2B funziona anche su llama.cpp e mlx-audio, ma a Q8_0 con un avviso che la quantizzazione a bit inferiori perde accuratezza oltre circa un minuto di audio.

Scegliere, nell'ordine in cui la decisione avviene effettivamente

Non iniziare con il benchmark. Inizia da ciò che richiede il compito, perché tre delle differenze sono requisiti vincolanti anziché compromessi.

L'output deve essere in una lingua diversa da quella dell'input?Allora è il 2B, e non c'è alcun confronto da fare. Il 470M non può tradurre. Questo singolo requisito lo elimina per le pipeline di sottotitoli, le note delle riunioni multilingui e qualsiasi archivio in lingua inglese creato da audio non inglese.

La trascrizione deve contenere termini specifici? Nomi di prodotto, nomi di farmaci, ID dei ticket, l'elenco degli SKU di un cliente — il 2B accetta fino a 2.000 termini come elenco di parole chiave ed è stato addestrato su 23.600 ore di audio con bias verso le parole chiave proprio per questo. Il 470M non ha un'interfaccia per i prompt. Un deployment basato su glossario sul modello piccolo non è possibile.

L'audio è pulito? Se sì, il divario di 0,45 punti sull'inglese è piccolo e il vantaggio di velocità di 35× è quasi a costo zero. Se no — riunioni, call center, microfoni a campo lontano — il divario FFASR di 2,8 punti indica che gli errori del modello piccolo ti costeranno più di quanto la sua velocità ti faccia risparmiare.

È giapponese? Prova prima il 470M. IBM dice che vince su tutti e tre i set di test giapponesi.

È su un dispositivo? Il 470M è stato progettato per questo. Il 2B può funzionare su un solo dispositivo, ma non è stato progettato per questo.

Il riassunto onesto è che non si tratta di due dimensioni dello stesso prodotto. Uno è un sistema di trascrizione e traduzione con un'interfaccia di controllo; l'altro è un motore di trascrizione molto veloce ed economico, senza controlli. La maggior parte dei team che pensa di aver bisogno di "quello migliore" in realtà deve prima rispondere alle domande sulla traduzione e sul glossario, e quelle due risposte risolvono la questione.

Eseguire entrambi senza scommettere su nessuno dei due

La configurazione di produzione sensata per un team che testa questa famiglia è distribuire entrambi i modelli, perché hanno modalità di errore opposte. Il 470M gestisce la trascrizione massiva di audio pulito a un costo che si arrotonda a zero; il 2B gestisce l'audio difficile, l'audio non in inglese e tutto ciò che richiede un glossario. Un router che classifica ogni file in arrivo — rilevamento della lingua, una stima del rapporto segnale-rumore, un controllo per verificare se è allegato un glossario — e lo invia al checkpoint giusto richiede forse cinquanta righe di codice e riduce il tasso di errore sulla coda senza pagare i prezzi del 2B sul grosso del lavoro.

Quella fase di classificazione è una chiamata a un modello di piccole dimensioni, ed è la parte che vale la pena eseguire tramite un unico endpoint anziché integrare un secondo SDK di fornitore: OrcaRouter espone oltre 200 modelli dietro un'unica API compatibile con OpenAI al prezzo di listino del fornitore, senza alcuna maggiorazione aggiunta, e il suo DSL di routing può esprimere l'instradamento per lingua e qualità come regola anziché come codice applicativo. Il failover automatico conta soprattutto nella settimana successiva a un rilascio come questo, quando un checkpoint ha due giorni, nulla è verificato in modo indipendente e il modo più sicuro di provarlo è mantenere caldo un secondo percorso. Nulla di tutto ciò ti aiuta ancora a eseguire Granite Speech stesso — nessuno dei due checkpoint viene servito da noi oggi, quindi i modelli vocali restano self-hosted e il livello di routing parte un passo più a valle.

Se ne implementi solo uno, implementa il 2B. È il modello in grado di fare tutto ciò che può fare il 470M, a una velocità ancora trentacinque volte superiore al tempo reale e con una precisione migliore su ogni benchmark pubblicato da IBM tranne quello giapponese. Il 470M è lo specialista che aggiungi quando il costo o il profilo di latenza lo giustificano — non il default da cui partire.