Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM vince i benchmark, Whisper vince con 99 lingue

Sui due numeri che la maggior parte delle persone controlla per prima cosa, Granite Speech 5.0 2B batte Whisper large-v3-turbo e non c'è partita. Il modello di IBM ha in media un tasso di errore sulle parole del 5,06% nei nove set di test inglesi per audio breve della Open ASR Leaderboard a 570 RTFx; il checkpoint turbo di O​penAI ha in media il 7,83% a 200 RTFx sulla stessa classifica. Più veloce e più accurato, sullo stesso benchmark, con date di rilascio a circa due anni di distanza. Se il tuo audio è in inglese ed è pulito, questo è l'intero confronto e puoi smettere di leggere. I fallimenti documentati dell'AI e gli incidenti degli agenti dietro rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.

Il motivo per cui questa pagina deve ancora esistere è il terzo numero: 99. Whisper large-v3-turbo copre novantanove lingue; Granite Speech 5.0 2B ne copre sei per la trascrizione e ne traduce altre due. Un vantaggio di 2,8 punti sul WER in inglese non vale nulla se l'audio è in vietnamita. Quindi la vera domanda non è quale modello sia migliore — è se il tuo mix linguistico rientra in un perimetro di sei lingue, e quanto costa la migrazione se ci rientra.

Che cos'è realmente Whisper large-v3-turbo

Vale la pena essere precisi qui, perché il nome viene associato a cose che non lo riguardano. Whisper large-v3-turbo è la versione potata di large-v3 di O​penAI: l'encoder è invariato, ma il decoder ha 4 layer invece di 32. Questo singolo cambiamento porta il modello da 1.550M parametri a 809M e circa triplica il throughput, rinunciando a un'accuratezza relativamente contenuta — per questo è diventato il checkpoint ASR veloce predefinito in tutto l'ecosistema entro pochi mesi dal suo rilascio nell'ottobre 2024.

Da quel design derivano tre proprietà, e sono tutte importanti per questo confronto:

• È un modello di traduzione che è stato potato per caso, quindi eredita 99 lingue di trascrizione e identificazione della lingua — ma la variante turbo non è addestrata per la traduzione. A differenza di large-v3, trascrive e identifica la lingua; non rende il parlato in una lingua come testo in un'altra. I team lo scoprono regolarmente dopo averci costruito sopra.

• Il decoder è autoregressivo. Scrive token, 4 layer alla volta, ed è per questo che il suo throughput si attesta a 200 RTFx anziché nell'ordine delle migliaia. La velocità di Whisper derivava dalla rimozione di layer, non da un cambiamento del paradigma di decodifica.

• È distribuito con licenza MIT, che nella pratica è più permissiva della Apache 2.0 sotto esattamente un aspetto rilevante per alcuni team legali: nessuna clausola di concessione di brevetti da analizzare e nessun file di attribuzione da includere.

Il vero vantaggio di Whisper non è mai stato il benchmark. Sono due anni di strumenti — faster-whisper, whisper.cpp, l'endpoint gestito di ogni cloud, ricette di quantizzazione, librerie di timestamp a livello di parola, stack di diarizzazione costruiti su di esso. Quell'ecosistema è un vero costo di passaggio e questo confronto deve tenerne conto onestamente.

Dove il divario è reale e dove è un artefatto dell'harness

Il confronto tra 5,06% e 7,83% si basa sulla stessa classifica, il che lo rende più legittimo rispetto alla maggior parte dei dati tra fornitori diversi — ma non è una prova perfettamente omogenea, e i dettagli possono giocare a favore di entrambe le parti.

• Il dato di Granite proviene da una valutazione eseguita da IBM stessa e inviata alla classifica, descritta nel blog di annuncio come "non ufficiale, al 15 ottobre 2026". La scheda del modello definisce gli stessi risultati "ufficiali" al 20 ottobre. Scegli l'aggettivo che preferisci; nessuno al di fuori di IBM li ha riprodotti.

• Il valore di Whisper è il risultato pubblicato dalla classifica per il checkpoint, eseguito con l'harness proprio della classifica, che è una pipeline diversa da quella di IBM.

• Entrambi i numeri sono medie calcolate su nove set di test pubblici, la maggior parte dei quali è parlato letto in inglese proveniente da LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI e VoxPopuli. La debolezza di Whisper in questa classifica è ben documentata e strutturale: è stato addestrato su 680.000 ore di audio web con supervisione debole, il che offre ampiezza a scapito di una formattazione precisa.

• Sul far-field e su audio rumoroso l'ordinamento regge. La classifica FFASR — media di near-field, SNR alto, SNR medio e SNR basso — colloca whisper-large-v3 al 18,02%, con Granite Speech 5.0 2B al 14,80%. Nota che si tratta di large-v3, non turbo; turbo è generalmente un po' peggiore del suo modello padre su audio difficile, perché ha meno layer di decoder per riprendersi da una cattiva ipotesi acustica.

Quindi il divario di accuratezza è probabilmente reale nella direzione e probabilmente inferiore a 2,8 punti in un confronto equo. Ciò che non è in dubbio è da dove provenga: al decoder di Whisper viene chiesto di svolgere identificazione della lingua, trascrizione, punteggiatura, gestione di maiuscole/minuscole e allineamento dei timestamp contemporaneamente con quattro livelli, mentre l'architettura di Granite separa il lavoro acustico (un encoder CTC con teste per caratteri e BPE) dalla generazione del testo (un modello linguistico da 1B).

Il riquadro della lingua, quantificato

È qui che si prende la decisione, quindi merita più di un numero in un elenco puntato.

• Granite Speech 5.0 2B trascrive inglese, francese, tedesco, spagnolo, portoghese e giapponese, e traduce tra queste sei lingue e l'inglese, oltre che dall'inglese all'italiano e dall'inglese al mandarino.

• Whisper large-v3-turbo trascrive novantanove lingue e identifica quale sta ascoltando. Non traduce.

• Il modello gemello di Granite con sette lingue, Granite Speech 5.0 470M TurboCTC, aggiunge l'italiano all'insieme delle lingue di trascrizione — così la famiglia copre sette lingue, tra europee e giapponese, non sei.

Novantanove contro sette è l'intero argomento a favore di Whisper, ed è un argomento forte. Ma la distribuzione pratica conta più del numero. Se il tuo audio è in inglese, francese, tedesco, spagnolo, portoghese, giapponese e italiano, Granite lo copre. Se ti servono hindi, arabo, coreano, turco, polacco, vietnamita, indonesiano, olandese, svedese o una qualsiasi delle altre novantina, Whisper è l'unico di questi due che funziona — e nessun vantaggio in termini di WER sull'inglese cambia questo.

Il caso intermedio è quello in cui si trovano in realtà la maggior parte dei team: un prodotto prevalentemente in inglese con una lunga coda di lingue che arriva solo per una piccola percentuale delle volte. Due modelli, uno per livello, è una risposta normale e corretta — ed è meno costosa di quanto sembri, perché è nella coda che il volume è basso.

Audio lunghi, timestamp e le cose che si rompono su larga scala

La storia di deployment di Whisper è matura in modi che non compaiono in nessun benchmark. Timestamp a livello di parola, rilevamento dell'attività vocale, diarizzazione dei parlanti, streaming con decodifica a blocchi — tutto esiste, tutto è ampiamente collaudato, e molto di ciò presuppone la finestra di 30 secondi di Whisper e i suoi token di timestamp.

{{1}}Granite Speech 5.0 2B{{/1}} ha una struttura diversa. IBM consiglia segmenti fino a circa due minuti, suddivisi con VAD per le registrazioni più lunghe, e il modello linguistico riceve embedding a 10 Hz all'interno di un contesto esteso YaRN da 16k. Non c'è alcuna testa per i timestamp a livello di parola sul checkpoint base 2B — la generazione 4.1 includeva una variante "-plus" separata per ASR con attribuzione del parlante e timestamp a livello di parola, e non esiste ancora una variante 5.0 equivalente.

È una vera lacuna se stai sviluppando sottotitoli, trascrizioni di riunioni con etichette degli interlocutori o qualsiasi cosa che richieda di spostarsi a una determinata frase. Il blog del 5.0 descrive effettivamente dei miglioramenti ai timestamp, ma appartengono al rinnovato granite-speech-4.1-2b-plus, non al 2B del 5.0.

{{1}}Servono timestamp a livello di parola{{/1}} — {{2}}Whisper large-v3-turbo{{/2}} oggi; {{3}}Granite 4.1-2b-plus{{/3}} se vuoi la famiglia Granite e puoi accettare il modello acustico più vecchio.

• Serve l'attribuzione del parlante — stessa risposta; il 5.0 2B non lo fa.

• Serve accuratezza su testi lunghi oltre qualche minuto — la guida di Granite sui segmenti da due minuti è un limite pratico, e il chunking di Whisper a 30 secondi con condizionamento sul testo precedente ha la sua ben nota modalità di fallimento (loop di ripetizione sul silenzio). Nessuno dei due è ovviamente migliore; entrambi necessitano di un VAD a monte.

Due funzionalità che Granite ha e Whisper turbo non ha

Keyword biasing. Granite Speech 5.0 2B accetta un elenco di parole chiave fino a 2.000 termini per prompt ed è stato addestrato su 23.600 ore di audio con bias sulle parole chiave nei gruppi linguistici europei e giapponesi. Whisper non ha un'interfaccia equivalente: la cosa più vicina è una stringa di prompt che orienta stile e vocabolario, senza alcun addestramento alle spalle. Per un deployment che trascrive nomi di prodotti, nomi di farmaci, ID di ticket o il glossario di un cliente, questa è la differenza più utile tra i due modelli e non emerge in nessuna media WER.

Prompting con ID lingua. Puoi indicare a Granite in che lingua è l'audio e istruirlo a trascrivere anziché tradurre. Whisper rileva automaticamente la lingua e, nella variante turbo, si limita a trascrivere. Per un corpus a lingue miste in cui conosci già la lingua dai metadati, forzarla elimina un'intera classe di errori — Whisper occasionalmente identifica erroneamente una breve clip e poi trascrive con sicurezza nella lingua sbagliata.

La migrazione, in passaggi che funzionano davvero

Se la questione linguistica si risolve, il passaggio è meno doloroso di quanto suggerisca il divario dell'ecosistema, perché la maggior parte delle pipeline basate su Whisper ha già la giuntura che serve.

1. Mantieni il tuo VAD. Entrambi i modelli vogliono segmenti, non file. Qualunque cosa usi per suddividere l'audio per Whisper funzionerà per Granite con segmenti fino a due minuti invece di trenta secondi.

2. Sostituisci la chiamata di decodifica, non l'infrastruttura. Granite si carica tramite AutoModelForSpeechSeq2Seq e AutoProcessor in transformers>=4.52.1, oppure tramite vLLM, llama.cpp con Q8_0, o mlx-audio su Apple Silicon. Se il tuo servizio invoca esternamente faster-whisper, stai scambiando una chiamata a un modello locale con un'altra.

3. Riscrivi il prompt. Granite è guidato dalle istruzioni, e il prompt seleziona la modalità: trascrizione grezza, trascrizione punteggiata, con bias verso le parole chiave, con ID lingua fissato. Questo è il passaggio che i team saltano, e poi concludono che il modello è peggiore perché gli hanno dato il comportamento predefinito di Whisper.

4. Ricalcola il baseline del tuo WER sui tuoi audio, non su LibriSpeech. Non è una formalità. La debolezza di Whisper nella classifica è la formattazione e la deriva sui contenuti lunghi; se i tuoi audio sono clip pulite di inglese da 30 secondi e il tuo passaggio downstream è un modello linguistico che corregge la formattazione, il divario misurato potrebbe essere quasi zero — oppure, se i tuoi audio sono accentati e in condizioni di campo lontano, maggiore di 2,8 punti.

5. Mantieni un percorso di fallback. La copertura delle lingue diverse dall'inglese di Granite Speech 5.0 2B è un limite invalicabile, e un rilevatore di lingua posto davanti al modello non è opzionale in un prodotto multilingue. Tutto ciò che esula dalle sette lingue viene indirizzato a Whisper.

Dove il livello di routing si guadagna il suo posto

Il quinto passo è la parte di questa migrazione che si trasforma in architettura. Un dispatch su lingua e qualità davanti a due modelli vocali, più qualunque modello linguistico ripulisca poi la trascrizione, significa tre chiamate ai modelli per file, e tre integrazioni separate con altrettanti fornitori sono il modo in cui una pipeline semplice diventa un problema di manutenzione.

OrcaRouter è un unico endpoint compatibile con OpenAI oltre 200 modelli al prezzo di listino del provider, senza ricarichi aggiunti, così la fase di post-elaborazione — la pulizia, la sintesi, l'estrazione dei campi — può essere sostituita o testata A/B senza toccare il codice vocale, e un'interruzione di servizio di un provider attiva il failover invece di far fallire il job. Il DSL di routing può contenere la regola di dispatch stessa: rileva la lingua, invia le sette lingue supportate al checkpoint Granite self-hosted, invia tutto il resto a Whisper e affida la trascrizione al modello di pulizia richiesto dall'attività. Quest'ultimo passaggio è quello che possiamo davvero servire oggi; né Granite Speech 5.0 2B né Whisper large-v3-turbo sono nel nostro catalogo, quindi i modelli vocali restano sul tuo hardware e il routing parte un passaggio più a valle, dove elimina comunque gran parte del lavoro di integrazione.

Chi dovrebbe passare e chi no

Passa a questa soluzione se il tuo audio è in inglese più le sei lingue Granite, l'accuratezza conta più della familiarità con l'ecosistema, hai bisogno del bias sulle parole chiave o della lingua forzata e per ora puoi fare a meno dei timestamp a livello di parola. Il 5,06% contro il 7,83% è un divario reale in una direzione che conta, e 570 RTFx contro 200 RTFx significa che il passaggio probabilmente riduce anche la spesa per la GPU.

Non cambiare se ti serve una qualsiasi delle altre novantadue lingue, timestamp a livello di parola, attribuzione del parlante o un endpoint gestito — Granite Speech 5.0 2B non è distribuito da alcun provider di inferenza al momento della stesura, e il self-hosting è l'unica via per averlo oggi. Whisper large-v3-turbo è disponibile ovunque, anche laddove non ti è consentito eseguire le tue GPU.

Esegui entrambi se hai una lunga coda di lingue. L'instradamento è economico, la coda è a basso volume per definizione, e rimuove l'unico argomento che resta a Whisper.