Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 64× i parametri, 43× più lento

L'oggetto più utile in questo confronto è un file da 279 megabyte. Si tratta della quantizzazione Q4_K_M di Granite Speech 5.0 470M TurboCTC, il riconoscitore vocale solo encoder di IBM, e trascriverà l'inglese su una CPU da laptop senza GPU, senza un ambiente Python degno di questo nome e senza un contratto di servizio. Nemotron 3.5 Transcribe, che NVIDIA ha pubblicato come pesi aperti il 28 ottobre 2026, è un modello linguistico arricchito per l'elaborazione vocale da 30 miliardi di parametri che richiede un acceleratore di classe datacenter e circa sessanta gigabyte di pesi BF16. Il modello di NVIDIA è sessantaquattro volte più grande e, stando ai dati di throughput pubblicati da ciascun fornitore, circa quarantatré volte più lento per GPU-secondo. È anche l'unico dei due che può dirti chi stava parlando.

Nessuno di quei due fatti è decisivo. Descrivono due macchine diverse che capita vengano misurate sulla stessa classifica, e l'intera questione è se il tuo carico di lavoro abbia bisogno dello spazio o soltanto delle parole.

Un modello CTC non autoregressivo contro un LLM vocale generativo

Granite Speech 5.0 470M TurboCTC è composto da sedici blocchi Conformer con uno strato di output BPE da 16.384 unità, addestrato con un obiettivo CTC e decodificato in modo greedy. Non c'è alcun modello linguistico, alcun projector e alcun ciclo generativo: entra l'audio, esce una sequenza di etichette sincrona rispetto ai frame, sottocampionata da 100 Hz a 12,5 Hz. Questo design è il motivo per cui è veloce, per cui è piccolo e per cui non può fare nulla che non sia coperto dall'insieme di etichette. Non ha alcuna nozione di prompt, alcuno stile di output, alcuna lingua di destinazione della traduzione e alcun campo relativo al parlante.

{{1}}Nemotron 3.5 Transcribe{{/1}} adotta l’architettura opposta, e la differenza non è una questione di salto generazionale. Un codificatore vocale alimenta un modello {{2}}Nemotron 3 Diarization{{/2}} congelato, il cui segnale di attività del parlante viene iniettato nel codificatore tramite un {{3}}Parallel Expert Encoder{{/3}}, e un decoder ibrido {{4}}Mamba–Transformer{{/4}} mixture-of-experts produce la trascrizione come testo, con circa 4 miliardi dei suoi 30 miliardi di parametri attivi per token. Poiché l’output viene generato anziché classificato, è possibile impartire istruzioni: forma letterale o scritta, un elenco di entità attese, una lingua di destinazione, output con attribuzione del parlante oppure una risposta parlata a una domanda sull’audio.

• Parametri — circa 30B in totale, all'incirca 4B attivi per token rispetto a 470M solo encoder.

• Decodifica — generazione autoregressiva su un MoE da 30B rispetto a CTC non autoregressivo greedy.

• Licenza — OpenMDW-1.1 vs Apache-2.0 (la più permissiva delle due; la variante -nc separata di IBM è CC-BY-NC-SA-4.0).

• Ingombro — circa 60 GB nelle build BF16, NVFP4 e GGUF offerte, contro 279 MB a Q4_K_M in un port GGUF della community.

• Lingue — 40 trascritte, 31 tradotte rispetto a 7 (inglese, francese, tedesco, spagnolo, portoghese, italiano, giapponese) dopo l'aggiornamento multilingue del 21 ottobre 2026.

• Parlanti — fino a 8, attribuiti, in 13 lingue rispetto a nessuno; la diarizzazione richiede un modello separato.

• Timestamp — a livello di parola tramite un adattatore CTC post-decodifica vs nessuno; le posizioni di picco CTC non sono confini di parola.

• Streaming — nessuno, solo audio registrato vs nessuno.

Il divario di accuratezza è inferiore al divario dimensionale, e le medie non corrispondono.

IBM riporta un tasso medio di errore di parola del 5,51% su nove set di test pubblici in inglese per la versione multilingue TurboCTC, migliorato rispetto al 5,78% del lancio di agosto. NVIDIA riporta un WER medio in inglese del 5,33% nella Hugging Face Open ASR Leaderboard e del 4,71% su nove set di test pubblici nella propria pagina di ricerca. Entrambi i numeri sono riportati dai fornitori, e le due medie non derivano dalla stessa miscela: i nove set di IBM e la voce di NVIDIA con otto set nella classifica differiscono per composizione e normalizzazione, e il dato separato sui nove set nella pagina di ricerca differisce ancora dalla sua stessa voce in classifica. Non sottrarli e chiamare la differenza un divario di qualità. L'affermazione difendibile è più ristretta: nella classifica pubblica inglese per il parlato di forma breve questi due modelli sono entro un paio di decimi di punto l'uno dall'altro, il che è un risultato notevole per un modello 64 volte più piccolo e un monito su quanta parte della media di una classifica sia parlato letto pulito modellato su LibriSpeech.

Anche il tasso di errore di parola nasconde ciò che in realtà li distingue. Granite è un classificatore: emette la sequenza di etichette più probabile e, dove l'acustica è ambigua, emette qualcosa di plausibile. Nemotron genera testo con un modello linguistico alle spalle, ed è per questo che la sua affermazione sul prompting contestuale — una riduzione di sei volte degli errori sulle entità nominate su ContextASR-Bench con un elenco di entità nel prompt — è persino possibile. Su una trascrizione di una chiamata di vendita piena di codici prodotto, il modello piccolo non ha alcun meccanismo per il bias, mentre quello grande sì.

Throughput: 19.870 RTFx rispetto a 462

La voce della classifica di Hugging Face per Nemotron 3.5 Transcribe riporta un RTFx di 462,09 — il che significa che il modello elabora circa 462 secondi di audio per ogni secondo di calcolo sull'harness della classifica. L'aggiornamento di ottobre di IBM riporta 19.870 RTFx per TurboCTC su una singola H200, in aumento rispetto a circa 12.600 al lancio dopo un'ottimizzazione di riutilizzo del grafo a blocco singolo. Si tratta di una differenza di quarantatré volte e, a differenza dei valori WER, è almeno misurata su due acceleratori competitivi anziché su due diverse miscele di test.

Il titolo di NVIDIA riguarda un tipo diverso di numero: fino a 2.238 secondi di audio al secondo su una singola RTX PRO 6000 Blackwell, utilizzando il checkpoint NVFP4 e un modello draft DFlash2. È superiore ai 462 della classifica perché si tratta di una misurazione diversa — clip da 30 secondi con elevata concorrenza, come afferma il post di NVIDIA su Hugging Face, con decodifica speculativa abilitata e una quantizzazione ancora descritta come imminente. Leggendo i due dati insieme, la conclusione onesta è che la throughput di Nemotron dipende dalla configurazione di un ordine di grandezza, mentre quella di TurboCTC è una proprietà della sua architettura. Un modello senza ciclo autoregressivo non può essere lento come può esserlo un MoE da 30B.

Cosa ti danno 470 milioni di parametri che 30 miliardi non possono darti

Il primo elemento di risposta è la forma di distribuzione. Un GGUF da 279MB gira su una CPU, su un dispositivo edge di classe telefonica, all'interno di un'applicazione desktop, su una scheda di classe Raspberry Pi se si ha pazienza. Oggi esistono porte GGUF della comunità e una famiglia di runtime C++ che tratta il modello come un motore di prima classe. Nemotron 3.5 Transcribe gira sotto vLLM con il plugin NeMo Speech, oppure SGLang-Omni, su un acceleratore da 80GB in BF16 o su una scheda Blackwell in NVFP4. Non sono due punti su uno spettro; sono categorie di approvvigionamento diverse.

Il secondo è la soglia minima di latenza. Un modello CTC restituisce una trascrizione in un singolo passaggio forward. Un modello generativo restituisce un token alla volta, e la sua latenza in tempo reale su un file breve è dominata dal ciclo di decodifica più che dall'audio. Per gli archivi in batch questo è irrilevante. Per qualsiasi cosa interattiva — un riquadro di dettatura, un monitor della qualità delle chiamate, uno strumento di sottotitoli che deve tenere il passo con uno scorrimento — il modello piccolo è l'unico dei due che finisce prima che l'utente se ne accorga.

Il terzo è la chiarezza delle licenze. Apache-2.0 è la licenza che i dipartimenti legali hanno già approvato; OpenMDW-1.1 è abbastanza recente che alcuni di loro vorranno una revisione. Se il tuo ostacolo è un modulo di approvvigionamento anziché un benchmark, il modello di IBM lo supera più rapidamente.

Cosa ti danno 30 miliardi di parametri che 470 milioni non possono darti

Gli speaker, prima di tutto e in modo decisivo. TurboCTC non ha alcuna rappresentazione degli speaker. Per ottenere trascrizioni con attribuzione del parlante serve un modello di diarizzazione a monte, uno stadio di fusione e un budget di errore per la fusione — la classica cascata. Nemotron 3.5 Transcribe integra un modello di diarizzazione congelato nell'encoder ed emette direttamente le etichette degli speaker, fino a otto, in 13 lingue, con temporizzazione delle parole attribuita allo speaker tramite un adattatore CTC post-decodifica. Il tasso di errore di diarizzazione riportato da NVIDIA è 18,26% su 21 lingue nel benchmark David AI, il migliore tra 14 sistemi, con il concorrente più vicino rappresentato dal suo stesso modello Nemotron 3 Diarization al 18,38%. Sono numeri del fornitore su un harness del fornitore e non sono stati riprodotti in modo indipendente. Il confronto con la cascata che implicano — un modello contro tre — non è affatto un'affermazione basata su benchmark, è una descrizione del deployment.

Lingue e traduzione al secondo posto. TurboCTC copre sette lingue dopo il suo aggiornamento di ottobre; Nemotron ne copre quaranta per la trascrizione e trentuno per la traduzione da o verso l'inglese. Se la vostra coda è europea e monolingue, sette bastano. Se non lo è, il confronto finisce.

Terzo: il fine-tuning. NVIDIA riporta un adattamento su una singola GPU pari a 0,5–2,3 GPU-ore per attività, e un esempio nel parlato medico in cui un fine-tuning ha ridotto il tasso di errore di parola dal 30,8% all'11,8% su 3.619 clip, con parlanti tenuti da parte che sono migliorati dal 22,44% al 12,17%. Anche TurboCTC di IBM è fine-tunabile — è Apache-2.0 — ma si tratterebbe di fare fine-tuning di una testa CTC su un modello molto più piccolo, e il tetto di ciò che un contesto aggiuntivo può offrirti è più basso perché non c'è un modello linguistico da convincere.

Il modello di costo che lo decide

L'economia di TurboCTC è quasi noiosa. Un H200 che serve 19.870 RTFx satura una coda molto grande; una build quantizzata da 279 MB su CPU commodity costa quasi nulla per ora audio, e l'elettricità è la voce di costo. Non c'è alcun contatore al minuto da nessuna parte nello stack.

L'economia di Nemotron ha la stessa forma su una scala diversa: nessun contatore al minuto, ma un acceleratore molto più grande e un tetto di throughput molto più basso. Una singola scheda Blackwell che elabora 2.238 secondi di audio al secondo copre 100 ore in meno di tre minuti ad alta concorrenza e considerevolmente meno su riunioni di un'ora con sovrapposizione.

Una coda da 20 ore al mese — TurboCTC su CPU è praticamente gratuito; Nemotron richiede un acceleratore noleggiato o di proprietà che resterà inattivo per la maggior parte del mese.

• Un archivio da 2.000 ore al mese senza requisiti sui parlanti — TurboCTC su una singola GPU, o una piccola flotta di CPU, è la configurazione più economica e più veloce di gran lunga.

• Un archivio da 2.000 ore al mese di riunioni a sei persone — TurboCTC più un diarizzatore più un livello di fusione, misurato rispetto a Nemotron su una scheda. Questa è l'unica configurazione in cui il prezzo del modello grande è difendibile, e anche qui la cascata è più economica sull'hardware.

• Qualsiasi cosa soggetta a un vincolo di riservatezza che vieti il caricamento dell'audio — entrambi sono auto-ospitabili, quindi il vincolo è soddisfatto in ogni caso, e la decisione ricade su parlanti e lingue.

La metà di post-elaborazione della pipeline è il punto in cui un layer di routing si guadagna il suo posto, indipendentemente da quale recogniser si scelga. Le trascrizioni vengono riassunte, taggate e instradate, e OrcaRouter mette oltre 200 modelli di testo e multimodali dietro un'unica chiave con i prezzi di listino dei provider trasferiti a un markup dello 0%, failover automatico, e un DSL di routing che può inviare una classe di trascrizioni a un riassuntore economico e un'altra a un modello più potente senza una seconda integrazione. Né Nemotron 3.5 Transcribe né Granite Speech 5.0 470M TurboCTC è servito su quel catalogo — non ospitiamo servizi di speech-to-text — quindi la scelta dello speech resta un contratto separato e solo il layer al di sopra diventa portabile.

Scegli in base alla natura del lavoro, non alla classifica.

Se il compito è «trascrivere in testo una grande quantità di audio pulito, in gran parte in inglese, nel modo più economico e rápido possibile», Granite Speech 5.0 470M TurboCTC vince e il confronto non regge — è un modello da 279MB con licenza Apache che supera in velocità un sistema da 30B di oltre quaranta volte e non rinuncia quasi a nulla sulla media pubblica dell'inglese. La cascata che costruisci per i parlanti è il prezzo di quell'efficienza, e se non hai mai avuto bisogno dei parlanti, non lo paghi mai.

Se il compito è «produrre una trascrizione strutturata, temporizzata e con attribuzione da una registrazione difficile in una delle quaranta lingue», Nemotron 3.5 Transcribe è l'unico dei due a tentarlo, e i numeri di diarizzazione del fornitore — non ancora riprodotti in modo indipendente — suggeriscono che lo faccia meglio delle cascate che sostituisce. Il costo in termini di throughput è reale, il costo hardware è reale, e per un carico di lavoro con molte riunioni nessuno dei due è proibitivo.

L'errore da evitare è trattarlo come una gara tra generazioni. Un modello CTC da 470M non è una versione obsoleta di un LLM vocale da 30B; è uno strumento diverso che, per caso, ottiene punteggi simili su un benchmark costruito per lo più con parlato letto pulito. Il prossimo rilascio non lo renderà obsoleto. La tua peggiore registrazione ti dirà quale ti serviva.