Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo: 40× l'occupazione per un punto WER

Se il tuo lavoro di trascrizione è una cartella di clip di interviste mono da tre minuti e la macchina che hai è una scheda workstation da 24 GB, il confronto tra Nemotron 3.5 Transcribe e Whisper Large v3 Turbo è già deciso prima che l'accuratezza entri in scena. Il nuovo modello di NVIDIA è un sistema vocale da 34 miliardi di parametri che è stato validato su un acceleratore da 80 GB. La variante turbo di OpenAI è un modello da 809 milioni di parametri che sta in 0,8 GB di pesi int8 e gira su una CPU. Vengono confrontati questa settimana perché i loro tassi di errore sono finiti a circa un punto l'uno dall'altro, e questo è il fatto meno utile dell'abbinamento.

Nemotron 3.5 Transcribe è stato rilasciato il 2026-10-28 come open weights con licenza OpenMDW-1.1, che ne consente l'uso commerciale. Whisper Large v3 Turbo risale al 2024-10-01 ed è distribuito con licenza MIT; non è una novità, è il baseline rispetto al quale viene misurato ogni nuovo modello vocale. La domanda a cui risponde questo articolo non è quale dei due ottenga punteggi migliori — entrambi i fornitori vorrebbero che lo si leggesse così — ma quale dei due si possa davvero eseguire, a quale costo, sull'audio che si ha a disposizione.

Cosa è realmente ciascun modello

La differenza di architettura non è un divario generazionale. È una differenza di categoria, e spiega quasi ogni compromesso a valle.

• Architettura — un LLM ibrido Mamba–Transformer mixture-of-experts con un encoder vocale e un encoder di diarizzazione congelato da 99M integrato, circa 34B complessivi con 4,3B attivi per token, rispetto a un encoder–decoder distillato da large-v3 con il decoder ridotto da 32 layer a 4.

• Finestra audio — registrazioni fino a un'ora elaborate in un'unica passata, rispetto a una finestra fissa di 30 secondi con decodifica in blocchi dei contenuti di lunga durata per qualsiasi registrazione più lunga.

• Etichette dei parlanti — integrate nell'output, fino a 8 parlanti, in 13 lingue, contro nessuna etichetta; Whisper non ha alcun token relativo ai parlanti nel proprio vocabolario, quindi è obbligatorio un diarizer separato.

• Temporizzazione a livello di parola — un adattatore CTC leggero allinea la trascrizione finale all'audio, rispetto a soli token di timestamp a livello di segmento, con la temporizzazione a livello di parola che richiede allineamento forzato.

• Copertura linguistica — 40 lingue trascritte, 31 tradotte da o verso l'inglese, 13 con attribuzione del parlante, rispetto a 99 lingue trascritte e non tradotte.

• Pesi su disco — circa 68GB in BF16 con licenza OpenMDW-1.1, rispetto a 1,6GB in fp16, 0,81GB int8, con licenza MIT.

I numeri sull'accuratezza non coincidono, e questo è il punto.

Artificial Analysis gestisce l'unico indice pubblico in cui entrambi i modelli compaiono sulla stessa scala, e i suoi numeri meritano una lettura attenta perché non concordano tra loro. Nella tabella della classifica, Whisper Large v3 Turbo è riportato al 4,6% di AA-WER su un endpoint di inferenza rapida e al 5,5% su un secondo. Nemotron 3.5 Transcribe è riportato al 3,4% per un endpoint ospitato. L'annuncio di NVIDIA cita 2,80% di AA-WER, a pari merito al primo posto tra i modelli open-weight, e la sezione testuale della stessa classifica ripete 2,8%, mentre la sua tabella riporta 3,4%: una discrepanza all'interno di una singola pagina, prima ancora che qualcuno inizi a confrontare i fornitori.

Prendete la tabella per buona e Nemotron 3.5 Transcribe è migliore di circa 1,2 punti. Ora notate che le due voci di Whisper Large v3 Turbo differiscono di 0,9 punti sul medesimo modello. La maggior parte del divario apparente tra questi due sistemi è dovuta alla configurazione degli endpoint — batching, impostazioni di decodifica, pre-elaborazione audio — non all'architettura. Chiunque citi una singola differenza di WER come verdetto cita un numero che varia di quasi la stessa misura quando si cambiano gli host.

La Open ASR Leaderboard racconta una storia che suona più importante. La media inglese di Whisper Large v3 Turbo per le forme brevi si aggira intorno al 7,8% lì, mentre NVIDIA riporta 4,71% per il suo modello su nove set di test nella pagina di ricerca, e un WER medio inglese del 5,33% nel post che l'accompagna su Hugging Face. Si tratta di combinazioni di test diverse con normalizzazioni diverse, quindi il divario di tre punti è al massimo indicativo. Ciò che conta di più è quello che non esiste: un confronto testa a testa del fornitore con Whisper Large v3 Turbo. NVIDIA confronta il suo modello con sistemi di diarizzazione a cascata e con altri modelli vocali a pesi aperti, non con il checkpoint turbo che la maggior parte dei team utilizza oggi. Ogni cifra "batte Whisper" in circolazione è un'inferenza tra benchmark, compresa la nostra.

Il divario di capacità che Whisper non può colmare

Tralasciando l’output guidato dal prompt, la differenza operativa è che Nemotron 3.5 Transcribe produce trascrizioni con attribuzione degli speaker in un’unica passata. I tag degli speaker provengono dall’encoder di diarizzazione congelato, fuso nelle feature audio, la risposta contiene i segmenti grezzi degli speaker insieme alla trascrizione con i tag, e il modello li etichetta da <spk:0> a <spk:7>. Per un podcast a due persone è una comodità. Per un’udienza disciplinare di 60 minuti, una visita clinica o una chiamata di vendita a più partecipanti, è il prodotto.

Whisper Large v3 Turbo non può in alcun modo rappresentare un parlante. Le sue trascrizioni di addestramento non hanno mai riportato etichette di parlante, e il suo input viene ridotto a mono a 16 kHz, il che distrugge l'unico indizio fisico che sarebbe potuto sopravvivere. Chiedergli di produrre etichette restituisce testo che sembra corretto e non ha alcun fondamento nell'audio. La soluzione alternativa standard è WhisperX: allineamento forzato per la temporizzazione delle parole più un modello di diarizzazione ospitato separatamente, uniti ai confini dei segmenti. Funziona, è ampiamente distribuito, e sono tre componenti in gioco dove Nemotron 3.5 Transcribe è una sola.

Lo stesso vantaggio strutturale vale per l'audio lungo. Un'ora in un'unica passata è meglio di unire finestre da 30 secondi, e l'unione delle finestre ha un modalità di errore nota: il decoding senza token di timestamp perde parole a quasi ogni confine — un intervento da 20 minuti misurato in quel modo ha perso circa il 3% delle sue parole. L'adattatore CTC di Nemotron 3.5 Transcribe esiste proprio per evitare quella classe di errori, anche se va notato che i timestamp delle parole non facevano parte del supporto iniziale di vLLM.

Sui compiti per cui è stato costruito, i numeri riportati da NVIDIA sono solidi e dichiarati dal fornitore: 18,26% di DER su 21 lingue nel benchmark di diarizzazione David AI, descritto come il migliore tra 14 sistemi; 32,4% di cpWER su VoiceArena, anch'esso il migliore tra 14. Le liste di entità contestuali, fornite nel prompt, vengono accreditate di una riduzione di sei volte degli errori sulle entità nominate in ContextASR-Bench. Nessuno di questi dati ha ancora una replica indipendente, e tutto ciò è un'affermazione su un modello che ha un giorno di vita.

Dove Whisper Large v3 Turbo vince ancora nettamente

L'ampiezza linguistica è la prima risposta, ed è meno noiosa di quanto sembri. Whisper Large v3 Turbo copre 99 lingue. Nemotron 3.5 Transcribe ne copre 40 per la trascrizione, 31 per la traduzione e 13 per l'attribuzione dei parlanti. Se la tua coda contiene kazako, tamil, swahili o gallese, il confronto finisce lì: il modello turbo li trascrive, mentre il modello più nuovo e più grande non ne rivendica la capacità.

La seconda risposta è l'attrito di deployment. Whisper Large v3 Turbo gira con whisper.cpp, faster-whisper e MLX, su CPU, su un laptop, su un Jetson. Nemotron 3.5 Transcribe richiede vLLM 0.32.0 più il plugin NeMo Speech, oppure SGLang-Omni 0.2.0, su una H100 da 80 GB in BF16, una L40S in FP8, o una RTX 5090 in NVFP4. Non sono impegni operativi comparabili.

Il terzo è che il prezzo di turbo è una tariffa oraria pubblicata e noiosa. Gli endpoint ospitati fatturano circa $0.04 per ora audio con un minimo di dieci secondi, e funziona a circa 250× in tempo reale su un endpoint veloce. Mille ore di audio costano circa $40. Nemotron 3.5 Transcribe non ha un prezzo di listino divulgato per il checkpoint completo, e gli endpoint ospitati che lo offrono non pubblicano tariffe al minuto.

Verifica quale Nemotron 3.5 stai sottoponendo a benchmark

L'errore più comune nella copertura di questa settimana è confrontare il modello sbagliato. Una gran parte dei confronti pubblicati su "Nemotron 3.5" valuta in realtà nvidia/nemotron-3.5-asr-streaming-0.6b — un modello streaming cache-aware da 0,6B di una release precedente, con i suoi numeri e i suoi punti deboli. Se una tabella menziona chunk da 80 ms a 1120 ms, non sta testando Nemotron 3.5 Transcribe. Questo è importante perché il modello streaming perde contro Whisper Large v3 Turbo in accuratezza grezza nei confronti reali (3,35% contro 2,55% su una classifica multilingue) e perde nettamente sull'allineamento delle parole, mentre il modello discusso qui è un sistema diverso, non streaming, da 34B.

La seconda trappola è l'erogazione. Il percorso facile, SGLang-Omni 0.2.0, ti offre un endpoint funzionante senza NeMo — e senza timestamp, etichette degli speaker o traduzione. Il percorso completo, vLLM 0.32.0 con il plugin NeMo Speech, ti offre tutte e tre le cose, ma i timestamp a livello di parola sono arrivati come follow-up anziché nella prima PR. Tre ricette di deployment chiamate "Nemotron 3.5 Transcribe" possono quindi comportarsi come tre prodotti diversi. Se l'attribuzione degli speaker è il motivo per cui stai cambiando, verifica quel percorso prima di impegnare tempo ingegneristico.

Quanto costa gestirlo, onestamente

Il confronto lato hosting è quasi banale: Whisper Large v3 Turbo a circa $0,04 per ora audio costa ~$40 per mille ore, senza hardware da possedere. Nemotron 3.5 Transcribe non è ancora venduto in questo modo, quindi un team che lo desidera sta facendo i conti con una GPU, non con una bolletta.

La dichiarazione di throughput di NVIDIA stessa rappresenta il limite minimo di calcolo: 2.238 secondi di audio per ogni secondo di tempo GPU, NVFP4 con il drafter DFlash2 su una RTX PRO 6000 Blackwell, il che equivale a circa 100 ore di audio in meno di tre minuti. A circa 2 dollari per GPU-ora on-demand, ciò implica un limite ben al di sotto di un centesimo per ora di audio — con batching completo, che però non è il modo in cui si comporta una coda di produzione. Consideralo il tetto di ciò che l'hardware può fare, non come un tasso che raggiungerai.

Il che significa che il vero confronto non è Whisper Large v3 Turbo contro Nemotron 3.5 Transcribe. È Nemotron 3.5 Transcribe contro Whisper Large v3 Turbo più un modello di diarizzazione, un allineatore forzato, codice per l'unione dei segmenti e il tuning per lingua che quel collante richiede. Se già usi WhisperX in produzione, hai pagato gran parte di quel costo e l'argomento a favore del passaggio è più debole di quanto suggerisca il divario di WER. Se non l'hai costruito, il modello 30B compete con una pipeline che altrimenti dovresti dotare di personale.

Una nota pratica per chiunque li utilizzi entrambi durante una migrazione: mantenere due backend di trascrizione dietro un endpoint compatibile con OpenAI trasforma il passaggio a una modifica di configurazione anziché a un secondo contratto con un fornitore. È il livello che OrcaRouter esiste per fornire — una chiave e un endpoint tra i provider che instrada, con il prezzo di listino del provider trasferito senza ricarico (margine 0%) e failover automatico tra di essi. Non cambia quale modello sia migliore. Cambia quanto costa scoprirlo e quanto costa sbagliarsi al riguardo.

Chi dovrebbe scegliere cosa

• Registrazioni di riunioni, legali, cliniche o di contact centre con più interlocutori e una traccia di controllo — Nemotron 3.5 Transcribe. L'attribuzione degli interlocutori e le temporizzazioni delle parole in un'unica passata sono la funzionalità che altrimenti dovresti assemblare, e la finestra di un'ora elimina del tutto la logica di suddivisione in blocchi.

• Audio mono ad alto volume, ampia copertura linguistica, distribuzione su laptop o CPU, fatturazione oraria prevedibile — Whisper Large v3 Turbo. Con 809M parametri e $0.04 all'ora è la risposta corretta più economica per una quota molto ampia del traffico reale, ed è collaudata da due anni.

• Carichi di lavoro misti — esegui turbo su tutto e indirizza al modello più grande solo l'audio che richiede parlanti, liste di termini tecnici o traduzione. La regola di selezione si basa sulle proprietà dell'audio, non sul prestigio del modello: numero di parlanti, presenza di un glossario di dominio e durata della registrazione.

Domande che vale la pena porsi prima di migrare

Nemotron 3.5 Transcribe può funzionare su una singola GPU da 24 GB?

Non in modo agevole. NVIDIA ha validato BF16 su una H100 da 80 GB, FP8 su una L40S e il checkpoint NVFP4 su una RTX 5090, che è una scheda da 32 GB. Un dispositivo da 24 GB è al di sotto di ogni configurazione validata, e l'audio tower viene copiato su ogni rank tensor-parallel, quindi lo sharding multi-GPU non compensa i limiti di una singola scheda di piccole dimensioni.

Whisper Large v3 Turbo esegue l'etichettatura dei parlanti o la traduzione?

Nessuno dei due. La variante turbo è stata addestrata solo sulla trascrizione, quindi assegnarle un compito di traduzione produce un output inutilizzabile — la traduzione richiede il checkpoint completo large-v3. Le etichette degli interlocutori richiedono un diarizer separato come pyannote, e unire i suoi turni ai timestamp approssimativi dei segmenti di Whisper è la parte della pipeline che richiede più tempo per essere messa a punto.

Il gap tra i parametri è visibile come latenza?

Non al minuto di audio, no. Whisper Large v3 Turbo restituisce una finestra di 30 secondi in molto meno di un secondo su un endpoint hosted veloce, e Nemotron 3.5 Transcribe elabora un file di un'ora in un'unica passata a un throughput che NVIDIA descrive nell'ordine delle migliaia di secondi di audio per secondo di GPU. La differenza visibile è altrove: turbo non ha una modalità streaming e nemmeno Nemotron 3.5 Transcribe, quindi la sottotitolazione in tempo reale è fuori ambito per entrambi.

Quale è migliore per l'audio non in inglese?

Nessuna delle due risposte è sicura. Whisper Large v3 Turbo copre 99 lingue con una qualità che varia molto da lingua a lingua, e Nemotron 3.5 Transcribe ne copre 40 con risultati multilingue riportati dal fornitore e una ricetta di adattamento — NVIDIA riporta un dominio medico held-out che migliora dal 22,44% al 12,17% di WER dopo fine-tuning su una GPU per alcune ore. Non esiste ancora un confronto indipendente testa-a-testa multilingue, quindi per qualsiasi lingua diversa dall'inglese la mossa responsabile è un test cieco sul proprio audio.

Che cosa cambierebbe questo verdetto?

Tre cose, in ordine di probabilità. L'arrivo dei timestamp a livello di parola nell'API di trascrizione di vLLM renderebbe il percorso di serving completo quello predefinito e ridurrebbe il divario tra le tre ricette di deployment. Checkpoint quantizzati distribuiti ampiamente abbasserebbero il limite hardware da una scheda da 80 GB verso i dispositivi consumer. E un confronto testa a testa multilingue davvero indipendente contro Whisper Large v3 Turbo sostituirebbe l'inferenza con la misurazione.

Finché uno di questi non arriva, la decisione non si gioca su un decimo di punto di WER. È una questione che riguarda il tuo audio: se contiene più di una voce e devi sapere quale voce ha detto cosa, Nemotron 3.5 Transcribe è il primo modello open che lo fa in un’unica passata senza una pipeline alle spalle. Se non è così, un modello da 809M rilasciato un anno fa fa ancora il lavoro a quaranta dollari ogni mille ore, e il modello da 34B è una grande quantità di hardware da acquistare per un numero che cambia quando cambi host.