Nemotron 3.5 Transcribe: l'LLM vocale di NVIDIA supera la cascata di diarizzazione — in 13 lingue

NVIDIA ha rilasciato Nemotron 3.5 Transcribe il 28 ottobre 2026 con licenza aperta, e il numero in ogni titolo dedicato è 40: quaranta lingue, un unico checkpoint, etichette dei parlanti incluse. Il numero che cambia davvero il modo in cui si costruisce uno stack di trascrizione è 15.80. È il cpWER medio del modello sul set di benchmark multi-parlante di NVIDIA, contro 16.83 della migliore cascata specializzata con cui l'azienda lo ha confrontato — un riconoscitore vocale più una pipeline di diarizzazione separata, connessi tra loro nel modo in cui lo sono ancora la maggior parte dei sistemi di trascrizione di riunioni in produzione. NVIDIA sostiene che questo sia il primo LLM vocale a superare questa configurazione, ed è l'affermazione che vale la pena mettere alla prova, perché è quella che elimina un componente dall'architettura invece di aggiungere una lingua a un elenco.

La cifra delle 40 lingue è reale ma più ristretta di quanto sembri a leggerla. L’attribuzione dei parlanti — la parte che sostituisce la cascata — è addestrata per tredici lingue, non quaranta. Il modello legge solo file registrati, fino a un’ora per volta, senza alcun percorso di streaming. E non è un download leggero: 34B parametri in totale, circa 4,3B attivi per token, con una H100 80GB come baseline dichiarata per il serving in BF16. Questi tre vincoli decidono se il risultato della diarizzazione è qualcosa che puoi usare questo trimestre o qualcosa che annoti per il prossimo.

Cosa ha effettivamente rilasciato NVIDIA

Il checkpoint è pubblicato come NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, e il divario tra quel nome e il numero di parametri pubblicato è la prima cosa da chiarire. Il modello si basa su Nemotron 3.5 Lightning 30B-A3B, un modello linguistico mixture-of-experts ibrido Mamba-2 e Transformer; la scheda modello di NVIDIA indica un totale di 34B parametri, con circa 4,3B attivi includendo lo stack audio. Il peso extra rispetto ai 30B nel nome è costituito dagli encoder: circa 600M per il transformer ASR e circa 99M per l'encoder del parlante, circa 800M insieme, lasciando il backbone linguistico a circa 3,5B attivi. Diversi articoli hanno riportato ciò come un'incongruenza; non lo è, è un nome che conta l'LLM e una scheda che conta l'intero sistema.

Architetturalmente, il componente che vale la pena comprendere è l'encoder esperto parallelo. Un modello Nemotron 3 Diarization congelato produce rappresentazioni dell'attività dei parlanti, che vengono iniettate nell'output dell'encoder ASR, così il modello linguistico vede sia le parole sia chi è probabilmente a pronunciarle in un'unica passata. Un adattatore CTC leggero allinea poi il testo generato all'audio per produrre timestamp delle parole attribuiti ai parlanti. Non c'è una seconda fase di allineamento né una chiamata a pyannote nel mezzo. La previsione multi-token nativa funge anche da bozza per la decodifica speculativa all'interno di vLLM, e NVIDIA distribuisce anche un modello draft DFlash2 addestrato separatamente.

• Parametri totali e attivi — 34B totali, ~4,3B attivi per token, di cui ~3,5B costituiscono la spina dorsale linguistica

• Contesto e audio — 65.536 token, registrazioni fino a 1 ora a 16 kHz mono, decodificate in blocchi interni da 30 secondi

Copertura linguistica — 40 lingue per la trascrizione, 32 per la traduzione da e verso l'inglese, 13 per la trascrizione con attribuzione del parlante

• Licenza — OpenMDW-1.1, uso commerciale e non commerciale consentito

• Baseline di serving — una H100 80GB in BF16; le build BF16, FP8 e NVFP4 sono pubblicate

• Streaming — nessuno; questo è un modello con input da file e output di trascrizione.

Il rilascio è una coppia di artefatti, e vale la pena tenerli separati perché la maggior parte della copertura li confonde. Accanto al modello, NVIDIA ha pubblicato Granary v2, un rilascio di pipeline per dati vocali anziché un checkpoint: 463.062 ore in 48 lingue e 16 corpora di origine, in aumento rispetto alle 25 lingue di Granary v1, costruito con NeMo Curator e distribuito con un manifest pubblico. Ogni record contiene tre forme di trascrizione — verbatim normalizzato nel testo, normalizzato inversamente con disfluenze e normalizzato inversamente senza di esse — oltre a etichette di attività, coppie domanda-risposta fondate sul parlato, termini di bias contestuale e un flag di qualità per record. Sono i dati che le ricette di fine-tuning si aspettano, non pesi che puoi eseguire. L'audio di origine deve ancora essere scaricato secondo la licenza di ciascun corpus, quindi Granary v2 è aperto nel senso in cui lo sono il suo manifest e la sua pipeline, non nel senso che l'audio sia libero di essere ridistribuito.

La licenza conta quanto i pesi. OpenMDW-1.1 consente l'uso commerciale, il che lo colloca nella stessa categoria della linea Voxtral di Mistral anziché nell'estremità dello spettro open-weight riservata alla sola ricerca. Il supporto runtime al lancio è più ampio di gran parte delle release di LLM per il parlato: vLLM 0.32.0 è il percorso principale e l'unico che offre il set completo di funzionalità, con timestamp a livello di parola che richiedono il runner V1 e il middleware per i timestamp, e senza DFlash2. SGLang-Omni 0.2.0 su SGLang 0.5.22 gestisce la trascrizione dell'intero file tramite l'endpoint audio compatibile con OpenAI, ma non i timestamp a livello di parola, l'output con attribuzione del parlante, la traduzione o il decoding speculativo. NeMo Speech fornisce il toolkit per il fine-tuning, Transformers supporta l'uso in-process da un'installazione dai sorgenti, e una build GGML copre selezionate parti Blackwell tra cui RTX 5090 e RTX PRO 6000.

Il risultato della diarizzazione è la storia

La tabella multi-parlante di NVIDIA è il punto in cui risiede il confronto in cascata, ed è insolitamente dettagliata per un post di lancio. Il cpWER medio sull'insieme è 15,80 rispetto a 16,83 per DiCoW v3.3 combinato con DiariZen. I numeri per condizione mostrano da dove deriva il margine e da dove no: AMI in condizioni close-talk raggiunge 10,29, AMI con microfono a distanza singola 17,34, CALLHOME CH109 11,50, Mixer 6 canale 4 14,80, NOTSOFAR-1 close-talk 14,94 e canale singolo 25,91, con AISHELL-4 a 32,91 cpCER e AliMeeting a 34,95. Il caso delle riunioni a banda larga e multi-canale è forte; il microfono singolo in far-field e l'audio di riunioni in cinese sono molto più deboli, il che descrive adeguatamente il punto in cui ogni sistema di diarizzazione fatica.

La corroborazione apparentemente indipendente su cui NVIDIA si appoggia è il Diarization-Bench di VoiceArena, dove il modello riporta un cpWER del 32,4% sulle sessioni complete in inglese, primo su quattordici sistemi. Il secondo classificato, Multitalker Parakeet abbinato a Nemotron 3 Diarization, è al 34,2%, e il resto del campo va dal 34,7% al 71,9%. NVIDIA riporta anche cancellazioni di parole pari all'8,32% delle parole di riferimento, rispetto a una mediana del campo intorno al 31%. Quel secondo dato è il più utile per chiunque abbia già distribuito una trascrizione: il cpWER può essere alterato eliminando le parole di cui non si è sicuri, e un sistema che mantiene il 92% delle parole di riferimento mentre vince la metrica sta facendo la cosa più difficile. Entrambi sono numeri riportati dal fornitore su un benchmark di terze parti, non una valutazione indipendente del modello.

Il limite è il numero di lingue. L'attribuzione degli interlocutori è addestrata per tredici lingue — inglese, francese, tedesco, hindi, italiano, coreano, portoghese, russo, spagnolo, giapponese, thai, arabo e cinese — e supporta fino a otto interlocutori. Se le vostre registrazioni sono riunioni in inglese o in una delle altre dodici lingue, l'argomentazione sulla sostituzione a cascata è applicabile. Se il vostro audio è in polacco, turco o vietnamita, ottenete la trascrizione senza diarizzazione e avete comunque bisogno del secondo componente.

Dove si posiziona davvero: tre classifiche, tre risposte diverse

Il dato per l’inglese dipende da quale pagina NVIDIA si consulta, e vale la pena essere precisi su questo anziché scegliere il valore più favorevole. Il WER medio sui nove set della model card è del 4,71%, con Qwen3-ASR-1.7B subito dopo al 4,94%. L’articolo di NVIDIA su Hugging Face dello stesso giorno riporta 5,33% come WER medio sulla Hugging Face Open ASR Leaderboard, con un RTFx di 462,09, e Qwen3-ASR-1.7B al 5,4%. Entrambi sono dati del produttore stesso, pubblicati a poche ore di distanza, e la differenza sta in quali set di test rientrano nella media. Non calcolarne la media, non sottrarre l’uno dall’altro e non considerare definitivo il decimale. Ciò che rimane valido in entrambe le letture è la posizione: primo tra i modelli open-weight su quella classifica.

Il resto del set riportato dai vendor è coerente nella forma. Il WER medio multilingue è del 4,62% su sette lingue contro il 6,49% di Qwen3-ASR-1.7B. La media long-form è del 10,98% contro il 13,37% di Parakeet-TDT-0.6B-v3. Il controllo dello stile segna 7,56% per impostazione predefinita e 6,16% quando viene impartita l'istruzione, contro Canary-Qwen a 8,16% e 8,36%. Il prompting contestuale sposta ContextASR-Bench dal 3,33% senza contesto all'1,71% con contesto dettagliato, e la trascrizione di earnings call dal 12,54% al 9,58% con contesto locale fornito.

Il controllo indipendente racconta una storia meno lusinghiera, ed è quella da leggere se questa settimana state scegliendo tra modelli. Nell'indice di errore a livello di parola non in streaming di Artificial Analysis, verificato il 29 ottobre, Nemotron 3.5 Transcribe riporta 2,8%. Voxtral Small Transcribe 3 riporta 2,1% e MAI-Transcribe-2 riporta 2,0% nella stessa vista, mentre Gemini 3.5 Transcribe si attesta al 2,6%. L'impostazione di NVIDIA secondo cui è "a pari merito al primo posto tra i modelli open-weight" è difendibile rispetto al modello specifico che cita — Voxtral Small, che lo stesso indice riporta anch'esso a 2,8% e che NVIDIA descrive come un modello da 24B rispetto ai circa 4B parametri attivi di questo — ma la classifica ha superato quel confronto prima che questo modello fosse rilasciato. Un più recente modello gemello di Mistral, Voxtral Small Transcribe 3, ha un tasso di errore inferiore di circa un quarto nella stessa vista. Ciò non rende sbagliato il risultato di diarizzazione, perché Voxtral non esegue l'attribuzione del parlante in un'unica passata. Significa però che la frase corretta è "miglior modello open-weight per ASR con attribuzione del parlante" e non "miglior trascrittore open-weight".

È nella coda per lingua che i deployment falliscono

Copertura e parità sono affermazioni diverse, e la model card di NVIDIA pubblica dettagli per lingua sufficienti a vedere la distanza tra le due. La matrice delle lingue ha 41 righe; il norvegese compare senza segni di spunta relativi ai task, lasciando 40 lingue effettivamente contrassegnate per l'ASR. Su FLEURS, i tassi di errore vanno dall'1,41% al 63,76% — e 63,76 è il norvegese. L'italiano raggiunge l'1,41, lo spagnolo il 2,20, il tedesco il 2,73, il francese il 3,16, l'inglese il 3,35, l'arabo il 6,35 e l'hindi il 7,47; il giapponese si attesta a 4,42 CER, il coreano a 2,78 CER e il cinese a 8,62 CER. Sulle medie per lingua della classifica multilingue, l'hindi è 9,15 OIWER contro l'olandese a 5,96 e il tedesco a 2,81.

Il code-switching, che la scheda dichiara per tutte le 40 lingue, è altrettanto irregolare: ASCEND mandarino-inglese raggiunge il 18,74% di errore misto, MUCS hindi-inglese il 19,28% e MUCS bengalese-inglese il 35,46%, con Monsoon hindi al 9,40% OIWER. Anche la qualità della traduzione spazia su un ampio intervallo — BLEU da FLEURS all'inglese da 6,40 a 44,33, dall'inglese a FLEURS da 8,70 a 42,65, e da CoVoST2 all'inglese da 6,95 a 54,46. La robustezza sul set HALAS è 31,50% WER, ed è questo il numero che dovrebbe ridimensionare qualsiasi piano basato su registrazioni sul campo con accento o rumorose.

La lettura pratica è che "40 lingue" è un'affermazione di copertura su cui puoi pianificare la capacità, non un'affermazione di qualità su cui puoi pianificare il prodotto. Verifica la lingua specifica e le condizioni di registrazione specifiche che ti interessano su qualche centinaio dei tuoi clip prima di prendere impegni. Il case study di fine-tuning della stessa model card è l'esempio da seguire: su un benchmark di parlato medico indiano, l'errore out-of-the-box era del 30,8%, un prompt che indicava inglese e alfabeto latino lo ha portato al 23,8%, e l'adattamento su circa 245 ore di dati lo ha portato all'11,8% — circa il 62% in meno di errori, con 14 GPU-ora di una GB300. I parlanti held-out sono passati dal 22,44% al 12,17%, una riduzione relativa del 45,8%, mentre LibriSpeech test-clean è sceso dall'1,54% all'1,69%, il consueto segno di un adattamento ristretto.

Quanto costa farlo funzionare e dove si inserisce il routing

NVIDIA non ha pubblicato un prezzo per il modello. Non esiste una tariffa al minuto sulla pagina di ricerca né sulla model card, i pesi sono gratuiti con licenza OpenMDW-1.1, e l'accesso in hosting al momento del lancio passa attraverso l'endpoint NIM di NVIDIA stesso, oltre a diverse piattaforme di terze parti che stabiliscono le proprie tariffe. Quindi la questione del costo è una questione di GPU, e i numeri al riguardo sono insolitamente completi.

Su una RTX PRO 6000 Blackwell Server Edition, la build NVFP4 con il draft DFlash2 elabora fino a 2.238 secondi di audio al secondo — una registrazione di 30 secondi viene restituita in 0,13 secondi — il che porta 100 ore di audio in meno di tre minuti. Questo è il percorso NIM ottimizzato, e NVIDIA afferma che l'integrazione open di vLLM è circa due volte più lenta. Su una H100 in BF16, i valori RTFx della scheda sono 410 con speculazione a due token, 270 con otto, 340 con DFlash2 a K=7 e 260 a K=15. Al limite superiore di tale intervallo, un'ora H100 copre circa 410 ore di audio, quindi mille ore di trascrizione equivalgono a circa due ore e mezza di calcolo GPU. Se ciò sia conveniente rispetto a una tariffa per minuto di un servizio hosted dipende interamente da quanto mantieni satura la scheda: con poche centinaia di ore al mese, una GPU inattiva da 80GB è l'opzione più costosa, e il calcolo si inverte solo quando la coda rimane piena.

L'adattamento è economico secondo gli standard di questa classe. NVIDIA riporta da 0,5 a 2,3 GPU-ora per attività su una singola GPU per nuove lingue, domini o stili di output, valutati su 17 attività, con LoRA sul modello linguistico e addestramento su encoder e proiezione. È un numero sufficientemente piccolo da far sì che l'adattamento al dominio debba essere trattato come parte della distribuzione anziché come un progetto di ricerca — il caso medico di cui sopra è di 14 GPU-ora end-to-end.

Una nota architetturale che conta per ciò che segue: questo modello emette testo, e la sintesi, l'estrazione di entità e l'etichettatura di conformità che seguono una trascrizione sono normali attività LLM. Quella fase a valle è la parte coperta da OrcaRouter — un'unica API per oltre 200 modelli con 0% di ricarico rispetto al prezzo di listino dei provider, failover automatico quando un provider si degrada a metà pipeline, e un DSL di routing per inviare trascrizioni lunghe e snippet brevi a modelli diversi senza una seconda integrazione ogni volta. Non ospitiamo Nemotron 3.5 Transcribe; è un modello vocale che esegui sul tuo hardware o tramite l'endpoint NVIDIA. Il livello di routing inizia dove finisce la trascrizione.

Due modelli condividono il nome, e solo uno è questo.

Buona parte di ciò che è stato scritto su questo rilascio nell'ultimo giorno riguarda un checkpoint diverso. NVIDIA pubblica anche nemotron-3.5-asr-streaming-0.6b, un piccolo checkpoint ASR in streaming pensato per runtime su dispositivo e orientati alla CPU, le cui build quantizzate sono abbastanza piccole da poter essere distribuite all'interno di un'applicazione. Non è questo modello, non effettua l'attribuzione dei parlanti e i suoi valori di velocità e accuratezza non sono trasferibili. Il LLM vocale 30B-A4B è quello annunciato il 28 ottobre; il modello in streaming 0.6B è quello che gira su un laptop. Se un confronto che stai leggendo cita una latenza inferiore al secondo o un download da un gigabyte insieme all'affermazione sulle 40 lingue, ha fuso i due.

Chi dovrebbe agire ora, e chi dovrebbe aspettare

Agisci ora se gestisci riunioni, chiamate o interviste registrate in inglese o in una delle altre dodici lingue di diarizzazione, in file di durata inferiore a un'ora, e disponi già di capacità GPU di classe 80 GB o di un endpoint ospitato che sei disposto a pagare. La proposta è più convincente laddove attualmente mantieni una cascata a due modelli: un checkpoint, una passata, etichette dei parlanti e timestamp delle parole inclusi, con una licenza che consente l'uso commerciale. Valutalo sul tuo audio prima di dismettere pyannote — i numeri relativi ad audio in campo lontano e con accento sopra riportati sono quelli che più probabilmente deluderanno.

Aspetta se ti serve lo streaming live, perché non esiste un percorso di streaming; se le tue lingue si collocano nella coda estrema di quell'intervallo FLEURS; se le registrazioni superano un'ora; o se non hai una GPU e nessuna voglia di una bolletta al minuto per un servizio hosted. Aspetta anche se il tuo stack si basa già su un trascrittore più recente che registra un errore inferiore su Artificial Analysis e non richiede la diarizzazione — l'attribuzione dei parlanti in un'unica passata è il motivo per passare, ed è l'unico.

Le domande aperte da tenere d’occhio sono poche e verificabili. La valutazione indipendente a piena precisione è ancora limitata; i primi resoconti di chi esegue quantizzazioni comunitarie a 4 bit descrivono il consueto rallentamento e la consueta perdita di accuratezza, il che dice più sulla quantizzazione che sul modello. SGLang-Omni deve raggiungere la parità funzionale prima che il percorso non vLLM sia una vera alternativa. E le tredici lingue di diarizzazione sono il numero che più probabilmente si muoverà per primo, perché è lì che si concentra l’affermazione architetturale.