Nemotron 3.5 Transcribe vs Voxtral 3: il divario di due punti che non risolve la questione

Un modello, tre tassi di errore di parola. Artificial Analysis elenca NVIDIA Nemotron 3.5 Transcribe al 3,4% nella sua classifica non-streaming; le FAQ della stessa pagina lo descrivono al 2,8%. Nel frattempo Mistral Voxtral 3 — la famiglia che viene distribuita come Voxtral Small Transcribe 3 — si colloca al 2,1%, terza in quella classifica e circa mezzo punto sopra la migliore cifra pubblicata da NVIDIA. Se si prende il 3,4%, il divario sembra decisivo. Se si prende il 2,8%, rientra nella banda di rumore che questo indice ha mostrato tra i vari endpoint di servizio. E se si guarda il sottopunteggio relativo all'audio conversazionale, la classifica si inverte.

Due numeri per un solo modello, e nessuno dei due è una bugia

Il 3,4% e il 2,8% provengono dalla stessa classifica lo stesso giorno. Differiscono perché AA-WER v2 viene calcolato rispetto a uno specifico slice di valutazione tramite uno specifico endpoint di serving, e storicamente l'indice si è spostato di quasi un punto intero tra provider che eseguono lo stesso checkpoint. Il 2,8% di NVIDIA è il numero che l'azienda cita nel proprio materiale di lancio; il 3,4% è quello che la classifica mostra per l'endpoint che ha effettivamente testato. Nessuno dei due è inventato, e nessuno dei due dovrebbe essere sottratto dal 2,1% di Mistral come se i due fossero stati misurati su hardware identico, a precisione identica, rispetto ad audio identico.

Questo non rende il divario privo di significato. Lo trasforma in un intervallo: da qualche parte tra 0,6 e 1,3 punti a favore di Voxtral sull'indice batch, con il valore reale che dipende da quale endpoint si usa. Per un deployment di assistenza clienti in cui ogni punto di WER costa minuti di revisione umana, vale dei soldi. Per un prodotto per le note delle riunioni in cui comunque un umano dà una scorsa all'output, no.

Da dove deriva realmente la differenza

L'indice AA è una media su tre componenti: VoxPopuli, Earnings-22 e AgentTalk. I primi due sono parlato letto e chiamate sugli utili — puliti, con un solo parlante, ben registrati, il tipo di audio che entrambi i modelli gestiscono bene. AgentTalk è conversazionale e più rumoroso. Su quel sottoinsieme, il modello di NVIDIA ottiene presumibilmente l'1,8% contro il 2,3% di Voxtral Small, che è un'inversione reale e il dato più interessante del confronto.

• VoxPopuli e Earnings-22 — Voxtral Small è in testa; questi corpora premiano un modello ottimizzato sul parlato lungo e pulito.

• AgentTalk — Nemotron è in testa, 1,8% contro 2,3%, sull'audio conversazionale che somiglia a una vera chiamata al supporto o a una riunione con voci sovrapposte.

• Indice complessivo — Voxtral Small al 2,1%, Nemotron tra il 2,8% e il 3,4%. Le componenti relative al parlato pulito hanno un peso sufficiente a produrre tale ordine.

Questo schema è coerente con le due architetture. Voxtral Small è un modello di trascrizione addestrato per essere eccellente nella trascrizione; il checkpoint di NVIDIA è un modello linguistico con un encoder vocale agganciato in testa, e i modelli linguistici tendono a fare meglio quando l'audio è sporco e il contesto è conversazionale. Spiega anche perché le maggiori vittorie rivendicate da NVIDIA non riguardano affatto il WER su audio pulito: 15,80 cpWER medio su parlato sovrapposto con attribuzione del parlante, e un WER sulle entità nominate che scende dal 12,21% al 2,20% quando si fornisce un elenco di entità.

Anche le tabelle dei fornitori non si sovrappongono

Mistral pubblica il WER macro-media di FLEURS-45: 4,1% con lingua forzata e 4,0% inferito per Voxtral Small Transcribe 3, contro il 4,6% della variante 4B Mini e il 16,0% di Whisper large-v3. NVIDIA pubblica la Open ASR Leaderboard: una media del 4,71% su nove set in inglese e del 4,62% su sette set multilingue. Entrambi sono harness gestiti dai rispettivi vendor, su corpora diversi e con normalizzazioni diverse, e i valori quasi identici sono una coincidenza, non un confronto diretto. Chiunque presenti 4,0 contro 4,62 come una vittoria di 0,6 punti sta confrontando un punteggio FLEURS con un punteggio Open ASR.

I numeri della diarizzazione hanno lo stesso problema al contrario. {{1}}Mistral riporta un WER concatenato a permutazione minima del 18,4% su AMI, Switchboard, CallHome e AISHELL-4.{{/1}} {{2}}NVIDIA riporta un cpWER medio di 15,80 sul proprio set multi-parlante.{{/2}} {{3}}Il numero di NVIDIA è più basso e il suo set è diverso; senza un corpus condiviso, l'unica affermazione difendibile è che entrambe le aziende ritengono di aver superato le cascate specializzate contro cui si sono testate, e nessuna delle due ha pubblicato una prova sui dati dell'altra.{{/3}}

Cosa fa Voxtral 3 che Nemotron non può fare

Il rilascio di Mistral è una famiglia, non un checkpoint, e la famiglia copre ambiti che il singolo modello offline di NVIDIA non copre.

• Ampiezza linguistica — Voxtral Small Transcribe 3 copre oltre 50 lingue, incluse tutte e 24 le lingue ufficiali dell'UE; NVIDIA ne copre 40, con etichette dei parlanti su 13.

• In tempo reale — Voxtral Mini Transcribe Realtime 3 effettua streaming con una latenza inferiore a 500 ms a $0,008 al minuto, con un WER del 7,4% a un ritardo di 240 ms e del 5,7% a 2.400 ms. NVIDIA non dispone di alcuna modalità streaming per questo checkpoint a qualsiasi prezzo.

• Agenti vocali — il lancio di Voxtral 3 ha introdotto un Voice Agent SDK basato su LiveKit che concatena trascrizione, un modello di ragionamento con chiamate agli strumenti e generazione vocale, con barge-in e telefonia SIP. Si tratta di un'intera categoria di prodotto che il checkpoint di NVIDIA non copre.

Semplicità operativa: prezzi al minuto, nessuna GPU, nessuno stack di serving, endpoint UE, USA e globali. Per un team senza infrastruttura, è la differenza tra un'integrazione di due giorni e una di due mesi.

• Bias contestuale — 94,6% di richiamo delle frasi chiave con il contesto rispetto a 81,4% senza, su Earnings-22. Concettualmente paragonabile al meccanismo della lista di entità di NVIDIA, misurato su un corpus diverso.

Cosa fa Nemotron che Voxtral 3 non può fare

La lista inversa è più breve ma più pesante per l'acquirente giusto.

• Pesi aperti — OpenMDW-1.1, uso commerciale consentito, pubblicati in BF16, FP8, NVFP4 e GGUF. La pagina di Mistral offre accesso API e «distribuzione autonoma sulla propria infrastruttura» tramite Mistral e, al momento della pubblicazione, non pubblica pesi, né licenza, né checkpoint. Se il tuo team di conformità ha bisogno di verificare l'artefatto, solo uno di questi esiste per essere verificato.

• Un singolo passaggio da un'ora: 65.536 token di contesto e registrazioni fino a un'ora. Mistral non pubblica né una durata massima delle registrazioni né una finestra di contesto per Voxtral 3, il che è di per sé un motivo per fare un test prima di adottare un flusso di lavoro long-form.

• Traduzione — 31 lingue in entrambe le direzioni, da e verso l'inglese. La pagina di lancio di Voxtral 3 documenta trascrizione, diarizzazione e bias contestuale; non documenta un'attività di traduzione vocale come fa il checkpoint di NVIDIA.

• Output controllabile tramite prompt — cinque stili di trascrizione selezionati tramite istruzione, anziché un unico formato più post-elaborazione.

• Comprensione audio — risposta a domande e esecuzione di istruzioni vocali sulla registrazione. Solo inglese su questo checkpoint, e non documentato da nessuna parte nei materiali di lancio di Voxtral 3.

Il confronto sui costi non è neanche lontanamente vicino, ed è proprio questo il punto.

Voxtral Small Transcribe 3 costa $0,0040 al minuto, ovvero $0,24 per ora di audio. Il 4B Mini costa $0,0035, ovvero $0,21 all'ora. L'offerta hosted di NVIDIA è $2,00 per 1.000 minuti, ovvero $0,12 all'ora. Il self-hosting è un calcolo del tutto diverso: ai 2.238 secondi di audio al secondo dichiarati da NVIDIA su una RTX PRO 6000 Blackwell, mille ore di audio — 3,6 milioni di secondi — richiedono circa 27 minuti di tempo GPU. Anche a metà di quella capacità di elaborazione, che è quanto NVIDIA afferma offra l'integrazione open-source, si resta sotto l'ora.

• 1.000 ore al mese — Voxtral Small 240 $, Voxtral Mini 210 $, Nemotron ospitato 120 $, Nemotron self-hosted circa 2 $ di tempo GPU a una tariffa di noleggio di 2 $/ora, più i costi operativi.

• 10.000 ore al mese — rispettivamente $2.400, $2.100, $1.200 e circa $20 di tempo GPU.

• Il problema: l'opzione self-hosted presuppone che tu abbia già la GPU, lo stack di serving e qualcuno che possa mantenerlo in funzione. Una singola RTX PRO 6000 è un acquisto in conto capitale a cinque cifre; a 1.000 ore al mese non lo ammortizzerai prima che arrivi la prossima generazione. A 10.000 ore si ripaga in pochi mesi.

• L'altro intoppo — quei {{1}}valori di throughput{{/1}} dipendono da {{2}}NVFP4{{/2}} più il {{3}}modello draft DFlash2{{/3}}, e questa combinazione disabilita {{4}}i timestamp delle parole{{/4}}. Se ti serve {{5}}l'allineamento{{/5}}, stai usando una configurazione più lenta di quella nella tabella di marketing.

Quindi la questione del prezzo si divide per volume e per il fatto che l'audio possa o meno uscire dalla tua rete. La tariffa al minuto di Mistral è abbastanza bassa che la maggior parte dei team sotto le poche centinaia di ore al mese non dovrebbe affatto pensare alle GPU. Oltre le diecimila ore, ospitare in proprio un checkpoint aperto diventa l'opzione più economica di un ordine di grandezza, e il carico operativo è l'unica vera questione.

Il test delle cinquanta ore

Ogni numero qui sopra è l'audio di qualcun altro. Prima di destinare uno dei due modelli a un percorso di produzione, trascrivi cinquanta ore delle tue registrazioni con entrambi e valutali come faranno i tuoi utenti: entità nominate corrette, turni di parola corretti, numeri e importi in valuta corretti e gli accenti specifici dei tuoi clienti. L'indice AA non ti dirà quale modello gestisce meglio un call centre di Glasgow, e neppure lo farà il banco di prova di nessuno dei due fornitori.

Quel test è anche il punto in cui un router risulta utile per qualcosa di diverso dal costo. OrcaRouter mette le chiamate di testo a valle — riassunto, estrazione di entità, redazione, traduzione della trascrizione finale — dietro un'unica chiave con markup dello 0%, con il prezzo di listino del provider passato tal quale, failover automatico tra provider, e un DSL di routing che può inviare fasi diverse a modelli diversi in un unico flusso di lavoro. Né Nemotron 3.5 Transcribe né Voxtral 3 figura nel catalogo di OrcaRouter, quindi il router non ti aiuta a chiamarli; ti aiuta a elaborare ciò che restituiscono senza dover instaurare un secondo rapporto con un fornitore per il livello di testo.

Il verdetto dipende da quale frase descrive il vostro problema. Se è «dobbiamo ottenere una trascrizione accurata in cinquanta lingue, non vogliamo possedere una GPU e la latenza conta», Voxtral Small Transcribe 3 è il prodotto migliore e il 2,1% è un motivo reale. Se è «dobbiamo ottenere trascrizioni di riunioni di un'ora con attribuzione dei parlanti, traduzione e un artefatto che il nostro team di conformità possa ispezionare», Nemotron 3.5 Transcribe è l'unica opzione in questo elenco che soddisfa tutti e tre i requisiti, e un punto di WER sul parlato letto pulito è il prezzo di questo. Se è «dobbiamo avere entrambi», la risposta onesta è che non sono sostituti, e i team che stanno sfruttando al meglio questa generazione ne usano uno per l'audio dal vivo e l'altro per l'archivio.