Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: Due nomi, un checkpoint, quattro file

Se un catalogo, un sito di confronto o la vostra scheda di approvvigionamento elenca Nemotron 3.5 Transcribe e Nemotron 3.5 Transcribe 30B come due voci, sta elencando due volte lo stesso modello. Il repository pubblicato è NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, la scheda di NVIDIA indica il totale in 34B parametri e il conteggio degli attivi in circa 4,3B, e il nome semplice in ogni titolo è lo stesso artefatto con la dimensione omessa. Non esiste un modello 30B separato con cui confrontarsi, il che rende questo meno un confronto testa a testa e più un problema di denominazione con dentro nascosta una decisione di deployment.

Quella decisione, però, è reale, ed è il motivo per cui i due nomi continuano a comparire affiancati. Un nome è quello che cerchi e che un catalogo di modelli o un elenco API potrebbe mostrare. L'altro è quello che scarichi, in una di quattro precisioni, con una di quattro occupazioni di memoria, e la scelta tra quei file è l'unico confronto che questo modello ti chiede davvero di fare. Quello che segue è la riconciliazione: cosa conteggia il 30B, perché la scheda indica 34B e quale file si adatta alla GPU che hai invece di quella che dà per scontata la pagina di lancio.

Il nome che non concorda con se stesso

Due numeri sono in circolazione ed entrambi sono ufficiali. Il nome del repository termina in 30B-A4B, seguendo la convenzione che NVIDIA usa per la sua linea mixture-of-experts: prima i parametri totali, poi quelli attivi. La model card, sulla stessa pagina, indica 34B totali e circa 4,3B attivi, includendo esplicitamente l'encoder audio. La pagina di ricerca ripete il nome 30B-A4B nel titolo e il dato di 4,3B attivi nel corpo.

La scheda nomina anche i componenti, ed è qui che l’aritmetica inizia a contare. La backbone linguistica è Nemotron 3.5 Lightning 30B-A3B, un MoE ibrido Mamba-2 e Transformer con 3,5B di parametri attivi. L’encoder audio congiunto — un encoder ASR Transformer più un encoder del parlante — è di circa 800M. Sommandoli si ottengono all’incirca 30,8B, non 34B. O i 34B contano qualcosa che NVIDIA non ha dettagliato, oppure i 30B nel nome del repository sono un’etichetta arrotondata per una backbone che è in realtà più grande di quanto suggerisca il suo nome. NVIDIA non ha pubblicato la riconciliazione, e non esiste ancora alcun audit dei parametri di terze parti del checkpoint completo.

Ciò che questo significa per un acquirente è più limitato di quanto sembri. Che il sistema sia 31B o 34B non cambia la scheda su cui si adatta, perché la dimensione del file è determinata dalla precisione molto più che dagli ultimi tre miliardi di parametri. Significa però che qualsiasi scheda tecnica che citi "30B" e qualsiasi altra che citi "34B" descrivono lo stesso download, e un confronto di procurement basato sulla differenza sta confrontando una convenzione di arrotondamento.

Cosa sta effettivamente contando il suffisso 30B

Il suffisso si riferisce a un modello linguistico, non a un trascrittore. Nemotron 3.5 Transcribe è un LLM aumentato per il parlato: l'audio passa attraverso un encoder Transformer, un modello di diarizzazione Nemotron 3 congelato fornisce rappresentazioni degli interlocutori tramite quello che NVIDIA chiama encoder esperto parallelo, e il decoder ibrido MoE scrive la trascrizione. L'etichetta 30B appartiene al decoder e al suo stack di embedding. Il percorso vocale — encoder, diarizzatore, testa dei timestamp CTC — si aggiunge sopra e non è ciò che il nome pubblicizza.

Ecco perché il modello si comporta come un LLM in modi in cui un sistema ASR classico non lo fa. Accetta prompt. Risponde a domande sull'audio. Traduce tra 31 coppie da e verso l'inglese in un'unica passata. Mantiene un contesto di 65.536 token, così che un'ora di parlato entri senza suddivisione in blocchi. Niente di tutto ciò deriva dal fatto che un decoder da 30B sia grande; deriva dal fatto che il decoder è un modello linguistico generale, con il parlato proiettato nel suo spazio di input.

Spiega anche l'assenza che tutti continuano a cercare. Non esiste un fratello solo da 30B, né un Transcribe denso più piccolo, né uno più grande. Il repository contiene le precisioni di un singolo modello, non una famiglia. Le uniche altre dimensioni in circolazione sono quantizzazioni prodotte dalla community, e un riconoscitore in streaming davvero più piccolo — Nemotron Speech Streaming EN 0.6B — che è un modello diverso, con copertura solo in inglese e senza diarizzazione, non una versione mini di questo.

I quattro file dietro il nome, e quanto costa ognuno in memoria

Questo è il confronto a cui i due nomi si riferiscono effettivamente. NVIDIA pubblica tre precisioni e la community ne ha aggiunto un quarto formato di distribuzione; i valori di memoria riportati di seguito provengono dai checkpoint pubblicati e dai repository della community, non da un'unica tabella del fornitore.

• BF16 — il checkpoint di riferimento, circa 67-68 GB su disco, servito su una singola H100 da 80 GB. È la versione su cui sono stati generati i numeri di benchmark pubblicati, e quella da usare quando devi riprodurli.

• FP8 — circa 35GB, il che abbassa la soglia a una scheda da 48GB come una L40S. La perdita di accuratezza rispetto a BF16 è contenuta nella versione di NVIDIA, ma è pur sempre la versione di NVIDIA; nessuna valutazione indipendente di FP8 è stata pubblicata.

• NVFP4 — circa 21 GB, abbastanza piccolo per una RTX 5090 da 32 GB o una RTX PRO 6000. Questa è la precisione alla base della dichiarazione di throughput di punta di NVIDIA, pari a 2.238 secondi di audio al secondo su una singola RTX PRO 6000 con il modello draft DFlash2 collegato.

• GGUF — quattro decoder della community tra 19,7 GB e 35 GB, più un file encoder F16 obbligatorio da 1,67 GB. La build IQ4_NL da 19,7 GB è quella pensata per schede da 24 GB, per l'inferenza su CPU, Metal e Vulkan; la build NVFP4 da 19,7 GB è pensata per Blackwell; Q5 si colloca intorno ai 29 GB e Q8 intorno ai 35 GB. Un drafter DFlash2 opzionale da 1,15 GB aggiunge il decoding speculativo sul percorso CUDA.

• MLX — port della community da 4 bit a 8 bit, tra circa 19 GB e 35 GB, per Apple silicon, con un autore che riporta circa 154 token al secondo nella build a 4 bit. Utile per la valutazione su un Mac, non come percorso di serving in produzione.

Cosa li esegue, e l'unico errore di runtime che le persone commettono

I file GGUF sono la trappola. Un file che termina in .gguf non implica llama.cpp, Ollama o LM Studio, e nessuno di questi tre esegue questo modello: richiede un runtime per speech-LLM con l'audio encoder integrato. I percorsi funzionanti al rilascio sono più ristretti di quanto suggerisca l'elenco dei formati.

• vLLM 0.32.0 — il percorso principale e l'unico che espone l'intera superficie di output, inclusi i timestamp a livello di parola tramite il runner V1 e il middleware dei timestamp. L'output con attribuzione del parlante e la traduzione risiedono qui.

• SGLang-Omni 0.2.0 su SGLang 0.5.22 — trascrizione dell'intero file tramite un endpoint audio compatibile con OpenAI, senza timestamp delle parole, attribuzione del parlante, traduzione o decodifica speculativa.

• NeMo Speech — il toolkit per il fine-tuning, con NVIDIA che dichiara da 0,5 a 2,3 ore GPU per attività su una singola GPU. Le ricette LoRA pubblicate funzionano su una sola scheda.

• NeMo-Speech.cpp e speech.cpp — il percorso C++ a cui puntano i builder GGUF, e l'unico che carica quei quantizzati. Sia i file da 19,7 GB e 35 GB qui sopra sono distribuiti per esso, e i README dei repository sono la fonte onesta per sapere cosa entra dove.

• Transformers — utilizzo in-process da un'installazione da sorgente, adeguato per la valutazione, non per il throughput.

L'errore è scaricare la quantizzazione più piccola, puntare llama.cpp su di essa e concludere che il modello è rotto. Non è rotto; è un LLM vocale con un encoder di cui i runtime di testo non hanno alcun concetto. Se il runtime non elenca Nemotron 3.5 Transcribe tra le sue architetture supportate, il file non verrà caricato indipendentemente da quanto sia piccolo.

Dove si inserisce ciascun file, in parole semplici

Lavora a ritroso partendo dall'hardware, invece che in avanti partendo dalla scheda del modello. Il baseline dichiarato nella scheda — una H100 80GB in BF16 — è il percorso di massima fedeltà, non quello minimo.

• Scheda da 24 GB, classe RTX 4090 o L4 — il GGUF IQ4_NL da 19,7 GB con il suo encoder da 1,67 GB. Lascia margine per la cache KV e il buffer audio; 24 GB è stretto ma documentato come funzionante.

• Scheda da 32 GB, RTX 5090 o RTX PRO 6000 — il checkpoint NVFP4 da 21 GB, ovvero la configurazione a cui fa riferimento il valore di throughput dichiarato da NVIDIA, con il drafter DFlash2 se vuoi la decodifica speculativa.

• Scheda da 48 GB, L40S o A6000 — il checkpoint FP8 da 35 GB, il compromesso meno scomodo tra fedeltà e costo.

• Acceleratore da 80GB, H100 o A100 — BF16, la configurazione di riferimento, e l'unica che riproduce la tabella WER pubblicata senza riserve sulla precisione.

• Nessuna GPU — nessuno di questi file. L'encoder gira su CPU nel percorso C++, ma un'ora di audio su un decoder 30B-A3B senza accelerazione è un processo batch che si misura in ore, non un servizio.

Un vincolo resta valido qualunque sia la precisione: l'input è PCM mono a 16 kHz e il limite massimo è un'ora di audio per richiesta. Il downsampling e la selezione dei canali avvengono prima che il modello veda qualcosa, e una registrazione stereo di una sala riunioni viene mixata in mono a meno che non sia tu a separare i canali. Questa è una scelta di preprocessing, non una scelta di checkpoint, e sbagliarla intacca la qualità della trascrizione più di quanto faccia il passaggio da BF16 a FP8.

I controlli da eseguire quando un annuncio mostra entrambi i nomi

Poiché la situazione dei nomi duplicati è reale e si ripeterà nei cataloghi e nelle pagine di confronto, una breve routine di verifica vale più di un altro paragrafo di spiegazione.

• ID repository — l'unico artefatto ufficiale è NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Una riga denominata Nemotron 3.5 Transcribe 30B con un ID repository diverso è o una quantizzazione o un modello completamente diverso.

• Stringa di licenza — OpenMDW-1.1 sulla versione ufficiale, uso commerciale consentito. Una scheda che indica solo per ricerca o non commerciale descrive qualcos'altro.

• Contesto e finestra audio — 65.536 token e un'ora. Una scheda che riporta una finestra più lunga è errata oppure sta descrivendo un checkpoint diverso.

• Rivendicazione dei parametri — 30B-A4B nel nome, 34B nella scheda, 4.3B attivi in entrambi. Un annuncio che riporta 4B totali ha confuso il conteggio degli attivi con il totale, che è la trascrizione più comune di questo modello sul web.

• Elenco dei file — BF16, FP8 e NVFP4 di NVIDIA, più un modello draft DFlash2. Se una pagina offre "Nemotron 3.5 Transcribe 30B" come singolo file scaricabile e nessuna precisione, si tratta di una quantizzazione della community che usa il nome del fornitore.

La questione del routing che è in realtà separata

Una volta scelto il file e con il runtime in funzione, la questione del deployment è chiusa e ne ritorna una più vecchia: cosa succede al testo. Una trascrizione è materia prima per la sintesi, l'estrazione di entità, l'oscuramento, l'indicizzazione per la ricerca e il question answering, e quelle chiamate sono normale traffico verso modelli di testo con i normali problemi dei modelli di testo: limiti di frequenza, interruzioni a monte, un modello di classificazione economico che basterebbe per nove decimi del volume.

OrcaRouter non eroga Nemotron 3.5 Transcribe, e il suo catalogo non contiene una voce con nessuno dei due nomi; se vedi due righe per questo modello da qualche parte, il controllo del repository sopra è il modo più rapido per risolverlo. Ciò che la piattaforma fornisce è il livello successivo una volta che la trascrizione esiste: un'unica chiave compatibile con OpenAI per oltre 200 modelli di testo e visione al prezzo di listino del provider con markup 0%, failover automatico tra provider, e un DSL di routing che compone più modelli in un'unica chiamata, così la fase di estrazione economica e quella di giudizio costosa possono risiedere dietro un unico endpoint. La GPU trascrive; il routing decide quanto vale la trascrizione.

Il suffisso è un'etichetta della dimensione del file, non un secondo modello

Il modo più semplice per tenere a mente entrambi i nomi è questo: Nemotron 3.5 Transcribe è il prodotto, Nemotron 3.5 Transcribe 30B è il repository, e il 30B conta un decoder mentre la scheda conta un sistema. Il divario tra 30,8B e 34B è un dettaglio irrisolto che NVIDIA dovrebbe riconciliare, ma non cambia nessuna decisione di un acquirente, perché la decisione si basa sui gigabyte e sui runtime supportati, non sulla terza cifra di un conteggio dei parametri.

Scegli la precisione che la tua scheda può supportare, conferma che il runtime elenchi l'architettura e considera qualsiasi elenco che presenti i due nomi come modelli separati un errore di catalogo anziché una scelta. Il vero bivio in questa versione — quello che giustificherebbe un autentico confronto diretto — è il riconoscitore in streaming da 0.6B da un lato e questo trascrittore offline da 30B dall'altro. Quel confronto riguarda latenza e copertura, e vale la pena farlo. Confrontare un modello con il proprio nome file non lo è.