Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: Twee namen, één checkpoint, vier bestanden

Als een catalogus, een vergelijkingssite of jouw eigen inkoopoverzicht Nemotron 3.5 Transcribe en Nemotron 3.5 Transcribe 30B als twee vermeldingen noemt, staat daar één model twee keer in. De gepubliceerde repository is NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, de kaart van NVIDIA geeft het totaal als 34B parameters en het actieve aantal als ongeveer 4,3B, en de kale naam in elke titel is hetzelfde artefact zonder de grootte. Er is geen apart 30B-model om mee te vergelijken, waardoor dit minder een directe vergelijking is dan een naamprobleem met een implementatiebeslissing die erin verborgen zit.

Die beslissing is echter echt, en ze is de reden waarom de twee namen steeds naast elkaar opduiken. De ene naam is waarnaar je zoekt en wat een modelcatalogus of api-vermelding mogelijk weergeeft. De andere is wat je downloadt, in een van vier precisies, met een van vier geheugenvoetafdrukken, en de keuze tussen die bestanden is de enige vergelijking die dit model je eigenlijk vraagt te maken. Wat volgt is de reconciliatie: wat de 30B telt, waarom de kaart 34B zegt, en welk bestand past bij de GPU die je hebt, niet bij de GPU die de lanceerpagina aanneemt.

De naam die zichzelf tegenspreekt

Er zijn twee getallen in omloop en beide zijn officieel. De repositorynaam eindigt op 30B-A4B, volgens de conventie die NVIDIA gebruikt voor zijn mixture-of-experts-lijn: eerst het totale aantal parameters, dan het aantal actieve parameters. De modelkaart op dezelfde pagina vermeldt 34B totaal en ongeveer 4,3B actief, met expliciete vermelding van de audio-encoder. De onderzoekspagina herhaalt de naam 30B-A4B in de kop en het actieve getal van 4,3B in de tekst.

De kaart noemt ook de componenten, en daar begint het rekenwerk ertoe te doen. De taalmodel-backbone is Nemotron 3.5 Lightning 30B-A3B, een hybride MoE van Mamba-2 en Transformer met 3,5B actieve parameters. De gezamenlijke audio-encoder — een Transformer-ASR-encoder plus een speakerencoder — is ongeveer 800M. Als je die optelt, kom je op ruwweg 30,8B, niet 34B. Ofwel de 34B rekent iets mee dat NVIDIA niet heeft gespecificeerd, ofwel de 30B in de repositorynaam is een afgerond label voor een backbone die in werkelijkheid groter is dan in zijn naam. NVIDIA heeft de reconciliatie niet gepubliceerd, en er bestaat nog geen parameteraudit door derden van het volledige checkpoint.

Wat dat voor een koper betekent, is beperkter dan het klinkt. Of het systeem nu 31B of 34B is, verandert niet op welke kaart het past, omdat de bestandsgrootte veel meer door de precisie wordt bepaald dan door de laatste drie miljard parameters. Het betekent wel dat elk specificatieblad dat "30B" vermeldt en elk dat "34B" vermeldt, dezelfde download beschrijven, en dat een inkoopvergelijking die op het verschil is gebouwd, een afrondingsconventie vergelijkt.

Wat de 30B-suffix eigenlijk telt

Het achtervoegsel staat voor een taalmodel, geen transcriptietool. Nemotron 3.5 Transcribe is een spraak-augmenteerd LLM: het audio wordt door een Transformer-encoder geleid, een bevroren Nemotron 3 Diarization-model levert sprekerrepresentaties via wat NVIDIA een parallelle expert-encoder noemt, en de hybride MoE-decoder schrijft de transcriptie. Het 30B-label hoort bij de decoder en zijn embedding-stack. Het spraakpad — encoder, diarizer, CTC-tijdstempelhead — zit daar bovenop en is niet wat de naam belooft.

Daarom gedraagt het model zich als een LLM op manieren waarop een klassiek ASR-systeem dat niet doet. Het accepteert prompts. Het beantwoordt vragen over de audio. Het vertaalt binnen dezelfde pass over 31 paren naar en van het Engels. Het heeft een context van 65.536 tokens, zodat een uur spraak er zonder chunking in past. Niets daaraan komt voort uit het feit dat een 30B-decoder groot is; het komt voort uit het feit dat de decoder überhaupt een algemeen taalmodel is, waarbij spraak in zijn invoerruimte wordt geprojecteerd.

Dat verklaart ook het ontbreken waar iedereen steeds naar zoekt. Er is geen tegenhanger die alleen 30B is, geen kleinere dense Transcribe en geen grotere. De repository bevat precisies van één enkel model, geen familie. De enige andere formaten die in omloop zijn, zijn quantisaties die door de community zijn gemaakt, en één werkelijk kleinere streaming-herkenner — Nemotron Speech Streaming EN 0.6B — een ander model met alleen Engelse ondersteuning en zonder diarisatie, niet een mini-versie van dit model.

De vier bestanden achter de naam, en wat elk daarvan aan geheugen kost

Dit is de vergelijking waar de twee namen eigenlijk naar verwijzen. NVIDIA publiceert drie precisies en de community heeft een vierde leveringsformaat toegevoegd; de geheugencijfers hieronder komen uit de gepubliceerde checkpoints en de community-repositories, niet uit één enkele leverancierstabel.

• BF16 — het referentiecheckpoint, ongeveer 67-68 GB op schijf, geserveerd op een enkele H100 80GB. Dit is de versie waarop de gepubliceerde benchmarkcijfers zijn geproduceerd, en degene die je moet gebruiken wanneer je ze wilt reproduceren.

• FP8 — ongeveer 35 GB, waardoor de ondergrens verschuift naar een kaart van 48 GB, zoals een L40S. Het nauwkeurigheidsverlies ten opzichte van BF16 is klein volgens NVIDIA's eigen framing, maar het is NVIDIA's framing; er is geen onafhankelijke evaluatie van FP8 gepubliceerd.

• NVFP4 — ongeveer 21 GB, klein genoeg voor een RTX 5090 met 32 GB of een RTX PRO 6000. Dit is de precisie achter de belangrijkste doorvoerclaim van NVIDIA: 2.238 seconden audio per seconde op een enkele RTX PRO 6000 met het DFlash2-draftmodel eraan gekoppeld.

• GGUF — vier community-decoders tussen 19,7 GB en 35 GB plus een verplicht F16-encoderbestand van 1,67 GB. De 19,7 GB IQ4_NL-build is gericht op 24 GB-kaarten, CPU-inference, Metal en Vulkan; de 19,7 GB NVFP4-build is gericht op Blackwell; Q5 ligt rond 29 GB en Q8 rond 35 GB. Een optionele DFlash2-drafter van 1,15 GB voegt speculatieve decoding toe op het CUDA-pad.

MLX — community-ports van 4-bit tot 8-bit tussen ongeveer 19 GB en 35 GB voor Apple silicon, waarbij één auteur ongeveer 154 tokens per seconde meldt op de 4-bit-build. Nuttig voor evaluatie op een Mac, geen productiepad voor serving.

Wat ze uitvoert, en de enige runtimefout die mensen maken

De GGUF-bestanden zijn de val. Een bestand dat eindigt op .gguf impliceert niet llama.cpp, Ollama of LM Studio, en geen van die drie draait dit model: het heeft een spraak-LLM-runtime nodig met de audio-encoder erin geïntegreerd. De werkende paden bij release zijn smaller dan de formaatlijst suggereert.

• vLLM 0.32.0 — het primaire pad en het enige dat het volledige uitvoeroppervlak beschikbaar maakt, inclusief woordtijdstempels via de V1-runner en timestamp-middleware. Uitvoer met sprekerattributie en vertaling worden hier afgehandeld.

• SGLang-Omni 0.2.0 op SGLang 0.5.22 — transcriptie van volledige bestanden via een OpenAI-compatibel audio-eindpunt, zonder woordtijdstempels, sprekerattributie, vertaling of speculatieve decoding.

• NeMo Speech — de toolkit voor fine-tuning, waarbij NVIDIA 0,5 tot 2,3 GPU-uren per taak op één GPU opgeeft. De gepubliceerde LoRA-recepten draaien op één kaart.

• NeMo-Speech.cpp en speech.cpp — het C++-pad waarop de GGUF-builders zich richten, en het enige dat die quants laadt. Zowel het 19,7GB- als het 35GB-bestand hierboven worden daarvoor gedistribueerd, en de READMEs van de repositories zijn de eerlijke bron voor wat waar past.

• Transformers — in-process gebruik vanuit een broninstallatie, voldoende voor evaluatie, niet voor doorvoer.

De fout is de kleinste quant downloaden, llama.cpp daarop loslaten en concludeeren dat het model kapot is. Het is niet kapot; het is een spraak-LLM met een encoder waar de tekstruntimes geen begrip van hebben. Als de runtime Nemotron 3.5 Transcribe niet in zijn ondersteunde architecturen vermeldt, wordt het bestand niet geladen, ongeacht hoe klein het is.

Waar elk bestand thuishoort, simpel gezegd

Werk terug vanuit de hardware in plaats van vooruit vanuit de modelkaart. De op de kaart vermelde baseline — één H100 80GB bij BF16 — is het pad met maximale getrouwheid, niet het minimale.

• 24GB-kaart, RTX 4090 of L4-klasse — de 19,7GB IQ4_NL GGUF met zijn 1,67GB encoder. Houd speling voor de KV-cache en de audiobuffer; 24GB is krap, maar gedocumenteerd als werkend.

• 32GB-kaart, RTX 5090 of RTX PRO 6000 — de 21GB NVFP4-checkpoint, de configuratie waarop NVIDIA's doorvoerclaim betrekking heeft, met de DFlash2-drafter als je speculatieve decoding wilt.

• 48GB-kaart, L40S of A6000 — de 35GB FP8-checkpoint, de minst ongemakkelijke compromis tussen getrouwheid en kosten.

• 80GB-accelerator, H100 of A100 — BF16, de referentieconfiguratie, en de enige die de gepubliceerde WER-tabel reproduceert zonder een voorbehoud over precisie.

• Helemaal geen GPU — geen van deze bestanden. De encoder draait op de CPU in het C++-pad, maar een uur audio op een 30B-A3B-decoder zonder versnelling is een batchtaak die in uren wordt gemeten, niet een service.

Eén beperking blijft bij elke precisie gelden: de invoer is 16kHz mono PCM en de bovengrens is één uur audio per aanvraag. Downsampling en kanaalselectie vinden plaats voordat het model iets ziet, en een stereo-opname uit een vergaderruimte wordt naar mono gemixt, tenzij je de kanalen zelf splitst. Dat is een beslissing over voorbewerking, geen checkpointbeslissing, en een verkeerde keuze kost meer transcriptiekwaliteit dan de BF16-naar-FP8-stap.

De checks die moeten worden uitgevoerd wanneer een listing beide namen toont

Omdat de situatie met dubbele namen reëel is en terug zal keren in catalogi en vergelijkingspagina's, is een korte verificatieroutine meer waard dan nog een alinea uitleg.

• Repository-id — het enige officiële artefact is NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Een rij met de naam Nemotron 3.5 Transcribe 30B met een andere repo-id is ofwel een kwantisatie of een volledig ander model.

• Licentietekenreeks — OpenMDW-1.1 op de officiële release, commercieel gebruik toegestaan. Een vermelding die "alleen voor onderzoek" of "niet-commercieel" zegt, beschrijft iets anders.

• Context- en audiovenster — 65.536 tokens en één uur. Een vermelding die een langer venster opgeeft, is onjuist of beschrijft een ander checkpoint.

• Parameterclaim — 30B-A4B in de naam, 34B op de productkaart, 4,3B actief in beide. Een vermelding die een totaal van 4B aangeeft, heeft het aantal actieve parameters met het totaal verward; dat is de meest voorkomende weergave van dit model op het web.

Bestandenlijst — BF16, FP8 en NVFP4 van NVIDIA, plus een DFlash2-conceptmodel. Als een pagina 'Nemotron 3.5 Transcribe 30B' aanbiedt als één downloadbaar bestand zonder precisieaanduidingen, dan is het een community-kwantisatie die de naam van de leverancier draagt.

De routeringsvraag die eigenlijk apart staat

Zodra het bestand is gekozen en de runtime werkt, is de vraag over deployment voorbij en keert een oudere vraag terug: wat er met de tekst gebeurt. Een transcript is grondstof voor samenvatten, entiteitsextractie, redactie, zoekindexering en vraagbeantwoording, en die aanroepen zijn gewoon tekstmodelverkeer met gewone tekstmodelproblemen — rate limits, upstreamstoringen, een goedkoop classificatiemodel dat voor negen tienden van het volume voldoende zou zijn.

OrcaRouter biedt Nemotron 3.5 Transcribe niet aan, en in zijn catalogus staat onder geen van beide namen een vermelding; als je ergens twee rijen voor dit model ziet, is de repositorycontrole hierboven de snelste manier om het uit te maken. Wat het platform wél biedt, is de laag die volgt zodra het transcript bestaat: één OpenAI-compatibele sleutel voor meer dan 200 tekst- en visiemodellen tegen de lijstprijs van de provider met 0% opslag, automatische failover tussen providers, en een routing-DSL die meerdere modellen combineert tot één aanroep, zodat de goedkope extractiepass en de dure beoordelingspass achter één endpoint kunnen zitten. De GPU transcriteert; routing bepaalt wat het transcript waard is.

Het achtervoegsel is een label voor de bestandsgrootte, geen tweede model.

De helderste manier om beide namen in je hoofd te houden is deze: Nemotron 3.5 Transcribe is het product, Nemotron 3.5 Transcribe 30B is de repository, en de 30B telt een decoder, terwijl de kaart een systeem telt. Het verschil tussen 30,8B en 34B is een onopgelost detail dat NVIDIA zou moeten rechtzetten, maar het verandert niets aan de beslissing die een koper neemt, omdat die beslissing wordt bepaald door gigabytes en ondersteunde runtimes, niet door het derde cijfer van een parameteraantal.

Kies de precisie die je kaart kan bevatten, controleer of de runtime de architectuur vermeldt, en beschouw elk aanbod dat de twee namen als afzonderlijke modellen presenteert als een catalogusfout en niet als een keuze. De echte splitsing in deze release — degene die een oprechte kop-aan-kopvergelijking zou rechtvaardigen — is de 0.6B streaming-herkenner enerzijds en deze 30B offline-transcriber anderzijds. Die vergelijking gaat over latency en dekking, en ze is de moeite waard. Een model vergelijken met zijn eigen bestandsnaam is dat niet.