Nemotron 3.5 Transcribe: NVIDIA's spraak-LLM verslaat de diarisatiecascade — in 13 talen

NVIDIA heeft Nemotron 3.5 Transcribe op 28 oktober 2026 uitgebracht onder een open licentie, en het getal in elke kop over dit model is 40: veertig talen, één checkpoint, sprekerlabels inbegrepen. Het getal dat daadwerkelijk verandert hoe je een transcriptiestack bouwt, is 15,80. Dat is de gemiddelde cpWER van het model op de eigen meerspreker-benchmarkset van NVIDIA, tegenover 16,83 voor de beste gespecialiseerde cascade waarmee het bedrijf dit model vergeleek — een spraakherkenner plus een afzonderlijke diarisatiepijplijn, aan elkaar geknoopt zoals de meeste productiesystemen voor vergadertranscriptie dat nog steeds zijn. NVIDIA beweert dat dit de eerste spraak-LLM is die die opzet verslaat, en dat is de bewering die het testen waard is, want die haalt een component uit je architectuur in plaats van een taal aan een lijst toe te voegen.

Het cijfer van 40 talen is echt, maar beperkter dan het suggereert. Sprekerattributie — het deel dat de cascade vervangt — is voor dertien talen getraind, niet voor veertig. Het model leest alleen opgenomen bestanden, tot een uur per keer, zonder streamingpad. En het is geen kleine download: in totaal 34B parameters, ongeveer 4,3B actief per token, met een H100 80GB als de vermelde basislijn voor BF16-serving. Die drie beperkingen bepalen of het diarisatieresultaat iets is dat je dit kwartaal kunt gebruiken of iets dat je voor het volgende kwartaal noteert.

Wat NVIDIA daadwerkelijk heeft uitgebracht

De checkpoint wordt gepubliceerd als NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, en het verschil tussen die naam en het gepubliceerde aantal parameters is het eerste dat moet worden opgehelderd. Het model is gebaseerd op Nemotron 3.5 Lightning 30B-A3B, een hybride mixture-of-experts-taalmodel op basis van Mamba-2 en Transformer; de modelkaart van NVIDIA vermeldt een totaal van 34B parameters, met ongeveer 4,3B actief, inclusief de audio-stack. Het extra gewicht ten opzichte van de 30B in de naam komt van de encoders: ongeveer 600M voor de ASR-transformer en ongeveer 99M voor de sprekerencoder, samen ongeveer 800M, waardoor de taalbackbone op ongeveer 3,5B actief blijft. Verschillende publicaties hebben dit als een inconsistentie gemeld; dat is het niet, het is een naam die de LLM telt en een kaart die het hele systeem telt.

Architectonisch gezien is het stuk dat het begrijpen waard is de parallelle expertencoder. Een bevroren Nemotron 3 Diarization-model produceert representaties van sprekeractiviteit, en deze worden in de uitvoer van de ASR-encoder geïnjecteerd, zodat het taalmodel in één enkele doorgang zowel de woorden als wie ze waarschijnlijk uitspreekt, ziet. Een lichtgewicht CTC-adapter lijnt de gegenereerde tekst vervolgens weer uit met de audio om woordtijdstempels met sprekerattributie te produceren. Er is geen tweede uitlijningsfase en geen pyannote-aanroep daartussen. Native multi-tokenvoorspelling dient tegelijk als een speculatieve-decodingsdraft binnen vLLM, en NVIDIA levert ook een afzonderlijk getraind DFlash2-draftmodel.

• Totale en actieve parameters — 34B totaal, ~4,3B actief per token, waarvan ~3,5B de taal-backbone vormt

• Context en audio — 65.536 tokens, opnames tot 1 uur bij 16 kHz mono, gedecodeerd in interne blokken van 30 seconden

• Taalbereik — 40 talen voor transcriptie, 32 voor vertaling van en naar het Engels, 13 voor transcriptie met sprekerattributie

• Licentie — OpenMDW-1.1, commercieel en niet-commercieel gebruik toegestaan

• Servingbaseline — één H100 80GB op BF16; BF16-, FP8- en NVFP4-builds zijn gepubliceerd

• Streaming — geen; dit is een model met een bestand als invoer en een transcript als uitvoer

De release bestaat uit twee artefacten, en het is de moeite waard ze apart te houden omdat de meeste berichtgeving ze met elkaar vermengt. Naast het model heeft NVIDIA Granary v2 gepubliceerd, een release van een spraakdatapijplijn en geen checkpoint: 463.062 uur in 48 talen en 16 broncorpora, tegen 25 talen in Granary v1, gebouwd met NeMo Curator en geleverd met een openbaar manifest. Elk record bevat drie transcriptvormen — tekstgenormaliseerd en letterlijk, invers-genormaliseerd met disfluenties, en invers-genormaliseerd zonder deze — plus taaklabels, vraag-antwoordparen die op spraak zijn gebaseerd, termen voor contextuele biasering en een kwaliteitsindicator per record. Het zijn de gegevens die de fine-tuningrecepten verwachten, niet de gewichten die je kunt draaien. De brongeluidsopnamen moeten nog steeds worden gedownload onder de eigen licentie van elk corpus, dus Granary v2 is open in de zin dat zijn manifest en pijplijn open zijn, niet in de zin dat het geluid vrij mag worden herverdeeld.

De licentie is net zo belangrijk als de gewichten. OpenMDW-1.1 staat commercieel gebruik toe, waardoor dit in dezelfde categorie valt als de Voxtral-lijn van Mistral en niet in het alleen-voor-onderzoekdeel van het open-weightspectrum. Runtime-ondersteuning bij de lancering is breder dan bij de meeste spraak-LLM-releases: vLLM 0.32.0 is de primaire route en de enige die de volledige functieset biedt, waarbij woordtijdstempels de V1-runner en timestamp-middleware vereisen en er geen DFlash2 is. SGLang-Omni 0.2.0 op SGLang 0.5.22 verwerkt transcriptie van volledige bestanden via het OpenAI-compatibele audio-endpoint, maar ondersteunt geen woordtijdstempels, output met sprekerattributie, vertaling of speculatieve decoding. NeMo Speech wordt geleverd met de fine-tuningtoolkit, Transformers ondersteunt in-process gebruik vanuit een installatie vanaf de broncode, en een GGML-build ondersteunt geselecteerde Blackwell-onderdelen, waaronder de RTX 5090 en RTX PRO 6000.

Het diarisatieresultaat is het verhaal

De multi-speakerstabel van NVIDIA is de plek waar de cascadevergelijking staat, en hij is ongewoon gedetailleerd voor een lanceringsbericht. Het gemiddelde cpWER over de hele set is 15,80 tegen 16,83 voor DiCoW v3.3 gecombineerd met DiariZen. De cijfers per conditie laten zien waar de marge vandaan komt en waar niet: AMI in close-talkcondities bereikt 10,29, AMI single-distance-microphone 17,34, CALLHOME CH109 11,50, Mixer 6 channel 4 14,80, NOTSOFAR-1 close-talk 14,94 en single-channel 25,91, met AISHELL-4 op 32,91 cpCER en AliMeeting op 34,95. Het breedbandige, multikanaals vergaderscenario is sterk; far-field met één microfoon en Chinese vergaderaudio zijn veel zwakker, wat een eerlijke beschrijving is van waar elk diarisatiesysteem mee worstelt.

De ogenschijnlijk onafhankelijke bevestiging waarop NVIDIA zich beroept, is VoiceArena's Diarization-Bench, waar het model 32,4% cpWER rapporteert over volledige Engelse sessies, als eerste van veertien systemen. De nummer twee, Multitalker Parakeet in combinatie met Nemotron 3 Diarization, staat op 34,2%, en de rest van het veld loopt van 34,7% tot 71,9%. NVIDIA rapporteert ook woorddeleties van 8,32% van de referentiewoorden tegen een veldmediaan van ongeveer 31%. Dat tweede cijfer is het nuttigste voor iedereen die ooit een transcript heeft opgeleverd: cpWER kan worden gemanipuleerd door woorden weg te laten waarover je onzeker bent, en een systeem dat 92% van de referentiewoorden behoudt terwijl het de metriek wint, doet het moeilijkere werk. Beide zijn door de leverancier gerapporteerde cijfers op een benchmark van derden, geen onafhankelijke evaluatie van het model.

De beperking is het aantal talen. Sprekerattributie is getraind voor dertien talen — Engels, Frans, Duits, Hindi, Italiaans, Koreaans, Portugees, Russisch, Spaans, Japans, Thais, Arabisch en Chinees — en ondersteunt tot acht sprekers. Als je opnames Engelse vergaderingen zijn of een van die andere twaalf talen, geldt het argument voor vervanging van de cascade. Als je audio Pools, Turks of Vietnamees is, krijg je transcriptie zonder diarisatie en heb je nog steeds de tweede component nodig.

Waar het daadwerkelijk staat: drie ranglijsten, drie verschillende antwoorden

Het Engelse getal hangt af van welke NVIDIA-pagina je leest, en het loont daar nauwkeurig over te zijn in plaats van het gunstiger getal te kiezen. Het gemiddelde WER over negen sets op de modelkaart is 4,71%, met Qwen3-ASR-1.7B als volgende op 4,94%. In NVIDIA's Hugging Face-verslag van dezelfde dag wordt 5,33% genoemd als het gemiddelde WER op de Hugging Face Open ASR Leaderboard, bij een RTFx van 462,09, met Qwen3-ASR-1.7B op 5,4%. Beide zijn cijfers van de leverancier zelf, binnen enkele uren van elkaar gepubliceerd, en het verschil zit in welke testsets in het gemiddelde zijn opgenomen. Neem ze niet gemiddeld, trek ze niet van elkaar af en beschouw het cijfer achter de komma niet als vaststaand. Wat beide presentaties overleeft, is de positie: eerste onder open-weight modellen op dat leaderboard.

De rest van de door de leverancier gerapporteerde set is consistent in vorm. De gemiddelde meertalige WER is 4,62% over zeven talen, tegenover 6,49% voor Qwen3-ASR-1.7B. Het gemiddelde voor lange vormen is 10,98%, tegenover 13,37% voor Parakeet-TDT-0.6B-v3. Stijlcontrole scoort 7,56% standaard en 6,16% wanneer geïnstrueerd, tegenover Canary-Qwen op 8,16% en 8,36%. Contextuele prompting brengt ContextASR-Bench van 3,33% zonder context naar 1,71% met fijnmazige context, en transcriptie van earnings calls van 12,54% naar 9,58% wanneer lokale context wordt meegegeven.

De onafhankelijke controle vertelt een minder flatterend verhaal, en dat is het verhaal dat je deze week moet lezen als je tussen modellen kiest. Op de niet-streamende woordfoutenindex van Artificial Analysis, gecontroleerd op 29 oktober, staat Nemotron 3.5 Transcribe op 2,8%. Voxtral Small Transcribe 3 staat op 2,1% en MAI-Transcribe-2 op 2,0% in dezelfde weergave, terwijl Gemini 3.5 Transcribe op 2,6% staat. De formulering van NVIDIA dat het 'gedeeld eerste staat onder open-weightmodellen' is verdedigbaar tegenover het specifieke model dat het noemt — Voxtral Small, dat dezelfde index ook op 2,8% toont, en dat NVIDIA beschrijft als een 24B-model tegenover de ongeveer 4B actieve parameters van dit model — maar de ranglijst was die combinatie al voorbij voordat dit model werd uitgebracht. Een nieuwere Mistral-soortgenoot, Voxtral Small Transcribe 3, heeft in dezelfde weergave een foutpercentage dat ongeveer een kwart lager ligt. Dat maakt het diarisatieresultaat niet onjuist, omdat Voxtral geen sprekerattributie in één pass doet. Het betekent wel dat de juiste zin 'beste open-weightmodel voor ASR met sprekerattributie' is en niet 'beste open-weighttranscriber'.

Het taalspecifieke staartdeel is waar uitrolleringen stuklopen.

Dekking en pariteit zijn verschillende beweringen, en de modelkaart van NVIDIA publiceert genoeg details per taal om de afstand ertussen te zien. De taalmatrix heeft 41 rijen; Noors staat erin zonder taakvinkjes, waardoor er 40 talen daadwerkelijk voor ASR zijn gemarkeerd. Bij FLEURS lopen de foutpercentages van 1,41% tot 63,76% — en 63,76 is Noors. Italiaans bereikt 1,41%, Spaans 2,20%, Duits 2,73%, Frans 3,16%, Engels 3,35%, Arabisch 6,35% en Hindi 7,47%; Japans komt uit op 4,42 CER, Koreaans op 2,78 CER en Chinees op 8,62 CER. Op de gemiddelden per taal van de meertalige leaderboard staat Hindi op 9,15 OIWER, tegenover Nederlands op 5,96 en Duits op 2,81.

Code-switching, dat de kaart voor alle 40 talen claimt, is eveneens onevenwichtig: ASCEND Mandarijn-Engels bereikt 18,74% gemengde fout, MUCS Hindi-Engels 19,28% en MUCS Bengaals-Engels 35,46%, met Monsoon Hindi op 9,40% OIWER. Ook de vertaalkwaliteit varieert sterk — FLEURS-naar-Engels-BLEU van 6,40 tot 44,33, Engels-naar-FLEURS van 8,70 tot 42,65, en CoVoST2-naar-Engels van 6,95 tot 54,46. De robuustheid op de HALAS-set is 31,50% WER; dat is het getal dat elk plan op basis van veldopnamen met accent of ruis zou moeten relativeren.

De praktische interpretatie is dat "40 talen" een dekkingsclaim is op basis waarvan je capaciteit kunt plannen, en geen kwaliteitsclaim op basis waarvan je product kunt plannen. Test de specifieke taal en de specifieke opnameomstandigheden die voor jou belangrijk zijn op een paar honderd van je eigen clips, voordat je je vastlegt. De fine-tuningcasestudy in de modelkaart zelf is het sjabloon: op een Indiase medische spraakbenchmark bedroeg de out-of-the-box fout 30,8%, een prompt waarin Engels en Latijns schrift werden genoemd bracht het naar 23,8%, en adaptatie op ongeveer 245 uur data bracht het naar 11,8% — ongeveer 62% minder fouten, met 14 GPU-uren op één GB300. Sprekers die buiten de training werden gehouden, gingen van 22,44% naar 12,17%, een relatieve reductie van 45,8%, terwijl LibriSpeech test-clean verslechterde van 1,54% naar 1,69%, het gebruikelijke teken van een nauwe adaptatie.

Wat het kost om te draaien, en waar routing past

NVIDIA heeft geen prijs gepubliceerd voor het model. Er staat geen tarief per minuut op de onderzoekspagina of de modelkaart, de gewichten zijn gratis onder OpenMDW-1.1, en gehoste toegang bij de lancering loopt via NVIDIA's eigen NIM-endpoint plus meerdere platforms van derden die hun eigen tarieven bepalen. De kostenkwestie is dus een GPU-kwestie, en de cijfers daarvoor zijn ongewoon volledig.

Op één RTX PRO 6000 Blackwell Server Edition verwerkt de NVFP4-build met het DFlash2-draftmodel tot 2.238 seconden audio per seconde — een opname van 30 seconden is in 0,13 seconden klaar — waardoor 100 uur audio in minder dan drie minuten past. Dat is het geoptimaliseerde NIM-pad, en NVIDIA stelt dat de open vLLM-integratie ongeveer twee keer zo traag is. Op een H100 bij BF16 zijn de RTFx-cijfers van de kaart 410 bij speculatie met twee tokens, 270 met acht, 340 met DFlash2 bij K=7 en 260 bij K=15. Aan de bovenkant van dat bereik dekt één H100-uur ongeveer 410 uur audio, dus duizend uur transcriptie kost ruwweg tweeënhalf GPU-uur aan rekenkracht. Of dat een gehoste prijs per minuut verslaat, hangt volledig af van hoe verzadigd je de kaart houdt: bij een paar honderd uur per maand is een inactieve 80GB-GPU de duurdere optie, en de rekensom kantelt pas als de wachtrij vol blijft.

Adaptatie is goedkoop naar de maatstaven van deze klasse. NVIDIA rapporteert 0,5 tot 2,3 GPU-uur per taak op één GPU voor nieuwe talen, domeinen of uitvoerstijlen, geëvalueerd over 17 taken, met LoRA op het taalmodel en training op de encoder en projectie. Dat is een dusdanig klein aantal dat domeinaanpassing moet worden beschouwd als onderdeel van de uitrol, niet als een onderzoeksproject — de medische casus hierboven kost van begin tot eind 14 GPU-uur.

Eén architectuurnotitie die belangrijk is voor wat volgt: dit model genereert tekst, en de samenvatting, entiteitsextractie en compliance-tagging die na een transcript volgen, zijn gewoon LLM-werk. Die downstreamfase is het deel dat OrcaRouter dekt — één API voor 200+ modellen tegen 0% opslag ten opzichte van de lijstprijs van de provider, automatische failover wanneer een provider midden in een pipeline degradeert, en een routing-DSL om lange transcripten en korte snippets naar verschillende modellen te sturen zonder elke keer een tweede integratie. We hosten Nemotron 3.5 Transcribe niet; het is een spraakmodel dat je op je eigen hardware of via NVIDIA's endpoint draait. De routeringslaag begint waar het transcript eindigt.

Twee modellen delen de naam, en slechts één daarvan is deze.

Een deel van wat er de afgelopen dag over deze release is geschreven, gaat over een andere checkpoint. NVIDIA publiceert ook nemotron-3.5-asr-streaming-0.6b, een kleine streaming-ASR-checkpoint die is gebouwd voor on-device- en CPU-gerichte runtimes, waarbij de gekwantiseerde builds klein genoeg zijn om in een applicatie mee te leveren. Het is niet dit model, het doet geen sprekerattributie, en de snelheids- en nauwkeurigheidscijfers ervan zijn niet overdraagbaar. Het 30B-A4B spraak-LLM is degene die op 28 oktober is aangekondigd; het 0,6B streamingmodel is degene die op een laptop draait. Als een vergelijking die je leest latentie van minder dan een seconde of een download van één gigabyte noemt naast de claim over 40 talen, dan heeft die de twee samengevoegd.

Wie moet nu handelen, en wie moet wachten?

Kom nu in actie als u opgenomen vergaderingen, gesprekken of interviews in het Engels of een van de twaalf andere diarisatietalen verwerkt, in bestanden van minder dan een uur, en als u al over GPU-capaciteit van de 80GB-klasse of een gehost endpoint beschikt waarvoor u bereid bent te betalen. De businesscase is het sterkst wanneer u momenteel een cascade met twee modellen onderhoudt: één checkpoint, één pass, inclusief sprekerlabels en woordtijdstempels, onder een licentie die commercieel gebruik toestaat. Evalueer het met uw eigen audio voordat u pyannote uitfasert — de hierboven genoemde far-field- en accentaudiocijfers zijn de cijfers die het meest waarschijnlijk tegenvallen.

Wacht als je livestreaming nodig hebt, want er is geen streamingpad; als je talen in de staart van dat FLEURS-bereik zitten; als de opnames langer dan een uur duren; of als je geen GPU hebt en geen zin hebt in een gehoste factuur per minuut. Wacht ook als je stack al op een nieuwere transcriber draait die lagere foutpercentages scoort op Artificial Analysis en geen diarisatie nodig heeft — de sprekerattributie in één pass is de reden om over te stappen, en de enige reden.

De open vragen die het volgen waard zijn, zijn smal en controleerbaar. Onafhankelijke evaluatie op volledige precisie is nog steeds schaars; vroege rapporten van mensen die community-4-bitkwantisaties draaien, beschrijven de gebruikelijke vertraging en het gebruikelijke nauwkeurigheidsverlies, wat meer zegt over de kwantisatie dan over het model. SGLang-Omni moet functiepariteit bereiken voordat het niet-vLLM-pad een echt alternatief is. En de dertien diarisatietalen zijn het aantal dat waarschijnlijk als eerste zal veranderen, omdat daar de architectonische claim geconcentreerd is.