Nemotron 3.5 Transcribe: NVIDIA:s tal-LLM slår diariseringskaskaden – på 13 språk

NVIDIA levererade Nemotron 3.5 Transcribe den 28 oktober 2026 under en öppen licens, och siffran i varje rubrik om den är 40: fyrtio språk, en checkpoint, talaretiketter ingår. Siffran som faktiskt ändrar hur du bygger en transkriberingsstack är 15,80. Det är modellens genomsnittliga cpWER på NVIDIA:s egen benchmarkuppsättning för flera talare, mot 16,83 för den bästa specialiserade kaskad som företaget jämförde den med – en taligenkännare plus en separat diariseringspipeline, sammankopplade på det sätt som de flesta produktionssystem för mötestranskribering fortfarande är. NVIDIA hävdar att detta är den första tal-LLM som slår det arrangemanget, och det är det påståendet som är värt att testa, eftersom det är det som tar bort en komponent från din arkitektur snarare än att lägga till ett språk i en lista.

Siffran om 40 språk är verklig men snävare än den låter. Talarattribuering – den del som ersätter kaskaden – är tränad för tretton språk, inte fyrtio. Modellen läser endast inspelade filer, upp till en timme åt gången, utan någon streamingväg. Och det är inte en liten nedladdning: 34B parametrar totalt, cirka 4,3B aktiva per token, med ett H100 80GB som angiven baslinje för BF16-servering. Dessa tre begränsningar avgör om diariseringsresultatet är något du kan använda det här kvartalet eller något du noterar till nästa.

Vad NVIDIA faktiskt levererade

Checkpointen publiceras som NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, och glappet mellan det namnet och det publicerade antalet parametrar är det första som måste redas ut. Modellen bygger på Nemotron 3.5 Lightning 30B-A3B, en hybrid språkmodell av Mamba-2 och Transformer med mixture-of-experts; NVIDIAs modellkort anger totalt 34B parametrar, med ungefär 4,3B aktiva inklusive ljudstacken. Den extra vikten utöver 30B i namnet är enkodarna: cirka 600M för ASR-transformern och cirka 99M för talarenkodaren, ungefär 800M tillsammans, vilket lämnar språkryggraden på cirka 3,5B aktiva. Flera artiklar har rapporterat detta som en inkonsekvens; det är det inte, det är ett namn som räknar LLM:en och ett kort som räknar hela systemet.

Arkitektoniskt sett är den komponent som är värd att förstå den parallella expertkodaren. En fryst Nemotron 3 Diarization-modell producerar talaraktivitetsrepresentationer, och dessa injiceras i ASR-kodarens utdata, så att språkmodellen ser både orden och vem som sannolikt säger dem i en enda passering. En lättvikts-CTC-adapter justerar sedan den genererade texten mot ljudet för att producera ordtidsstämplar med talarattribuering. Det finns inget andra justeringssteg och inget pyannote-anrop däremellan. Inbyggd flertokenprediktion fungerar också som ett utkast för spekulativ avkodning i vLLM, och NVIDIA levererar även en separat tränad DFlash2-utkastmodell.

• Totala och aktiva parametrar — 34B totalt, ~4,3B aktiva per token, varav ~3,5B är språkryggraden

• Kontext och ljud — 65 536 token, inspelningar på upp till 1 timme i 16 kHz mono, avkodade i interna block på 30 sekunder

• Språktäckning – 40 språk för transkribering, 32 för översättning till och från engelska, 13 för talarattribuerad transkribering

• Licens — OpenMDW-1.1, kommersiell och icke-kommersiell användning tillåten

• Inferensbaslinje — en H100 80GB i BF16; BF16-, FP8- och NVFP4-byggen är publicerade

• Streaming – ingen; detta är en modell där en fil matas in och en transkription matas ut

Släppet består av ett par artefakter, och det är värt att hålla dem åtskilda eftersom de flesta genomgångar suddar ut gränsen mellan dem. Vid sidan av modellen publicerade NVIDIA Granary v2, ett släpp av en taladatapipeline snarare än en checkpoint: 463 062 timmar över 48 språk och 16 källkorpusar, upp från 25 språk i Granary v1, byggd med NeMo Curator och levererad med ett offentligt manifest. Varje post innehåller tre transkriptionsformer – textnormaliserad ordagrann, inversnormaliserad med disfluenser och inversnormaliserad utan dem – samt uppgiftsetiketter, talgrundade fråge-svarspar, kontextuella biaseringstermer och en kvalitetsflagga per post. Det är datan som finjusteringsrecepten förväntar sig, inte vikter du kan köra. Källljudet måste fortfarande laddas ned enligt varje korpus egen licens, så Granary v2 är öppen i den meningen att dess manifest och pipeline är det, inte i den meningen att ljudet är fritt att distribuera vidare.

Licensen är lika viktig som vikterna. OpenMDW-1.1 tillåter kommersiell användning, vilket placerar detta i samma kategori som Mistrals Voxtral-serie snarare än i den forskningsorienterade änden av spektrumet för öppna vikter. Körtidsstödet vid lansering är bredare än för de flesta lanseringar av tal-LLM:er: vLLM 0.32.0 är den primära vägen och den enda som ger dig den fullständiga funktionsuppsättningen, där ordtidsstämplar kräver V1-köraren och tidsstämpelmellanvaran och utan DFlash2. SGLang-Omni 0.2.0 på SGLang 0.5.22 hanterar transkribering av hela filer via den OpenAI-kompatibla ljudslutpunkten, men inte ordtidsstämplar, utdata med talarattribuering, översättning eller spekulativ avkodning. NeMo Speech levererar finjusteringsverktygslådan, Transformers stöder användning i samma process från en källkodsinstallation, och ett GGML-bygge täcker utvalda Blackwell-komponenter, inklusive RTX 5090 och RTX PRO 6000.

Resultatet av diariseringen är det som avgör.

NVIDIAs tabell för flera talare är där kaskadjämförelsen finns, och den är ovanligt detaljerad för ett lanseringsinlägg. Medelvärdet för cpWER över hela uppsättningen är 15,80 mot 16,83 för DiCoW v3.3 kombinerat med DiariZen. Siffrorna per villkor visar var marginalen kommer ifrån och var den inte gör det: AMI i close-talk-villkor når 10,29, AMI single-distance-microphone 17,34, CALLHOME CH109 11,50, Mixer 6 kanal 4 14,80, NOTSOFAR-1 close-talk 14,94 och single-channel 25,91, med AISHELL-4 på 32,91 cpCER och AliMeeting på 34,95. Det bredbandiga mötesfallet med flera kanaler är starkt; fjärrfälts-single-microphone och kinesiskt mötesljud är mycket svagare, vilket är en rättvis beskrivning av var alla diariseringssystem har svårt.

Det stöd som ser oberoende ut och som NVIDIA lutar sig mot är VoiceArenas Diarization-Bench, där modellen rapporterar 32,4 % cpWER över fullständiga engelska sessioner och ligger först av fjorton system. Tvåan, Multitalker Parakeet parad med Nemotron 3 Diarization, ligger på 34,2 %, och resten av fältet ligger mellan 34,7 % och 71,9 %. NVIDIA rapporterar också ordbortfall på 8,32 % av referensorden, mot ett medianvärde för fältet på omkring 31 %. Den andra siffran är den mer användbara för den som har levererat en transkription: cpWER kan manipuleras genom att man utesluter ord man är osäker på, och ett system som behåller 92 % av referensorden samtidigt som det vinner i måttet utför det svårare arbetet. Båda är leverantörsrapporterade siffror på ett tredjepartsbenchmark, inte en oberoende utvärdering av modellen.

Gränsen är antalet språk. Talarattributionen är tränad för tretton språk – engelska, franska, tyska, hindi, italienska, koreanska, portugisiska, ryska, spanska, japanska, thailändska, arabiska och kinesiska – och stöder upp till åtta talare. Om dina inspelningar är engelska möten eller ett av de tolv andra språken, är kaskadersättningsargumentet aktuellt. Om ditt ljud är polska, turkiska eller vietnamesiska får du transkription utan diarisering och du behöver fortfarande den andra komponenten.

Vilken placering den faktiskt har: tre resultattavlor, tre olika svar

Den engelska siffran beror på vilken NVIDIA-sida du läser, och det är värt att vara precis om det i stället för att välja den bättre. Modellkortets medelvärde för ordfelsfrekvens över nio set är 4,71 %, med Qwen3-ASR-1.7B strax efter på 4,94 %. NVIDIA:s Hugging Face-inlägg från samma dag anger 5,33 % som genomsnittlig WER på Hugging Face Open ASR Leaderboard, vid en RTFx på 462,09, med Qwen3-ASR-1.7B på 5,4 %. Båda är leverantörens egna siffror, publicerade inom några timmar från varandra, och skillnaden ligger i vilka testset som ingår i genomsnittet. Beräkna inte medelvärdet av dem, subtrahera inte den ena från den andra och behandla inte decimalen som fastställd. Det som håller i båda framställningarna är placeringen: etta bland modeller med öppna vikter på den listan.

Resten av den leverantörsrapporterade uppsättningen är konsekvent till formen. Det flerspråkiga medel-WER:et är 4,62 % över sju språk, jämfört med 6,49 % för Qwen3-ASR-1.7B. Långformsmedelvärdet är 10,98 %, jämfört med 13,37 % för Parakeet-TDT-0.6B-v3. Stilkontroll ger 7,56 % som standard och 6,16 % när den instrueras, jämfört med Canary-Qwen på 8,16 % och 8,36 %. Kontextuell promptning flyttar ContextASR-Bench från 3,33 % utan kontext till 1,71 % med finkornad kontext, och transkribering av resultatkonferenssamtal från 12,54 % till 9,58 % när lokal kontext tillhandahålls.

Den oberoende kontrollen ger en mindre smickrande bild, och det är den man bör läsa om man väljer mellan modeller den här veckan. I det icke-strömmande ordfelsindexet från Artificial Analysis, kontrollerat den 29 oktober, ligger Nemotron 3.5 Transcribe på 2,8 %. Voxtral Small Transcribe 3 ligger på 2,1 % och MAI-Transcribe-2 på 2,0 % i samma vy, medan Gemini 3.5 Transcribe ligger på 2,6 %. NVIDIAs formulering ”delad förstaplats bland modeller med öppna vikter” är försvarbar gentemot den specifika modell som den nämner – Voxtral Small, som samma index också visar på 2,8 %, och som NVIDIA beskriver som en 24B-modell jämfört med den här modellens cirka 4B aktiva parametrar – men topplistan hade redan rört sig förbi den jämförelsen innan den här modellen lanserades. En nyare syskonmodell från Mistral, Voxtral Small Transcribe 3, har ungefär en fjärdedel lägre felkvot i samma vy. Det gör inte diariseringsresultatet felaktigt, eftersom Voxtral inte utför talarattribuering i ett enda pass. Det betyder att rätt mening är ”bästa modellen med öppna vikter för talarattribuerad ASR” och inte ”bästa transkriberingsmodellen med öppna vikter”.

Den språkspecifika svansen är där driftsättningar går sönder

Täckning och paritet är olika påståenden, och NVIDIA:s modellkort publicerar tillräckligt med språkspecifik information för att man ska kunna se avståndet mellan dem. Språkmatrisen har 41 rader; norska förekommer i den utan uppgiftskryss, vilket lämnar 40 språk som faktiskt är markerade för ASR. I FLEURS sträcker sig felprocenten från 1,41 % till 63,76 % – och 63,76 är norska. Italienska når 1,41, spanska 2,20, tyska 2,73, franska 3,16, engelska 3,35, arabiska 6,35 och hindi 7,47; japanska landar på 4,42 CER, koreanska på 2,78 CER och kinesiska på 8,62 CER. I den flerspråkiga topplistans språkvisa medelvärden ligger hindi på 9,15 OIWER, jämfört med nederländska på 5,96 och tyska på 2,81.

Kodväxling, som kortet uppger för alla 40 språk, är likaså ojämn: ASCEND mandarin–engelska når 18,74 % blandat fel, MUCS hindi–engelska 19,28 % och MUCS bengali–engelska 35,46 %, med Monsoon hindi på 9,40 % OIWER. Översättningskvaliteten varierar också kraftigt – FLEURS-till-engelska BLEU från 6,40 till 44,33, engelska-till-FLEURS från 8,70 till 42,65 och CoVoST2-till-engelska från 6,95 till 54,46. Robustheten på HALAS-uppsättningen är 31,50 % WER, vilket är siffran som bör dämpa alla planer som bygger på fältinspelningar med brytning eller brus.

Det praktiska budskapet är att ”40 språk” är ett täckningspåstående som du kan dimensionera kapacitet efter, inte ett kvalitetspåstående som du kan planera produkt efter. Testa det specifika språket och de specifika inspelningsförhållanden du intresserar dig för på några hundra av dina egna klipp innan du binder dig. Modellkortets egen fallstudie av finjustering är mallen: på ett indiskt benchmark för medicinskt tal var felprocenten direkt ur lådan 30,8 %, en prompt som angav engelska och latinsk skrift sänkte den till 23,8 %, och anpassning på ungefär 245 timmar data sänkte den till 11,8 % — ungefär 62 % färre fel, på 14 GPU-timmar på en GB300. Talare som inte ingick i träningen gick från 22,44 % till 12,17 %, en relativ minskning på 45,8 %, medan LibriSpeech test-clean försämrades från 1,54 % till 1,69 %, det vanliga tecknet på en snäv anpassning.

Vad det kostar att köra, och var routning passar in

NVIDIA har inte publicerat något pris för modellen. Det finns ingen minutpris på forskningssidan eller modellkortet, vikterna är gratis under OpenMDW-1.1, och värdbaserad åtkomst vid lansering går via NVIDIA:s egen NIM-slutpunkt plus flera tredjepartsplattformar som fastställer sina egna priser. Så kostnadsfrågan är en GPU-fråga, och siffrorna för den är ovanligt fullständiga.

På en RTX PRO 6000 Blackwell Server Edition bearbetar NVFP4-bygget med DFlash2-utkast upp till 2 238 sekunder ljud per sekund – en 30-sekunders inspelning tar 0,13 sekunder – vilket innebär att 100 timmar ljud klarar sig på under tre minuter. Det är den optimerade NIM-vägen, och NVIDIA uppger att den öppna vLLM-integrationen är ungefär dubbelt så långsam. På en H100 med BF16 är kortets RTFx-siffror 410 med spekulation på två token, 270 med åtta, 340 med DFlash2 vid K=7 och 260 vid K=15. I den övre delen av intervallet täcker en H100-timme cirka 410 timmar ljud, så tusen timmar transkribering är ungefär två och en halv GPU-timme beräkningskraft. Huruvida det slår ett pris per minut hos en hostad tjänst beror helt och hållet på hur hög beläggning du håller på kortet: vid några hundra timmar i månaden är en ledig 80GB-GPU det dyrare alternativet, och kalkylen vänder först när kön hålls full.

Anpassning är billig med mått mätt för den här klassen. NVIDIA rapporterar 0,5 till 2,3 GPU-timmar per uppgift på en enskild GPU för nya språk, domäner eller utdatastilar, utvärderat över 17 uppgifter, med LoRA på språkmodellen och träning av encodern och projektionen. Det är ett så pass litet tal att domänanpassning bör behandlas som en del av driftsättningen snarare än som ett forskningsprojekt – det medicinska fallet ovan tar 14 GPU-timmar från början till slut.

En arkitektonisk notering som är viktig för det som kommer härnäst: den här modellen producerar text, och sammanfattningen, entitetsutvinningen och compliance-taggningen som följer efter en transkription är vanligt LLM-arbete. Det nedströms liggande steget är den del som OrcaRouter täcker – ett API för 200+ modeller till 0 % påslag utöver leverantörens listpris, automatisk failover när en leverantör degraderas mitt i pipelinen, och ett routing-DSL för att skicka långa transkriptioner och korta utdrag till olika modeller utan en ny integration varje gång. Vi hostar inte Nemotron 3.5 Transcribe; det är en talmodell som du kör på din egen hårdvara eller via NVIDIA:s endpoint. Routinglagret börjar där transkriptionen slutar.

Två modeller delar namnet, och bara en är den här.

En del av det som har skrivits om den här utgåvan det senaste dygnet handlar om en annan checkpoint. NVIDIA publicerar också nemotron-3.5-asr-streaming-0.6b, en liten strömmande ASR-checkpoint byggd för enhetsnära och CPU-orienterade körningsmiljöer, där dess kvantiserade byggen är små nog att paketeras inuti en applikation. Det är inte den här modellen, den gör inte talarattribuering, och dess hastighets- och noggrannhetssiffror överförs inte. Tal-LLM:en på 30B-A4B är den som tillkännagavs den 28 oktober; den strömmande modellen på 0,6B är den som körs på en laptop. Om en jämförelse du läser anger latens under en sekund eller en nedladdning på en gigabyte tillsammans med påståendet om 40 språk, har den slagit samman de två.

Vem bör agera nu, och vem bör vänta?

Gör det nu om du kör inspelade möten, samtal eller intervjuer på engelska eller ett av de tolv andra diariseringsspråken, i filer under en timme, och du redan har GPU-kapacitet i 80 GB-klassen eller en hostad slutpunkt som du är villig att betala för. Argumentet är starkast där du för närvarande upprätthåller en kaskad med två modeller: en checkpoint, ett pass, med talaretiketter och ordtidsstämplar inkluderade, under en licens som tillåter kommersiell användning. Utvärdera det mot ditt eget ljud innan du avvecklar pyannote – siffrorna ovan för fjärrfält och tal med brytning är de som mest sannolikt kommer att skapa besvikelse.

Vänta om du behöver live-streaming, eftersom det inte finns någon strömningsväg; om dina språk ligger i svansen av det FLEURS-spannet; om inspelningarna pågår längre än en timme; eller om du saknar GPU och inte har någon lust att betala per minut för en hostad tjänst. Vänta också om din stack redan kör en nyare transkriberare som uppvisar lägre fel på Artificial Analysis och inte behöver diarisering – talarattribuering i ett enda pass är anledningen att byta, och det är den enda.

De öppna frågor som är värda att följa är avgränsade och kontrollerbara. Det är fortfarande ont om oberoende utvärderingar i full precision; tidiga rapporter från dem som kör communityns 4-bitkvantiseringar beskriver den vanliga nedgången i hastighet och noggrannhet, vilket säger mer om kvantiseringen än om modellen. SGLang-Omni måste nå funktionsparitet innan den icke-vLLM-vägen är ett verkligt alternativ. Och de tretton diariseringsspråken är den siffra som mest sannolikt ändras först, eftersom det är där det arkitektoniska påståendet är koncentrerat.