Nemotron 3.5 Transcribe ersätter en pipeline med fem modeller. Det öppna bygget har fortfarande luckor.

Ett 45 minuter långt styrelsemöte med sex talare brukade kräva fem rörliga delar: röstaktivitetsdetektering, en ASR-modell, en diariserare, en forced aligner och en språkmodell för att putsa råutdata till något som en människa skulle läsa. NVIDIA Nemotron 3.5 Transcribe, som släpptes den 28 oktober 2026 under OpenMDW-1.1-licensen, är NVIDIAs försök att kollapsa den stacken till ett enda forward-pass. Det som gör släppet värt en andra läsning är inte själva kollapsen. Det är listan över saker som open-source-serveringsvägen ännu inte gör.

Checkpointen är en talförstärkt språkmodell snarare än en ASR-modell med påskruvade extrafunktioner. Dess 34 miljarder parametrar utgörs mestadels av en Nemotron 3.5 Lightning 30B-A3B hybrid Mamba–Transformer-stomme av mixture-of-experts-typ; cirka 4,3 miljarder är aktiva per token, inklusive ungefär 800 miljoner för ljudkodaren. Reponamnet lyder fortfarande 30B-A4B, vilket räknar avkodaren och inte det sammansatta systemet. NVIDIAs egen supportmatris, benchmarktabeller och licensen finns alla på modellkortet, och det kortet är det mest användbara dokumentet i utgåvan.

Fem jobb, en kontrollpunkt

Pitchen är att en prompt väljer transkriptionen. NVIDIA tränar in fem utdatastilar i samma vikter, och anroparen väljer en med instruktioner på naturligt språk i stället för en separat modell eller ett efterbearbetningsskript:

• Ordagrant — disfluenser, falska starter och upprepningar bevarade, för juridiska och regelefterlevnadsregister.

• Skriftlig form — rensad interpunktion och versalisering, för undertexter och läsbara protokoll.

• Kontextuell — en entitetslista som anges i prompten styr stavningen av namn, produkter och jargong.

• Talarattribuerad – varje segment har en talartagg som genereras i ASR-genomgången.

• Rich – den allomfattande stilen som samlar talaretiketter, interpunktion, skiftläge och formatering.

Utöver transkribering utför samma checkpoint talöversättning i båda riktningarna mellan engelska och 31 språk, identifiering av talat språk samt ljudförståelse – frågor och svar och uppföljning av talade instruktioner över inspelningen. Den hanterar inspelningar på upp till en timme inom en kontext på 65 536 token, med interna avkodningssegment på 30 sekunder som är en teknisk detalj snarare än en begränsning för inspelningen. Ordstidsstämplar kommer från en lättvikts-CTC-adapter efter avkodningen.

Varifrån talaretiketterna egentligen kommer

De flesta påståenden om att "en modell gör allt" bryter samman vid diarisering, eftersom talaridentitet är ett klustringsproblem och transkribering är ett sekvensproblem, och de två löses vanligtvis separat. Nvidias svar är en parallell expertkodare: en fryst Nemotron 3 Diarization-modell producerar representationer av talaraktivitet som injiceras i talencoderns utdata, så att språkstommen ser vem som talar medan den avgör vad som sägs. Själva LLM:en tränas inte om för uppgiften.

Det är den utformningen som gör att företaget kan hävda ett enda genomlopp i stället för en kaskad. NVIDIA rapporterar en genomsnittlig sammanfogad minsta-permutation-ordfelkvot på 15,80 på sitt utvärderingsset med flera talare, mot 16,83 för den bästa specialiserade ASR-plus-diariserarkaskaden, och beskriver resultatet som den första tal-LLM:en som slår den typen av system på talarattribuerad transkribering med överlappande tal. Det är leverantörssiffror från ett utvärderingsset som leverantören har byggt, och inget neutralt laboratorium har ännu reproducerat dem. Betrakta riktningen som rimlig och marginalen som provisorisk.

Siffrorna, med etiketterna bifogade

NVIDIA-kortet rapporterar en genomsnittlig ord Felkvot på 4,71 % över de nio offentliga engelska testuppsättningarna i Open ASR Leaderboard. Spridningen under det medelvärdet är stor och värd att känna till innan du citerar det: LibriSpeech test-clean ligger på 1,09 % och SPGISpeech på 1,91 %, medan AMI landar på 7,81 % och URGENT24 på 11,00 %. Den flerspråkiga resultattavlan har ett genomsnitt på 4,62 % över sju språk, där tyska ligger på 2,81 % och hindi på 9,15 % enligt sitt eget out-of-vocabulary-mått.

Pressrapporteringen om lanseringen har även citerat 5,33 % för den engelska styrelsen. Det är ett annat aggregerat värde över en annan sammansättning av uppsättningen, inte en korrigering, och de två bör aldrig placeras på samma rad. Kortets 4,71 % är siffran att citera om du citerar kortet.

Påståendet om kontextuell prompting är det mest konkreta i lanseringen. På ContextASR-Bench går den övergripande WER från 3,33 % utan entitetslista till 1,71 % med en finkornig sådan; WER för namngivna entiteter sjunker från 12,21 % till 2,20 %, och andelen falska negativa svar för namngivna entiteter från 14,99 % till 1,32 %. Det är en verklig, kontrollerbar mekanism – ge modellen dina produktnamn och den slutar gissa på dem – även om de absoluta poängen kommer från NVIDIA:s testramverk.

Den oberoende bilden är mindre smickrande och mer användbar. Artificial Analysis listar Nemotron 3.5 Transcribe på 3,4 % i sin icke-strömmande AA-WER v2-tabell, på delad plats runt 20:e till 23:e, medan deras egen FAQ beskriver modellen på 2,8 %. Båda siffrorna tillhör samma tabell på samma sida. Skillnaden är en skillnad i mätmål – slutpunkt, kvantisering eller utvärderingsurval – och den är ungefär lika stor som bruset som detta index har visat mellan olika serveringskonfigurationer. Vid skrivandet anger tabellen också ett hostat pris på 2,00 USD per 1 000 minuter ljud, vilket motsvarar ungefär 0,12 USD per timme.

Genomströmningspåståendet är det som driftsteam kommer att bry sig om: 2 238 sekunder ljud bearbetas per sekund på en enda RTX PRO 6000 Blackwell GPU, med NVFP4-checkpointen och DFlash2-draftmodellen. NVIDIA:s eget förbehåll är att den optimerade serveringsstacken inte ingår i öppen källkod-utgåvan, och den medföljande utvecklingsintegrationen förväntas köra ungefär dubbelt så långsamt. Halvera siffran innan du planerar kapacitet.

Där den öppna builden slutar

Det här är den del som lanseringsbevakningen hoppar över. Checkpointen är kapabel; integrationerna runt den är ojämna, och modellkortet säger det rakt ut.

Ingen strömning – "Det här är en offline-modell", konstaterar kortet och tillägger att intern ljuduppdelning inte gör den till en strömningstjänst i realtid. Varje sekund av inspelningen måste existera innan avkodningen börjar.

• SGLang-Omni-integrationen är endast för transkribering – den levererar transkribering av hela filer men inkluderar enligt modellkortet inte ordtidsstämplar, utdata med talarattribuering, översättning eller spekulativ avkodning. vLLM-vägen stöder däremot insamling av tidsstämplar. Vilken körningsmiljö du väljer avgör vilka funktioner du får.

• Tidsstämplar och DFlash2 utesluter varandra – tidsstämplar är inte tillgängliga när draftmodellen för spekulativ avkodning används. Snabbt eller justerat, inte båda, i den levererade konfigurationen.

• Ljudförståelse är endast på engelska – resonemang, följande av talade instruktioner och besvarande av ljudfrågor "fungerar kanske inte pålitligt på andra språk", varnar kortet, även om transkriptionen täcker 40.

• Den kan misslyckas med att stoppa – kortet rekommenderar en skyddsmekanism för upprensning eftersom modellen ibland kan hamna i en loop utan att avsluta. Det är ett operativt krav, inte en fotnot.

• En timme är en hård praktisk gräns – prestanda utöver 65 536 token eller en inspelning på en timme "garanteras inte vara generaliserbar." För en deposition som varar hela dagen delar du upp filen och avstämmer talarna själv.

Talarattribution är också snävare än rubriken med 40 språk: 13 av de 40 språken är markerade för utdata för flera talare i NVIDIAs matris, och träningsblandningarna omfattar upp till åtta talare. Om ditt möte är på turkiska eller vietnamesiska kan du transkribera det väl och ändå inte få etiketter.

Driftsättning och vad den kostar

Vikterna är kostnadsfria för kommersiell och icke-kommersiell användning under OpenMDW-1.1, publicerade i BF16, FP8, NVFP4 och GGUF, med en referenskonfiguration på en H100 80 GB och stöd över Ampere-, Hopper-, Blackwell- och Lovelace-delar. Det finns även en NIM-container för team som hellre inte vill bygga serveringsstacken själva, och NeMo Speech för finjustering – NVIDIA rapporterar att modellen anpassats över 17 uppgifter med 0,5 till 2,3 GPU-timmar per uppgift på en GPU, vilket är den typ av siffra som gör domänanpassning realistisk snarare än teoretisk.

Ekonomin delar sig tydligt. Som värdbaserad tjänst är Artificial Analysis-noteringen på 2,00 USD per 1 000 minuter cirka 0,12 USD per ljudtimme – billigare än de flesta hanterade transkriptionstjänster och ungefär en tredjedel av vad en typisk moln-STT-räkning landar på. Självhostad är marginalkostnaden GPU-tid: vid leverantörens genomströmning på 2 238:1 är tusen timmar ljud mindre än en halvtimme beräkningstid på rätt kort, så frågan handlar inte längre om pris utan om huruvida du äger eller hyr hårdvaran, och om ljudet tillåts lämna ditt nätverk. Båda vägarna är legitima; på ett kalkylark ligger de inte i närheten av varandra.

Hälften av jobbet som kontrollpunkten inte utför

Transkribering producerar text, och det är i texten som merparten av nedströmskostnaderna ligger: sammanfatta samtalet, extrahera åtgärdspunkter, maska personuppgifter, översätta den engelska utdata för ett regionalt kontor och kontrollera att talaretiketterna överlevde överlämningen. Det är vanliga textmodellarbetsbelastningar, och de behöver inte köras på samma maskin som ASR.

Det är där en router är på sin plats. OrcaRouter samlar dessa nedströmsanrop bakom en enda nyckel med 0 % påslag – leverantörens listpris går rakt igenom, så en prisändring från leverantören slår igenom samma dag – med automatisk failover när en leverantörs prestanda försämras och ett routing-DSL som kan skicka sammanfattning, redigering och översättning till olika modeller inom ett och samma arbetsflöde. För att vara tydlig: NVIDIA Nemotron 3.5 Transcribe finns inte i OrcaRouters katalog, och ingenting här antyder något annat. Det vi dirigerar är textlagret efter att transkriptet finns, vilket är det lager som de flesta team underskattar när de budgeterar en transkriptionspipeline.

Om du utvärderar själva modellen är den ärliga vägen en hostad slutpunkt först och din egen hårdvara sedan. Kortets egna siffror skiljer sig med mer än en punkt mellan leverantörens och oberoende mätningar, och det enda ljud som avgör saken är ditt eget.

Vad skulle ändra rekommendationen?

Tre saker är värda att följa under nästa kvartal. För det första: om serving-stacken för öppen källkod hinner ikapp den optimerade NIM-vägen – tills den gör det är den annonserade genomströmningen en siffra som endast gäller den värdbaserade versionen, och det öppna släppet ligger på ungefär hälften av den. För det andra: om någon utanför NVIDIA reproducerar 15.80 cpWER och den sexfaldiga förbättringen av namngivna entiteter; båda är starka påståenden som för närvarande vilar på ett enda labs utvärderingsramverk. För det tredje: om ljudförståelsen expanderar utanför engelskan, eftersom den förmågan – att ställa frågor till en inspelning i stället för att bara transkribera den – är den del som ingen konkurrerande öppen checkpoint erbjuder i den här storleken.

För närvarande är den praktiska bedömningen snäv och oglamorös. Om du behöver en timmes flerspråkig transkribering med talaridentifiering och kan acceptera ett batcharbetsflöde är den här checkpointen det starkaste öppna alternativet som finns, och mekanismen för kontextuell promptning är verkligen differentierande. Om du behöver liveundertexter, en strömmande agent eller ordnivåalignering tillsammans med snabbast möjliga avkodning täcker släppet dig inte ännu, och de produkter som klarar det är fortfarande de du bör kontakta.