Nemotron 3.5 Transcribe: NVIDIAs Sprach-LLM schlägt die Diarisierungs-Kaskade – in 13 Sprachen

NVIDIA hat Nemotron 3.5 Transcribe am 28. Oktober 2026 unter einer offenen Lizenz veröffentlicht, und die Zahl in jeder Schlagzeile dazu ist 40: vierzig Sprachen, ein Checkpoint, Sprecher-Labels inklusive. Die Zahl, die tatsächlich verändert, wie man einen Transkriptions-Stack baut, ist 15,80. Das ist der mittlere cpWER des Modells auf NVIDIAs eigenem Multi-Speaker-Benchmark-Datensatz, gegenüber 16,83 für die beste spezialisierte Kaskade, mit der das Unternehmen es verglichen hat – ein Spracherkenner plus eine separate Diarisierungs-Pipeline, so zusammengeschaltet, wie es die meisten produktiven Meeting-Transkriptionssysteme noch immer sind. NVIDIA behauptet, dies sei das erste Speech-LLM, das diese Anordnung schlägt, und genau diese Behauptung ist es wert, geprüft zu werden, denn sie entfernt eine Komponente aus der Architektur, statt eine Sprache zu einer Liste hinzuzufügen.

Die Zahl von 40 Sprachen ist real, aber enger gemeint, als sie klingt. Die Sprecherzuordnung – der Teil, der die Kaskade ersetzt – ist für dreizehn Sprachen trainiert, nicht für vierzig. Das Modell liest ausschließlich aufgezeichnete Dateien, bis zu einer Stunde am Stück, ohne Streaming-Pfad. Und es ist kein kleiner Download: insgesamt 34B Parameter, etwa 4,3B aktiv pro Token, mit einer H100 80GB als angegebener Basis für BF16-Serving. Diese drei Einschränkungen entscheiden, ob das Diarisierungsergebnis etwas ist, das Sie dieses Quartal nutzen können, oder etwas, das Sie für das nächste notieren.

Was NVIDIA tatsächlich geliefert hat

Der Checkpoint wird veröffentlicht als NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, und die Diskrepanz zwischen diesem Namen und der veröffentlichten Parameteranzahl ist das Erste, was geklärt werden muss. Das Modell basiert auf Nemotron 3.5 Lightning 30B-A3B, einem hybriden Mixture-of-Experts-Sprachmodell aus Mamba-2 und Transformer; die NVIDIA-Modellkarte gibt insgesamt 34B Parameter an, davon etwa 4,3B aktive einschließlich des Audio-Stacks. Das zusätzliche Gewicht gegenüber den 30B im Namen entfällt auf die Encoder: etwa 600M für den ASR-Transformer und etwa 99M für den Sprecher-Encoder, zusammen rund 800M, wodurch das Sprach-Backbone bei etwa 3,5B aktiven Parametern bleibt. Mehrere Berichte haben dies als Inkonsistenz bezeichnet; sie ist keine, sondern ein Name, der das LLM zählt, und eine Modellkarte, die das gesamte System zählt.

Architektonisch ist das Element, das es zu verstehen gilt, der parallele Experten-Encoder. Ein eingefrorenes Nemotron 3 Diarization-Modell erzeugt Repräsentationen der Sprecheraktivität, und diese werden in die Ausgabe des ASR-Encoders injiziert, sodass das Sprachmodell in einem einzigen Durchlauf sowohl die Wörter als auch die wahrscheinliche Sprecherzuordnung sieht. Ein leichtgewichtiger CTC-Adapter gleicht dann den generierten Text mit dem Audio ab, um sprecherzugeordnete Wort-Zeitstempel zu erzeugen. Es gibt keine zweite Ausrichtungsphase und keinen pyannote-Aufruf dazwischen. Die native Multi-Token-Vorhersage fungiert zugleich als Entwurf für spekulatives Decoding innerhalb von vLLM, und NVIDIA liefert außerdem ein separat trainiertes DFlash2-Entwurfsmodell mit.

• Gesamt- und aktive Parameter — insgesamt 34B, ~4,3B aktiv pro Token, davon ~3,5B im Sprach-Backbone

• Kontext und Audio — 65.536 Tokens, Aufnahmen bis zu 1 Stunde bei 16 kHz mono, dekodiert in internen 30-Sekunden-Blöcken

• Sprachabdeckung — 40 Sprachen für die Transkription, 32 für die Übersetzung aus dem Englischen und ins Englische, 13 für die Transkription mit Sprecherzuordnung

• Lizenz — OpenMDW-1.1, kommerzielle und nichtkommerzielle Nutzung erlaubt

• Serving-Baseline – eine H100 mit 80 GB bei BF16; BF16-, FP8- und NVFP4-Builds sind veröffentlicht

• Streaming – keines; dies ist ein Modell mit Datei-Eingabe und Transkript-Ausgabe

Das Release besteht aus zwei Artefakten, und es lohnt sich, sie getrennt zu betrachten, weil die meisten Berichte sie vermischen. Neben dem Modell veröffentlichte NVIDIA Granary v2, ein Release einer Sprachdaten-Pipeline und keinen Checkpoint: 463.062 Stunden über 48 Sprachen und 16 Quellkorpora, gegenüber 25 Sprachen in Granary v1, gebaut mit NeMo Curator und mit einem öffentlichen Manifest ausgeliefert. Jeder Datensatz enthält drei Transkriptformen – textnormalisiert wörtlich, invers-normalisiert mit Disfluenzen und invers-normalisiert ohne sie – plus Aufgabenlabels, sprachgestützte Frage-Antwort-Paare, kontextbezogene Bias-Begriffe und ein Qualitätsflag pro Datensatz. Es sind die Daten, die die Fine-Tuning-Rezepte erwarten, nicht Gewichte, die man ausführen kann. Das Quellaudio muss weiterhin unter der jeweiligen Lizenz jedes Korpus heruntergeladen werden, daher ist Granary v2 offen in dem Sinne, dass Manifest und Pipeline offen sind, nicht in dem Sinne, dass das Audio frei weiterverbreitet werden darf.

Die Lizenz ist ebenso wichtig wie die Gewichte. OpenMDW-1.1 erlaubt die kommerzielle Nutzung, womit dies in dieselbe Kategorie wie Mistrals Voxtral-Reihe fällt und nicht an das forschungsorientierte Ende des Open-Weight-Spektrums. Die Runtime-Unterstützung zum Start ist breiter als bei den meisten Speech-LLM-Releases: vLLM 0.32.0 ist der primäre Weg und der einzige, der den vollen Funktionsumfang bietet, wobei Wort-Zeitstempel den V1-Runner und die Timestamp-Middleware erfordern und kein DFlash2 unterstützt wird. SGLang-Omni 0.2.0 auf SGLang 0.5.22 verarbeitet die Transkription ganzer Dateien über den OpenAI-kompatiblen Audio-Endpunkt, aber nicht Wort-Zeitstempel, sprecherattribuierte Ausgabe, Übersetzung oder spekulative Dekodierung. NeMo Speech liefert das Fine-Tuning-Toolkit mit, Transformers unterstützt die In-Process-Nutzung aus einer Quellinstallation, und ein GGML-Build deckt ausgewählte Blackwell-Teile ab, darunter die RTX 5090 und RTX PRO 6000.

Das Diarisierungsergebnis ist die eigentliche Geschichte.

In NVIDIAs Multi-Speaker-Tabelle findet sich der Kaskadenvergleich, und sie ist für einen Launch-Beitrag ungewöhnlich detailliert. Der mittlere cpWER über das gesamte Set liegt bei 15,80 gegenüber 16,83 für DiCoW v3.3 in Kombination mit DiariZen. Die Zahlen pro Bedingung zeigen, woher der Vorsprung kommt und wo nicht: AMI erreicht unter Close-Talk-Bedingungen 10,29, AMI mit einem einzelnen Distanzmikrofon 17,34, CALLHOME CH109 11,50, Mixer 6 Kanal 4 14,80, NOTSOFAR-1 Close-Talk 14,94 und Einkanal 25,91, AISHELL-4 bei 32,91 cpCER und AliMeeting bei 34,95. Der breitbandige Mehrkanal-Meetingfall ist stark; Fernfeld-Einzelmikrofon und chinesisches Meeting-Audio sind deutlich schwächer, was eine faire Beschreibung dessen ist, wo jedes Diarisierungssystem Schwierigkeiten hat.

Die scheinbar unabhängige Bestätigung, auf die sich NVIDIA stützt, ist VoiceArenas Diarization-Bench, bei dem das Modell über englische Voll-Sitzungen hinweg 32,4 % cpWER meldet und damit von vierzehn Systemen an erster Stelle steht. Der Zweitplatzierte, Multitalker Parakeet in Kombination mit Nemotron 3 Diarization, liegt bei 34,2 %, und das übrige Feld reicht von 34,7 % bis 71,9 %. NVIDIA meldet außerdem Wortauslassungen in Höhe von 8,32 % der Referenzwörter gegenüber einem Feldmedian von etwa 31 %. Die zweite Zahl ist für alle, die schon einmal ein Transkript ausgeliefert haben, die nützlichere: cpWER lässt sich manipulieren, indem man Wörter weglässt, bei denen man unsicher ist, und ein System, das 92 % der Referenzwörter beibehält und gleichzeitig den Messwert gewinnt, leistet das Schwierigere. Beide Zahlen sind vom Anbieter gemeldete Werte auf einem Benchmark eines Drittanbieters, keine unabhängige Bewertung des Modells.

Die Einschränkung liegt in der Anzahl der Sprachen. Die Sprecherzuordnung ist für dreizehn Sprachen trainiert – Englisch, Französisch, Deutsch, Hindi, Italienisch, Koreanisch, Portugiesisch, Russisch, Spanisch, Japanisch, Thai, Arabisch und Chinesisch – und unterstützt bis zu acht Sprecher. Wenn es sich bei Ihren Aufnahmen um englische Besprechungen oder eine der anderen zwölf Sprachen handelt, greift das Argument des Kaskadenersatzes. Wenn Ihr Audio Polnisch, Türkisch oder Vietnamesisch ist, erhalten Sie eine Transkription ohne Diarisierung und benötigen weiterhin die zweite Komponente.

Wo es tatsächlich rangiert: drei Ranglisten, drei verschiedene Antworten

Die englische Zahl hängt davon ab, welche NVIDIA-Seite man liest, und es lohnt sich, darin präzise zu sein, statt die bessere auszuwählen. Die mittlere Wortfehlerrate der Model Card über neun Testsets beträgt 4,71 %, gefolgt von Qwen3-ASR-1.7B mit 4,94 %. NVIDIAs Hugging-Face-Beitrag vom selben Tag nennt 5,33 % als durchschnittliche WER auf dem Hugging Face Open ASR Leaderboard bei einem RTFx von 462,09, mit Qwen3-ASR-1.7B bei 5,4 %. Beides sind Eigenangaben des Anbieters, die innerhalb weniger Stunden voneinander veröffentlicht wurden, und der Unterschied liegt darin, welche Testsets in den Durchschnitt eingehen. Bilden Sie keinen Mittelwert daraus, ziehen Sie nicht die eine von der anderen ab und betrachten Sie die Dezimalstelle nicht als geklärt. Was beide Darstellungen übersteht, ist die Platzierung: an erster Stelle unter den Open-Weight-Modellen in diesem Leaderboard.

Der Rest des vom Anbieter gemeldeten Sets ist in seiner Form konsistent. Der mehrsprachige mittlere WER liegt über sieben Sprachen bei 4,62 % gegenüber 6,49 % für Qwen3-ASR-1.7B. Der Mittelwert für Langform liegt bei 10,98 % gegenüber 13,37 % für Parakeet-TDT-0.6B-v3. Die Stilsteuerung erreicht 7,56 % im Standard und 6,16 % bei Anweisung, gegenüber Canary-Qwen mit 8,16 % und 8,36 %. Kontextuelles Prompting verschiebt ContextASR-Bench von 3,33 % ohne Kontext auf 1,71 % mit feingranularem Kontext und die Earnings-Call-Transkription von 12,54 % auf 9,58 %, wenn lokaler Kontext bereitgestellt wird.

Die unabhängige Überprüfung erzählt eine weniger schmeichelhafte Geschichte, und sie ist die richtige Lektüre, wenn Sie diese Woche zwischen Modellen wählen. Im Non-Streaming-Word-Error-Index von Artificial Analysis, geprüft am 29. Oktober, liegt Nemotron 3.5 Transcribe bei 2,8 %. Voxtral Small Transcribe 3 liegt in derselben Ansicht bei 2,1 % und MAI-Transcribe-2 bei 2,0 %, während Gemini 3.5 Transcribe bei 2,6 % liegt. NVIDIAs Formulierung „gleichauf an erster Stelle unter den Open-Weight-Modellen“ ist gegenüber dem konkret genannten Modell vertretbar – Voxtral Small, das derselbe Index ebenfalls mit 2,8 % ausweist und das NVIDIA als 24B-Modell beschreibt, verglichen mit den rund 4B aktiven Parametern dieses Modells –, doch die Rangliste hat diese Paarung überholt, bevor dieses Modell erschien. Ein neueres Mistral-Geschwistermodell, Voxtral Small Transcribe 3, hat in derselben Ansicht eine um etwa ein Viertel niedrigere Fehlerrate. Das macht das Diarisierungsergebnis nicht falsch, denn Voxtral führt die Sprecherzuordnung nicht in einem Durchgang durch. Es bedeutet jedoch, dass der richtige Satz „bestes Open-Weight-Modell für ASR mit Sprecherzuordnung“ und nicht „bester Open-Weight-Transkribierer“ lautet.

Der sprachspezifische Tail ist der Punkt, an dem Deployments scheitern.

Abdeckung und Parität sind unterschiedliche Aussagen, und die Modellkarte von NVIDIA veröffentlicht genügend sprachspezifische Details, um den Abstand zwischen beiden zu erkennen. Die Sprachmatrix hat 41 Zeilen; Norwegisch erscheint darin ohne Aufgaben-Häkchen, sodass tatsächlich 40 Sprachen für ASR gekennzeichnet sind. Bei FLEURS reichen die Fehlerraten von 1,41 % bis 63,76 % – und 63,76 ist Norwegisch. Italienisch erreicht 1,41, Spanisch 2,20, Deutsch 2,73, Französisch 3,16, Englisch 3,35, Arabisch 6,35 und Hindi 7,47; Japanisch kommt auf 4,42 CER, Koreanisch auf 2,78 CER und Chinesisch auf 8,62 CER. In den Mittelwerten je Sprache des mehrsprachigen Leaderboards liegt Hindi bei 9,15 OIWER gegenüber Niederländisch mit 5,96 und Deutsch mit 2,81.

Code-Switching, das die Karte für alle 40 Sprachen beansprucht, ist ähnlich ungleichmäßig: ASCEND Mandarin-Englisch erreicht 18,74 % gemischten Fehler, MUCS Hindi-Englisch 19,28 % und MUCS Bengali-Englisch 35,46 %, während Monsoon Hindi bei 9,40 % OIWER liegt. Auch die Übersetzungsqualität erstreckt sich über eine breite Spanne – FLEURS-nach-Englisch BLEU von 6,40 bis 44,33, Englisch-nach-FLEURS von 8,70 bis 42,65 und CoVoST2-nach-Englisch von 6,95 bis 54,46. Die Robustheit auf dem HALAS-Set beträgt 31,50 % WER – das ist die Zahl, die jeden Plan dämpfen sollte, der auf akzentuierten oder verrauschten Feldaufnahmen aufbaut.

Die praktische Lesart ist, dass „40 Sprachen“ eine Abdeckungsaussage ist, auf die man Kapazität planen kann, und keine Qualitätsaussage, auf die man Produktplanung stützen kann. Testen Sie die spezifische Sprache und die spezifischen Aufnahmebedingungen, die Ihnen wichtig sind, an ein paar hundert Ihrer eigenen Clips, bevor Sie sich festlegen. Die eigene Fine-Tuning-Fallstudie der Model Card ist die Vorlage: Bei einem indischen medizinischen Sprach-Benchmark lag der Fehler out of the box bei 30,8 %, ein Prompt, der Englisch und lateinische Schrift nannte, brachte ihn auf 23,8 %, und eine Anpassung auf rund 245 Stunden Daten führte zu 11,8 % — etwa 62 % weniger Fehler, bei 14 GPU-Stunden auf einer GB300. Bei zurückgehaltenen Sprecherinnen und Sprechern ging es von 22,44 % auf 12,17 % zurück, eine relative Reduktion um 45,8 %, während LibriSpeech test-clean von 1,54 % auf 1,69 % abrutschte, das übliche Anzeichen einer engen Anpassung.

Was der Betrieb kostet – und wo Routing hineinpasst

NVIDIA hat keinen Preis für das Modell veröffentlicht. Auf der Forschungsseite und der Modellkarte gibt es keinen Minutenpreis; die Gewichte sind unter OpenMDW-1.1 kostenlos, und der gehostete Zugang zum Start läuft über NVIDIAs eigenen NIM-Endpunkt sowie mehrere Drittanbieterplattformen, die ihre eigenen Tarife festlegen. Die Kostenfrage ist also eine GPU-Frage, und die Zahlen dazu sind ungewöhnlich vollständig.

Auf einer RTX PRO 6000 Blackwell Server Edition verarbeitet der NVFP4-Build mit dem DFlash2-Entwurf bis zu 2.238 Sekunden Audio pro Sekunde – eine 30-Sekunden-Aufnahme ist in 0,13 Sekunden fertig –, wodurch 100 Stunden Audio in weniger als drei Minuten erledigt sind. Das ist der optimierte NIM-Pfad, und NVIDIA gibt an, dass die offene vLLM-Integration etwa doppelt so langsam ist. Auf einer H100 mit BF16 liegen die RTFx-Werte der Karte bei 410 mit Zwei-Token-Spekulation, 270 mit acht, 340 mit DFlash2 bei K=7 und 260 bei K=15. Am oberen Ende dieses Bereichs deckt eine H100-Stunde etwa 410 Stunden Audio ab, sodass tausend Stunden Transkription etwa zweieinhalb GPU-Stunden Rechenzeit entsprechen. Ob das einen gehosteten Minutenpreis schlägt, hängt ganz davon ab, wie stark Sie die Karte auslasten: Bei ein paar hundert Stunden pro Monat ist eine ungenutzte 80-GB-GPU die teurere Option, und die Rechnung kippt erst, wenn die Warteschlange dauerhaft voll bleibt.

Anpassung ist gemessen an den Maßstäben dieser Klasse günstig. NVIDIA meldet 0,5 bis 2,3 GPU-Stunden pro Aufgabe auf einer einzelnen GPU für neue Sprachen, Domänen oder Ausgabestile, evaluiert über 17 Aufgaben, mit LoRA auf dem Sprachmodell und Training am Encoder und an der Projektion. Das ist eine so kleine Zahl, dass Domänenanpassung als Teil der Bereitstellung statt als Forschungsprojekt behandelt werden sollte — der medizinische Fall oben umfasst 14 GPU-Stunden von Anfang bis Ende.

Ein architektonischer Hinweis, der für das Folgende wichtig ist: Dieses Modell gibt Text aus, und die Zusammenfassung, Entitätsextraktion und Compliance-Tagging, die nach einem Transkript folgen, sind gewöhnliche LLM-Arbeit. Diese nachgelagerte Stufe ist der Teil, den OrcaRouter abdeckt – eine API für 200+ Modelle zu 0 % Aufschlag auf den Listenpreis des Anbieters, automatisches Failover, wenn ein Anbieter mitten in der Pipeline degradiert, und eine Routing-DSL, um lange Transkripte und kurze Ausschnitte ohne jedes Mal eine zweite Integration an verschiedene Modelle zu senden. Wir hosten Nemotron 3.5 Transcribe nicht; es ist ein Sprachmodell, das Sie auf Ihrer eigenen Hardware oder über den NVIDIA-Endpunkt betreiben. Die Routing-Schicht beginnt dort, wo das Transkript endet.

Zwei Modelle teilen den Namen, und nur eines davon ist dieses hier.

Ein Teil dessen, was in den letzten 24 Stunden über diese Veröffentlichung geschrieben wurde, betrifft einen anderen Checkpoint. NVIDIA veröffentlicht außerdem nemotron-3.5-asr-streaming-0.6b, einen kleinen Streaming-ASR-Checkpoint, der für On-Device- und CPU-orientierte Laufzeitumgebungen entwickelt wurde, dessen quantisierte Builds klein genug sind, um in einer Anwendung mitgeliefert zu werden. Es ist nicht dieses Modell, es führt keine Sprecherzuordnung durch, und seine Geschwindigkeits- und Genauigkeitswerte lassen sich nicht übertragen. Das 30B-A4B-Speech-LLM ist das am 28. Oktober angekündigte Modell; das 0.6B-Streaming-Modell ist dasjenige, das auf einem Laptop läuft. Wenn ein Vergleich, den Sie gerade lesen, eine Latenz von unter einer Sekunde oder einen Ein-Gigabyte-Download zusammen mit der Angabe von 40 Sprachen anführt, wurden darin die beiden vermischt.

Wer sollte jetzt handeln und wer sollte warten?

Handeln Sie jetzt, wenn Sie aufgezeichnete Meetings, Anrufe oder Interviews auf Englisch oder einer der zwölf anderen Diarisierungssprachen in Dateien unter einer Stunde verarbeiten und bereits über eine GPU-Kapazität der 80-GB-Klasse oder einen gehosteten Endpoint verfügen, für den Sie zu zahlen bereit sind. Am stärksten ist der Fall, wenn Sie derzeit eine Zweimodell-Kaskade betreiben: einen Checkpoint, einen Durchlauf, Sprecherbezeichnungen und Wort-Zeitstempel inklusive, unter einer Lizenz, die kommerzielle Nutzung erlaubt. Testen Sie es mit Ihrem eigenen Audiomaterial, bevor Sie pyannote außer Betrieb nehmen — die oben genannten Werte für Fernfeld- und akzentuiertes Audio dürften am ehesten enttäuschen.

Warten Sie, wenn Sie Live-Streaming benötigen, denn es gibt keinen Streaming-Pfad; wenn Ihre Sprachen am unteren Ende dieser FLEURS-Spanne liegen; wenn die Aufnahmen länger als eine Stunde dauern; oder wenn Sie keine GPU und keine Lust auf eine pro Minute abgerechnete Hosting-Lösung haben. Warten Sie auch, wenn Ihr Stack bereits auf einem neueren Transkriptor läuft, der auf Artificial Analysis einen niedrigeren Fehlerwert erzielt und keine Diarisierung benötigt — die Ein-Pass-Sprecherzuordnung ist der Grund zu wechseln, und der einzige.

Die offenen Fragen, die es zu beobachten lohnt, sind eng begrenzt und überprüfbar. Eine unabhängige Evaluierung mit voller Präzision ist noch spärlich; erste Berichte von Leuten, die Community-4-Bit-Quantisierungen ausführen, beschreiben die übliche Verlangsamung und den üblichen Genauigkeitsverlust, was mehr über die Quantisierung als über das Modell aussagt. SGLang-Omni muss Funktionsparität erreichen, bevor der Nicht-vLLM-Pfad eine echte Alternative ist. Und die dreizehn Diarisierungssprachen sind die Zahl, die sich am wahrscheinlichsten zuerst ändern wird, denn dort ist der architektonische Anspruch konzentriert.