Nemotron 3.5 Transcribe ersetzt eine Fünf-Modell-Pipeline. Der Open Build hat noch Lücken.

Ein 45-minütiger Board-Call mit sechs Sprechenden erforderte früher fünf bewegliche Teile: Voice-Activity-Detection, ein ASR-Modell, einen Diarisierer, einen Forced Aligner und ein Sprachmodell, das die rohe Ausgabe zu etwas aufbereitet, das ein Mensch lesen würde. NVIDIA Nemotron 3.5 Transcribe, veröffentlicht am 28. Oktober 2026 unter der OpenMDW-1.1-Lizenz, ist NVIDIAs Versuch, diesen Stack in einem einzigen Forward-Pass zu vereinen. Was die Veröffentlichung einen zweiten Blick wert macht, ist nicht die Zusammenführung selbst. Es ist die Liste der Dinge, die der Open-Source-Serving-Pfad noch nicht leistet.

Der Checkpoint ist ein sprachaugmentiertes Sprachmodell und kein ASR-Modell mit nachträglich angebauten Extras. Seine 34 Milliarden Parameter sind größtenteils ein Nemotron 3.5 Lightning 30B-A3B Hybrid-Mamba-Transformer-Mixture-of-Experts-Backbone; etwa 4,3 Milliarden davon sind pro Token aktiv, einschließlich rund 800 Millionen für den Audio-Encoder. Der Repository-Name lautet weiterhin 30B-A4B, was den Decoder und nicht das zusammengesetzte System zählt. NVIDIAs eigene Support-Matrix, Benchmark-Tabellen und Lizenz stehen alle auf der Model Card, und diese Card ist das nützlichste Dokument der Veröffentlichung.

Fünf Aufgaben, ein Kontrollpunkt

Die Kernaussage ist, dass ein Prompt das Transkript bestimmt. NVIDIA trainiert fünf Ausgabestile in dieselben Gewichte ein, und der Aufrufer wählt einen davon mit natürlichsprachlichen Anweisungen aus, statt mit einem separaten Modell oder einem Nachbearbeitungsskript:

• Wörtlich — Disfluenzen, falsche Anfänge und Wiederholungen bleiben erhalten, für rechtliche und Compliance-Aufzeichnungen.

• Schriftfassung — bereinigte Interpunktion und Groß-/Kleinschreibung, für Untertitel und gut lesbare Protokolle.

• Kontextbezogen — eine im Prompt bereitgestellte Entitätsliste steuert die Schreibweise von Namen, Produkten und Fachjargon.

• Sprecherzuordnung — jedes Segment trägt ein Sprecher-Tag, das im ASR-Durchlauf erzeugt wird.

• Rich — der Alles-inklusive-Stil, der Sprecherbezeichnungen, Interpunktion, Groß-/Kleinschreibung und Formatierung zusammenführt.

Über die Transkription hinaus übernimmt derselbe Checkpoint die Sprachübersetzung in beide Richtungen zwischen Englisch und 31 Sprachen, die Identifikation gesprochener Sprachen und das Audio-Verständnis – Fragebeantwortung und das Befolgen gesprochener Anweisungen über die Aufnahme hinweg. Er verarbeitet Aufnahmen von bis zu einer Stunde innerhalb eines Kontexts von 65.536 Tokens und nutzt dabei interne Dekodierabschnitte von 30 Sekunden, die ein technisches Detail und keine Aufnahmegrenze darstellen. Wort-Zeitstempel stammen nach dem Dekodieren von einem leichtgewichtigen CTC-Adapter.

Woher die Sprecherbezeichnungen tatsächlich kommen

Die meisten Behauptungen, dass „ein Modell alles erledigt“, scheitern an der Diarisierung, denn Sprecheridentität ist ein Clustering-Problem und Transkription ein Sequenzproblem, und beide werden üblicherweise getrennt gelöst. NVIDIAs Antwort ist ein paralleler Experten-Encoder: Ein eingefrorenes Nemotron 3 Diarization-Modell erzeugt Repräsentationen der Sprecheraktivität, die in die Ausgabe des Sprach-Encoders eingespeist werden, sodass das Sprach-Backbone sieht, wer spricht, während es entscheidet, was gesagt wurde. Das LLM selbst wird für diese Aufgabe nicht neu trainiert.

Dieses Design ist der Grund, warum das Unternehmen einen einzigen Durchlauf statt einer Kaskade beanspruchen kann. NVIDIA berichtet eine durchschnittliche verkettete Mindestpermutations-Wortfehlerrate von 15,80 auf seinem Evaluierungssatz mit mehreren Sprechenden gegenüber 16,83 für die beste spezialisierte ASR-plus-Diarizer-Kaskade und bezeichnet das Ergebnis als das erste Speech-LLM, das diese Art von System bei sprecherzugeordneter Transkription mit überlappender Sprache übertrifft. Das sind Anbieterzahlen aus einem vom Anbieter erstellten Evaluierungssatz, und noch kein neutrales Labor hat sie reproduziert. Die Richtung ist plausibel, der Vorsprung vorläufig.

Die Zahlen mit den angehängten Beschriftungen

NVIDIAs Model Card gibt eine mittlere Wortfehlerrate von 4,71 % über die neun öffentlichen englischen Testsets des Open ASR Leaderboards an. Die Streuung unter diesem Mittelwert ist groß und wissenswert, bevor man ihn zitiert: LibriSpeech test-clean liegt bei 1,09 % und SPGISpeech bei 1,91 %, während AMI bei 7,81 % und URGENT24 bei 11,00 % landen. Das mehrsprachige Leaderboard kommt über sieben Sprachen auf durchschnittlich 4,62 %, wobei Deutsch bei 2,81 % und Hindi bei 9,15 % auf seiner eigenen Out-of-Vocabulary-Metrik liegen.

Die Presseberichterstattung über die Veröffentlichung hat für das englische Board ebenfalls 5,33 % genannt. Das ist ein anderer aggregierter Wert über eine andere Setzusammensetzung, keine Korrektur, und die beiden sollten niemals in derselben Zeile stehen. Die 4,71 % auf der Karte sind die Zahl, die anzugeben ist, wenn man die Karte zitiert.

Die Behauptung zum kontextbezogenen Prompting ist das Konkreteste in der Mitteilung. Auf ContextASR-Bench sinkt der Gesamt-WER von 3,33 % ohne Entitätenliste auf 1,71 % mit einer feingranularen; der WER für benannte Entitäten fällt von 12,21 % auf 2,20 %, und die Falsch-negativ-Rate für benannte Entitäten von 14,99 % auf 1,32 %. Das ist ein echter, überprüfbarer Mechanismus – geben Sie dem Modell Ihre Produktnamen, und es hört auf, bei ihnen zu raten – auch wenn die absoluten Werte aus NVIDIAs Testumgebung stammen.

Das unabhängige Bild ist weniger schmeichelhaft und zugleich nützlicher. Artificial Analysis führt Nemotron 3.5 Transcribe mit 3,4 % in seiner nicht-streamenden AA-WER-v2-Tabelle auf, gleichauf etwa auf den Plätzen 20 bis 23, während die eigene FAQ das Modell mit 2,8 % angibt. Beide Zahlen stammen aus derselben Rangliste auf derselben Seite. Die Differenz ist ein Unterschied beim Messziel – Endpunkt, Quantisierung oder Auswertungsausschnitt – und entspricht ungefähr der Breite des Rauschens, das dieser Index über verschiedene Serving-Konfigurationen hinweg gezeigt hat. Zum Zeitpunkt der Erstellung führt die Rangliste außerdem einen gehosteten Preis von 2,00 $ pro 1.000 Minuten Audio auf, was etwa 0,12 $ pro Stunde entspricht.

Die Durchsatzangabe ist diejenige, die Betriebsteams interessieren wird: 2.238 Sekunden Audio pro Sekunde, verarbeitet auf einer einzelnen RTX PRO 6000 Blackwell GPU unter Verwendung des NVFP4-Checkpoints und des DFlash2-Draft-Modells. NVIDIAs eigene Einschränkung lautet, dass der optimierte Serving-Stack nicht im Open-Source-Release enthalten ist und die ausgelieferte Entwicklungsintegration voraussichtlich etwa zweimal langsamer läuft. Halbieren Sie die Zahl, bevor Sie die Kapazität planen.

Wo der offene Build endet

Das ist der Teil, den die Berichterstattung zur Markteinführung überspringt. Der Checkpoint ist leistungsfähig; die Integrationen drumherum sind uneinheitlich, und die Model Card sagt das ganz offen.

• Kein Streaming – „Dies ist ein Offline-Modell“, heißt es auf der Karte, und sie ergänzt, dass internes Audio-Chunking daraus keinen Echtzeit-Streaming-Dienst macht. Jede Sekunde der Aufnahme muss vorliegen, bevor die Dekodierung beginnt.

• Die SGLang-Omni-Integration dient ausschließlich der Transkription – sie bietet die Transkription ganzer Dateien, umfasst laut der Karte jedoch keine Wort-Zeitstempel, keine Ausgabe mit Sprecherzuordnung, keine Übersetzung und keine spekulative Dekodierung. Der vLLM-Pfad unterstützt die Erfassung von Zeitstempeln. Welche Laufzeit Sie wählen, entscheidet darüber, welche Funktionen Sie erhalten.

• Zeitstempel und DFlash2 schließen sich gegenseitig aus — Zeitstempel sind nicht verfügbar, wenn das Draft-Modell für spekulatives Decoding verwendet wird. Schnell oder ausgerichtet, nicht beides, in der ausgelieferten Konfiguration.

• Audioverständnis ist nur auf Englisch möglich – Schlussfolgern, das Befolgen gesprochener Anweisungen und die Beantwortung von Audiofragen „funktionieren in anderen Sprachen möglicherweise nicht zuverlässig“, warnt die Karte, obwohl die Transkription 40 Sprachen abdeckt.

• Es kann versäumen anzuhalten – die Karte empfiehlt eine Guardrail zur Bereinigung, weil das Modell gelegentlich in einer Schleife hängen bleiben kann, ohne zu terminieren. Das ist eine betriebliche Anforderung, keine Fußnote.

Eine Stunde ist eine harte praktische Grenze – für Leistungen jenseits von 65.536 Token oder einer einstündigen Aufnahme „ist nicht garantiert, dass sie sich verallgemeinern lassen.“ Bei einer ganztägigen Zeugenaussage teilen Sie die Datei auf und gleichen die Sprecher selbst ab.

Die Sprecherzuordnung ist ebenfalls enger gefasst als die Schlagzeile von 40 Sprachen: 13 der 40 Sprachen sind in NVIDIAs Matrix für Mehrsprecher-Ausgabe markiert, und die Trainingsmischungen umfassen bis zu acht Sprecher. Wenn Ihr Meeting auf Türkisch oder Vietnamesisch stattfindet, können Sie es gut transkribieren und erhalten dennoch keine Labels.

Bereitstellung und was sie kostet

Die Gewichte sind unter OpenMDW-1.1 für kommerzielle und nichtkommerzielle Nutzung frei verfügbar, veröffentlicht in BF16, FP8, NVFP4 und GGUF, mit einer Referenzkonfiguration auf einer H100 mit 80 GB und Unterstützung für Ampere-, Hopper-, Blackwell- und Lovelace-Hardware. Außerdem gibt es einen NIM-Container für Teams, die den Serving-Stack lieber nicht selbst zusammensetzen möchten, sowie NeMo Speech zum Fine-Tuning — NVIDIA berichtet, dass das Modell für 17 Aufgaben mit 0,5 bis 2,3 GPU-Stunden pro Aufgabe auf einer GPU angepasst wurde, was für eine Größenordnung spricht, die Domänenanpassung plausibel statt theoretisch macht.

Die Wirtschaftlichkeitsrechnung fällt eindeutig aus. Im Hosted-Betrieb liegt der Artificial-Analysis-Eintrag von 2,00 $ pro 1.000 Minuten bei etwa 0,12 $ pro Audiostunde – günstiger als die meisten Managed-Transkriptionsdienste und etwa ein Drittel dessen, was eine typische Cloud-STT-Rechnung kostet. Im Self-hosted-Betrieb sind die Grenzkosten GPU-Zeit: Bei einem Durchsatz von 2.238:1 des Anbieters sind tausend Stunden Audio auf der richtigen Karte weniger als eine halbe Stunde Rechenzeit, sodass die Frage nicht mehr der Preis ist, sondern ob man die Hardware besitzt oder mietet und ob das Audio das eigene Netzwerk verlassen darf. Beide Wege sind legitim; in einer Tabellenkalkulation liegen sie nicht annähernd beieinander.

Die Hälfte der Arbeit, die der Checkpoint nicht erledigt

Transkription erzeugt Text, und Text ist der Bereich, in dem der größte Teil der nachgelagerten Kosten anfällt: das Gespräch zusammenfassen, Aufgabenpunkte extrahieren, personenbezogene Daten schwärzen, die englische Ausgabe für eine Regionalniederlassung übersetzen und prüfen, ob die Sprecherkennzeichnungen die Übergabe überstanden haben. Das sind gewöhnliche Textmodell-Arbeitslasten, und sie müssen nicht auf derselben Maschine wie die ASR laufen.

Genau hier verdient ein Router seinen Platz. OrcaRouter bündelt diese nachgelagerten Aufrufe unter einem einzigen Schlüssel mit 0 % Aufschlag – der Listenpreis des Anbieters wird durchgereicht, sodass eine Preisänderung des Anbieters am selben Tag ankommt – mit automatischem Failover, wenn die Leistung eines Anbieters nachlässt, und einer Routing-DSL, die Zusammenfassung, Schwärzung und Übersetzung an verschiedene Modelle weiterleiten kann und zwar innerhalb eines Workflows. Um es ausdrücklich zu sagen: NVIDIA Nemotron 3.5 Transcribe steht nicht im Katalog von OrcaRouter, und nichts hier legt etwas anderes nahe. Was wir weiterleiten, ist die Textebene nach Erstellung des Transkripts – die Ebene, die die meisten Teams unterschätzen, wenn sie eine Transkriptionspipeline budgetieren.

Wenn Sie das Modell selbst bewerten, ist der ehrliche Weg zuerst ein gehosteter Endpoint und dann Ihre eigene Hardware. Die Zahlen der Karte selbst weichen zwischen Hersteller- und unabhängigen Messungen um mehr als einen Punkt voneinander ab, und nur Ihr eigenes Audio kann das entscheiden.

Was würde die Empfehlung ändern?

Drei Dinge lohnen sich im kommenden Quartal genauer beobachtet zu werden. Erstens, ob der Open-Source-Serving-Stack den optimierten NIM-Pfad einholt — bis dahin ist der beworbene Durchsatz eine reine Hosted-Zahl, und die offene Veröffentlichung erreicht davon ungefähr die Hälfte. Zweitens, ob jemand außerhalb von NVIDIA die 15,80 cpWER und die sechsfache Verbesserung bei benannten Entitäten reproduziert; beides sind starke Behauptungen, die derzeit allein auf dem Testaufbau eines Labors beruhen. Drittens, ob das Audio-Verständnis über das Englische hinaus ausgeweitet wird, denn diese Fähigkeit — einer Aufnahme Fragen zu stellen, statt sie nur zu transkribieren — ist der Teil, den kein konkurrierender offener Checkpoint in dieser Größe bietet.

Derzeit ist das praktische Urteil eng und wenig glamourös. Wenn Sie sprechermarkierte, einstündige, mehrsprachige Transkription benötigen und einen Batch-Workflow akzeptieren können, ist dieser Checkpoint die stärkste verfügbare offene Option, und der Mechanismus des kontextuellen Promptings ist wirklich differenzierend. Wenn Sie Live-Untertitel, einen Streaming-Agenten oder eine Ausrichtung auf Wortebene zusammen mit der schnellstmöglichen Dekodierung benötigen, deckt die Veröffentlichung Sie noch nicht ab, und die Produkte, die das tun, sind weiterhin die, die man anrufen sollte.