Nemotron 3.5 Transcribe vs. Whisper Large v3 Turbo: 40-facher Speicherbedarf für einen WER-Punkt

Wenn es bei Ihrer Transkriptionsaufgabe um einen Ordner mit dreiminütigen Mono-Interviewclips geht und die Maschine, die Sie haben, eine 24-GB-Workstation-Grafikkarte ist, steht der Vergleich zwischen Nemotron 3.5 Transcribe und Whisper Large v3 Turbo bereits fest, bevor die Genauigkeit überhaupt eine Rolle spielt. Das neue Modell von NVIDIA ist ein Sprachsystem mit 34 Milliarden Parametern, das auf einem 80-GB-Beschleuniger validiert wurde. Die Turbo-Variante von OpenAI ist ein Modell mit 809 Millionen Parametern, das in 0,8 GB int8-Gewichte passt und auf einer CPU läuft. Sie werden diese Woche verglichen, weil ihre Fehlerraten nur etwa einen Punkt auseinanderliegen, und das ist die am wenigsten nützliche Tatsache an dieser Paarung.

Nemotron 3.5 Transcribe wurde am 28.10.2026 als offene Gewichte unter der OpenMDW-1.1-Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt. Whisper Large v3 Turbo stammt vom 01.10.2024 und steht unter MIT-Lizenz; es ist keine Neuigkeit, sondern die Referenz, an der jedes neue Sprachmodell gemessen wird. Die Frage, die dieser Artikel beantwortet, ist nicht, welches besser abschneidet – beide Anbieter möchten, dass Sie es so lesen –, sondern welches Sie tatsächlich ausführen können, zu welchen Kosten, mit den Audiodaten, die Sie haben.

Was jedes Modell tatsächlich ist

Der Architekturunterschied ist keine Generationenlücke. Er ist ein Kategorienunterschied, und er erklärt nahezu jeden nachgelagerten Kompromiss.

• Architektur — ein hybrider Mamba–Transformer-Mixture-of-Experts-LLM mit einem Speech-Encoder und einem fest integrierten, eingefrorenen 99M-Diarisierungsencoder, insgesamt rund 34B mit 4,3B aktiv pro Token, gegenüber einem Encoder–Decoder, der aus large-v3 destilliert und dessen Decoder von 32 auf 4 Schichten reduziert wurde.

• Audiofenster — Aufnahmen bis zu einer Stunde werden in einem einzigen Durchlauf verarbeitet, im Vergleich zu einem festen 30-Sekunden-Fenster mit unterteilter Langform-Dekodierung bei allem, was länger ist.

• Sprecherbezeichnungen – integriert in die Ausgabe, bis zu 8 Sprecher, in 13 Sprachen, im Gegensatz zu gar keinen; Whisper hat kein Sprecher-Token in seinem Vokabular, daher ist ein separater Diarisierer zwingend erforderlich.

• Timing auf Wortebene — ein leichtgewichtiger CTC-Adapter gleicht das fertige Transkript mit dem Audio ab, im Gegensatz zu reinen Timestamp-Tokens auf Segmentebene, wobei Timing auf Wortebene ein Forced Alignment erfordert.

• Sprachabdeckung — 40 Sprachen transkribiert, 31 mit Übersetzung nach oder aus dem Englischen, 13 mit Sprecherzuordnung, gegenüber 99 Sprachen transkribiert und ohne Übersetzung.

• Gewichte auf der Festplatte — etwa 68 GB in BF16 unter OpenMDW-1.1, gegenüber 1,6 GB bei fp16, 0,81 GB bei int8, unter MIT.

Die Genauigkeitszahlen stimmen nicht überein – und genau das ist der Punkt.

Artificial Analysis betreibt den einzigen öffentlichen Index, in dem beide Modelle auf derselben Skala erscheinen, und seine Zahlen lohnen eine sorgfältige Lektüre, weil sie einander widersprechen. In der Ranglistentabelle wird Whisper Large v3 Turbo mit 4,6 % AA-WER an einem Endpunkt für schnelle Inferenz und mit 5,5 % an einem zweiten aufgeführt. Nemotron 3.5 Transcribe ist für einen gehosteten Endpunkt mit 3,4 % aufgeführt. NVIDIAs eigene Ankündigung nennt 2,80 % AA-WER und liegt damit gleichauf auf Platz eins unter den Open-Weight-Modellen; der Fließtextabschnitt derselben Rangliste wiederholt 2,8 %, während ihre Tabelle 3,4 % ausweist – eine Diskrepanz innerhalb einer einzigen Seite, noch bevor irgendjemand beginnt, Anbieter zu vergleichen.

Nehmen Sie die Tabelle beim Wort, und Nemotron 3.5 Transcribe ist rund 1,2 Punkte besser. Beachten Sie nun, dass die beiden eigenen Einträge von Whisper Large v3 Turbo beim identischen Modell um 0,9 Punkte voneinander abweichen. Der größte Teil der scheinbaren Lücke zwischen diesen beiden Systemen ist Endpunktkonfiguration – Batching, Decoding-Einstellungen, Audio-Vorverarbeitung – nicht Architektur. Wer einen einzelnen WER-Unterschied als Urteil zitiert, zitiert eine Zahl, die sich um nahezu denselben Betrag verschiebt, wenn man den Host wechselt.

Die Open ASR Leaderboard erzählt eine scheinbar größere Geschichte. Der Mittelwert von Whisper Large v3 Turbo für kurze englische Audios liegt dort bei etwa 7,8 %, während NVIDIA für sein Modell auf der Forschungsseite 4,71 % über neun Testsets und im begleitenden Hugging-Face-Beitrag durchschnittlich 5,33 % englische WER angibt. Das sind unterschiedliche Testmischungen mit unterschiedlicher Normalisierung, daher ist die Drei-Punkte-Differenz bestenfalls richtungsweisend. Was stärker zählt, ist das, was nicht existiert: ein direkter Herstellervergleich gegen Whisper Large v3 Turbo. NVIDIA vergleicht sein Modell mit kaskadierten Diarisierungssystemen und mit anderen Open-Weight-Sprachmodellen, nicht mit dem Turbo-Checkpoint, den die meisten Teams heute verwenden. Jede kursierende „schlägt Whisper“-Zahl ist eine Inferenz über Benchmarks hinweg – unsere eingeschlossen.

Die Fähigkeitslücke, die Whisper nicht schließen kann

Abgesehen von der promptgesteuerten Ausgabe besteht der operative Unterschied darin, dass Nemotron 3.5 Transcribe sprecherzugeordnete Transkripte in einem Durchgang erzeugt. Die Sprecher-Tags stammen von dem eingefrorenen Diarisierungs-Encoder, der in die Audiodaten eingebunden ist, die Antwort enthält rohe Sprechersegmente neben dem getaggten Transkript, und das Modell kennzeichnet sie als <spk:0> bis <spk:7>. Für einen Podcast mit zwei Personen ist das ein Komfortgewinn. Für eine 60-minütige Disziplinaranhörung, einen Klinikbesuch oder ein Vertriebsgespräch mit mehreren Beteiligten ist es das Produkt.

Whisper Large v3 Turbo kann einen Sprecher überhaupt nicht ausdrücken. Seine Trainings-Transkripte enthielten nie Sprecherkennzeichnungen, und seine Eingabe wird auf Mono mit 16 kHz heruntergemischt, wodurch der einzige physische Hinweis zerstört wird, der möglicherweise überlebt hätte. Wenn man es auffordert, Kennzeichnungen zu erzeugen, erhält man Text, der richtig aussieht und keinerlei Grundlage im Audio hat. Die übliche Problemumgehung ist WhisperX: erzwungene Ausrichtung für Wortzeitstempel plus ein separat gehostetes Diarisierungsmodell, das an Segmentgrenzen zusammengeführt wird. Es funktioniert, ist weit verbreitet und besteht aus drei beweglichen Komponenten, während Nemotron 3.5 Transcribe nur eine ist.

Derselbe strukturelle Vorteil gilt für langes Audio. Eine Stunde in einem einzigen Durchlauf ist besser als das Zusammenfügen von 30-Sekunden-Fenstern, und das Zusammenfügen von Fenstern hat einen bekannten Fehlermodus: Beim Dekodieren ohne Zeitstempel-Tokens gehen an nahezu jeder Grenze Wörter verloren – bei einem gemessenen 20-minütigen Vortrag gingen auf diese Weise rund 3 % der Wörter verloren. Der CTC-Adapter von Nemotron 3.5 Transcribe existiert genau dazu, diese Fehlerklasse zu vermeiden, wobei zu beachten ist, dass Wort-Zeitstempel nicht Teil der anfänglichen vLLM-Unterstützung waren.

Bei den Aufgaben, für die es entwickelt wurde, sind die von NVIDIA gemeldeten Zahlen stark – und sie stammen vom Anbieter selbst: 18,26 % DER über 21 Sprachen im Diarisierungs-Benchmark von David AI, beschrieben als bestes von 14 Systemen; 32,4 % cpWER auf VoiceArena, ebenfalls bestes von 14. Kontextbezogene Entitätslisten, die im Prompt bereitgestellt werden, werden mit einer sechsfachen Verringerung der Fehler bei benannten Entitäten auf ContextASR-Bench in Verbindung gebracht. Nichts davon wurde bisher unabhängig reproduziert, und all das sind Behauptungen über ein Modell, das erst einen Tag alt ist.

Wo Whisper Large v3 Turbo noch immer eindeutig gewinnt

Sprachbreite ist die erste Antwort, und sie ist weniger langweilig, als sie klingt. Whisper Large v3 Turbo deckt 99 Sprachen ab. Nemotron 3.5 Transcribe deckt 40 für die Transkription ab, 31 für die Übersetzung und 13 für die Sprecherzuordnung. Wenn Ihre Warteschlange Kasachisch, Tamil, Swahili oder Walisisch enthält, endet der Vergleich dort: Das Turbo-Modell transkribiert sie, und das neuere, größere Modell beansprucht dies nicht.

Die zweite Antwort ist Bereitstellungsreibung. Whisper Large v3 Turbo läuft unter whisper.cpp, faster-whisper und MLX, auf der CPU, auf einem Laptop, auf einem Jetson. Nemotron 3.5 Transcribe verlangt vLLM 0.32.0 plus das NeMo Speech-Plugin oder SGLang-Omni 0.2.0, auf einer 80GB H100 in BF16, einer L40S in FP8 oder einer RTX 5090 in NVFP4. Das sind keine vergleichbaren betrieblichen Verpflichtungen.

Der dritte Punkt ist, dass der Preis von Turbo ein veröffentlichter, nüchterner Stundensatz ist. Gehostete Endpunkte berechnen etwa 0,04 US-Dollar pro Audio-Stunde mit einer Mindestabrechnung von zehn Sekunden, und auf einem schnellen Endpunkt läuft es mit etwa dem 250-Fachen der Echtzeit. Tausend Stunden Audio kosten etwa 40 US-Dollar. Für Nemotron 3.5 Transcribe gibt es keinen offengelegten Listenpreis für den vollständigen Checkpoint, und die gehosteten Endpunkte, die es anbieten, veröffentlichen keine Preise pro Minute.

Prüfe, welches Nemotron 3.5 du benchmarkst

Der häufigste Fehler in der Berichterstattung dieser Woche ist der Vergleich mit dem falschen Modell. Ein großer Teil der veröffentlichten „Nemotron 3.5“-Vergleiche bewertet tatsächlich nvidia/nemotron-3.5-asr-streaming-0.6b – ein 0,6B-Cache-aware-Streaming-Modell aus einer früheren Version mit eigenen Zahlen und eigenen Schwächen. Wenn eine Tabelle Chunks von 80 ms bis 1120 ms erwähnt, wird dort nicht Nemotron 3.5 Transcribe getestet. Das ist wichtig, weil das Streaming-Modell in realen Vergleichen bei der Rohgenauigkeit gegen Whisper Large v3 Turbo verliert (3,35 % gegenüber 2,55 % in einem mehrsprachigen Leaderboard) und bei der Wortausrichtung deutlich verliert, während das hier besprochene Modell ein anderes, nicht streamendes 34B-System ist.

Die zweite Falle ist das Serving. Der einfache Weg, SGLang-Omni 0.2.0, liefert einen funktionierenden Endpunkt ohne NeMo – und ohne Zeitstempel, Sprecherkennzeichnungen oder Übersetzung. Der vollständige Weg, vLLM 0.32.0 mit dem NeMo Speech Plugin, liefert alle drei, doch Zeitstempel auf Wortebene kamen als Folgearbeit statt bereits im ersten PR. Drei Deployment-Rezepte namens „Nemotron 3.5 Transcribe“ können sich daher wie drei verschiedene Produkte verhalten. Wenn die Sprecherzuordnung der Grund für Ihren Wechsel ist, prüfen Sie diesen Weg, bevor Sie Engineering-Zeit darauf investieren.

Was der Betrieb wirklich kostet

Der Vergleich bei gehosteten Diensten ist nahezu trivial: Whisper Large v3 Turbo kostet mit etwa 0,04 $ pro Audiostunde rund 40 $ pro tausend Stunden, ohne eigene Hardware. Nemotron 3.5 Transcribe wird noch nicht auf diese Weise verkauft, daher kalkuliert ein Team, das es einsetzen will, eine GPU, nicht eine Rechnung.

NVIDIAs eigene Durchsatzangabe ist die rechnerische Untergrenze: 2.238 Sekunden Audio pro Sekunde GPU-Zeit, NVFP4 mit dem DFlash2-Drafter auf einer RTX PRO 6000 Blackwell – das ergibt etwa 100 Stunden Audio in unter drei Minuten. Bei rund 2 US-Dollar pro GPU-Stunde on-demand bedeutet das eine Untergrenze von deutlich unter einem Cent pro Audio-Stunde – bei voller Bündelung, wie sie eine Produktionswarteschlange nicht aufweist. Betrachten Sie es als Obergrenze dessen, was die Hardware leisten kann, nicht als eine Rate, die Sie erreichen werden.

Das bedeutet, der eigentliche Vergleich ist nicht Whisper Large v3 Turbo gegen Nemotron 3.5 Transcribe. Es ist Nemotron 3.5 Transcribe gegen Whisper Large v3 Turbo plus ein Diarisierungsmodell, einen Forced Aligner, Code zur Segmentzusammenführung und die sprachspezifische Feinabstimmung, die diese Integration erfordert. Wenn Sie WhisperX bereits in der Produktion einsetzen, haben Sie den Großteil dieser Kosten bereits bezahlt, und die Argumente für einen Wechsel sind schwächer, als die WER-Lücke nahelegt. Wenn Sie es nicht gebaut haben, konkurriert das 30B-Modell mit einer Pipeline, für die Sie sonst Personal bereitstellen müssten.

Ein praktischer Hinweis für alle, die während einer Migration beides betreiben: Zwei Transkriptions-Backends hinter einem OpenAI-kompatiblen Endpunkt zu betreiben, macht die Umstellung zu einer Konfigurationsänderung statt zu einem zweiten Anbietervertrag. Genau diese Ebene soll OrcaRouter bereitstellen – ein Schlüssel und ein Endpunkt über die Anbieter hinweg, die er weiterleitet, mit Anbieter-Listenpreis bei 0 % Aufschlag durchgereicht und automatischem Failover zwischen ihnen. Das ändert nicht, welches Modell besser ist. Es ändert, was es kostet, das herauszufinden, und was es kostet, sich darin zu irren.

Wer sollte was auswählen?

• Besprechungs-, Rechts-, klinische oder Contact-Center-Aufzeichnungen mit mehreren Sprechenden und einem Audit-Trail — Nemotron 3.5 Transcribe. Sprecherzuordnung und Zeitstempel auf Wortebene in einem einzigen Durchlauf sind die Funktion, die Sie andernfalls selbst zusammenstellen müssten, und das einstündige Fenster macht die Chunking-Logik vollständig überflüssig.

• Mono-Audio mit hohem Volumen, breite Sprachabdeckung, Bereitstellung auf Laptop oder CPU, planbare Abrechnung pro Stunde — Whisper Large v3 Turbo. Mit 809M Parametern und 0,04 $ pro Stunde ist es die günstigste richtige Antwort für einen sehr großen Anteil des realen Verkehrs, und es ist zwei Jahre lang kampferprobt.

• {{1}}Gemischte Workloads{{/1}} — {{2}}Turbo{{/2}} über {{3}}alles{{/3}} laufen lassen und {{4}}nur die Audiodaten, die Sprecher, Fachbegriffslisten oder Übersetzung benötigen,{{/4}} an das {{5}}größere Modell{{/5}} weiterleiten. Die Auswahlregel beruht auf {{6}}Audioeigenschaften, nicht auf Modellprestige{{/6}}: {{7}}Anzahl der Sprecher, Vorhandensein eines Domänenglossars und Aufnahmelänge{{/7}}.

Fragen, die vor einer Migration gestellt werden sollten

Kann Nemotron 3.5 Transcribe auf einer einzelnen 24-GB-GPU laufen?

Nicht komfortabel. NVIDIA hat BF16 auf einer 80-GB-H100 validiert, FP8 auf einer L40S und den NVFP4-Checkpoint auf einer RTX 5090, einer 32-GB-Karte. Ein Gerät mit 24 GB liegt unterhalb jeder validierten Konfiguration, und der Audio-Tower wird auf jeden Tensor-Parallel-Rank kopiert, sodass Multi-GPU-Sharding eine kleine einzelne Karte nicht rettet.

Unterstützt Whisper Large v3 Turbo Sprecherkennzeichnungen oder Übersetzung?

Weder noch. Die Turbo-Variante wurde ausschließlich auf Transkription trainiert, daher liefert eine Übersetzungsaufgabe unbrauchbare Ausgaben – für Übersetzung wird der vollständige large-v3-Checkpoint benötigt. Sprecher-Labels erfordern einen separaten Diarisierer wie pyannote, und dessen Turns mit den groben Segment-Zeitstempeln von Whisper zu verknüpfen, ist der Teil der Pipeline, dessen korrekte Umsetzung am längsten dauert.

Ist die Parameterlücke als Latenz sichtbar?

Nicht pro Minute Audio, nein. Whisper Large v3 Turbo liefert ein 30-Sekunden-Fenster an einem schnellen gehosteten Endpoint in deutlich unter einer Sekunde, und Nemotron 3.5 Transcribe verarbeitet eine einstündige Datei in einem einzigen Durchlauf mit einem Durchsatz, den NVIDIA mit Tausenden von Audio-Sekunden pro GPU-Sekunde beschreibt. Der sichtbare Unterschied liegt woanders: Turbo bietet keinen Streaming-Modus, und Nemotron 3.5 Transcribe ebenfalls nicht, daher ist Live-Untertitelung bei beiden nicht vorgesehen.

Welche ist besser für nicht-englisches Audio?

Keine der beiden Antworten ist sicher. Whisper Large v3 Turbo deckt 99 Sprachen ab, wobei die Qualität je nach Sprache stark schwankt, und Nemotron 3.5 Transcribe deckt 40 Sprachen ab, mit vom Anbieter berichteten mehrsprachigen Ergebnissen und einem Anpassungsrezept – NVIDIA berichtet, dass ein zurückgehaltenes medizinisches Domänen-Datenset nach Feintuning auf einer GPU über einige Stunden von 22,44 % auf 12,17 % WER verbessert wurde. Es gibt noch keinen unabhängigen mehrsprachigen Direktvergleich, daher ist für jede Sprache außerhalb des Englischen ein Blindtest mit Ihren eigenen Audioaufnahmen der verantwortungsvolle Schritt.

Was würde dieses Urteil ändern?

Drei Dinge, in der Reihenfolge ihrer Wahrscheinlichkeit. Wortgenaue Zeitstempel, die in vLLMs Transkriptions-API Einzug halten, würden den vollständigen Serving-Pfad zur Standardvariante machen und die Lücke zwischen den drei Deployment-Rezepten verkleinern. Flächendeckend verfügbare quantisierte Checkpoints würden die Hardware-Untergrenze von einer 80-GB-Karte in Richtung Consumer-Geräte verschieben. Und ein wirklich unabhängiger mehrsprachiger Head-to-Head-Vergleich gegen Whisper Large v3 Turbo würde Inferenz durch Messung ersetzen.

Bis eines davon eintrifft, liegt die Entscheidung nicht einmal annähernd bei einem Zehntel eines WER-Punkts. Es ist eine Frage Ihres Audios: Wenn darin mehr als eine Stimme vorkommt und Sie wissen müssen, welche Stimme was gesagt hat, ist Nemotron 3.5 Transcribe das erste offene Modell, das dies in einem Durchgang ohne dahinterliegende Pipeline schafft. Wenn nicht, erledigt ein vor einem Jahr veröffentlichtes 809M-Modell die Aufgabe immer noch für vierzig Dollar pro tausend Stunden, und das 34B-Modell ist eine große Menge Hardware, die man für eine Zahl kauft, die sich ändert, wenn man den Host wechselt.