Nemotron 3.5 Transcribe vs. Voxtral 3: Die Zwei-Punkte-Lücke, die keine Entscheidung bringt

Ein Modell, drei Wortfehlerraten. Artificial Analysis führt NVIDIA Nemotron 3.5 Transcribe mit 3,4 % in seinem Non-Streaming-Leaderboard auf; die FAQ derselben Seite beschreibt es mit 2,8 %. Währenddessen Mistral Voxtral 3 – die Familie, die als Voxtral Small Transcribe 3 ausgeliefert wird – steht mit 2,1 % auf dem dritten Platz dieses Leaderboards und liegt etwa einen halben Punkt vor NVIDIAs bester veröffentlichter Zahl. Nimmt man die 3,4 %, wirkt der Abstand entscheidend. Nimmt man die 2,8 %, liegt er innerhalb des Rauschbands, das dieser Index über Serving-Endpunkte hinweg gezeigt hat. Und betrachtet man den Teilwert, der Konversationsaudio abdeckt, kehrt sich die Rangfolge um.

Zwei Zahlen für ein Modell, und keine der beiden ist eine Lüge

Die 3,4 % und die 2,8 % stammen vom selben Leaderboard am selben Tag. Sie unterscheiden sich, weil AA-WER v2 gegen einen bestimmten Evaluierungs-Slice über einen bestimmten Serving-Endpunkt berechnet wird, und der Index hat sich historisch zwischen Anbietern, die denselben Checkpoint betreiben, um fast einen vollen Punkt verschoben. NVIDIAs 2,8 % ist die Zahl, die das Unternehmen in seinem Launch-Material angibt; die 3,4 % sind das, was das Board für den Endpunkt anzeigt, den es tatsächlich getestet hat. Keine der beiden ist erfunden, und keine sollte von Mistrals 2,1 % abgezogen werden, als wären die beiden auf identischer Hardware, mit identischer Präzision und gegen identisches Audio gemessen worden.

Das macht die Lücke nicht bedeutungslos. Es macht sie zu einer Spanne: irgendwo zwischen 0,6 und 1,3 Punkten zugunsten von Voxtral beim Batch-Index, wobei der wahre Wert davon abhängt, wessen Endpunkt man verwendet. Für einen Kundenservice-Einsatz, bei dem jeder WER-Punkt menschliche Prüfminuten kostet, ist das bares Geld wert. Für ein Meeting-Notizen-Produkt, bei dem ein Mensch die Ausgabe ohnehin nur überfliegt, nicht.

Woher der Unterschied tatsächlich kommt

Der AA-Index ist ein Durchschnitt über drei Komponenten: VoxPopuli, Earnings-22 und AgentTalk. Die ersten beiden sind vorgelesene Sprache und Earnings Calls – sauber, mit einem einzigen Sprecher und gut aufgenommen, also Audio, mit dem beide Modelle gut zurechtkommen. AgentTalk ist dialogorientiert und verrauschter. In diesem Teilbereich erzielt NVIDIAs Modell Berichten zufolge 1,8 % gegenüber 2,3 % von Voxtral Small, was eine echte Umkehr darstellt und die interessanteste Zahl im Vergleich ist.

• VoxPopuli und Earnings-22 — Voxtral Small führt; diese Korpora belohnen ein Modell, das auf saubere langformatige Sprache abgestimmt ist.

AgentTalk — Nemotron führt mit 1,8 % gegenüber 2,3 % bei konversationellem Audio, das einem tatsächlichen Support-Anruf oder einem Meeting mit Übersprechen ähnelt.

• Gesamtindex — Voxtral Small bei 2,1 %, Nemotron zwischen 2,8 % und 3,4 %. Die Komponenten für saubere Sprache haben genug Gewicht, um diese Reihenfolge zu erzeugen.

Dieses Muster passt zu den beiden Architekturen. Voxtral Small ist ein Transkriptionsmodell, das darauf trainiert wurde, beim Transkribieren exzellent zu sein; NVIDIAs Checkpoint ist ein Sprachmodell mit einem vorne angeflanschten Speech-Encoder, und Sprachmodelle schneiden tendenziell besser ab, wenn das Audio unordentlich und der Kontext gesprächsmäßig ist. Das erklärt auch, warum NVIDIAs größte angepriesene Erfolge gar nicht beim sauberen WER liegen: 15,80 durchschnittlicher cpWER bei sprecherzugeordneter überlappender Sprache und ein Named-Entity-WER, der von 12,21 % auf 2,20 % fällt, wenn man eine Entitätsliste bereitstellt.

Die Anbietertabellen überschneiden sich ebenfalls nicht.

Mistral veröffentlicht für FLEURS-45 den makro-gemittelten WER: 4,1 % bei vorgegebener Sprache und 4,0 % bei inferierter Sprache für Voxtral Small Transcribe 3, gegenüber 4,6 % für das 4B-Mini-Geschwistermodell und 16,0 % für Whisper large-v3. NVIDIA veröffentlicht das Open ASR Leaderboard: 4,71 % im Mittel über neun englische Sets und 4,62 % über sieben mehrsprachige Sets. Beides sind vom Anbieter betriebene Prüfrahmen auf unterschiedlichen Korpora mit unterschiedlicher Normalisierung, und die nahezu identischen Werte sind Zufall, kein direkter Vergleich. Wer 4,0 gegen 4,62 als 0,6-Punkte-Sieg darstellt, vergleicht einen FLEURS-Wert mit einem Open-ASR-Wert.

Die Zahlen zur Diarisierung haben genau das umgekehrte Problem. Mistral meldet 18,4 % verkettete Minimum-Permutation-WER auf AMI, Switchboard, CallHome und AISHELL-4. NVIDIA meldet durchschnittlich 15,80 cpWER auf seinem eigenen Mehrsprecher-Datensatz. NVIDIAs Zahl ist niedriger und sein Datensatz ist ein anderer; ohne gemeinsamen Korpus ist die einzige vertretbare Aussage, dass beide Unternehmen glauben, die spezialisierten Kaskaden geschlagen zu haben, gegen die sie getestet haben, und dass keines von beiden einen Lauf auf den Daten des anderen veröffentlicht hat.

Was Voxtral 3 kann, Nemotron aber nicht

Mistrals Veröffentlichung ist eine Familie, kein Checkpoint, und die Familie deckt Bereiche ab, die NVIDIAs einzelnes Offline-Modell nicht abdeckt.

• Sprachumfang — Voxtral Small Transcribe 3 deckt über 50 Sprachen ab, darunter alle 24 Amtssprachen der EU; NVIDIA deckt 40 ab, mit Sprecherkennzeichnung bei 13.

• Echtzeit — Voxtral Mini Transcribe Realtime 3 streamt mit unter 500 ms Latenz für 0,008 US-Dollar pro Minute, mit 7,4 % WER bei 240 ms Verzögerung und 5,7 % bei 2.400 ms. NVIDIA bietet für diesen Checkpoint keinen Streaming-Modus – zu keinem Preis.

• Sprachagenten – zum Start von Voxtral 3 erschien ein auf LiveKit basierendes Voice Agent SDK, das Transkription, ein Reasoning-Modell mit Tool Calls und Sprachgenerierung verkettet, inklusive Barge-in und SIP-Telefonie. Das ist eine ganze Produktkategorie, die der Checkpoint von NVIDIA nicht abdeckt.

• Einfachheit im Betrieb – minutenbasierte Abrechnung, keine GPU, kein Serving-Stack, EU-, US- und globale Endpunkte. Für ein Team ohne Infrastruktur ist das der Unterschied zwischen einer zweitägigen und einer zweimonatigen Integration.

• Kontext-Biasing — 94,6 % Keyphrase-Recall mit Kontext gegenüber 81,4 % ohne, bei Earnings-22. Vom Ansatz her vergleichbar mit NVIDIAs Entity-List-Mechanismus, gemessen an einem anderen Korpus.

Was Nemotron kann, was Voxtral 3 nicht kann

Die umgekehrte Liste ist kürzer, aber für den richtigen Käufer schwerer.

• Offene Gewichte — OpenMDW-1.1, kommerzielle Nutzung gestattet, veröffentlicht in BF16, FP8, NVFP4 und GGUF. Mistrals Seite bietet API-Zugriff und „Self-Deployment auf Ihrer eigenen Infrastruktur“ über Mistral und veröffentlicht zum Zeitpunkt der Publikation keine Gewichte, keine Lizenz und keinen Checkpoint. Wenn Ihr Compliance-Team das Artefakt prüfen muss, existiert nur eines davon, das sich prüfen lässt.

• Ein einzelner Durchlauf von einer Stunde — 65.536 Token Kontext und Aufnahmen von bis zu einer Stunde. Mistral veröffentlicht weder eine maximale Aufnahmelänge noch ein Kontextfenster für Voxtral 3, was für sich genommen ein Grund ist, einen Langform-Workflow vor der Festlegung zu testen.

• Übersetzung – 31 Sprachen in beide Richtungen nach und aus dem Englischen. Die Startseite von Voxtral 3 dokumentiert Transkription, Diarisierung und Context-Biasing; sie dokumentiert keine Sprachübersetzungsaufgabe so, wie es der Checkpoint von NVIDIA tut.

• Promptfähige Ausgabe — fünf Transkriptstile, die per Anweisung ausgewählt werden, statt eines Formats plus Nachbearbeitung.

• Audioverständnis — Beantwortung von Fragen und Befolgen gesprochener Anweisungen auf Basis der Aufnahme. Bei diesem Checkpoint ausschließlich Englisch, und in keinem der Launch-Materialien zu Voxtral 3 dokumentiert.

Der Kostenvergleich ist alles andere als knapp, und genau darum geht es.

Voxtral Small Transcribe 3 kostet $0,0040 pro Minute bzw. $0,24 pro Audio-Stunde. Das 4B Mini kostet $0,0035 bzw. $0,21 pro Stunde. NVIDIAs gehostetes Angebot kostet $2,00 pro 1.000 Minuten bzw. $0,12 pro Stunde. Selbsthosting ist eine ganz andere Rechnung: Bei NVIDIAs angegebenen 2.238 Sekunden Audio pro Sekunde auf einer RTX PRO 6000 Blackwell dauern tausend Stunden Audio – 3,6 Millionen Sekunden – etwa 27 Minuten GPU-Zeit. Selbst bei der halben Durchsatzleistung, die laut NVIDIA die Open-Source-Integration liefert, sind es unter einer Stunde.

• 1.000 Stunden pro Monat — Voxtral Small 240 $, Voxtral Mini 210 $, Nemotron gehostet 120 $, Nemotron selbst gehostet etwa 2 $ GPU-Zeit bei einem Mietpreis von 2 $/Stunde, zuzüglich Betriebskosten.

• 10.000 Stunden pro Monat — 2.400 $, 2.100 $, 1.200 $ bzw. etwa 20 $ GPU-Zeit.

• Der Haken: Die Self-Hosted-Variante setzt voraus, dass Sie bereits über die GPU, den Serving-Stack und jemanden verfügen, der ihn am Laufen halten kann. Eine einzelne RTX PRO 6000 ist eine Investition im fünfstelligen Bereich; bei 1.000 Stunden pro Monat amortisiert sie sich nicht, bevor die nächste Generation auf den Markt kommt. Bei 10.000 Stunden hat sie sich in wenigen Monaten bezahlt gemacht.

• Der andere Haken — diese Durchsatzwerte hängen von NVFP4 plus dem DFlash2-Draft-Modell ab, und diese Kombination deaktiviert Wort-Zeitstempel. Wenn Sie Alignment benötigen, verwenden Sie eine langsamere Konfiguration als die in der Marketingtabelle.

Die Preisfrage entscheidet sich also nach Volumen und danach, ob die Audiodaten Ihr Netzwerk verlassen dürfen. {{1}}Mistrals Minutenpreis{{/1}} ist niedrig genug, dass die meisten Teams mit weniger als ein paar hundert Stunden pro Monat gar nicht über GPUs nachdenken sollten. Ab zehntausend Stunden wird das Selbsthosting eines offenen Checkpoints um eine Größenordnung günstiger, und der Betriebsaufwand ist die einzige wirkliche Frage.

Der Fünfzig-Stunden-Test

Jede Zahl oben stammt aus den Audioaufnahmen von jemand anderem. Bevor Sie eines der beiden Modelle für den Produktivbetrieb festlegen, transkribieren Sie mit beiden fünfzig Stunden Ihrer eigenen Aufnahmen und bewerten Sie die Ergebnisse so, wie Ihre Nutzer es tun werden: benannte Entitäten korrekt, Sprecherwechsel korrekt, Zahlen und Währungsbeträge korrekt und die spezifischen Akzente, die Ihre Kunden haben. Der AA-Index wird Ihnen nicht sagen, welches Modell mit einem Callcenter in Glasgow besser zurechtkommt, und die Testumgebung keines Anbieters wird es Ihnen ebenfalls nicht sagen.

Dieser Test ist auch der Punkt, an dem ein Router für mehr als nur Kosten nützlich ist. OrcaRouter bündelt die nachgelagerten Textaufrufe – Zusammenfassung, Entitätsextraktion, Schwärzung, Übersetzung des fertigen Transkripts – unter einem einzigen Schlüssel mit 0 % Aufschlag, mit durchgereichtem Listenpreis des Anbieters, automatischem Failover über Anbieter hinweg und einer Routing-DSL, die verschiedene Phasen in einem Workflow an verschiedene Modelle schicken kann. Weder Nemotron 3.5 Transcribe noch Voxtral 3 stehen im Katalog von OrcaRouter, daher hilft der Router nicht beim Aufrufen dieser Modelle; er hilft dabei, ihre Ergebnisse zu verarbeiten, ohne für die Textschicht eine zweite Anbieterbeziehung aufbauen zu müssen.

Das Urteil hängt davon ab, welcher Satz Ihr Problem beschreibt. Wenn er lautet: „Wir brauchen präzise Transkription in fünfzig Sprachen, wir wollen keine GPU selbst betreiben, und Latenz zählt“, dann ist Voxtral Small Transcribe 3 das bessere Produkt, und die 2,1 % sind ein echter Grund dafür. Wenn er lautet: „Wir brauchen Transkripte von einstündigen Meetings mit Sprecherzuordnung, Übersetzung und ein Artefakt, das unser Compliance-Team prüfen kann“, dann ist Nemotron 3.5 Transcribe die einzige Option auf dieser Liste, die alle drei erfüllt, und ein Prozentpunkt WER bei sauber vorgelesener Sprache ist der Preis dafür. Wenn er lautet: „Wir brauchen beides“, dann ist die ehrliche Antwort, dass sie kein Ersatz füreinander sind, und die Teams, die aus dieser Generation am meisten herausholen, setzen das eine für Live-Audio und das andere für das Archiv ein.