Nemotron 3.5 Transcribe vs. Granite Speech 5.0 470M TurboCTC: 64× so viele Parameter, 43× langsamer

Das nützlichste Objekt in diesem Vergleich ist eine 279 Megabyte große Datei. Das ist die Q4_K_M-Quantisierung von Granite Speech 5.0 470M TurboCTC, IBMs rein encoderbasiertem Spracherkennungssystem, und sie transkribiert Englisch auf einer Laptop-CPU ohne GPU, ohne nennenswerte Python-Umgebung und ohne Servicevertrag. Nemotron 3.5 Transcribe, das NVIDIA am 28. Oktober 2026 als offene Gewichte veröffentlichte, ist ein sprachaugmentiertes Sprachmodell mit 30 Milliarden Parametern, das einen Beschleuniger der Datacenter-Klasse und rund sechzig Gigabyte BF16-Gewichte benötigt. NVIDIAs Modell ist vierundsechzig Mal größer und laut den von jedem Anbieter veröffentlichten Durchsatzwerten pro GPU-Sekunde etwa dreiundvierzig Mal langsamer. Es ist außerdem das einzige der beiden, das Ihnen sagen kann, wer gesprochen hat.

Keine dieser beiden Tatsachen gibt den Ausschlag. Sie beschreiben zwei verschiedene Maschinen, die zufällig auf derselben Rangliste gemessen werden, und die ganze Frage ist, ob Ihre Arbeitslast den Raum oder nur die Worte braucht.

Ein nicht-autoregressives CTC-Modell im Vergleich zu einem generativen Sprach-LLM

Granite Speech 5.0 470M TurboCTC besteht aus sechzehn Conformer-Blöcken mit einer BPE-Ausgabeschicht mit 16.384 Einheiten, wurde mit einem CTC-Ziel trainiert und wird gierig dekodiert. Es gibt kein Sprachmodell, keinen Projektor und keine Generierungsschleife: Audio wird hineingegeben, eine framessynchrone Label-Sequenz kommt heraus, von 100 Hz auf 12,5 Hz heruntergetastet. Dieses Design ist der Grund dafür, dass es schnell ist, dass es klein ist und dass es nichts leisten kann, was das Label-Set nicht abdeckt. Es kennt keinen Prompt, keinen Ausgabestil, kein Übersetzungsziel und kein Sprecherfeld.

Nemotron 3.5 Transcribe ist die entgegengesetzte Architektur, und der Unterschied ist keine Frage einer Generationenlücke. Ein Sprach-Encoder speist ein eingefrorenes Nemotron 3 Diarization-Modell ein, dessen Sprecheraktivitätssignal über einen Parallel Expert Encoder in den Encoder injiziert wird, und ein hybrider Mamba–Transformer-Mixture-of-Experts-Decoder erzeugt das Transkript als Text, wobei pro Token etwa 4 Milliarden seiner 30 Milliarden Parameter aktiv sind. Da die Ausgabe generiert statt klassifiziert wird, kann sie angewiesen werden: wörtliche oder schriftliche Form, eine Liste erwarteter Entitäten, ein Übersetzungsziel, sprecherattribuierte Ausgabe oder eine gesprochene Antwort auf eine Frage zum Audio.

Parameter — insgesamt etwa 30B, rund 4B aktiv pro Token gegenüber 470M bei einem reinen Encoder-Modell.

• Dekodierung – autoregressive Generierung über ein 30B-MoE im Vergleich zu greedy nicht-autoregressivem CTC.

• Lizenz — OpenMDW-1.1 vs. Apache-2.0 (die permissivere der beiden; IBMs separate -nc-Schwesterlizenz ist CC-BY-NC-SA-4.0).

• Speicherbedarf — rund 60 GB bei angebotenen BF16-, NVFP4- und GGUF-Builds gegenüber 279 MB bei Q4_K_M in einem Community-GGUF-Port.

• Sprachen — 40 transkribiert, 31 übersetzt gegenüber 7 (Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch, Japanisch) nach dem mehrsprachigen Update vom 21. Oktober 2026.

• Sprecher — bis zu 8, mit Sprecherzuordnung, in 13 Sprachen vs. keine; Diarisierung erfordert ein separates Modell.

• Zeitstempel – auf Wortebene über einen CTC-Adapter nach dem Decoding im Vergleich zu keinem; CTC-Peakpositionen sind keine Wortgrenzen.

• Streaming — keines, nur aufgezeichnetes Audio vs. keines.

Die Genauigkeitslücke ist kleiner als die Größenlücke, und die Durchschnittswerte stimmen nicht überein.

IBM berichtet über eine durchschnittliche Wortfehlerrate von 5,51 % über neun öffentliche englische Testsets für die mehrsprachige TurboCTC-Version, verbessert von 5,78 % bei der Markteinführung im August. NVIDIA berichtet über eine durchschnittliche WER für Englisch von 5,33 % im Hugging Face Open ASR Leaderboard und über 4,71 % über neun öffentliche Testsets auf der eigenen Forschungsseite. Beide Zahlen sind Herstellerangaben, und die beiden Durchschnittswerte beruhen nicht auf derselben Mischung: IBMs neun Testsets und NVIDIAs Leaderboard-Eintrag mit acht Testsets unterscheiden sich in Zusammensetzung und Normalisierung, und die separate Neun-Set-Zahl der Forschungsseite unterscheidet sich wiederum vom eigenen Leaderboard-Eintrag. Subtrahieren Sie sie nicht und bezeichnen Sie die Differenz nicht als Qualitätslücke. Die haltbare Aussage ist enger gefasst – im öffentlichen englischen Kurzformat-Leaderboard liegen diese beiden nur ein paar Zehntelpunkte auseinander, was für ein 64-mal kleineres Modell ein bemerkenswertes Ergebnis ist und ein Warnsignal dafür, wie viel von einem Leaderboard-Durchschnitt LibriSpeech-geprägte, saubere vorgelesene Sprache ist.

Die Wortfehlerrate verbirgt auch das, was sie tatsächlich unterscheidet. Granite ist ein Klassifikator: Es gibt die wahrscheinlichste Label-Sequenz aus, und wo die Akustik mehrdeutig ist, gibt es etwas Plausibles aus. Nemotron erzeugt Text mit einem dahinterstehenden Sprachmodell, weshalb seine Behauptung zum kontextuellen Prompting – eine sechsfache Verringerung von Eigennamenfehlern auf ContextASR-Bench mit einer Entitätsliste im Prompt – überhaupt möglich ist. Bei einem Transkript eines Verkaufsgesprächs voller Produktcodes hat das kleine Modell keinen Mechanismus für die Bias, das große schon.

Durchsatz: 19.870 RTFx gegenüber 462

Der Hugging-Face-Leaderboard-Eintrag für Nemotron 3.5 Transcribe weist einen RTFx von 462,09 aus – das bedeutet, dass das Modell auf dem Testaufbau des Leaderboards etwa 462 Sekunden Audio pro Sekunde Rechenzeit verarbeitet. IBMs Oktober-Update meldet 19.870 RTFx für TurboCTC auf einer einzelnen H200, gegenüber etwa 12.600 zum Start nach einer Optimierung zur Wiederverwendung von Graphen für einen einzelnen Block. Das ist ein 43-facher Unterschied, und anders als bei den WER-Werten wird er zumindest auf zwei konkurrierenden Beschleunigern statt auf zwei unterschiedlichen Testgemischen gemessen.

NVIDIAs eigene Schlagzeile ist eine andere Art von Zahl: bis zu 2.238 Sekunden Audio pro Sekunde auf einer einzelnen RTX PRO 6000 Blackwell, unter Verwendung des NVFP4-Checkpoints und eines DFlash2-Draft-Modells. Das ist höher als die 462 der Rangliste, weil es eine andere Messung ist – 30-Sekunden-Clips bei hoher Parallelität, wie NVIDIAs eigener Hugging-Face-Beitrag darlegt, mit aktivierter spekulativer Dekodierung und einer Quantisierung, die damals noch als „in Kürze verfügbar“ beschrieben wurde. Liest man beide zusammen, lautet die ehrliche Schlussfolgerung, dass Nemotrons Durchsatz konfigurationsabhängig um eine Größenordnung schwankt, während der von TurboCTC eine Eigenschaft seiner Architektur ist. Ein Modell ohne autoregressive Schleife kann nicht auf die Weise langsam sein, wie es ein 30B-MoE kann.

Was 470 Millionen Parameter bieten, was 30 Milliarden nicht können

Die erste Antwort ist die Bereitstellungsform. Ein 279 MB großes GGUF läuft auf einer CPU, auf einem Smartphone-nahen Edge-Gerät, innerhalb einer Desktop-Anwendung oder auf einer Platine der Raspberry-Pi-Klasse, wenn man Geduld hat. Mittlerweile gibt es Community-GGUF-Ports und eine C++-Runtime-Familie, die das Modell als Engine erster Klasse behandelt. Nemotron 3.5 Transcribe läuft unter vLLM mit dem NeMo-Speech-Plugin oder unter SGLang-Omni auf einem 80-GB-Beschleuniger in BF16 oder auf einer Blackwell-Karte in NVFP4. Das sind keine zwei Punkte auf einem Spektrum; das sind unterschiedliche Beschaffungskategorien.

Der zweite Punkt ist die Latenzuntergrenze. Ein CTC-Modell liefert eine Transkription in einem einzigen Vorwärtsdurchlauf. Ein generatives Modell gibt jeweils ein Token aus, und seine Wall-Clock-Latenz bei einer kurzen Datei wird von der Dekodierschleife statt vom Audio dominiert. Für Batch-Archive ist das irrelevant. Für alles Interaktive – eine Diktierbox, ein Anrufqualitätsmonitor, ein Untertitelwerkzeug, das beim Scrubben Schritt halten muss – ist das kleine Modell das einzige der beiden, das fertig wird, bevor der Nutzer es bemerkt.

Drittens die Klarheit bei der Lizenzierung. Apache-2.0 ist die Lizenz, die die Rechtsabteilungen bereits genehmigt haben; OpenMDW-1.1 ist so neu, dass einige von ihnen eine Prüfung verlangen werden. Wenn Ihr Engpass ein Beschaffungsformular und nicht ein Benchmark ist, überwindet IBMs Modell ihn schneller.

Was 30 Milliarden Parameter dir bieten, was 470 Millionen nicht können

Sprecher: zuerst und entscheidend. TurboCTC hat überhaupt keine Sprecherrepräsentation. Um zugeordnete Transkripte zu erhalten, braucht man ein Diarisierungsmodell davor, einen Zusammenführungsschritt und ein Fehlerbudget für die Zusammenführung – die Standard-Kaskade. Nemotron 3.5 Transcribe integriert ein eingefrorenes Diarisierungsmodell in den Encoder und gibt Sprecherlabels direkt aus, bis zu acht davon, in 13 Sprachen, mit sprecherzugeordneten Wortzeitangaben aus einem Post-Decode-CTC-Adapter. Die von NVIDIA angegebene Diarisierungsfehlerrate beträgt 18,26 % über 21 Sprachen im David-AI-Benchmark, der beste Wert von 14 Systemen, wobei der nächstbeste Konkurrent das eigene Nemotron-3-Diarisierungsmodell mit 18,38 % ist. Das sind Herstellerangaben auf einer Hersteller-Testumgebung, und sie wurden nicht unabhängig reproduziert. Der implizierte Kaskadenvergleich – ein Modell gegenüber drei – ist überhaupt keine Benchmark-Behauptung, sondern eine Beschreibung des Deployments.

Sprachen und Übersetzung stehen an zweiter Stelle. TurboCTC deckt nach seinem Oktober-Update sieben Sprachen ab; Nemotron deckt vierzig für die Transkription und einunddreißig für die Übersetzung von oder nach Englisch ab. Wenn Ihre Warteschlange europäisch und einsprachig ist, reichen sieben. Wenn nicht, endet der Vergleich.

Drittens: Feinabstimmung. NVIDIA berichtet von einer Anpassung auf einer einzelnen GPU mit 0,5 bis 2,3 GPU-Stunden pro Aufgabe und von einem Beispiel aus der medizinischen Sprache, bei dem eine Feinabstimmung die Wortfehlerrate bei 3.619 Clips von 30,8 % auf 11,8 % senkte, wobei sich nicht zum Training verwendete Sprecher von 22,44 % auf 12,17 % verbesserten. IBMs TurboCTC lässt sich ebenfalls feinabstimmen – es steht unter Apache-2.0 –, aber man würde einen CTC-Kopf auf einem viel kleineren Modell feinabstimmen, und die Obergrenze dessen, was zusätzlicher Kontext einbringen kann, ist niedriger, weil es kein Sprachmodell gibt, das man überzeugen könnte.

Das Kostenmodell, das darüber entscheidet

Die Wirtschaftlichkeit von TurboCTC ist fast schon langweilig. Eine einzelne H200 mit 19.870 RTFx sättigt eine sehr große Warteschlange; ein quantisierter 279-MB-Build auf handelsüblichen CPUs kostet pro Audiostunde nahezu nichts, und der Strom ist der eigentliche Kostenpunkt. Nirgendwo im Stack gibt es eine minutengenaue Abrechnung.

Die Wirtschaftlichkeit von Nemotron hat dieselbe Form in einem anderen Maßstab: keine minutengenaue Abrechnung, aber ein viel größerer Beschleuniger und eine viel niedrigere Durchsatzgrenze. Eine Blackwell-Karte, die 2.238 Sekunden Audio pro Sekunde verarbeitet, bewältigt 100 Stunden bei hoher Parallelität in unter drei Minuten und deutlich weniger bei einstündigen Meetings mit Überlappung.

• Eine Warteschlange von 20 Stunden pro Monat – TurboCTC auf einer CPU ist praktisch kostenlos; Nemotron benötigt einen gemieteten oder eigenen Beschleuniger, der die meiste Zeit des Monats im Leerlauf verbringen wird.

• Ein Archiv mit 2.000 Stunden pro Monat ohne Sprecheranforderungen — TurboCTC auf einer GPU oder eine kleine Flotte von CPUs ist mit großem Abstand die günstigere und schnellere Konfiguration.

• Ein Archiv von 2.000 Stunden pro Monat an Meetings mit sechs Personen — TurboCTC plus ein Diarisierer plus eine Merge-Schicht, gemessen gegen Nemotron auf einer Karte. Dies ist die einzige Konfiguration, in der der Preis des großen Modells vertretbar ist, und selbst hier ist die Kaskade auf der Hardware günstiger.

• Alles, was unter einer Vertraulichkeitsauflage steht, die das Hochladen von Audio verbietet – beide lassen sich selbst hosten, daher ist die Auflage so oder so erfüllt, und die Entscheidung hängt dann von Sprechen und Sprachen ab.

Die Nachbearbeitungshälfte der Pipeline ist der Punkt, an dem sich eine Routing-Schicht unabhängig davon bezahlt macht, für welchen Recogniser Sie sich entscheiden. Transkripte werden zusammengefasst, getaggt und weitergeleitet, und OrcaRouter stellt über 200 Text- und multimodale Modelle hinter einem einzigen Schlüssel bereit – mit den Listenpreisen der Anbieter, die ohne Aufschlag weitergegeben werden, automatischem Failover und einer Routing-DSL, die eine Klasse von Transkripten an einen günstigeren Summarizer und eine andere an ein stärkeres Modell senden kann, ohne eine zweite Integration. Weder Nemotron 3.5 Transcribe noch Granite Speech 5.0 470M TurboCTC wird in diesem Katalog angeboten – wir hosten keine Spracherkennung –, daher bleibt die Wahl der Spracherkennung ein separater Vertrag und nur die darüberliegende Ebene wird portabel.

Wähle nach der Art der Aufgabe, nicht nach der Rangliste.

Wenn die Aufgabe darin besteht, „viel sauberes, überwiegend englisches Audio so kostengünstig und schnell wie möglich in Text umzuwandeln“, gewinnt Granite Speech 5.0 470M TurboCTC, und der Vergleich ist nicht knapp — es ist ein 279MB großes, Apache-lizenziertes Modell, das ein 30B-System um mehr als das Vierzigfache übertrifft und beim öffentlichen englischen Durchschnitt fast nichts einbüßt. Die Kaskade, die man für Sprecher aufbaut, ist der Preis für diese Effizienz, und wenn man nie Sprecher benötigt hat, zahlt man ihn auch nie.

Wenn die Aufgabe lautet: „ein mit Sprecherzuordnung versehenes, zeitlich gestempeltes, strukturiertes Transkript aus einer schwierigen Aufnahme in einer von vierzig Sprachen zu erstellen“, dann ist Nemotron 3.5 Transcribe die einzige der beiden, die es versucht, und die Diarisierungszahlen des Anbieters – bislang nicht unabhängig reproduziert – legen nahe, dass es dies besser schafft als die Kaskaden, die es ersetzt. Der Durchsatzverlust ist real, die Hardwarekosten sind real, und für eine Arbeitslast mit vielen Meetings ist keines von beiden untragbar.

Der Fehler, den es zu vermeiden gilt, ist, dies als einen Generationswettbewerb zu behandeln. Ein 470M-CTC-Modell ist keine veraltete Version eines 30B-Speech-LLM; es ist ein anderes Instrument, das zufällig auf einem Benchmark, der überwiegend aus sauberer vorgelesener Sprache besteht, ähnlich abschneidet. Die nächste Veröffentlichung wird es nicht obsolet machen. Deine eigene schlechteste Aufnahme wird dir sagen, welches du gebraucht hättest.