Granite Speech 5.0 2B vs. Granite Speech 5.0 470M TurboCTC: 35× Durchsatz für 0,45 Punkte WER

IBM hat zwei Granite Speech 5.0 Checkpoints innerhalb eines Tages zueinander veröffentlicht, und das Interessante daran ist nicht, dass einer größer ist. Es ist, dass Granite Speech 5.0 2B im Open ASR Leaderboard einen durchschnittlichen englischen WER von 5,06 % bei 570 RTFx erreicht, während Granite Speech 5.0 470M TurboCTC 5,51 % bei 19.870 RTFx erreicht – etwa fünfunddreißigmal der Durchsatz für deutlich weniger als einen halben Punkt Genauigkeit. Wenn du angenommen hast, dass die Parameteranzahl dir etwas Proportionales bringt, dann tut sie das nicht. Sie bringt dir Übersetzung, Keyword-Biasing, Sprach-ID-Steuerung und ein Sprachmodell, das einem Prompt folgen kann. Geschwindigkeit steht nicht auf dieser Liste. Die dokumentierten KI-Fehler und Agenten-Vorfälle hinter Releases wie diesem sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seine Konfidenznote und seine Kennzeichnung als umstritten trägt.

Beide Werte stammen von IBM selbst, wurden auf demselben Leaderboard gemessen und liegen datumsmäßig nur eine Woche auseinander, was dies zu einem der saubereren verfügbaren Vergleiche innerhalb derselben Modellfamilie macht – und zugleich zu einem, bei dem man weiterhin davon ausgehen sollte, dass es sich um eine vom Anbieter durchgeführte Evaluierung handelt und nicht um eine auditierte. Für keines der beiden Modelle gibt es eine unabhängige Reproduktion, und zum Zeitpunkt des Schreibens wird keines von einem Inferenzanbieter angeboten, den ich finden kann, einschließlich unseres eigenen Katalogs.

Dieselbe Woche, zwei unterschiedliche Release-Geschichten

Diese beiden Modelle sind keine Zwillinge mit unterschiedlichen Größen. Sie wurden unterschiedlich veröffentlicht und sind unterschiedlich aufgebaut, und die Veröffentlichungshistorien erklären, warum sich ihre Modellkarten so unterschiedlich lesen.

• Granite Speech 5.0 2B — Repository erstellt am 7. Oktober 2026, Gewichte noch am selben Abend committet, Model Card zwei Wochen lang öffentlich bearbeitet, Veröffentlichungsdatum auf den 20. Oktober datiert, Ankündigungsblog am 21. Oktober. Neues Modell, leiser Start, lautes Finale.

• Granite Speech 5.0 470M TurboCTC — erstmals am 25. August 2026 als englischsprachiges Modell mit einer Angabe von 12.600 RTFx veröffentlicht. Die Veröffentlichung vom 21. Oktober ist ein Update, kein neues Modell: dieselbe Architektur, ein neuer mehrsprachiger BPE-Head mit 16.384 Tokens, sechs zusätzliche Sprachen sowie native Zeichensetzung und Großschreibung.

Dieser Unterschied ist wichtig, wenn man die Zahlen liest. Die 5,06 % des 2B sind eine neue Bewertung eines neuen Checkpoints. Die 5,51 % des 470M sind eine Verbesserung gegenüber einem im August veröffentlichten Wert von 5,78 %, und IBMs Blog formuliert es als „bessere englische WER trotz Hinzufügen von sechs Sprachen“, was die richtige Art ist, es zu lesen – das mehrsprachige Update hat keine englische Genauigkeit gekostet, sondern etwas gewonnen.

Zwei Architekturen, eine Konsequenz

Granite Speech 5.0 2B ist ein Sprach-Sprach-Modell. Ein 16-Block-Conformer-CTC-Encoder speist einen zweischichtigen Window-Query-Transformer-Projektor, der akustische Embeddings um den Faktor 10 auf 10 Hz heruntersampelt; diese gelangen in einen Zwischen-Checkpoint von granite-4.0-1b-base, der mit YaRN auf 16k Positionen erweitert wurde. Das überwachte Feintuning erfolgt mittels LoRA gemeinsam auf dem Projektor und dem Sprachmodell. Die Generierung erfolgt autoregressiv: Das Sprachmodell schreibt das Transkript Token für Token.

Granite Speech 5.0 470M TurboCTC ist ein Encoder. Sechzehn Conformer-Blöcke, CTC-Zielsetzung, ein multilingualer BPE-Klassifizierungskopf mit 16.384 Einheiten, zeitliche Unterabtastung um den Faktor 8, um 100-Hz-Frames auf 12,5 Hz zu reduzieren, gierige nicht-autoregressive Dekodierung. Kein Projektor, kein Sprachmodell, keine Generierungsschleife. Die Ausgabe ist mit Satzzeichen versehen und großgeschrieben, weil das Modell darauf trainiert wurde, Satzzeichen im Token-Stream auszugeben, und nicht, weil ein zweites Modell sie nachträglich hinzugefügt hat.

Die Konsequenz ist der gesamte Vergleich. Ein 2B-Modell, das Token generiert, hat eine Latenzuntergrenze pro Token, die sich durch noch so viel Batching nicht vollständig beseitigen lässt; ein nicht-autoregressiver Encoder gibt seine gesamte Ausgabe in einem einzigen Vorwärtsdurchlauf aus, sodass der Durchsatz mit der Batchgröße und fast nichts anderem skaliert. So kommt es, dass ein Modell mit einem Viertel der Parameter fünfunddreißigmal schneller statt viermal schneller ist.

Das ist auch der Grund, warum das 470M auf Dinge verzichtet, die das 2B hat. Es gibt keinen Prompt, dem man folgen könnte, also keine Sprach-ID-Anweisung, keine Keyword-Liste und keine Übersetzung – ein CTC-Head bildet Akustik auf Tokens ab, ihm kann man nicht sagen, deutsche Sprache als englischen Text auszugeben.

Das Scoreboard und woher jede Zahl stammt

• Parameter – Granite Speech 5.0 2B hat 2B; Granite Speech 5.0 470M TurboCTC hat 470M.

• WER für Englisch, 9-Set-Durchschnitt von Open ASR — 5,06 % vs. 5,51 %. Beide IBM-Eval-Läufe, 15.–20. Oktober 2026.

• Durchsatz, RTFx — 570 vs. 19.870. Gleiche Leaderboard-Testumgebung, gleicher Zeitraum.

• WER bei Rauschen und Nachhall, FFASR — 14,80 % (Rang #4 von 42) gegenüber 17,57 % (Rang #12). Das 2B-Modell ist um etwa 2,8 Punkte robuster.

• Lizenz — Apache 2.0 für beide. Das TurboCTC hat außerdem einen -NC-Ableger unter CC-BY-NC-SA-4.0; prüfe den Repository-Namen, bevor du es auslieferst.

• Sprachen — sechs Transkriptionssprachen (En, Fr, De, Es, Pt, Ja) plus Übersetzung, gegenüber sieben (mit Italienisch) ohne Übersetzung.

• Steuerungsfunktionen — Language-ID-Prompting, Keyword-Biasing für bis zu 2.000 Begriffe und Sprachübersetzung beim 2B-Modell; keine beim 470M-Modell.

• Training — 390.000 Stunden über 40 Tage auf 8 H100s für das 2B; 153.000 Stunden über 24 Tage auf 8 H100s für das 470M.

Die Robustheitslücke ist die Zeile, die die meisten überspringen. 35-fache Geschwindigkeit ist auffällig, aber 17,57 % WER bei geräuschvollem Far-Field-Audio gegenüber 14,80 % sind ein relativer Fehlerunterschied von 19 %, und geräuschvolles Audio ist das, was die meisten realen Einsätze haben. Wenn Ihr Audio von einem Laptop in einer Küche kommt, wird der Geschwindigkeitsvorteil des kleinen Modells für ein Transkript aufgewendet, das Sie anschließend korrigieren müssen.

Der einzige Punkt, an dem das 470M bei der Genauigkeit tatsächlich gewinnt

Japanisch. Die TurboCTC-Modellkarte behauptet, dass sie das 2B-Modell bei der Zeichenfehlerrate auf CSJ eval1, CommonVoice-17 und FLEURS – allen drei Testsätzen – übertrifft, und sagt dies ausdrücklich im Kartentext, statt es in einem Diagramm zu verstecken. Die Zahlen selbst stehen nur in einer Abbildung, sodass das Ausmaß des Vorsprungs nicht zitierbar ist, aber die Richtung ist die eigene Aussage von IBM über seine beiden eigenen Modelle, was sie glaubwürdiger macht als einen herstellerübergreifenden Vergleich.

Es gibt einen plausiblen Mechanismus. Das 2B-Modell behandelt Japanisch, indem es dem Zeichen-Head ein 92 Zeichen umfassendes phonetisches Katakana-Set hinzufügt und dem Training 16.500 Stunden japanische ASR mit Keyword-Bias sowie 9.600 Stunden Fineweb-2 TTS hinzufügt, aber es leitet das Ergebnis dennoch durch ein Sprachmodell, das überwiegend auf europäischem Text trainiert wurde. Das 470M-Modell verwendet ein einziges mehrsprachiges BPE-Vokabular mit 16.384 Einheiten, in dem Japanisch von Anfang an enthalten ist, und verbringt 8.130 Stunden mit ReazonSpeech und 1.860 Stunden mit synthetischem Japanisch. Wenn Ihr Produkt japanische Transkription in großem Umfang ist, ist dies der eine Vergleich, bei dem das kleine Modell sowohl schneller als auch besser ist, und es lohnt sich, ihn direkt zu testen, bevor Sie aufgrund der Größe standardmäßig zum 2B-Modell greifen.

Kosten, berechnet statt angegeben

IBM veröffentlicht für keines der beiden Modelle einen Preis. Beide sind Apache-2.0-Gewichte, daher entsprechen die Kosten für ihren Betrieb den Hardwarekosten, und die RTFx-Zahlen sind der einzige Hebel, den Sie zur Schätzung haben.

Gehen wir von einer Arbeitslast von 1.000 Stunden Audio pro Tag aus – ein mittelgroßes Callcenter-Archiv. Bei 570 RTFx benötigt das 2B-Modell etwa 6.300 Sekunden GPU-Zeit, etwas mehr als 1,7 GPU-Stunden. Bei 19.870 RTFx benötigt das 470M-Modell etwa 181 Sekunden oder 0,05 GPU-Stunden. Auf einer H100 bei ungefähr 2–3 US-Dollar pro Stunde sind das ein paar Dollar pro Tag gegenüber ein paar Cent. Beide Zahlen sind klein, und genau das ist der Punkt: In diesem Maßstab ist keines der Modelle teuer, und die Entscheidung sollte anhand von Genauigkeit und Leistungsfähigkeit getroffen werden, nicht anhand der Rechenleistung.

Die Rechnung ändert sich am anderen Ende. Wenn Sie einen Stream in Echtzeit auf einem Laptop transkribieren oder eine On-Device-App ausführen, benötigt das 2B-Modell eine GPU, um mit der Echtzeit Schritt zu halten, während das 470M-Modell reichlich Reserven hat – deshalb positioniert IBM TurboCTC für Laptops, Telefone und Edge-Geräte und dokumentiert mlx-audio für Apple Silicon. Das 2B-Modell läuft ebenfalls auf llama.cpp und mlx-audio, allerdings bei Q8_0 mit dem Hinweis, dass Quantisierung mit niedrigeren Bitraten nach etwa einer Minute Audio an Genauigkeit verliert.

Auswählen – in der Reihenfolge, in der die Entscheidung tatsächlich getroffen wird

Beginnen Sie nicht mit dem Benchmark. Beginnen Sie mit dem, was die Aufgabe erfordert, denn drei der Unterschiede sind harte Anforderungen und keine Kompromisse.

Muss die Ausgabe in einer anderen Sprache als die Eingabe erfolgen? Dann handelt es sich um das 2B, und es gibt keinen Vergleich anzustellen. Das 470M kann nicht übersetzen. Diese einzige Anforderung schließt es für Untertitel-Pipelines, mehrsprachige Besprechungsnotizen und jedes englischsprachige Archiv aus, das aus nicht englischem Audio erstellt wird.

Muss das Transkript bestimmte Begriffe enthalten?Produktnamen, Arzneimittelnamen, Ticket-IDs, die SKU-Liste eines Kunden – das 2B akzeptiert bis zu 2.000 Begriffe als Keyword-Liste und wurde genau dafür auf 23.600 Stunden keyword-gewichtetem Audio trainiert. Das 470M hat keine Prompt-Schnittstelle. Ein glossarbasiertes Deployment auf dem kleinen Modell ist nicht möglich.

Ist das Audio sauber? Wenn ja, ist der englische Abstand von 0,45 Punkten gering und der 35-fache Geschwindigkeitsvorteil nahezu kostenlos. Wenn nein – Meetings, Callcenter, Far-Field-Mikrofone –, dann besagt der FFASR-Abstand von 2,8 Punkten, dass die Fehler des kleinen Modells Sie mehr kosten werden, als seine Geschwindigkeit einspart.

Ist es Japanisch? Teste zuerst das 470M. IBM sagt, es gewinnt bei allen drei japanischen Testsets.

Ist es auf einem Gerät? Das 470M wurde dafür entwickelt. Das 2B kann auf einem laufen, wurde aber nicht dafür entwickelt.

Die ehrliche Zusammenfassung ist, dass es sich hier nicht um zwei Größen desselben Produkts handelt. Das eine ist ein Transkriptions- und Übersetzungssystem mit einer Bedienoberfläche; das andere ist eine sehr schnelle, sehr günstige Transkriptions-Engine ohne Steuerungsmöglichkeiten. Die meisten Teams, die glauben, sie bräuchten „das bessere“, müssen eigentlich zuerst die Fragen nach Übersetzung und Glossar beantworten, und diese beiden Antworten entscheiden die Sache.

Beide laufen lassen, ohne auf eines von beiden zu setzen.

Die sinnvolle Produktionsaufstellung für ein Team, das diese Modellfamilie testet, ist, beide bereitzustellen, denn sie haben entgegengesetzte Fehlermodi. Das 470M übernimmt die Massenverarbeitung sauberer Transkriptionen zu Kosten, die gegen null gehen; das 2B übernimmt schwieriges Audio, nicht-englisches Audio und alles, was ein Glossar benötigt. Ein Router, der jede eingehende Datei klassifiziert – Sprachdetektion, eine Schätzung des Signal-Rausch-Verhältnisses, eine Prüfung, ob ein Glossar beigefügt ist – und sie an den richtigen Checkpoint schickt, ist vielleicht fünfzig Zeilen Code und senkt deine Fehlerrate im Tail, ohne für die Masse 2B-Preise zu zahlen.

Diese Klassifizierungsstufe ist ein kleiner Modellaufruf, und sie ist der Teil, den man besser über einen einzigen Endpunkt laufen lässt, statt ein zweites Vendor-SDK einzubinden: OrcaRouter stellt über 200 Modelle hinter einer einzigen OpenAI-kompatiblen API zum Listenpreis des Anbieters ohne Aufschlag bereit, und seine Routing-DSL kann die Sprach- und Qualitäts-Weiterleitung als Regel ausdrücken statt als Anwendungscode. Automatisches Failover ist am wichtigsten in der Woche nach einem Release wie diesem, wenn ein Checkpoint zwei Tage alt ist, nichts unabhängig verifiziert ist und der sicherste Weg, ihn auszuprobieren, darin besteht, einen zweiten Pfad warmzuhalten. Nichts davon hilft dir bisher, Granite Speech selbst auszuführen — keiner der Checkpoints wird heute von uns bereitgestellt, daher bleiben die Sprachmodelle selbst gehostet und die Routing-Schicht beginnt einen Schritt weiter stromabwärts.

Wenn Sie nur ein Modell einsetzen, setzen Sie das 2B ein. Es ist das Modell, das alles kann, was das 470M kann – mit einer Geschwindigkeit, die immer noch fünfunddreißigmal schneller als Echtzeit ist, und einer Genauigkeit, die bei jedem von IBM veröffentlichten Benchmark besser ist, außer bei Japanisch. Das 470M ist der Spezialist, den Sie hinzufügen, wenn die Kosten oder das Latenzprofil es rechtfertigen – nicht die Standardoption, mit der Sie beginnen.