Granite Speech 5.0 2B vs. Whisper large-v3-turbo: IBM gewinnt die Benchmarks, Whisper gewinnt bei 99 Sprachen

Bei den zwei Zahlen, die die meisten Leute zuerst prüfen, Granite Speech 5.0 2B schlägt Whisper large-v3-turbo – und das nicht knapp. IBMs Modell erreicht im Durchschnitt 5,06 % Wortfehlerrate über die neun englischen Kurzform-Testsets des Open ASR Leaderboard bei 570 RTFx; OpenAIs Turbo-Checkpoint kommt auf derselben Rangliste auf durchschnittlich 7,83 % bei 200 RTFx. Schneller und genauer, im selben Benchmark, mit rund zwei Jahren Abstand beim Veröffentlichungsdatum. Wenn Ihr Audio Englisch und sauber ist, ist das der ganze Vergleich, und Sie können aufhören zu lesen. Die dokumentierten KI-Ausfälle und Agenten-Vorfälle hinter Releases wie diesem sind gesammelt im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seine Konfidenzstufe und sein Disputed-Flag enthält.

Der Grund, warum diese Seite noch existieren muss, ist die dritte Zahl: 99. Whisper large-v3-turbo deckt neunundneunzig Sprachen ab; Granite Speech 5.0 2B deckt sechs für die Transkription ab und übersetzt in zwei weitere. Ein WER-Vorteil von 2,8 Punkten auf Englisch ist nichts wert, wenn es sich bei dem Audio um Vietnamesisch handelt. Die eigentliche Frage ist also nicht, welches Modell besser ist – sondern ob Ihre Sprachmischung in eine Sechs-Sprachen-Box passt und was die Migration kostet, wenn ja.

Was Whisper large-v3-turbo tatsächlich ist

Hier ist Präzision angebracht, denn der Name wird auf Dinge übertragen, die er nicht bezeichnet. Whisper large-v3-turbo ist OpenAIs beschnittene Version von large-v3: Der Encoder bleibt unverändert, doch der Decoder hat 4 statt 32 Schichten. Diese eine Änderung bringt das Modell von 1.550 Mio. Parametern auf 809 Mio. und verdreifacht in etwa den Durchsatz, während vergleichsweise wenig Genauigkeit eingebüßt wird – weshalb es innerhalb weniger Monate nach seiner Veröffentlichung im Oktober 2024 zum Standard-Checkpoint für schnelle ASR im gesamten Ökosystem wurde.

Aus diesem Design ergeben sich drei Eigenschaften, und sie alle sind für diesen Vergleich wichtig:

• Es ist ein Übersetzungsmodell, das zufällig beschnitten wurde, daher erbt es 99 Sprachen für Transkription und Sprachidentifikation — doch die Turbo-Variante ist nicht für Übersetzung trainiert. Anders als large-v3 transkribiert und identifiziert es Sprache; es gibt gesprochene Sprache in einer Sprache nicht als Text in einer anderen wieder. Teams entdecken dies regelmäßig, nachdem sie darauf aufgebaut haben.

• Der Decoder ist autoregressiv. Er schreibt Tokens, jeweils 4 Schichten auf einmal, weshalb sein Durchsatz bei 200 RTFx statt im Tausenderbereich liegt. Whisper verdankte seine Geschwindigkeit dem Entfernen von Schichten, nicht der Änderung des Decodierungsparadigmas.

• Es steht unter der MIT-Lizenz, die in der Praxis in genau einer Hinsicht, die für einige Rechtsteams relevant ist, permissiver ist als Apache 2.0: keine Patentgewährungsklausel, die analysiert werden müsste, und keine Attributionsdatei, die mitgeliefert werden müsste.

Whispers eigentlicher Vorteil war nie der Benchmark. Es sind zwei Jahre Tooling – faster-whisper, whisper.cpp, der Managed Endpoint jeder Cloud, Quantisierungsrezepte, Bibliotheken für Zeitstempel auf Wortebene, Diarisierungs-Stacks, die darauf aufbauen. Dieses Ökosystem ist ein echter Wechselkostenfaktor, und dieser Vergleich muss ihn ehrlich berücksichtigen.

Wo die Lücke real ist und wo sie ein Artefakt des Test-Harness ist

Der Vergleich von 5,06 % gegenüber 7,83 % stammt aus derselben Bestenliste, was ihn legitimer macht als die meisten anbieterübergreifenden Zahlen – aber es ist kein vergleichbarer Lauf, und die Details lassen sich in beide Richtungen auslegen.

• Der Granite-Wert stammt aus IBMs eigenem Evaluierungslauf, der für das Leaderboard eingereicht wurde und im Ankündigungsblog als „inoffiziell, Stand 15. Oktober 2026“ bezeichnet wird. Die Model Card nennt dieselben Ergebnisse „offiziell“ mit Stand 20. Oktober. Suchen Sie sich das Adjektiv aus, das Ihnen gefällt; niemand außerhalb von IBM hat das reproduziert.

• Der Whisper-Wert ist das veröffentlichte Ergebnis des Leaderboards für den Checkpoint, ermittelt mit dem eigenen Harness des Leaderboards, einer anderen Pipeline als der von IBM.

• Beide Zahlen sind Durchschnittswerte über neun öffentliche Testsets, bei denen es sich überwiegend um englische vorgelesene Sprache aus LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI und VoxPopuli handelt. Whispers Schwäche auf dieser Rangliste ist gut dokumentiert und struktureller Natur: Es wurde mit 680.000 Stunden schwach überwachtem Web-Audio trainiert, was Breite auf Kosten einer präzisen Formatierung erkauft.

• Bei Freifeld- und verrauschtem Audio bleibt die Reihenfolge bestehen. Das FFASR-Board – gemittelt über Nahfeld, hohen SNR, mittleren SNR und niedrigen SNR – setzt whisper-large-v3 auf 18,02 %, während Granite Speech 5.0 2B bei 14,80 % liegt. Beachten Sie, dass dies large-v3 ist, nicht turbo; turbo ist bei schwierigem Audio im Allgemeinen etwas schlechter als sein Elternmodell, weil es weniger Decoder-Schichten hat, um eine schlechte akustische Schätzung zu korrigieren.

Die Genauigkeitslücke ist also in ihrer Richtung wahrscheinlich real und in einem fairen Vergleich wahrscheinlich kleiner als 2,8 Punkte. Nicht in Zweifel steht jedoch, woher sie kommt: Von Whispers Decoder wird verlangt, gleichzeitig Sprachidentifikation, Transkription, Zeichensetzung, Groß-/Kleinschreibung und Zeitstempel-Ausrichtung mit vier Schichten zu erledigen, während Granites Architektur die akustische Arbeit (einen CTC-Encoder mit Zeichen- und BPE-Heads) von der Textgenerierung (einem 1B-Sprachmodell) trennt.

Die Sprachbox, quantifiziert

Hier wird die Entscheidung getroffen, deshalb verdient sie mehr als eine Zahl in einem Aufzählungspunkt.

• Granite Speech 5.0 2B transkribiert Englisch, Französisch, Deutsch, Spanisch, Portugiesisch und Japanisch und übersetzt zwischen diesen sechs Sprachen und Englisch sowie Englisch ins Italienische und Englisch ins Mandarin.

• Whisper large-v3-turbo transkribiert neunundneunzig Sprachen und erkennt, welche Sprache es gerade hört. Es übersetzt nicht.

• Granites siebensprachiges Schwestermodell, Granite Speech 5.0 470M TurboCTC, ergänzt Italienisch im Transkriptionsset – sodass die Familie sieben europäische und japanische Sprachen abdeckt, nicht sechs.

Neunundneunzig gegen sieben – das ist das gesamte Argument für Whisper, und es ist ein starkes. Doch die praktische Verteilung ist wichtiger als die Anzahl. Wenn Ihr Audio Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Japanisch und Italienisch umfasst, deckt Granite das ab. Wenn Sie Hindi, Arabisch, Koreanisch, Türkisch, Polnisch, Vietnamesisch, Indonesisch, Niederländisch, Schwedisch oder eine der anderen rund neunzig Sprachen benötigen, ist Whisper von diesen beiden der einzige, der funktioniert – und kein noch so großer WER-Vorteil bei Englisch ändert daran etwas.

Der mittlere Fall ist der, in dem die meisten Teams tatsächlich stecken: ein überwiegend englischsprachiges Produkt mit einem Long Tail an Sprachen, der nur in wenigen Prozent der Fälle auftritt. Zwei Modelle, eines pro Stufe, sind eine normale und richtige Antwort – und es ist billiger, als es klingt, denn im Tail ist das Volumen niedrig.

Lange Audios, Zeitstempel und die Dinge, die im großen Maßstab kaputtgehen

Die Deployment-Geschichte von Whisper ist auf eine Weise ausgereift, die in keinem Benchmark abgebildet ist. Zeitstempel auf Wortebene, Sprachaktivitätserkennung, Sprecherdiarisierung, Streaming mit Chunked Decoding – all das existiert, all das ist praxiserprobt, und vieles davon setzt Whispers 30-Sekunden-Fenster und seine Zeitstempel-Tokens voraus.

Granite Speech 5.0 2B ist anders aufgebaut. IBM empfiehlt Segmente von bis zu etwa zwei Minuten, die bei längeren Aufnahmen mit VAD aufgeteilt werden, und das Sprachmodell sieht 10-Hz-Embeddings innerhalb eines per YaRN auf 16k erweiterten Kontexts. Der Basis-Checkpoint 2B hat keinen Head für Zeitstempel auf Wortebene – die 4.1-Generation brachte eine separate „-plus“-Variante für ASR mit Sprecherzuordnung und Zeitstempeln auf Wortebene heraus, und eine entsprechende 5.0-Variante gibt es noch nicht.

Das ist eine echte Lücke, wenn Sie Untertitel, Meeting-Transkripte mit Sprecherbezeichnungen oder irgendetwas erstellen, das zu einer Phrase springen muss. Der 5.0-Blog beschreibt zwar Verbesserungen bei Zeitstempeln, aber diese gehören zum überarbeiteten granite-speech-4.1-2b-plus, nicht zum 5.0 2B.

• Wortgenaue Zeitstempel erforderlich — heute Whisper large-v3-turbo; Granite 4.1-2b-plus, wenn Sie die Granite-Familie möchten und das ältere akustische Modell akzeptieren können.

• Sprecherzuordnung erforderlich — gleiche Antwort; das 5.0 2B macht das nicht.

• Für Genauigkeit über lange Formate jenseits weniger Minuten — Granites Richtwert von Zwei-Minuten-Segmenten ist eine praktische Grenze, und Whisper's 30-Sekunden-Chunking mit Konditionierung auf den vorherigen Text hat seinen eigenen bekannten Fehlermodus (Wiederholungsschleifen bei Stille). Keines ist offensichtlich besser; beide brauchen VAD davor.

Zwei Funktionen, die Granite bietet, Whisper turbo aber nicht

Keyword-Biasing. Granite Speech 5.0 2B akzeptiert pro Prompt eine Keyword-Liste mit bis zu 2.000 Begriffen und wurde auf 23.600 Stunden keyword-gebiastem Audio aus den europäischen und japanischen Sprachgruppen trainiert. Whisper bietet keine entsprechende Schnittstelle – am nächsten kommt man einem Prompt-String, der Stil und Vokabular leicht beeinflusst, ohne dass Training dahintersteht. Für eine Bereitstellung, die Produktnamen, Arzneimittelnamen, Ticket-IDs oder ein kundeneigenes Glossar transkribiert, ist dies der einzige wirklich nützliche Unterschied zwischen den beiden Modellen, und er schlägt sich in keinem WER-Durchschnitt nieder.

Sprach-ID-Prompting. Sie können Granite mitteilen, in welcher Sprache das Audio vorliegt, und es anweisen, zu transkribieren statt zu übersetzen. Whisper erkennt die Sprache automatisch und transkribiert in der Turbo-Variante nur. Bei einem gemischtsprachigen Korpus, bei dem Sie die Sprache bereits aus den Metadaten kennen, beseitigt das Erzwingen eine ganze Fehlerklasse — Whisper identifiziert gelegentlich einen kurzen Clip falsch und transkribiert dann selbstsicher in der falschen Sprache.

Die Migration – in Schritten, die wirklich funktionieren

Wenn die Sprachfrage geklärt ist, ist der Wechsel weniger schmerzhaft, als die Ökosystemlücke vermuten lässt, weil die meisten Whisper-basierten Pipelines bereits die Nahtstelle haben, die du brauchst.

1. Behalten Sie Ihr VAD. Beide Modelle wollen Segmente, keine Dateien. Womit Sie Audio auch immer für Whisper aufteilen, funktioniert für Granite bei bis zu zwei Minuten pro Segment statt dreißig Sekunden.

2. Ersetzen Sie den Decode-Aufruf, nicht die Infrastruktur. Granite wird über AutoModelForSpeechSeq2Seq und AutoProcessor in transformers>=4.52.1 geladen, oder über vLLM, llama.cpp mit Q8_0 oder mlx-audio auf Apple Silicon. Wenn Ihr Dienst faster-whisper als externen Prozess aufruft, tauschen Sie einen lokalen Modellaufruf gegen einen anderen.

3. Den Prompt neu schreiben. Granite ist instruktionsgesteuert, und der Prompt wählt den Modus: Rohtranskript, Transkript mit Satzzeichen, Keyword-bevorzugt, auf Sprach-ID festgelegt. Diesen Schritt überspringen Teams, und dann schlussfolgern sie, dass das Modell schlechter sei, weil sie ihm Whisper-Standardverhalten gefüttert haben.

4. Setzen Sie Ihre WER-Baseline neu anhand Ihres eigenen Audios, nicht anhand von LibriSpeech. Das ist keine Formalität. Whispers Schwäche in der Rangliste sind Formatierung und Long-Form-Drift; wenn es sich bei Ihrem Audio um 30-sekündige saubere englische Clips handelt und Ihr nachgelagerter Schritt ein Sprachmodell ist, das die Formatierung korrigiert, kann Ihre gemessene Lücke nahe null liegen – oder, wenn Ihr Audio akzentbehaftet und aus dem Fernfeld stammt, größer als 2,8 Punkte sein.

5. Einen Fallback-Pfad beibehalten. Die Nicht-Englisch-Abdeckung von Granite Speech 5.0 2B ist eine harte Grenze, und ein Sprachdetektor vor dem Modell ist in einem mehrsprachigen Produkt nicht optional. Alles, was außerhalb der sieben Sprachen liegt, wird an Whisper weitergeleitet.

Wo sich die Routing-Schicht ihren Platz verdient

Schritt fünf ist der Teil dieser Migration, der zur Architektur wird. Eine Sprach- und Qualitätsweiche vor zwei Sprachmodellen, plus das Sprachmodell, das das Transkript anschließend bereinigt, bedeutet drei Modellaufrufe pro Datei, und drei getrennte Anbieterintegrationen machen aus einer einfachen Pipeline ein Wartungsproblem.

OrcaRouter ist ein einziger OpenAI-kompatibler Endpoint mit über 200+ Modellen zum Listenpreis des Anbieters ohne Aufschlag, sodass die Nachbearbeitungsstufe – die Bereinigung, die Zusammenfassung, die Feldextraktion – ausgetauscht oder A/B-getestet werden kann, ohne den Sprachcode anzufassen, und ein Ausfall eines Anbieters ein Failover auslöst, statt den Job scheitern zu lassen. Die Routing-DSL kann die Dispatch-Regel selbst enthalten: die Sprache erkennen, die sieben unterstützten Sprachen an den selbst gehosteten Granite-Checkpoint schicken, alles andere an Whisper senden und das Transkript an dasjenige Bereinigungsmodell weiterreichen, das die Aufgabe erfordert. Der letzte Sprung ist der, den wir heute tatsächlich bedienen können; weder Granite Speech 5.0 2B noch Whisper large-v3-turbo ist in unserem Katalog, daher bleiben die Sprachmodelle auf Ihrer eigenen Hardware und das Routing setzt einen Schritt weiter downstream an, wo es immer noch den Großteil der Integrationsarbeit erspart.

Wer sollte wechseln und wer nicht

Wechseln Sie, wenn Ihre Audiodaten Englisch plus die sechs Granite-Sprachen umfassen, Ihre Genauigkeit wichtiger ist als Ihre Vertrautheit mit dem Ökosystem, Sie Keyword-Biasing oder eine erzwungene Sprache benötigen und vorerst ohne Zeitstempel auf Wortebene auskommen können. Die 5,06 % gegenüber 7,83 % sind eine echte Lücke in einer Richtung, die zählt, und 570 RTFx gegenüber 200 RTFx bedeuten, dass der Wechsel wahrscheinlich gleichzeitig Ihre GPU-Kosten senkt.

Wechseln Sie nicht, wenn Sie eine der anderen zweiundneunzig Sprachen, Zeitstempel auf Wortebene, Sprecherzuordnung oder einen verwalteten Endpoint benötigen — Granite Speech 5.0 2B wird derzeit von keinem Inferenzanbieter bereitgestellt, und Self-Hosting ist heute der einzige Weg dorthin. Whisper large-v3-turbo ist überall verfügbar, auch an Orten, an denen Sie keine eigenen GPUs betreiben dürfen.

Führen Sie beides aus, wenn Sie einen langen Sprachen-Tail haben. Der Dispatch ist günstig, der Tail ist per Definition volumenarm, und er beseitigt das einzige Argument, das Whisper noch hat.