Ming-3.0-asr-tiny vs. Granite Speech 5.0 470M TurboCTC: 19-mal so viele Parameter, aber kein Durchsatzvorteil

Setzt man Ming-3.0-asr-tiny und Granite Speech 5.0 470M TurboCTC auf dieselbe Seite, und die erste Zahl, die ins Auge springt, ist das Parameterverhältnis: 8,87 Milliarden gegen 470 Millionen, ungefähr neunzehn zu eins. Die zweite ist, dass das kleine Modell dasjenige ist, das mit enormem Abstand auf Geschwindigkeit ausgelegt ist, und die dritte, dass dies kein Widerspruch ist. Granite Speech 5.0 470M TurboCTC hat keinen Decoder, der laufen müsste — es ist ein Encoder, der Zeichen ausgibt und stoppt. Ming-3.0-asr-tiny hat einen 24-schichtigen Mixture-of-Experts-Decoder, der jeweils ein Token schreibt und dem im Voraus gesagt werden kann, welche Namen gleich genannt werden. Das eine ist eine Durchsatzmaschine für englisches Audio. Das andere ist eine Kontextmaschine für chinesisches Audio. IBM veröffentlichte Granite Speech 5.0 470M TurboCTC am 25. August 2026 mit einem Blogbeitrag, einem technischen Bericht und einem Eintrag im Open ASR Leaderboard; inclusionAI stellte am 14. Oktober 2026 die Gewichte von Ming-3.0-asr-tiny auf Hugging Face ohne jede Ankündigung. Jede hier verwendete Granite-Zahl stammt aus der Modellkarte für Granite Speech 5.0 470M TurboCTC, die die Open-ASR-Tabelle, die Rauschtestreihe und die Aussage zur Einsprachigkeit enthält. Die dokumentierten KI-Fehlfunktionen und Agentenvorfälle hinter Releases wie diesem sind gesammelt in dem OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Vertrauensgrad und Kennzeichnung als umstritten trägt.

Keines der beiden Modelle ist im OrcaRouter-Katalog enthalten, und keines erscheint in der Evaluierung des jeweils anderen, sodass es keinen direkten Herstellervergleich gibt, den man anführen könnte. Alles Nachstehende stammt aus den jeweils eigenen veröffentlichten Konfigurationen und Diagrammen der Modelle und ist als solche gekennzeichnet.

Die architektonische Weggabelung, klar formuliert

Granite Speech 5.0 470M TurboCTC ist ein reines Encoder-Modell, und IBM stellt dies als bewussten Bruch mit der eigenen Vergangenheit dar. Frühere Granite-Speech-Modelle bestanden aus einem akustischen Encoder, einem Projektor und einem Granite-Sprachmodell mit LoRA-Adaptern – sprich, sie waren Sprachmodelle mit Mikrofon. Die 5.0-Generation verzichtet vollständig auf das Sprachmodell und optimiert ein CTC-Ziel über einen BPE-Head mit 16.384 Einheiten. Sechzehn Conformer-Blöcke, 1.024 verborgene Dimensionen, acht Attention-Heads, Block-Attention über 128 Frames, Self-Conditioning im achten Block und ein 7-weiter Faltungskern.

Die Subsampling ist der Teil, der die Geschwindigkeit erzeugt. Audio kommt als Log-Mel plus Deltas mit 100 Frames pro Sekunde in 320 Dimensionen an. Drei Stufen der 2×-Reduktion – zuerst ein Reshape, das aufeinanderfolgende Frames stapelt, dann Strided Convolutions innerhalb der ersten beiden Conformer-Blöcke – bringen das auf 12,5 Ausgabe-Tokens pro Sekunde. In IBMs Blog heißt es ausdrücklich, dass dies die Änderung gegenüber seinen früheren Encodern ist, die 50 Zeichen pro Sekunde ausgaben: viermal weniger Ausgabeschritte pro Sekunde Audio und keine autoregressive Schleife, die jeden einzelnen entscheidet.

Ming-3.0-asr-tiny ging in jeder Hinsicht, die hier zählt, den entgegengesetzten Weg. Sein Decoder besteht aus 24 Schichten Mixture-of-Experts mit 128 Experten – acht pro Token geroutet –, einem geteilten Experten und einer dichten ersten Schicht, wobei sich drei Kimi​-Delta-Attention-Schichten mit einer Gated-MLA-Schicht abwechseln. Er schreibt Token autoregressiv. Außerdem enthält er einen 32-schichtigen Encoder mit 1.280 Dimensionen in Whisper-Form – die Form von Whisper large-v3 –, wobei das Repository modeling_whisper_encoder.py und Open​AIs MIT-Hinweis in einer separaten Datei mitliefert. Ming behielt das Sprachmodell bei und machte es zum teuren Teil.

Woher die Zahlen tatsächlich kommen

Dies ist der Abschnitt, der entscheidet, wie viel Gewicht den Behauptungen beider Modelle zukommt, und die beiden Veröffentlichungen sind nicht von derselben Art.

• Granite Speech 5.0 470M TurboCTC — 5,00 % aggregierte WER über die öffentlichen englischsprachigen Kurzformat-Datensätze auf dem Open ASR Leaderboard, Stand 25. August 2026, mit 1,93 % auf LibriSpeech test-clean und 3,59 % auf test-other. Das nichtkommerzielle Schwestermodell erreicht 4,85 %. Der Durchsatz liegt bei über 12.600 RTFx auf einer einzelnen H200 mit Batch-Inferenz. Es gibt einen technischen Bericht auf arXiv und einen Hugging Face-Blogbeitrag, und die Ergebnisse wurden bei einem öffentlichen Leaderboard eingereicht, das sie aufführt.

• Ming-3.0-asr-tiny — 3,55 durchschnittliche CER auf chinesischen öffentlichen Sets, 3,99 durchschnittliche WER auf englischen öffentlichen Sets, 8,42 auf fünfzehn Dialekt-Sets, 1,67 über fünf interne Domänen, 4,36 auf einem Context-ASR-Aggregat. All das existiert nur als PNG-Bilder auf einer Modellkarte. Es gibt keinen technischen Bericht, keine Leaderboard-Einreichung und kein Evaluierungsskript im Repository.

Dieser Blogbeitrag ist aus demselben Grund einen Blick wert wie die Model Card: Er ist die Spur, die Ming nicht hat. IBM hat einen datierten Artikel, einen technischen Bericht und einen Leaderboard-Eintrag veröffentlicht, und die Durchsatzbehauptung im Artikel lässt sich gegen die darin beschriebene Batch-Konfiguration prüfen.

Diese Asymmetrie ist kein Schlag gegen Mings Zahlen; sie besagt etwas darüber, was sich überprüfen lässt. Jeder kann Granites Open-ASR-Zahlen an einem Nachmittag aus öffentlichen Daten neu berechnen. Um Mings Zahlen zu überprüfen, müsste man seine Testsets rekonstruieren, einschließlich fünf interner Domänen, deren Zusammensetzung nicht veröffentlicht ist.

Eine weitere Asymmetrie, und sie verläuft in die andere Richtung: Die beiden Modelle teilen nicht einen einzigen Evaluationsdatensatz. Granites Diagramme sind ausschließlich englischsprachig und umfassen LibriSpeech, AMI, Earnings-22, GigaSpeech, SPGISpeech, TED-LIUM und VoxPopuli. Mings englischer Durchschnitt verwendet LibriSpeech, Multilingual LibriSpeech, FLEURS English, Common Voice 15 English und VoxPopuli – Überschneidung bei zwei von fünf, mit unterschiedlicher Aggregation. Wer wissen möchte, „welches auf Englisch genauer ist“, bekommt von keinem der beiden Anbieter eine Antwort, weil keiner die Frage gestellt hat.

Geschwindigkeit hat hier zwei verschiedene Bedeutungen.

IBMs 12.600 RTFx ist eine Durchsatzzahl für die Stapelverarbeitung: Audio wird in großen Mengen durch eine GPU geschickt, mehr als dreieinhalb Stunden Sprache pro Sekunde Rechenzeit. Es ist die richtige Zahl für die Transkription eines Archivs und für ein Live-Mikrofon nahezu bedeutungslos. IBM liefert zwar Streaming – eine WebGPU-Demo im Browser, chunkweise Attention und einen MLX-Pfad für Apple Silicon –, doch die genannte Kennzahl beschreibt den Batch-Fall.

Ming veröffentlicht überhaupt kein RTFx. Was es veröffentlicht, ist eine Größe: 17,7 GB BF16-Gewichte und einen autoregressiven Decoder mit 128 Experten. Die Token-für-Token-Schleife ist das Kostenmodell. Jede zusätzliche Sekunde Audio bedeutet mehr Decoder-Schritte, und jeder Decoder-Schritt berührt eine Routing-Entscheidung über 128 Experten. Das ist der strukturelle Grund, warum ein 19× kleineres Encoder-only-Modell dasjenige mit einer Durchsatz-Behauptung ist, und es braucht keinen Benchmark, um wahr zu sein.

Die praktische Konsequenz ist, dass diese nicht um dasselbe Deployment konkurrieren. Granite Speech 5.0 470M TurboCTC ist dafür ausgelegt, auf einem Laptop, einem Telefon oder einer einzelnen H200 zu laufen, die ein Podcast-Archiv durcharbeitet. Ming-3.0-asr-tiny braucht eine CUDA-GPU, PyTorch 2.11.0, torchaudio 2.11.0, Transformers 5.12.1, fla-core 0.5.2 und trust_remote_code=True, und einen separaten SGLang-Adapter, der auf einen bestimmten Commit festgelegt ist, wenn man es bereitstellen möchte. Eines von beiden ist eine Abhängigkeitsliste, die man in ein Produkt packen kann.

Die Fähigkeit, die Granite opferte, um dorthin zu gelangen

Das Encoder-only-Design bringt Geschwindigkeits- und Größenvorteile, und IBM spricht offen über den Preis. In seinem Blog heißt es, dass die 5.0-Modelle Fähigkeiten aufgeben, die die LM-bestückten Versionen hatten, und nennt Sprachübersetzung und Keyword-Biasing. Der zweite Punkt ist der interessante, denn Keyword-Biasing ist genau das, was Ming Context ASR nennt und als Kernfunktion behandelt.

Ming akzeptiert eine Liste von Hotwords oder die vorherige Dialogrunde als Teil des Transkriptions-Prompts, und das Beispiel des Anbieters selbst ist lehrreich: ein Audioclip, in dem der Filmtitel 同囚 auf dem Standardpfad als 同球 erscheint und korrekt, sobald das Thema und eine Hotword-Liste bereitgestellt werden. Die Karte formuliert sorgfältig, dass Hotwords Hinweise und keine Garantien sind, was die ehrliche Darstellung ist — Biasing verschiebt die Wahrscheinlichkeit, erzwingt aber keine Ausgabe.

Granite Speech 5.0 470M TurboCTC hat kein Äquivalent. Es gibt keinen Prompt, kein Kontextfeld, keine Liste von Namen, die man angeben könnte, weil es kein Sprachmodell gibt, das man konditionieren könnte. Wenn Ihr Audio voll von Produktnamen, Arzneimittelnamen oder Nachnamen aus einer Kundendatenbank ist, hat das Modell genau ein Werkzeug: was auch immer es im Training gelernt hat. IBMs Antwort auf diese Art von Problem ist ein Notebook für das Fine-Tuning mit Ihren eigenen Daten, was ein anderer Workflow mit anderen Kosten ist.

Die Sprachabdeckung ist genauso aufgebaut. Granite ist auf Englisch ausgelegt, das als einzige unterstützte Sprache angegeben wird, und wurde mit rund 60.000 Stunden englischem Audio in zehn Tagen auf acht H100s trainiert. Ming umfasst Chinesisch und Englisch mit fünfzehn Testdatensätzen für chinesische Regionaldialekte, darunter Kantonesisch, Minnan und Shanghainisch, sowie einem Dialektdurchschnitt von 8,42, den seine eigenen Diagramme vor jeder aufgeführten offenen Baseline platzieren.

Zwischen ihnen wählen

Wenn Ihre Audiodaten auf Englisch sind und Ihr Problem das Volumen ist – Anrufaufzeichnungen, Archive, Meeting-Transkripte, alles, wo die Kosten pro Stunde den letzten Genauigkeitspunkt aufwiegen –, ist Granite Speech 5.0 470M TurboCTC der sinnvollere Ausgangspunkt, und die Tatsache, dass es quantisiert über eine native C++-Runtime ohne Python läuft, ist ein Deployment-Vorteil, den keine noch so umfangreiche Abdeckung chinesischer Dialekte ausgleicht.

Wenn es sich bei Ihrem Audio um Mandarin oder einen regionalen Dialekt handelt oder wenn das Genauigkeitsproblem in Eigennamen besteht, die Sie im Voraus auflisten können, ist Ming-3.0-asr-tiny das einzige der beiden, das dies adressiert – und zwar mit einer eigens dafür entwickelten Architektur statt mit einem nachträglich drangeschraubten Fine-Tuning. Außerdem ist es fünf Tage alt und hat 35 Downloads, was bedeutet, dass Sie zu den Ersten gehören würden, die herausfinden, wie es scheitert.

Es gibt einen dritten Fall, der erwähnenswert ist: Sie wollen beides, und Sie wollen wissen, welches Modell bei Ihrem eigenen Traffic gewinnt. Das ist das Routing-Problem, für das OrcaRouter gebaut wurde. Keines dieser Modelle wird dort gehostet – Ming-3.0-asr-tiny und Granite Speech 5.0 470M TurboCTC sind beide selbst gehostete offene Gewichte –, aber derselbe Endpunkt, der Ihre gehosteten Modelle bedient, kann auch einen Kandidaten-ASR-Pfad bedienen, mit automatischem Failover, sodass eine fehlgeschlagene Anfrage auf das bisherige Modell zurückfällt statt dem Nutzer angezeigt zu werden, und ein Schlüssel für über 200 Modelle, sodass der Vergleich keinen zweiten Vertrag erfordert.

Was Ihnen keiner der beiden Anbieter gezeigt hat

Keines der beiden Modelle wurde von unabhängiger Stelle bewertet. Granites Zahlen stehen zumindest auf einem öffentlichen Leaderboard, zu dem auch andere Teams Einreichungen vornehmen, was bedeutet, dass man über sie streiten kann; Mings stehen in vier PNGs, die am Nachmittag ihrer Veröffentlichung noch bearbeitet wurden. Keine der beiden Karten dokumentiert Zeitstempel auf Wortebene oder Sprecher-Diarisierung, daher liegt jede Pipeline, die Timing benötigt, für beide außerhalb des Anwendungsbereichs – Granites Karte beschreibt eine einfache Transkriptionsausgabe, und Mings Nutzungshinweise sagen ausdrücklich, dass die Ausgabe Transkriptionstext ohne Zeitstempel auf Wortebene oder Diarisierung ist.

Der Vergleich, der dies tatsächlich entscheiden würde, lässt sich von keinem der beiden Anbieter durchführen. Er erfordert ein Korpus, ein Sprachpaar, ein Bewertungsskript und beide Modelle auf derselben GPU. Bis jemand das veröffentlicht, ist die einzige vertretbare Aussage die, die die Architekturen bereits treffen: Ein neunzehnmal größeres autoregressives Mixture-of-Experts-Modell konkurriert beim Durchsatz nicht mit einem reinen Encoder-CTC-Modell, und einem reinen Encoder-CTC-Modell kann man nicht vorgeben, welche Wörter es zu erwarten hat.