Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: 35× de doorvoer voor 0,45 punt WER

IBM heeft twee Granite Speech 5.0-checkpoints binnen een dag van elkaar uitgebracht, en het interessante eraan is niet dat de een groter is. Het is dat Granite Speech 5.0 2B een gemiddelde Engelse WER van 5,06% scoort bij 570 RTFx op het Open ASR Leaderboard, terwijl Granite Speech 5.0 470M TurboCTC 5,51% scoort bij 19.870 RTFx — ruwweg vijfendertig keer de doorvoer voor ruim minder dan een half punt nauwkeurigheid. Als je aannam dat het aantal parameters je iets evenredigs oplevert, dan is dat niet zo. Het levert je vertaling, keyword-biasing, language-ID-besturing en een taalmodel dat een prompt kan volgen. Snelheid staat niet op dat lijstje. De gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in het OrcaRouter AI Incident Archive waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsclassificatie en betwist-vlag heeft.

Beide cijfers zijn van IBM zelf, gemeten op hetzelfde leaderboard en binnen een week van elkaar gedateerd, waardoor dit een van de schonere intra-familievergelijkingen is die beschikbaar zijn — en ook een waarbij je nog steeds moet aannemen dat het om een door de leverancier uitgevoerde evaluatie gaat en niet om een geauditeerde. Geen van beide modellen heeft een onafhankelijke reproductie, en op het moment van schrijven wordt geen van beide aangeboden door een inferenceprovider die ik kan vinden, inclusief onze eigen catalogus.

Dezelfde week, twee verschillende releaseverhalen

Deze twee modellen zijn geen tweeling met verschillende afmetingen. Ze zijn op een andere manier uitgebracht en ze zijn anders gebouwd, en de releasegeschiedenissen verklaren waarom hun modelkaarten zo verschillend te lezen zijn.

• Granite Speech 5.0 2B — repository aangemaakt op 7 oktober 2026, gewichten die avond gecommit, modelkaart twee weken lang openbaar bewerkt, releasedatum vastgelegd op 20 oktober, aankondigingsblog op 21 oktober. Nieuw model, rustige start, luide finish.

• Granite Speech 5.0 470M TurboCTC — voor het eerst uitgebracht op 25 augustus 2026 als een Engelstalig model met een claim van 12.600 RTFx. De release van 21 oktober is een update, geen nieuw model: dezelfde architectuur, een nieuwe meertalige BPE-head van 16.384 tokens, zes toegevoegde talen en native interpunctie en hoofdlettergebruik.

Dat verschil is van belang wanneer je de cijfers leest. De 5,06% van de 2B is een nieuwe evaluatie van een nieuw checkpoint. De 5,51% van de 470M is een verbetering ten opzichte van een cijfer van 5,78% dat in augustus werd gepubliceerd, en IBM's blog presenteert het als "better English WER despite adding six languages", wat de juiste manier is om het te lezen — de meertalige update heeft de Engelse nauwkeurigheid niet gekost, maar er juist wat aan toegevoegd.

Twee architecturen, één gevolg

Granite Speech 5.0 2B is een spraak-taalmodel. Een 16-blok Conformer CTC-encoder voedt een tweelaagse Window Query Transformer-projector, die de akoestische embeddings met een factor 10 downsampelt naar 10 Hz; die gaan naar een tussenliggend checkpoint van granite-4.0-1b-base dat met YaRN naar 16k posities is uitgebreid. Supervised fine-tuning is LoRA op de projector en het taalmodel gezamenlijk. Generatie is autoregressief: het taalmodel schrijft het transcript token voor token.

Granite Speech 5.0 470M TurboCTC is een encoder. Zestien Conformer-blokken, CTC-doelstelling, een meertalige BPE-classificatiehoofd met 16.384 eenheden, temporele subsampling met factor 8 om frames van 100 Hz terug te brengen naar 12,5 Hz, greedy niet-autoregressieve decoding. Geen projector, geen taalmodel, geen generatielus. De uitvoer bevat interpunctie en hoofdletters omdat het model is getraind om interpunctie in de tokenstroom uit te voeren, niet omdat een tweede model die achteraf heeft toegevoegd.

Het gevolg is de hele vergelijking. Een 2B-model dat tokens genereert, heeft een latentieondergrens per token die geen enkele hoeveelheid batching volledig wegneemt; een niet-autoregressieve encoder geeft zijn volledige uitvoer in één forward pass vrij, dus de doorvoer schaalt met de batchgrootte en vrijwel niets anders. Zo komt een model met een kwart van de parameters uit op vijfendertig keer sneller in plaats van vier keer sneller.

Daarom geeft de 470M ook dingen op die de 2B wel heeft. Er is geen prompt om te volgen, dus er is geen taal-ID-instructie en geen trefwoordenlijst, en geen vertaling — een CTC-head brengt akoestiek naar tokens; je kunt hem niet opdragen om Duitse spraak als Engelse tekst weer te geven.

Het scorebord, en waar elk getal vandaan komt

Parameters — Granite Speech 5.0 2B is 2B; Granite Speech 5.0 470M TurboCTC is 470M.

• Engelse WER, Open ASR-gemiddelde over 9 sets — 5,06% vs 5,51%. Beide IBM-evaluatieruns, 15–20 oktober 2026.

• Doorvoer, RTFx — 570 vs. 19.870. Dezelfde leaderboard-harness, dezelfde datumreeks.

• WER voor rumoerige en galmende audio, FFASR — 14,80% (rang #4 van 42) versus 17,57% (rang #12). De 2B is ongeveer 2,8 punten robuuster.

• Licentie — Apache 2.0 voor beide. De TurboCTC heeft ook een -NC-variant onder CC-BY-NC-SA-4.0; controleer de naam van de repository voordat je iets uitbrengt.

• Talen — zes transcriptietalen (En, Fr, De, Es, Pt, Ja) plus vertaling, tegenover zeven (met toevoeging van Italiaans) zonder vertaling.

• Controlefuncties — taal-ID-prompting, trefwoordbias tot 2.000 termen en spraakvertaling op de 2B; geen daarvan op de 470M.

• Training — 390.000 uur gedurende 40 dagen op 8 H100s voor de 2B; 153.000 uur gedurende 24 dagen op 8 H100s voor de 470M.

De robuustheidskloof is de rij die mensen overslaan. Vijfendertig keer zo snel valt op, maar 17,57% WER bij rumoerige audio op afstand tegenover 14,80% is een relatief foutverschil van 19%, en rumoerige audio is wat de meeste echte implementaties hebben. Als je audio van een laptop in een keuken komt, wordt het snelheidsvoordeel van het kleine model besteed aan een transcriptie die je daarna nog moet corrigeren.

De enige plek waar de 470M daadwerkelijk wint qua nauwkeurigheid

Japans. De TurboCTC-kaart beweert dat hij beter presteert dan het 2B-model op karakterfoutpercentage over CSJ eval1, CommonVoice-17 en FLEURS — alle drie de testsets — en zegt dit expliciet in de tekst van de kaart in plaats van het in een grafiek te verstoppen. De cijfers zelf staan alleen in een figuur, dus de grootte van de overwinning is niet citeerbaar, maar de richting is de eigen bewering van IBM over zijn eigen twee modellen, wat het geloofwaardiger maakt dan een vergelijking tussen leveranciers.

Er is een plausibel mechanisme. De 2B behandelt Japans door een fonetische Katakana-set van 92 tekens aan de character head toe te voegen en 16.500 uur Japans keyword-biased ASR plus 9.600 uur Fineweb-2 TTS aan de training, maar stuurt het resultaat nog steeds door een taalmodel dat grotendeels op Europese tekst is getraind. De 470M gebruikt één meertalige BPE-vocabulaire van 16.384 eenheden met vanaf het begin Japans erin, en besteedt 8.130 uur aan ReazonSpeech en 1.860 uur aan synthetisch Japans. Als je product transcriptie van Japans op volume is, is dit de enige matchup waarbij het kleine model zowel sneller als beter is, en het is de moeite waard om direct te testen voordat je op basis van grootte standaard voor de 2B kiest.

Kosten, berekend in plaats van opgegeven

IBM publiceert voor geen van beide modellen een prijs. Beide zijn Apache 2.0-gewichten, dus de kosten van het draaien ervan zijn de kosten van de hardware, en de RTFx-cijfers zijn de enige hefboom die je hebt om die te schatten.

Neem een werklast van 1.000 uur audio per dag — een archief van een middelgroot callcenter. Bij 570 RTFx heeft het 2B-model ongeveer 6.300 seconden GPU-tijd nodig, iets meer dan 1,7 GPU-uur. Bij 19.870 RTFx heeft het 470M-model ongeveer 181 seconden nodig, ofwel 0,05 GPU-uur. Op een H100 van roughly $2–3 per uur is dat een paar dollar per dag tegenover een paar cent. Beide zijn kleine bedragen, en dat is juist het punt: op deze schaal is geen van beide modellen duur, en de beslissing moet worden genomen op basis van nauwkeurigheid en mogelijkheden, niet op basis van rekenkracht.

De rekensom valt aan de andere kant anders uit. Als je één stream realtime transcribereert op een laptop, of een app op het apparaat zelf draait, heeft de 2B een GPU nodig om realtime bij te blijven, terwijl de 470M ruimschoots marge over heeft — daarom positioneert IBM TurboCTC voor laptops, telefoons en edge-apparaten en documenteert het mlx-audio voor Apple Silicon. De 2B draait ook op llama.cpp en mlx-audio, maar dan op Q8_0, met een waarschuwing dat kwantisatie met lagere bits na ongeveer een minuut audio nauwkeurigheid verliest.

Kiezen, in de volgorde waarin de beslissing daadwerkelijk plaatsvindt

Begin niet met de benchmark. Begin met wat de taak vereist, want drie van de verschillen zijn harde vereisten en geen afwegingen.

Moet de uitvoer in een andere taal dan de invoer zijn? Dan is het de 2B, en er valt geen vergelijking te maken. De 470M kan niet vertalen. Deze enkele vereiste sluit hem uit voor ondertitelpijplijnen, meertalige vergadernotities en elk Engelstalig archief dat is opgebouwd uit niet-Engelstalige audio.

Moet het transcript specifieke termen bevatten? Productnamen, medicijnnamen, ticket-ID's, een SKU-lijst van een klant — de 2B accepteert tot 2.000 termen als trefwoordenlijst en is getraind op 23.600 uur audio met trefwoordbias, precies hiervoor. De 470M heeft geen promptinterface. Een op een woordenlijst gebaseerde implementatie op het kleine model is niet mogelijk.

Is de audio schoon? Zo ja, dan is het Engelse verschil van 0,45 punt klein en is het snelheidsvoordeel van 35× bijna gratis. Zo nee — vergaderingen, callcenters, far-fieldmicrofoons — dan zegt het FFASR-verschil van 2,8 punt dat de fouten van het kleine model je meer kosten dan de snelheid je oplevert.

Is het Japans? Test eerst de 470M. IBM zegt dat hij wint op alle drie de Japanse testsets.

Is het op een apparaat? De 470M is ervoor ontworpen. De 2B kan op een apparaat draaien, maar is daar niet voor ontworpen.

De eerlijke samenvatting is dat dit niet twee maten van hetzelfde product zijn. Het ene is een systeem voor transcriberen en vertalen met een bedieningsoppervlak; het andere is een zeer snelle, zeer goedkope transcriptie-engine zonder bedieningselementen. De meeste teams die denken dat ze "de betere" nodig hebben, moeten eerst de vertaal- en woordenlijstvragen beantwoorden, en die twee antwoorden beslechten het.

Beide draaien zonder op een van beide te wedden

De verstandige productievorm voor een team dat deze familie test, is beide te deployen, omdat ze tegenovergestelde faalmodi hebben. De 470M doet bulk-schone transcriptie tegen kosten die naar niets afronden; de 2B doet de moeilijke audio, de niet-Engelse audio en alles waarvoor een woordenlijst nodig is. Een router die elk binnenkomend bestand classificeert — taaldetectie, een schatting van de signaal-ruisverhouding, een controle of er een woordenlijst is bijgevoegd — en het naar het juiste checkpoint stuurt, is misschien vijftig regels code en verlaagt je foutpercentage in de staart zonder 2B-prijzen te betalen voor de bulk.

Die classificatiefase is een kleine modelaanroep, en het is het onderdeel dat het waard is om via één endpoint te laten lopen in plaats van een tweede leveranciers-SDK in te bouwen: OrcaRouter biedt 200+ modellen achter één OpenAI-compatibele API tegen de lijstprijs van de provider, zonder toeslag, en zijn routing-DSL kan de taal- en kwaliteitsdispatch uitdrukken als een regel in plaats van applicatiecode. Automatische failover is het belangrijkst in de week na een release zoals deze, waarin een checkpoint twee dagen oud is, niets onafhankelijk is geverifieerd, en de veiligste manier om het uit te proberen erin bestaat een tweede pad warm te houden. Niets daarvan helpt je om Granite Speech zelf al te draaien — geen van beide checkpoints wordt vandaag door ons aangeboden, dus de spraakmodellen blijven self-hosted en de routeringslaag begint een stap verder stroomafwaarts.

Als je er maar één inzet, zet dan de 2B in. Het is het model dat alles kan wat de 470M kan, met een snelheid die nog steeds vijfendertig keer sneller is dan realtime en een nauwkeurigheid die beter is op elke benchmark die IBM heeft gepubliceerd, behalve Japans. De 470M is de specialist die je toevoegt wanneer de rekening of het latentieprofiel het rechtvaardigt — niet de standaard waarmee je begint.