Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: 35× genomströmningen för 0,45 punkter i WER

IBM släppte två Granite Speech 5.0-checkpoints inom ett dygn från varandra, och det intressanta med dem är inte att den ena är större. Det är att Granite Speech 5.0 2B får 5,06 % i genomsnittlig engelsk WER vid 570 RTFx på Open ASR Leaderboard, medan Granite Speech 5.0 470M TurboCTC får 5,51 % vid 19 870 RTFx – ungefär trettiofem gånger genomströmningen för klart under en halv procentenhet i noggrannhet. Om du antog att parameterantalet ger dig något proportionellt, gör det inte det. Det ger dig översättning, nyckelordsbiasning, språk-ID-styrning och en språkmodell som kan följa en prompt. Hastighet finns inte på den listan. De dokumenterade AI-misslyckandena och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.

Båda siffrorna är IBMs egna, uppmätta på samma leaderboard och daterade inom en vecka från varandra, vilket gör detta till en av de renare jämförelserna inom samma familj som finns – och även en där du fortfarande bör utgå från att det är en utvärdering utförd av leverantören snarare än en granskad sådan. Ingen av modellerna har någon oberoende reproduktion, och vid skrivande stund tillhandahålls ingen av dem av någon inferensleverantör som jag kan hitta, inklusive vår egen katalog.

Samma vecka, två olika lanseringshistorier

Dessa två modeller är inte tvillingar med olika storlekar. De släpptes på olika sätt och de är byggda på olika sätt, och lanseringshistoriken förklarar varför deras modellkort läses så olika.

• Granite Speech 5.0 2B — repository skapades 7 oktober 2026, vikterna committades samma kväll, modellkortet redigerades öppet i två veckor, releasedatumet stämplades 20 oktober, tillkännagivandebloggen 21 oktober. Ny modell, tyst start, högljudd finish.

• Granite Speech 5.0 470M TurboCTC — släpptes först den 25 augusti 2026 som en modell endast för engelska med ett uppgivet RTFx-värde på 12 600. Versionen från den 21 oktober är en uppdatering, inte en ny modell: samma arkitektur, ett nytt flerspråkigt BPE-huvud med 16 384 token, sex tillagda språk och inbyggd interpunktion och versalisering.

Den skillnaden spelar roll när man läser siffrorna. 2B:s 5,06 % är en ny utvärdering av en ny checkpoint. 470M:s 5,51 % är en förbättring av en siffra på 5,78 % som publicerades i augusti, och IBMs blogg framställer det som ”bättre engelsk WER trots att sex språk lades till”, vilket är rätt sätt att läsa det – den flerspråkiga uppdateringen kostade inte engelsk noggrannhet, den gav en viss förbättring.

Två arkitekturer, en konsekvens

Granite Speech 5.0 2B är en tal-språkmodell. En Conformer CTC-kodare med 16 block matar en tvålagers window query transformer-projektor, som skalar ned 10× till akustiska inbäddningar på 10 Hz, vilka går in i en mellanliggande checkpoint av granite-4.0-1b-base utökad till 16k positioner med YaRN. Övervakad finjustering är LoRA på projektorn och språkmodellen gemensamt. Genereringen är autoregressiv: språkmodellen skriver transkriptionen token för token.

Granite Speech 5.0 470M TurboCTC är en encoder. Sexton Conformer-block, CTC-mål, ett flerspråkigt BPE-klassificeringshuvud med 16 384 enheter, temporal subsampling med faktor 8 för att få 100 Hz-ramar ner till 12,5 Hz, girig icke-autoregressiv avkodning. Ingen projektor, ingen språkmodell, ingen genereringsloop. Utdata har interpunktion och versaler eftersom modellen tränades att avge interpunktion i tokenströmmen, inte för att en andra modell lade till den efteråt.

Konsekvensen är hela jämförelsen. En 2B-modell som genererar token har ett latensgolv per token som ingen mängd batchning helt kan eliminera; en icke-autoregressiv encoder avger hela sin utdata i en enda framåtpassning, så genomströmningen skalar med batchstorlek och nästan inget annat. Det är så en modell med en fjärdedel av parametrarna blir trettiofem gånger snabbare i stället för fyra gånger snabbare.

Det är också därför 470M avstår från saker som 2B har. Det finns ingen prompt att följa, så det finns ingen språk-ID-instruktion och ingen nyckelordslista, och ingen översättning – ett CTC-huvud mappar akustik till tokens, det kan inte instrueras att återge tyskt tal som engelsk text.

Resultattavlan, och varifrån varje siffra kom

• Parametrar – Granite Speech 5.0 2B är 2B; Granite Speech 5.0 470M TurboCTC är 470M.

• Engelsk WER, Open ASR medelvärde över 9 set — 5,06 % vs 5,51 %. Båda IBM:s utvärderingskörningar, 15–20 oktober 2026.

• Genomströmning, RTFx – 570 vs 19 870. Samma testuppsättning för leaderboarden, samma datumintervall.

• WER för bullrigt och efterklangsfyllt tal, FFASR – 14,80 % (plats #4 av 42) mot 17,57 % (plats #12). 2B-modellen är ungefär 2,8 punkter mer robust.

• Licens — Apache 2.0 för båda. TurboCTC har också ett -NC-syskon under CC-BY-NC-SA-4.0; kontrollera repositorienamnet innan du distribuerar.

• Språk — sex transkriberingsspråk (En, Fr, De, Es, Pt, Ja) plus översättning, jämfört med sju (med tillägg av italienska) utan översättning.

• Styrfunktioner – promptning för språkidentifiering, nyckelordsbias för upp till 2 000 termer och talöversättning på 2B; inga på 470M.

• Träning — 390 000 timmar under 40 dagar på 8 H100:or för 2B; 153 000 timmar under 24 dagar på 8 H100:or för 470M.

Robusthetsgapet är raden folk hoppar över. Trettiofem gånger hastigheten fångar ögat, men 17,57 % WER på ljud med brus på avstånd jämfört med 14,80 % är en relativ felmarginal på 19 %, och brusigt ljud är vad de flesta verkliga driftsättningar har. Om ljudet kommer från en laptop i ett kök går den lilla modellens hastighetsfördel åt till en transkription som du sedan måste rätta.

Det enda stället där 470M faktiskt vinner på noggrannhet

Japanska. TurboCTC-kortet hävdar att det överträffar 2B-modellen vad gäller teckenfelkvot på CSJ eval1, CommonVoice-17 och FLEURS – alla tre testuppsättningarna – och anger detta uttryckligen i kortets text i stället för att gömma det i ett diagram. Själva siffrorna finns bara i en figur, så storleken på vinsten går inte att citera, men riktningen är IBMs eget påstående om dess egna två modeller, vilket gör det mer trovärdigt än en jämförelse mellan olika leverantörer.

Det finns en trolig mekanism. 2B hanterar japanska genom att lägga till en fonetisk katakanauppsättning på 92 tecken i teckenhuvudet och 16 500 timmar japansk nyckelordsbiaserad ASR plus 9 600 timmar Fineweb-2 TTS till träningen, men den skickar fortfarande resultatet genom en språkmodell som mestadels tränats på europeisk text. 470M använder en enda flerspråkig BPE-ordlista med 16 384 enheter, med japanska i från början, och lägger 8 130 timmar på ReazonSpeech och 1 860 på syntetisk japanska. Om din produkt är transkription av japanska i stor volym är detta den enda matchningen där den lilla modellen är både snabbare och bättre, och det är värt ett direkt test innan du väljer 2B som standard på grund av storleken.

Kostnad, beräknad i stället för angiven

IBM publicerar inte något pris för någon av modellerna. Båda är Apache 2.0-vikter, så kostnaden för att köra dem är kostnaden för hårdvaran, och RTFx-siffrorna är den enda hävstången du har för att uppskatta den.

Ta en arbetsbelastning på 1 000 timmars ljud per dag – ett medelstort callcenterarkiv. Vid 570 RTFx behöver 2B-modellen cirka 6 300 sekunders GPU-tid, lite över 1,7 GPU-timmar. Vid 19 870 RTFx behöver 470M cirka 181 sekunder, eller 0,05 GPU-timmar. På en H100 till ungefär 2–3 dollar i timmen är det några dollar per dag mot några cent. Båda är små siffror, och det är poängen: i den här skalan är ingen av modellerna dyr, och beslutet bör fattas utifrån noggrannhet och kapacitet, inte utifrån beräkningsresurser.

Aritmetiken förändras i andra änden. Om du transkriberar en ström i realtid på en bärbar dator, eller kör en app på enheten, behöver 2B en GPU för att hålla sig före realtiden medan 470M har marginal över – vilket är därför IBM positionerar TurboCTC för bärbara datorer, telefoner och edge-enheter och dokumenterar mlx-audio för Apple Silicon. 2B körs även på llama.cpp och mlx-audio, men vid Q8_0 med en varning om att kvantisering med lägre bitantal tappar noggrannhet efter ungefär en minut av ljud.

Att välja, i den ordning beslutet faktiskt fattas

Börja inte med benchmarken. Börja med vad uppgiften kräver, eftersom tre av skillnaderna är hårda krav snarare än avvägningar.

Behöver utdata vara på ett annat språk än indata? Då är det 2B, och det finns ingen jämförelse att göra. 470M kan inte översätta. Detta enda krav eliminerar det för undertextpipelines, flerspråkiga mötesanteckningar och alla engelskspråkiga arkiv som byggs från icke-engelskt ljud.

Behöver transkriptet innehålla specifika termer?Produktnamn, läkemedelsnamn, ärendenummer, en kunds SKU-lista – 2B accepterar upp till 2 000 termer som en nyckelordslista och tränades på 23 600 timmar nyckelordsbiasat ljud just för detta. 470M har inget promptgränssnitt. En ordlistestyrd driftsättning på den lilla modellen är inte möjlig.

Är ljudet rent? Om ja är den engelska skillnaden på 0,45 punkter liten och hastighetsfördelen på 35× nästan gratis. Om nej – möten, callcenter, fjärrfältsmikrofoner – säger FFASR-gapet på 2,8 punkter att den lilla modellens fel kommer att kosta dig mer än vad dess hastighet sparar.

Är det japanskt? Testa 470M först. IBM säger att den vinner på alla tre japanska testseten.

Är det på en enhet? 470M designades för det. 2B kan köra på en men designades inte för det.

Den ärliga sammanfattningen är att det här inte är två storlekar av samma produkt. Den ena är ett transkriberings- och översättningssystem med en kontrollpanel; den andra är en mycket snabb och mycket billig transkriberingsmotor utan kontroller. De flesta team som tror att de behöver "den bättre" behöver faktiskt först besvara frågorna om översättning och ordlista, och de två svaren avgör saken.

Att köra båda utan att satsa på endera

Det förnuftiga produktionsupplägget för ett team som testar den här familjen är att driftsätta båda, eftersom de har motsatta felsätt. 470M hanterar storskalig ren transkribering till en kostnad som avrundas till nästan ingenting; 2B hanterar det svåra ljudet, det icke-engelska ljudet och allt som behöver en ordlista. En router som klassificerar varje inkommande fil – språkidentifiering, en uppskattning av signal-brusförhållandet, en kontroll av om en ordlista är bifogad – och skickar den till rätt checkpoint är kanske femtio rader kod och sänker felfrekvensen i svansen utan att betala 2B-priser för massmaterialet.

Det klassificeringssteget är ett litet modellanrop, och det är delen som är värd att köra via en enda slutpunkt i stället för att bädda in ett andra leverantörs-SDK: OrcaRouter exponerar 200+ modeller bakom ett enda OpenAI-kompatibelt API till leverantörens listpris utan påslag, och dess routnings-DSL kan uttrycka språk- och kvalitetsdirigeringen som en regel i stället för applikationskod. Automatisk failover är viktigast veckan efter en lansering som denna, när en checkpoint är två dagar gammal, inget är oberoende verifierat, och det säkraste sättet att prova den är att hålla en andra väg varm. Inget av detta hjälper dig att köra Granite Speech självt ännu — ingen av checkpointserna serveras av oss i dag, så talmodellerna förblir självhostade och routningslagret börjar ett steg längre nedströms.

Om du bara ska driftsätta en, driftsätt 2B. Det är modellen som kan göra allt som 470M kan göra, i en hastighet som fortfarande är trettiofem gånger snabbare än realtid och med en noggrannhet som är bättre på varje benchmark som IBM publicerat utom japanska. 470M är specialisten du lägger till när kostnaden eller latensprofilen motiverar det – inte standardvalet du utgår från.