Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: 35× większa przepustowość za 0,45 punktu WER

IBM udostępnił dwa checkpointy Granite Speech 5.0 w odstępie nie dłuższym niż jeden dzień, a ciekawe jest w nich nie to, że jeden jest większy. Chodzi o to, że Granite Speech 5.0 2B osiąga 5,06% średniego WER dla języka angielskiego przy 570 RTFx w Open ASR Leaderboard, podczas gdy Granite Speech 5.0 470M TurboCTC osiąga 5,51% przy 19 870 RTFx — co daje około trzydziestopięciokrotnie większą przepustowość przy różnicy w dokładności znacznie poniżej pół punktu. Jeśli zakładałeś, że liczba parametrów przekłada się na coś proporcjonalnego, to nie. Daje ci tłumaczenie, biasowanie słów kluczowych, kontrolę language-ID i model językowy, który potrafi podążać za promptem. Szybkości nie ma na tej liście. Udokumentowane awarie AI i incydenty z agentami stojące za premierami takimi jak ta są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom krytyczności, stopień pewności i oznaczenie sporności.

Obie wartości pochodzą od samego IBM, zostały zmierzone na tym samym leaderboardzie i datowane w odstępie nie większym niż tydzień od siebie, co czyni to jedno z czystszych dostępnych porównań w obrębie rodziny — a także takie, w którym nadal należy zakładać, że to ocena przeprowadzona przez dostawcę, a nie audytowana. Żaden z modeli nie ma niezależnej reprodukcji, a w chwili pisania żaden nie jest udostępniany przez jakiegokolwiek dostawcę usług wnioskowania, którego mogę znaleźć, w tym przez nasz własny katalog.

W tym samym tygodniu, dwie różne historie premier

Te dwa modele nie są bliźniakami o różnych rozmiarach. Zostały udostępnione inaczej i są zbudowane inaczej, a historie wydania wyjaśniają, dlaczego ich karty modeli czytają się tak różnie.

• Granite Speech 5.0 2B — repozytorium utworzono 7 października 2026 r., wagi dodano tego wieczoru, kartę edytowano jawnie przez dwa tygodnie, datę wydania oznaczono na 20 października, a blog z ogłoszeniem na 21 października. Nowy model, cichy start, głośny finisz.

• Granite Speech 5.0 470M TurboCTC — po raz pierwszy wydany 25 sierpnia 2026 r. jako model wyłącznie angielski z deklaracją 12 600 RTFx. Wydanie z 21 października to aktualizacja, a nie nowy model: ta sama architektura, nowa wielojęzyczna głowica BPE z 16 384 tokenami, sześć dodanych języków oraz natywna interpunkcja i kapitalizacja.

Ta różnica ma znaczenie, gdy czyta się te liczby. 5,06% modelu 2B to świeża ocena nowego checkpointu. 5,51% modelu 470M to poprawa w stosunku do wartości 5,78% opublikowanej w sierpniu, a blog IBM ujmuje to jako „lepszy angielski WER mimo dodania sześciu języków”, co jest właściwym sposobem odczytania tego — aktualizacja wielojęzyczna nie kosztowała dokładności angielskiego, lecz przyniosła jej pewien zysk.

Dwie architektury, jedna konsekwencja

Granite Speech 5.0 2B to model mowy i języka. 16-blokowy enkoder Conformer CTC zasila dwuwarstwowy projektor window query transformer, który dokonuje 10-krotnego podpróbkowania do osadzeń akustycznych o częstotliwości 10 Hz, a te trafiają do pośredniego checkpointu granite-4.0-1b-base rozszerzonego do 16 tys. pozycji za pomocą YaRN. Nadzorowane dostrajanie to LoRA jednocześnie na projektorze i modelu językowym. Generowanie jest autoregresyjne: model językowy zapisuje transkrypcję token po tokenie.

Granite Speech 5.0 470M TurboCTC to enkoder. Szesnaście bloków Conformer, cel CTC, 16 384-elementowa wielojęzyczna głowica klasyfikacyjna BPE, podpróbkowanie czasowe o współczynniku 8, aby sprowadzić ramki 100 Hz do 12,5 Hz, zachłanne dekodowanie nieautoregresyjne. Bez projektora, bez modelu językowego, bez pętli generowania. Dane wyjściowe zawierają interpunkcję i wielkie litery, ponieważ model został wytrenowany tak, aby emitować interpunkcję w strumieniu tokenów, a nie dlatego, że dodawał ją później drugi model.

Konsekwencją jest całe porównanie. Model 2B, który generuje tokeny, ma dolny limit opóźnienia na token, którego żadna ilość batchowania nie usunie całkowicie; nieautoregresyjny enkoder emituje cały swój wynik w jednym przebiegu w przód, więc przepustowość skaluje się wraz z rozmiarem partii i niemal niczym innym. W ten sposób model z jedną czwartą parametrów okazuje się trzydzieści pięć razy szybszy, a nie cztery razy szybszy.

To także powód, dla którego 470M rezygnuje z rzeczy, które ma 2B. Nie ma promptu, którego trzeba przestrzegać, więc nie ma instrukcji identyfikacji języka ani listy słów kluczowych, ani tłumaczenia — głowica CTC mapuje akustykę na tokeny; nie można jej nakazać przekształcania niemieckiej mowy w tekst angielski.

Tablica wyników i skąd wzięła się każda z liczb

• Parametry — Granite Speech 5.0 2B to 2B; Granite Speech 5.0 470M TurboCTC to 470M.

• WER dla języka angielskiego, średnia z 9 zestawów Open ASR — 5,06% vs 5,51%. Oba przebiegi ewaluacji IBM, 15–20 października 2026.

• Przepustowość, RTFx — 570 vs 19 870. To samo środowisko testowe rankingu, ten sam zakres dat.

• WER w warunkach szumowych i pogłosowych, FFASR — 14,80% (miejsce #4 z 42) vs 17,57% (miejsce #12). Model 2B jest bardziej odporny o około 2,8 punktu.

• Licencja — {{1}}Apache 2.0 dla obu{{/1}}. TurboCTC ma również {{2}}siostrzany wariant -NC{{/2}} na licencji {{3}}CC-BY-NC-SA-4.0{{/3}}; sprawdź nazwę repozytorium przed publikacją.

• Języki — sześć języków transkrypcji (En, Fr, De, Es, Pt, Ja) plus tłumaczenie, w porównaniu z siedmioma (z dodanym włoskim) bez tłumaczenia.

• Funkcje sterowania — podpowiadanie identyfikatora języka, faworyzowanie słów kluczowych do 2000 terminów i tłumaczenie mowy w modelu 2B; brak ich w modelu 470M.

• Trening — 390 000 godzin w ciągu 40 dni na 8 H100 dla modelu 2B; 153 000 godzin w ciągu 24 dni na 8 H100 dla modelu 470M.

Luka w odporności to wiersz, który ludzie pomijają. Trzydziestopięciokrotna szybkość przykuwa uwagę, ale 17,57% WER dla hałaśliwego dźwięku z odległego pola wobec 14,80% to 19% względnej różnicy błędów, a hałaśliwe audio to rzeczywistość większości realnych wdrożeń. Jeśli Twój dźwięk pochodzi z laptopa w kuchni, przewaga szybkościowa małego modelu zostaje zużyta na transkrypcję, którą potem trzeba poprawiać.

Jedyne miejsce, w którym 470M faktycznie wygrywa pod względem dokładności

Japoński. Karta TurboCTC twierdzi, że przewyższa model 2B pod względem współczynnika błędów znaków na CSJ eval1, CommonVoice-17 i FLEURS — wszystkich trzech zestawach testowych — i mówi o tym wprost w tekście karty, zamiast ukrywać to na wykresie. Same liczby znajdują się tylko na rysunku, więc wielkości przewagi nie można zacytować, ale kierunek jest własnym twierdzeniem IBM o jego własnych dwóch modelach, co czyni je bardziej wiarygodnym niż porównanie między dostawcami.

Istnieje wiarygodny mechanizm. Model 2B obsługuje japoński, dodając do głowicy znakowej zestaw 92 znaków fonetycznej katakany oraz 16 500 godzin japońskiego ASR z ukierunkowaniem na słowa kluczowe i 9600 godzin syntetycznego japońskiego z Fineweb-2 T​TS do treningu, ale nadal przepuszcza wynik przez model językowy wytrenowany głównie na tekście europejskim. Model 470M używa jednego wielojęzycznego słownika BPE o 16 384 jednostkach, zawierającego japoński od samego początku, i przeznacza 8 130 godzin na ReazonSpeech oraz 1 860 na syntetyczny japoński. Jeśli Twój produkt to transkrypcja japońskiego na dużą skalę, jest to jedyne takie porównanie, w którym mały model jest jednocześnie szybszy i lepszy, i warto przeprowadzić bezpośredni test, zanim domyślnie wybierzesz 2B ze względu na rozmiar.

Koszt obliczony, a nie wyceniony

IBM nie publikuje ceny żadnego z tych modeli. Oba są udostępniane jako wagi na licencji Apache 2.0, więc koszt ich uruchomienia to koszt sprzętu, a wartości RTFx to jedyny wskaźnik, który pozwala go oszacować.

Weźmy obciążenie wynoszące 1000 godzin audio dziennie — archiwum średniej wielkości centrum obsługi klienta. Przy 570 RTFx model 2B potrzebuje około 6300 sekund czasu GPU, czyli nieco ponad 1,7 godziny GPU. Przy 19 870 RTFx model 470M potrzebuje około 181 sekund, czyli 0,05 godziny GPU. Na H100 przy około 2–3 USD za godzinę to kilka dolarów dziennie wobec kilku centów. Obie liczby są małe i o to chodzi: w tej skali żaden model nie jest drogi, a decyzję należy podejmować na podstawie dokładności i możliwości, a nie mocy obliczeniowej.

Rachunek zmienia się na drugim końcu. Jeśli transkrybujesz jeden strumień w czasie rzeczywistym na laptopie lub uruchamiasz aplikację działającą na urządzeniu, model 2B potrzebuje GPU, aby nadążać za czasem rzeczywistym, podczas gdy 470M ma zapas mocy — dlatego IBM pozycjonuje TurboCTC do laptopów, telefonów i urządzeń brzegowych oraz dokumentuje mlx-audio dla Apple Silicon. Model 2B działa również na llama.cpp i mlx-audio, ale w Q8_0, z ostrzeżeniem, że kwantyzacja o niższej liczbie bitów traci dokładność po około minucie dźwięku.

Wybieranie w kolejności, w jakiej decyzja faktycznie przebiega

Nie zaczynaj od benchmarku. Zacznij od tego, czego wymaga zadanie, ponieważ trzy z tych różnic to twarde wymagania, a nie kompromisy.

Czy dane wyjściowe muszą być w innym języku niż dane wejściowe?W takim razie chodzi o model 2B i nie ma czego porównywać. Model 470M nie potrafi tłumaczyć. To pojedyncze wymaganie eliminuje go w przypadku potoków napisów, wielojęzycznych notatek ze spotkań i dowolnego archiwum w języku angielskim tworzonego z dźwięku w innych językach.

Czy transkrypcja musi zawierać konkretne terminy? Nazwy produktów, nazwy leków, identyfikatory zgłoszeń, lista SKU klienta — model 2B przyjmuje do 2000 terminów jako listę słów kluczowych i został wytrenowany na 23 600 godzinach audio z ukierunkowaniem na słowa kluczowe dokładnie w tym celu. Model 470M nie ma interfejsu promptów. Wdrożenie oparte na glosariuszu na małym modelu nie jest możliwe.

Czy dźwięk jest czysty? Jeśli tak, różnica 0,45 punktu w języku angielskim jest niewielka, a 35× przewaga szybkości jest niemal darmowa. Jeśli nie — spotkania, centra telefoniczne, mikrofony dalekiego pola — różnica FFASR wynosząca 2,8 punktu oznacza, że błędy małego modelu będą cię kosztować więcej, niż oszczędzisz dzięki jego szybkości.

Czy to japoński? Najpierw przetestuj 470M. IBM twierdzi, że wygrywa we wszystkich trzech japońskich zestawach testowych.

Czy to działa na urządzeniu? Model 470M został do tego zaprojektowany. Model 2B może działać na urządzeniu, ale nie został do tego zaprojektowany.

Szczere podsumowanie jest takie, że to nie są dwa rozmiary tego samego produktu. Jeden to system transkrypcji i tłumaczenia z panelem sterowania; drugi to bardzo szybki i bardzo tani silnik transkrypcji bez żadnych elementów sterowania. Większość zespołów, którym wydaje się, że potrzebują „tego lepszego”, w rzeczywistości musi najpierw odpowiedzieć na pytania dotyczące tłumaczenia i glosariusza, a te dwie odpowiedzi rozstrzygają sprawę.

Prowadzenie obu bez obstawiania żadnego

Sensownym rozwiązaniem produkcyjnym dla zespołu testującego tę rodzinę jest wdrożenie obu modeli, ponieważ mają przeciwne tryby błędów. Model 470M obsługuje masową, czystą transkrypcję przy koszcie, który zaokrągla się do zera; model 2B obsługuje trudne audio, audio nieangielskie i wszystko, co wymaga glosariusza. Router, który klasyfikuje każdy przychodzący plik — wykrywanie języka, szacowanie stosunku sygnału do szumu, sprawdzenie, czy dołączono glosariusz — i wysyła go do właściwego checkpointu, to może jakieś pięćdziesiąt linii kodu i obniża współczynnik błędów na ogonie rozkładu bez płacenia cen 2B za masówkę.

Ten etap klasyfikacji to niewielkie wywołanie modelu i to jest ta część, którą warto uruchamiać przez jeden punkt końcowy, a nie osadzać SDK drugiego dostawcy: OrcaRouter udostępnia ponad 200 modeli za jednym interfejsem API zgodnym z OpenAI w cenie katalogowej dostawcy, bez doliczanej marży, a jego DSL routingu może wyrazić kierowanie według języka i jakości jako regułę zamiast kodu aplikacji. Automatyczne przełączanie awaryjne ma największe znaczenie w tygodniu po wydaniu takim jak to, gdy punkt kontrolny ma dwa dni, nic nie jest niezależnie zweryfikowane, a najbezpieczniejszym sposobem wypróbowania go jest utrzymywanie drugiej ścieżki w gotowości. To wszystko nie pomaga jeszcze uruchomić samego Granite Speech — dziś nie obsługujemy żadnego z tych punktów kontrolnych, więc modele mowy pozostają hostowane lokalnie, a warstwa routingu zaczyna się o jeden krok dalej.

Jeśli wdrażasz tylko jeden, wdróż 2B. To model, który potrafi wszystko, co potrafi 470M, przy prędkości wciąż trzydzieści pięć razy większej niż czas rzeczywisty i dokładności lepszej na każdym opublikowanym przez IBM benchmarku z wyjątkiem japońskiego. 470M to specjalista, którego dodajesz, gdy rachunek lub profil opóźnień to uzasadnia — a nie domyślny wybór, od którego zaczynasz.