Granite Speech 5.0 2B kontra Whisper large-v3-turbo: IBM wygrywa benchmarki, Whisper wygrywa w 99 językach

Jeśli chodzi o dwie liczby, które większość ludzi sprawdza najpierw, Granite Speech 5.0 2B bije Whisper large-v3-turbo i nie jest to nawet blisko. Model IBM osiąga średnio 5,06% współczynnika błędów słów w dziewięciu angielskich krótkich zestawach testowych Open ASR Leaderboard przy 570 RTFx; checkpoint turbo O​penAI osiąga średnio 7,83% przy 200 RTFx na tym samym leaderboardzie. Szybszy i dokładniejszy, na tym samym benchmarku, przy czym daty wydania dzieli około dwóch lat. Jeśli Twoje audio jest po angielsku i jest czyste, to całe porównanie i możesz przestać czytać. Udokumentowane awarie AI i incydenty z agentami kryjące się za wydaniami takimi jak to są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom dotkliwości, ocenę pewności i flagę sporności.

Powód, dla którego ta strona wciąż musi istnieć, to trzecia liczba: 99. Whisper large-v3-turbo obsługuje dziewięćdziesiąt dziewięć języków; Granite Speech 5.0 2B obsługuje sześć w transkrypcji i tłumaczy na dwa kolejne. Przewaga 2,8 punktu w WER na angielskim jest nic niewarta, jeśli audio jest po wietnamsku. Prawdziwe pytanie nie brzmi więc, który model jest lepszy — tylko czy Twój zestaw języków mieści się w sześciojęzykowym pudełku i ile kosztuje migracja, jeśli tak.

Czym tak naprawdę jest Whisper large-v3-turbo

Warto zachować tu precyzję, ponieważ ta nazwa bywa przypisywana do rzeczy, które nią nie są. Whisper large-v3-turbo to okrojona wersja large-v3 od OpenAI: enkoder pozostaje bez zmian, ale dekoder ma 4 warstwy zamiast 32. Ta jedna zmiana redukuje model z 1,55 mld parametrów do 809 mln i mniej więcej trzykrotnie zwiększa przepustowość, tracąc przy tym stosunkowo niewiele na dokładności — dlatego w ciągu kilku miesięcy od wydania w październiku 2024 r. stał się domyślnym checkpointem szybkiego ASR w całym ekosystemie.

Z tego projektu wynikają trzy właściwości i wszystkie mają znaczenie dla tego porównania:

• To model tłumaczeniowy, który został przypadkowo poddany przycinaniu, więc dziedziczy transkrypcję i identyfikację języka w 99 językach — ale wariant turbonie jest trenowany do tłumaczenia. W przeciwieństwie do large-v3 transkrybuje i identyfikuje język; nie zamienia mowy w jednym języku na tekst w innym. Zespoły regularnie odkrywają to po zbudowaniu na nim rozwiązania.

• Dekoder jest autoregresyjny. Zapisuje tokeny po 4 warstwy naraz, dlatego jego przepustowość utrzymuje się na poziomie 200 RTFx, a nie w tysiącach. Szybkość Whispera wynikała z usuwania warstw, a nie ze zmiany paradygmatu dekodowania.

• Jest objęty licencją MIT, która w praktyce jest bardziej permisywna niż Apache 2.0 pod dokładnie jednym względem istotnym dla niektórych zespołów prawnych: nie ma klauzuli udzielenia licencji patentowej do przeanalizowania ani pliku z atrybucjami, który trzeba dołączyć.

Prawdziwą przewagą Whispera nigdy nie był benchmark. To dwa lata narzędzi — faster-whisper, whisper.cpp, zarządzane punkty końcowe każdej chmury, receptury kwantyzacji, biblioteki znaczników czasu na poziomie słów, stosy diaryzacji zbudowane na jego bazie. Ten ekosystem to realny koszt przejścia i to porównanie musi go uczciwie uwzględniać.

Gdzie luka jest rzeczywista, a gdzie stanowi artefakt otoczenia testowego

Porównanie 5,06% z 7,83% opiera się na tym samym rankingu, co czyni je wiarygodniejszym niż większość liczb porównujących różnych dostawców — ale nie jest to przebieg w pełni porównywalny, a szczegóły można interpretować w obie strony.

• Liczba dla Granite pochodzi z własnego przebiegu ewaluacji IBM przesłanego do rankingu, opisanego w blogu z ogłoszeniem jako „nieoficjalna, według stanu na 15 października 2026 r.”. Karta modelu te same wyniki nazywa „oficjalnymi” według stanu na 20 października. Wybierz sobie, który przymiotnik wolisz; nikt spoza IBM tego nie odtworzył.

• Wynik Whisper to opublikowany przez leaderboard rezultat dla checkpointu, uzyskany za pomocą własnego harnessu leaderboardu, który jest innym pipeline’em niż ten IBM.

• Obie liczby są średnimi z dziewięciu publicznych zestawów testowych, z których większość to angielska mowa czytana z LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI i VoxPopuli. Słabość Whispera w tym zestawieniu jest dobrze udokumentowana i ma charakter strukturalny: model został wytrenowany na 680 000 godzin słabo nadzorowanego dźwięku z sieci, co daje szeroki zakres kosztem precyzyjnego formatowania.

• W przypadku audio z pola dalekiego i zaszumionego kolejność się utrzymuje. Tablica wyników FFASR — uśredniając wyniki dla pola bliskiego, wysokiego SNR, średniego SNR i niskiego SNR — umieszcza whisper-large-v3 na poziomie 18,02%, a Granite Speech 5.0 2B na 14,80%. Należy zauważyć, że chodzi o large-v3, a nie turbo; turbo jest zazwyczaj nieco gorszy od swojego modelu bazowego w trudnym materiale audio, ponieważ ma mniej warstw dekodera, które pozwalają skompensować błędne oszacowanie akustyczne.

Więc różnica w dokładności jest prawdopodobnie rzeczywista co do kierunku i prawdopodobnie mniejsza niż 2,8 punktu w uczciwym porównaniu. Nie budzi natomiast wątpliwości to, skąd się bierze: dekoder Whispera jest proszony o jednoczesne wykonywanie identyfikacji języka, transkrypcji, interpunkcji, stosowania wielkości liter i wyrównywania znaczników czasu za pomocą czterech warstw, podczas gdy architektura Granite oddziela pracę akustyczną (enkoder CTC z głowicami znakowymi i BPE) od generowania tekstu (model językowy 1B).

Pole językowe — ujęcie ilościowe

To tutaj zapada decyzja, więc zasługuje na coś więcej niż liczbę w punkcie.

• Granite Speech 5.0 2B transkrybuje angielski, francuski, niemiecki, hiszpański, portugalski i japoński oraz tłumaczy między tymi sześcioma językami a angielskim, a także z angielskiego na włoski i z angielskiego na mandaryński.

• Whisper large-v3-turbo transkrybuje dziewięćdziesiąt dziewięć języków i rozpoznaje, który z nich słyszy. Nie tłumaczy.

• Siostrzany model Granite obsługujący siedem języków — Granite Speech 5.0 470M TurboCTC — dodaje włoski do zestawu transkrypcji, dzięki czemu rodzina obejmuje siedem języków z Europy i Japonii, a nie sześć.

Dziewięćdziesiąt dziewięć do siedmiu to cały argument za Whisper i jest to mocny argument. Ale praktyczna dystrybucja liczy się bardziej niż sama liczba. Jeśli Twoje audio jest w języku angielskim, francuskim, niemieckim, hiszpańskim, portugalskim, japońskim i włoskim, Granite to pokrywa. Jeśli potrzebujesz hindi, arabskiego, koreańskiego, tureckiego, polskiego, wietnamskiego, indonezyjskiego, niderlandzkiego, szwedzkiego lub któregokolwiek z pozostałych około dziewięćdziesięciu, Whisper jest jedynym z tych dwóch, który działa — i żadna przewaga pod względem WER w przypadku języka angielskiego tego nie zmienia.

Środkowy przypadek to ten, w którym faktycznie znajduje się większość zespołów: produkt w większości angielski z długim ogonem języków, które trafiają się w kilku procentach przypadków. Dwa modele, po jednym na poziom, to normalna i właściwa odpowiedź — i jest tańsza, niż brzmi, ponieważ to w ogonie wolumen jest niski.

Długie audio, znaczniki czasu i rzeczy, które zawodzą przy dużej skali

Historia wdrożeń Whispera jest dojrzała w sposób, którego nie widać w żadnym benchmarku. Znaczniki czasowe na poziomie słów, detekcja aktywności głosu, diaryzacja mówców, strumieniowanie z dekodowaniem fragmentami — wszystko to istnieje, wszystko zostało sprawdzone w boju, a wiele z tego zakłada 30-sekundowe okno Whispera i jego tokeny znaczników czasowych.

Granite Speech 5.0 2B ma inny kształt. IBM zaleca segmenty o długości do około dwóch minut, dzielone za pomocą VAD w przypadku dłuższych nagrań, a model językowy widzi embeddingi 10 Hz w kontekście 16k rozszerzonym przez YaRN. W bazowym checkpoincie 2B nie ma głowicy znaczników czasu na poziomie słów — generacja 4.1 dostarczała osobny wariant "-plus" do ASR z przypisaniem mówcy i znacznikami czasu na poziomie słów, a równoważny wariant 5.0 jeszcze nie istnieje.

To jest rzeczywista luka, jeśli tworzysz napisy, transkrypcje spotkań z etykietami mówców lub cokolwiek, co wymaga przewijania do frazy. Blog 5.0 opisuje ulepszenia znaczników czasu, ale dotyczą one odświeżonego granite-speech-4.1-2b-plus, a nie 5.0 2B.

• Potrzebne znaczniki czasu na poziomie słów — dziś Whisper large-v3-turbo; Granite 4.1-2b-plus, jeśli chcesz rodzinę Granite i możesz zaakceptować starszy model akustyczny.

• Potrzebna jest atrybucja mówcy — ta sama odpowiedź; 5.0 2B tego nie robi.

• Potrzeba dokładności w długich nagraniach przekraczających kilka minut — zalecenie Granite dotyczące dwuminutowych segmentów to praktyczny limit, a dzielenie na 30-sekundowe fragmenty w Whisperze z warunkowaniem na poprzednim tekście ma swój dobrze znany tryb awarii (pętle powtórzeń przy ciszy). Żadne z nich nie jest oczywiście lepsze; oba wymagają VAD na wejściu.

Dwie funkcje, które ma Granite, a których nie ma Whisper turbo

Faworyzowanie słów kluczowych. Granite Speech 5.0 2B przyjmuje listę słów kluczowych zawierającą do 2 000 terminów na jeden prompt i został wytrenowany na 23 600 godzinach nagrań audio z faworyzowaniem słów kluczowych w europejskich i japońskich grupach językowych. Whisper nie ma równoważnego interfejsu — najbliższym odpowiednikiem jest ciąg promptu, który delikatnie ukierunkowuje styl i słownictwo, bez żadnego treningu stojącego za tym mechanizmem. W przypadku wdrożenia transkrybującego nazwy produktów, nazwy leków, identyfikatory zgłoszeń lub własny glosariusz klienta jest to najważniejsza pojedyncza różnica między oboma modelami i nie ujawnia się w żadnej średniej WER.

Podpowiadanie identyfikatora języka. Możesz powiedzieć Granite, w jakim języku jest nagranie, i polecić mu transkrypcję zamiast tłumaczenia. Whisper wykrywa język automatycznie, a w wariancie turbo tylko transkrybuje. W przypadku korpusu mieszanego językowo, w którym znasz język z metadanych, wymuszenie go eliminuje całą klasę błędów — Whisper czasami błędnie identyfikuje krótki klip, a następnie z pewnością siebie transkrybuje w niewłaściwym języku.

Migracja – w krokach, które naprawdę działają

Jeśli kwestia języka się rozstrzygnie, przesiadka będzie mniej bolesna, niż sugeruje luka w ekosystemie, ponieważ większość potoków opartych na Whisperze ma już miejsce styku, którego potrzebujesz.

1. Zachowaj swój VAD. Oba modele chcą segmentów, a nie plików. Cokolwiek używasz do dzielenia audio na fragmenty dla Whispera, zadziała w przypadku Granite przy maksymalnie dwóch minutach na segment zamiast trzydziestu sekund.

2. Zastąp wywołanie dekodowania, a nie infrastrukturę. Granite ładuje się przez AutoModelForSpeechSeq2Seq i AutoProcessor w transformers>=4.52.1 albo przez vLLM, llama.cpp w Q8_0, albo mlx-audio na Apple Silicon. Jeśli Twoja usługa wywołuje zewnętrznie faster-whisper, zamieniasz jedno lokalne wywołanie modelu na inne.

3. Przepisz prompt. Granite jest sterowany instrukcjami, a prompt wybiera tryb: surowy transkrypt, transkrypt z interpunkcją, z ukierunkowaniem na słowa kluczowe, z przypiętym identyfikatorem języka. To jest krok, który zespoły pomijają, a potem dochodzą do wniosku, że model jest gorszy, ponieważ podały mu domyślne zachowanie Whispera.

4. Ponownie wyznacz wartość bazową WER na własnym audio, a nie na LibriSpeech. To nie jest formalność. Słabością Whispera w rankingu są formatowanie i dryf przy długich nagraniach; jeśli Twoje audio to czyste 30-sekundowe klipy angielskie, a kolejnym etapem jest model językowy, który poprawia formatowanie, zmierzona różnica może być bliska zeru — albo, jeśli Twoje audio ma akcent i zostało zarejestrowane z dużej odległości, większa niż 2,8 punktu.

5. Zachowaj ścieżkę awaryjną. Obsługa języków innych niż angielski przez Granite Speech 5.0 2B ma twarde ograniczenie, a detektor języka przed modelem nie jest opcjonalny w produkcie wielojęzycznym. Wszystko, co wykracza poza siedem języków, jest kierowane do Whisper.

Gdzie warstwa routingu zasługuje na swoje miejsce

Krok piąty to ta część migracji, która przeradza się w architekturę. Rozdzielnik języka i jakości przed dwoma modelami mowy, plus dowolny model językowy, który później czyści transkrypcję, to trzy wywołania modeli na plik, a trzy osobne integracje z dostawcami to właśnie sposób, w jaki prosta pipeline staje się problemem utrzymaniowym.

OrcaRouter to jeden endpoint zgodny z OpenAIponad 200 modeli w cenie katalogowej dostawcy, bez doliczanej marży, dzięki czemu etap przetwarzania końcowego — czyszczenie, streszczanie, ekstrakcja pól — można wymienić lub przetestować w testach A/B bez dotykania kodu rozpoznawania mowy, a awaria dostawcy powoduje przełączenie awaryjne, a nie nieudane zadanie. DSL routingu może zawierać samą regułę kierowania: wykryć język, siedem obsługiwanych języków skierować do samodzielnie hostowanego checkpointu Granite, wszystko pozostałe wysłać do Whispera, a transkrypcję przekazać do tego modelu czyszczącego, którego wymaga zadanie. Ten ostatni przeskok to jedyny, który faktycznie możemy dziś obsłużyć; ani Granite Speech 5.0 2B, ani Whisper large-v3-turbo nie znajduje się w naszym katalogu, więc modele mowy pozostają na Twoim własnym sprzęcie, a routing zaczyna się o krok dalej, gdzie nadal eliminuje większość pracy integracyjnej.

Kto powinien się przełączyć, a kto nie

Przełącz się, jeśli Twoje audio to angielski plus sześć języków Granite, dokładność liczy się dla Ciebie bardziej niż znajomość ekosystemu, potrzebujesz biasowania słów kluczowych lub wymuszonego języka i na razie możesz obyć się bez znaczników czasu na poziomie słów. 5,06% wobec 7,83% to realna różnica w kierunku, który ma znaczenie, a 570 RTFx wobec 200 RTFx oznacza, że zmiana prawdopodobnie jednocześnie obniży Twój rachunek za GPU.

Nie przełączaj, jeśli potrzebujesz któregokolwiek z pozostałych dziewięćdziesięciu dwóch języków, znaczników czasu na poziomie słów, przypisywania mówców lub zarządzanego punktu końcowego — Granite Speech 5.0 2B nie jest wdrażany przez żadnego dostawcę inferencji w chwili pisania, a samodzielny hosting to dziś jedyna droga do niego. Whisper large-v3-turbo jest dostępny wszędzie, również w miejscach, które nie pozwolą Ci uruchomić własnych GPU.

Uruchom oba, jeśli masz długi ogon językowy. Rozdzielenie jest tanie, ogon z definicji ma mały wolumen, a to usuwa jedyny argument, jaki Whisperowi pozostał.