Granite Switch 4.1 8B: Jeden checkpoint 8B, który rozmawia, decyduje i transkrybuje

Wchodzi osiem miliardów trzysta osiemdziesiąt milionów parametrów. Wychodzi osiem miliardów siedemset siedemdziesiąt sześć milionów. Te 4,72% to cała różnica między modelem bazowym IBM a Granite Switch 4.1 8B, i jest to najciekawsza liczba w tym wydaniu, ponieważ w tym ułamku zmieściły się klasyfikator bezpieczeństwa, silnik decyzyjny i moduł rozpoznawania mowy — wszystkie odpowiadają z jednego punktu końcowego, wszystkie czytają i zapisują ten sam KV cache, który model bazowy i tak by zbudował.

Wagi trafiły na Hugging Face 14 października 2026 roku. Firmowy blog IBM poświęcony premierze, Granite Switch 4.1: Czat, decyzje i mowa z jednego punktu końcowego, ukazał się 15 października, co warto powiedzieć wprost na wstępie: to nie jest ciche wrzucenie, które ktoś znalazł na mirrorze. To ogłoszona premiera, która w chwili pisania ma około dwóch dni, a wersja tej historii, która ma znaczenie, to nie „co twierdził IBM”, lecz „co można faktycznie zweryfikować na podstawie checkpointu leżącego teraz na Hubie”. To dwie różne rzeczy, a ten tekst je rozdziela.

Co tak naprawdę zawiera punkt kontrolny

Granite Switch to nie nowa architektura. To kompozycja: zamrożony model bazowy, zestaw adapterów niskiego rzędu, które można włączać i wyłączać dla każdego tokenu, oraz — w tej konkretnej kompilacji — enkoder doklejony do obsługi audio. Kompozytor znajduje się w repozytorium granite-switch, a manifest kompilacji tego checkpointu jest zaewidencjonowany obok wag, co oznacza, że każde z poniższych twierdzeń strukturalnych można odczytać wprost z Hub-a, a nie zaczerpnąć z komunikatu prasowego.

Bazą jest Granite 4.1 8B — gęsty model decoder-only, uwaga z grupowaniem zapytań (32 głowy zapytań względem 8 głów klucza/wartości), SwiGLU, RMSNorm, okno 131 072 tokenów i słownik 100 352 tokenów. Złożony checkpoint dziedziczy to wszystko i dodaje dwa adaptery aktywowanej LoRA:

• guardian-core — rank 16, alpha 64, dołączony wyłącznie do projekcji uwagi (k_proj, o_proj, q_proj, v_proj), zaczerpnięty z wydania Guardian Library i opisany jako wykrywający szkody, jailbreaking, wulgaryzmy, przemoc, treści seksualne, uprzedzenia społeczne i nieetyczne zachowania.

• decyzja — ranga 64, alfa 128, dołączona do wszystkich siedmiu projekcji, w tym MLP (down_proj, gate_proj, up_proj), i wytrenowana do czegoś węższego i dziwniejszego: mając stan i pytanie z oznaczonymi opcjami, zwraca skalibrowany rozkład prawdopodobieństwa po etykietach tych opcji w jednym przejściu w przód.

Oba są aktywowane przez tokeny sterujące — <|guardian-core|> i <|decision|> — które szablon czatu wstawia za Ciebie, gdy przekażesz adapter_name jako argument. Nie wpisujesz tych tokenów samodzielnie, a ten szczegół ma większe znaczenie, niż się wydaje: oznacza to, że wybór adaptera jest parametrem żądania, a nie drugim modelem do wdrożenia.

Dlaczego delta parametru jest tak mała

Arytmetyka to cała historia. Model bazowy ma 8 380 551 168 parametrów. Model złożony ma 8 776 400 896. To +395,8 mln, czyli +4,72%, dla dwóch adapterów. Powód, dla którego ta liczba pozostaje tak niska, to decyzja projektowa zwana normalizacją KV-cache: każdy adapter widzi pamięć podręczną klucz/wartość modelu bazowego, zamiast utrzymywać własną. W konwencjonalnej konfiguracji z wieloma adapterami każdy dodatkowy adapter to drugi zestaw stanu uwagi, a rachunek za pamięć rośnie wraz z liczbą adapterów, między którymi przełączasz. Tutaj tak nie jest. Twierdzenie IBM we wpisie o premierze jest takie, że model złożony zajmuje „w przybliżeniu taką samą ilość VRAM na GPU, jak sam model bazowy”, a choć nikt poza IBM jeszcze tego nie zmierzył, 4,72% delty wagi jest z tym spójne — i w przeciwieństwie do twierdzenia o VRAM, delta wagi to po prostu liczba w manifeście, którą można odczytać.

Adapter decyzyjny to ta interesująca połowa

Odczytywanie rozkładu prawdopodobieństwa z modelu językowego nie jest nowością; zrobienie tego w jednym przebiegu w przód przy stałym słowniku etykiet opcji i uzyskanie liczb wystarczająco skalibrowanych, by można było na nich działać, to część warta zrozumienia. Przepis wywołania jest udokumentowany w karcie: stały prompt systemowy silnika decyzyjnego, State: tura oceniana na zamrożonej bazie, a następnie ### DECISION – tura prezentująca pytanie i opcje oznaczone pojedynczymi tokenami. Następnie odpytujesz serwer o logprawdopodobieństwa dokładnie tych identyfikatorów tokenów etykiet — vLLM udostępnia to przez logprob_token_ids — i wykonujesz potęgowanie. Udokumentowany przykład zwraca coś w rodzaju A: 0.982, B: 0.0035, C: 0.014.

Jest tu prawdziwa inżynierska zawiłość, którą wersja marketingowa tego wydania pomija. vLLM ogranicza logprob_token_ids do 128 identyfikatorów na żądanie. Jeśli Twoje pytanie decyzyjne ma więcej niż 128 opcji, otrzymasz HTTP 400, a rozwiązaniem jest podzielić identyfikatory etykiet na porcje po 128, wysłać jedno żądanie na porcję z identycznym promptem i połączyć wyniki — ponieważ zwracane logprobs obejmują pełny słownik, wartość każdej etykiety jest niezależna od tego, która porcja o nią zapytała, więc pojedynczy softmax na pełnym zbiorze etykiet jest matematycznie identyczny z wywołaniem bez limitu. To jedno dodatkowe żądanie na każde 128 opcji. To naprawdę przydatny szczegół i dokładnie ten rodzaj rzeczy, który istnieje tylko w repozytorium.

Jedyną opublikowaną liczbą powiązaną z tym adapterem jest Decision Index (JEV), edycja v0.3, publiczny szybki podzbiór 1 068 wierszy: Ogółem 42,9, Wiedza 29,1, Język 48,9, Wyszukiwanie 49,8, Narzędzia 59,8, Sztuka 18,0. Traktuj to jako dane raportowane przez dostawcę, bo tak jest: IBM to przeprowadził, opublikował i żadna strona trzecia tego nie odtworzyła. Warto też zwrócić uwagę raczej na kształt niż na nagłówek — 59,8 w Narzędziach obok 18,0 w Sztuce to bardzo nierówny profil, a sama karta ostrzega, że prawdopodobieństwa opcji są „priorem mającym informować decyzję, a nie certyfikowaną klasyfikacją” w domenach, dla których adapter nie był trenowany.

Zamiana mowy na tekst jest realna — i węższa, niż sugeruje nagłówek.

Ścieżka audio osadza Granite Speech 5.0 TurboCTC, nieautoregresyjny enkoder CTC typu conformer o 470 mln parametrów, i transkrybuje przychodzące audio, a następnie wstawia transkrypcję do kontekstu czatu w miejsce części zawartości audio. Wywołanie go nie zmienia kształtu żądania: to input_audio będące częścią zawartości w zwykłym ukończeniu czatu, a transkrypcja działa na tym samym punkcie końcowym co czat i decyzje, więc nie trzeba uruchamiać drugiego serwera mowy.

Zastrzeżenia — wszystkie pochodzą z własnej karty IBM, a nie od krytyka: enkoder obsługuje wyłącznie angielski, jego dane wyjściowe są pisane małymi literami i bez interpunkcji, nie ma sterowania w czasie dekodowania, a także — i to powinno cię powstrzymać — enkoder mowy i LLM nie są trenowane łącznie. Nie ma wytrenowanej projekcji, która by je wiązała. Błędna transkrypcja może zatem po cichu zmienić to, na co reaguje model lub adapter. Jeśli budujesz cokolwiek, gdzie błąd transkrypcji ma konsekwencje, to zdanie stanowi cały przegląd bezpieczeństwa.

Co jest potwierdzone, co jest zgłoszone przez dostawcę, a czego nikt nie sprawdził

• Potwierdzone w repozytorium — tożsamość modelu bazowego i liczba warstw, dwie rangi adapterów i ich moduły docelowe, identyfikatory tokenów sterujących, łączna liczba parametrów po złożeniu, okno 131 072 tokenów, licencja Apache-2.0 oraz udokumentowane wersje vLLM i Transformers, których wymaga karta.

• Zgłoszone przez dostawcę, nieodtworzone — wyniki Decision Index, twierdzenie, że Granite Speech 5.0 TurboCTC jest najszybszym modelem ASR w rankingu OpenASR, deklaracja „taka sama VRAM jak w modelu bazowym” oraz dygresja z wpisu premierowego, że niestandardowy model Granite Switch 3B gra w Doom z szybkością 60–100 decyzji na sekundę w porównaniu z raportowanymi 10 na sekundę dla zamkniętego modelu decyzyjnego. IBM zapowiada, że opublikuje więcej danych „w nadchodzących tygodniach”, co jest przyznaniem, że obecne dowody są wątłe.

• Nikt nie sprawdził — wszystko inne. Nie ma niezależnej oceny, wpisu na liście rankingowej dokonanego przez stronę trzecią, hostowanego API od IBM ani opublikowanych pomiarów opóźnień lub przepustowości od kogokolwiek spoza IBM. Repozytorium na Hubie pokazuje kilkadziesiąt pobrań i garstkę polubień: ten model ma dwa dni i jest w dużej mierze nieprzeczytany.

Ile kosztuje jego działanie i gdzie pasuje OrcaRouter

Granite Switch 4.1 8B to obecnie historia samodzielnego hostowania. Karta wymienia HuggingFace Transformers i vLLM jako backendy, określa dość wąskie okno wsparcia (Transformers 5.16–5.17, vLLM 0.26–0.28), a checkpoint działa z oboma bez zmian w kodzie. Nie ma zarządzanego endpointu, na który można by wskazać, co dla większości zespołów oznacza jeden GPU i kontener przed pierwszym żądaniem.

Mówiąc wprost o reszcie: Granite Switch nie znajduje się dziś w katalogu OrcaRouter i nie ma tam też żadnego innego modelu Granite — więc jeśli chcesz ten checkpoint, droga prowadzi przez własne wydanie dostawcy i własny sprzęt, a nie przez nas. To, co OrcaRouter faktycznie daje, to kontekst tej decyzji. Platforma kieruje ruchem ponad 200 modeli za jednym kluczem, z automatycznym przełączaniem awaryjnym, a przekazuje cenę katalogową dostawcy bez marży, bo 0%, więc gdy model, który testujesz, doczeka się hostowanego endpointu, porównanie go z obecnym rozwiązaniem na własnym ruchu to zmiana konfiguracji, a nie drugi kontrakt. Ma to największe znaczenie dokładnie w tej sytuacji: dwudniowy checkpoint bez niezależnej ewaluacji jest kandydatem, a nie obecnym rozwiązaniem, a najtańszą rzeczą, jaką można zrobić z kandydatem, jest trzymanie go w zestawieniu obok siebie, a nie przepinanie wokół niego produkcyjnej ścieżki.

Otwarte pytanie

Granite Switch 4.1 8B to zakład, że kompozycja wygrywa ze skalą w przypadku konkretnej klasy zadań: aplikacji, które muszą odpowiadać, decydować i transkrybować, gdzie uruchamianie trzech modeli oznacza trzy wdrożenia, trzy opóźnienia i trzy rachunki. Inżynieria, która czyni ten zakład tanim — współdzielona pamięć podręczna KV, przełączanie adapterów na poziomie tokenów, tokeny sterujące rozwiązywane w szablonie czatu — jest naprawdę nietypowa i to właśnie ta część tego wydania będzie miała znaczenie jeszcze za rok.

Nie jest jeszcze rozstrzygnięte, czy złożona odpowiedź jest dobra. Opublikowany profil adaptera decyzyjnego jest nierówny, ścieżka mowy obsługuje tylko język angielski i nie jest trenowana łącznie, a całość ma dwa dni i nie ma za sobą żadnego niezależnego uruchomienia. Przeczytaj manifest kompilacji, samodzielnie uruchom polecenie compose i przeprowadź benchmark adaptera decyzyjnego na własnym zbiorze etykiet, zanim uwierzysz w czyjekolwiek 42,9.