Claude Haiku 5.5 vs Gemma 4 12B: model z wagami, które możesz trzymać u siebie, kontra API dostawcy

Claude Haiku 5.5 i G​emma 4 12B nie konkurują tak naprawdę o to samo miejsce, a najszybszym sposobem, by to zobaczyć, jest jedna linijka: jeden z nich trafia do użytku jako wagi Apache-2.0, które możesz pobrać, skwantyzować i uruchomić na własnym sprzęcie, a drugi istnieje wyłącznie za API. Claude Haiku 5.5 pojawił się 7 października 2026 i natychmiast na nowo zdefiniował to, co może osiągnąć niska klasa — 43 w niezależnym Artificial Analysis Intelligence Index. G​emma 4 12B plasuje się na 14. miejscu na tej samej liście. Ta różnica jest ogromna i nie jest powodem, dla którego większość zespołów ostatecznie wybiera między nimi.

Wybór jest zwykle wymuszony, zanim w ogóle spojrzy się na jakikolwiek benchmark: regulowany potok przetwarzania, który nie może wysyłać tokenów do dostawcy, urządzenie brzegowe bez niezawodnego wyjścia na zewnątrz, budżet opóźnień mierzony w milisekundach albo wymóg dostrajania, którego zamknięte API nigdy nie spełni. Jeśli żaden z tych przypadków cię nie dotyczy, odpowiedź nie jest nawet bliska. Jeśli któryś tak, różnica w wynikach przestaje mieć znaczenie, a o wszystkim decyduje ograniczenie wdrożeniowe.

Co zmierzył zarząd i kiedy

Niezależne liczby poniżej pochodzą z Artificial Analysis, a stawki dostawców pochodzą z własnej dokumentacji Anthropic i Google. To dwa różne rodzaje liczb i są tak oznaczone w całym tekście.

• Niezależny wynik — Claude Haiku 5.5 z wynikiem 43 w Intelligence Index, drugi spośród 182 modeli. G​emma 4 12B (Reasoning) z wynikiem 14, 21. na 142 w swojej klasie. Różnica 29 punktów.

• Cena za milion tokenów wejściowych — Claude Haiku 5.5 0,10 USD do 100 000 tokenów i 0,50 USD powyżej; Gemma 4 12B 0,10 USD.

• Cena za milion tokenów wyjściowych — Claude Haiku 5.5: 0,50 USD do 100 000 tokenów i 2,50 USD powyżej; G​emma 4 12B: 0,30 USD.

• Okno kontekstu — 1 000 000 tokenów dla Claude Haiku 5.5; 262 000 dla G​emma 4 12B.

• Przepustowość — 240,4 tokenów wyjściowych na sekundę dla Claude Haiku 5.5; 113,1 dla G​emma 4 12B, przy 2,48-sekundowym czasie do pierwszego tokenu.

• Koszt na ukończone zadanie Index — 0,21 USD dla Claude Haiku 5.5. G​emma 4 12B jest na tyle tania w przeliczeniu na token, że mieszany wskaźnik tablicy wyników wynosi 0,12 USD za milion tokenów, ale wyliczony koszt na zadanie nie jest liczbą, która powinna rozstrzygać to porównanie.

• Wagi — licencja Apache 2.0 dla Gemma 4 12B, do pobrania, gęsty model o około 12 miliardach parametrów. Claude Haiku 5.5 jest własnościowy; nie ma wydania wag i nie jest ono planowane.

• Wiek — G​emma 4 12B jest dostępna od czerwca 2026. Claude Haiku 5.5 ma dwa dni w momencie pisania tego tekstu.

Różnica wynosi 29 punktów, a różnica w cenie to niemal nic.

Spójrz jeszcze raz na dwa wiersze z cenami: $0.10 za wejście w obu przypadkach i $0.30 kontra $0.50 za wyjście. G​emma 4 12B jest tańsza, a różnica jest tak mała, że zostanie zdominowana przez liczbę tokenów — nowszy tokenizator Claude Haiku 5.5 sprawia, że ten sam tekst zajmuje około 30% więcej tokenów, więc czysta przewaga 40% w stawce za wyjście po stronie modelu G​emma na rzeczywistym rachunku niemal się znosi.

A więc płacisz niemal taką samą stawkę za model słabszy o 29 punktów Index albo płacisz niemal taką samą stawkę za model lepszy o 29 punktów Index, w zależności od tego, którą kolumnę przeczytasz najpierw. To jest uczciwe ujęcie sprawy i należy je powiedzieć wprost: w każdym zadaniu, które potrafią wykonać oba modele, Claude Haiku 5.5 jest lepszym zakupem w cenie katalogowej i jest lepszy o przewagę, której nie zniweluje żadna ilość prompt engineeringu na mniejszym modelu.

Ciekawym pytaniem nie jest więc „co jest lepsze”. Jest nim „które z zadań w mojej kolejce Gemma 4 12B oblewa”, a odpowiedź na to jest jedyną rzeczą, która decyduje o tym porównaniu.

Co dają ci wagi, czego nie może dać API?

Pobrany model to inny rodzaj zasobu, a jego zalety mają charakter strukturalny, a nie przyrostowy.

• Granica danych — w przypadku G​emma 4 12B nie ma w ogóle żadnego dostawcy w łańcuchu. W przypadku obciążeń związanych z ochroną zdrowia, prawem, obronnością lub finansami jest to często jedyny wymóg, który ma znaczenie, a żaden wynik nie sprawi, że API będzie akceptowalne.

• Koszt stały zamiast zmiennego — gęsty model 12B skwantyzowany do czterech bitów z zapasem mieści się na pojedynczym nowoczesnym akceleratorze. W tym momencie koszt krańcowy na token to prąd, a obciążenie można wymiarować względem maszyny, a nie licznika.

• Brak ruchu wychodzącego, brak opóźnień sieciowych — lokalny model 12B odpowiada w milisekundach, ponieważ nic nie opuszcza maszyny. API dostawcy ponosi opóźnienie rundy w obie strony i ogon zimnego startu, których wdrożenie brzegowe po prostu nie ma.

• Dostrajanie i destylacja — możesz zaadaptować G​emma 4 12B na własnych danych, dostarczyć adapter i zamrozić go. To, czy A​nthropic kiedykolwiek pozwoli ci dostroić model klasy Haiku, nie jest czymś, na czym można oprzeć roadmapę.

• Gwarantowana podstawa dla twojej roadmapy — wagi nie mogą zostać wycofane spod ciebie. Anthropic zobowiązało się nie wycofywać Claude Haiku 5.5 przed 7 października 2027 r., co jest hojne, ale zobowiązanie z datą to wciąż zobowiązanie z datą.

• Co dziwne, modalność — zestawienie odnotowuje, że G​emma 4 12B przyjmuje tekst, obraz, mowę i wideo na wejściu, aby generować tekst, co stanowi szerszy zakres wejścia niż tekst i obraz w Claude Haiku 5.5. W przypadku lokalnego pipeline’u, który przyjmuje dźwięk bez osobnej usługi transkrypcji, jest to realna możliwość, której strona API nie ma.

Gdzie 12B nie przetrwa kontaktu

Ten sam ranking, który mierzy 29-punktową różnicę, odnotowuje również rzeczy, których mały gęsty model nie potrafi robić dobrze, a pomijanie ich byłoby nieuczciwe:

• Długi kontekst — 262 000 tokenów wobec 1 000 000. Potok, który wpycha bazę kodu albo rok rekordów do jednego promptu, nie ma szans na Gemma 4 12B, a dzielenie go na fragmenty w pętli wyszukiwania dodaje pracy inżynieryjnej, której większe okno pozwoliłoby uniknąć.

• Praca agentowa i praca z użyciem komputera — klasa zadań, w której awaria małego modelu przebiega po cichu i jest kosztowna. Własne dane producenta Anthropic dla Claude Haiku 5.5 wskazują dla OSWorld 2.1 wynik 72,4% wobec 15,7% dla poprzedniego Haiku; model 12B ze wskaźnikiem 14 nie jest narzędziem do tego zadania, a liczby producenta są tu użytecznym sygnałem, nawet jeśli uwzględnić, że żadne niezależne uruchomienie ich nie odtworzyło.

• Przepustowość na dolara we współdzielonej flocie — 113 tokenów na sekundę na hostowanej instancji jest w porządku, ale powodem samodzielnego hostowania nie jest szybkość, a wdrożenie na pojedynczym GPU będzie jeszcze wolniejsze.

• Brak rozwiązania zapasowego — jeśli uruchamiasz G​emma 4 12B na produkcji, awaria własnego sprzętu jest Twoją awarią i nie masz drugiego dostawcy, do którego mógłbyś się przełączyć, chyba że sam go zbudujesz.

Przepuszczanie któregokolwiek z nich przez jeden endpoint

OrcaRouter ma dziś w katalogu Gemma 4 31B i Gemma 4 26B-A4B w cenie katalogowej Google z 0% marży, ale nie model 12B — i warto powiedzieć to wprost, zamiast sugerować coś przeciwnego. Model 12B jest dostępny poprzez własną dystrybucję dostawcy oraz kilka platform zewnętrznych. Claude Haiku 5.5 również nie ma jeszcze w katalogu; jest dostępny przez API A​nthropic i główne chmury.

To, co router rzeczywiście oferuje, to kształt, którego to porównanie faktycznie wymaga. Rozsądne wdrożenie taniego modelu lokalnego i drogiego modelu API nie jest rozgałęzieniem — to trasa: G​emma 4 12B lub hostowany wariant G​emma 4 obsługuje łatwą większość, a zapytania, które wyzwalają warunek jakości lub długości, są eskalowane do odnogi A​nthropic. Claude Haiku 4.5, Claude Sonnet 5.5 i Claude Opus 5.5 są już w katalogu, więc ścieżka eskalacji może być zbudowana i przetestowana pod obciążeniem, zanim odnoga małego szczebla będzie w ogóle dostępna. W OrcaRouter ta kompozycja to wyrażenie DSL routingu i automatyczne przełączanie awaryjne a nie usługa, którą utrzymujesz, a ponieważ ceny katalogowe dostawców są przekazywane z 0% marży, zmiana ceny na dowolnej odnodze obowiązuje tego samego dnia, w którym następuje.

Zasada

Wybierz Claude Haiku 5.5, chyba że wyklucza go jakieś ograniczenie. Wyprzedza G​emma 4 12B o 29 punktów Index przy zbliżonej cenie katalogowej, obsługuje milion tokenów kontekstu i jest mocniejszym modelem w każdym zadaniu, którego oba mogą się podjąć. Nie ma wersji tego porównania, w której 12B wygrywa merytorycznie.

Wybierz G​emma 4 12B, gdy ograniczenie jest sednem — gdy tokeny nie mogą opuścić twojej infrastruktury, gdy budżet to maszyna, a nie licznik, gdy musisz dostroić model, albo gdy potrzebujesz wag w ręku, a nie cennika i daty wycofania. To nie są preferencje, to wymagania, a wobec wymagania 29-punktowa różnica po prostu nie jest liczbą rozstrzygającą.