Gemini 4 Hydrogen kontra Claude Haiku 5.5: 15-krotna różnica cen, która zmniejsza się do 7-krotności w przeliczeniu na ukończone zadanie

W cenniku różnica jest absurdalna. Claude Haiku 5.5 kosztuje 0,10 USD za milion tokenów wejściowych i 0,50 USD za milion tokenów wyjściowych przy promptach do 100 000 tokenów; Gemini 4 Hydrogen kosztuje 1,50 USD i 7,50 USD. To piętnaście razy drożej w obu pozycjach — w przypadku modelu, który trafił do katalogu Google dopiero 12 listopada 2026 r. Jednak nikt, kto w tym tygodniu wybiera między nimi, nie wybiera między dwiema cenami. Wybiera między modelem, który uzyskuje 54 punkty w Artificial Analysis Intelligence Index, a takim, który uzyskuje 36 punktów, a liczba „piętnaście razy” rozpływa się w momencie, gdy zmierzysz, ile kosztuje ukończenie zadania, a nie jego rozpoczęcie, w przypadku każdego z nich.

Liczba na token i liczba na zadanie różnią się o połowę.

Artificial Analysis uruchamia oba modele w tym samym środowisku testowym i publikuje koszt na ukończone zadanie indeksowe obok ceny za token. Wyniki znacznie odbiegają od tego, co sugerują cenniki.

• Cena za token, dane wejściowe i wyjściowe — G​emini 4 Hydrogen $1.50 / $7.50 vs Claude Haiku 5.5 $0.10 / $0.50. Haiku jest 15.0x tańszy na wejściu i 15.0x tańszy na wyjściu, jednolicie.

• Za każde ukończone zadanie indeksowania — G​emini 4 Hydrogen: 3,16 USD przy najwyższym ustawieniu myślenia w porównaniu z Claude Haiku 5.5: 0,41 USD. Haiku jest 7,7x tańszy, a nie 15x.

• Dlaczego różnica zmniejsza się o połowę — gadatliwość. Haiku 5.5 wygenerował 298 milionów tokenów wyjściowych, aby przetworzyć indeks, w porównaniu ze 107 milionami dla medianowego modelu w swojej klasie porównawczej — Carbon i Hydrogen są mierzone względem mediany 72,8 mln, więc te dwie mediany nie są tą samą miarą. Jest tani w przeliczeniu na token i drogi w przeliczeniu na odpowiedź, ponieważ potrzeba znacznie więcej tokenów, aby uzyskać jedną.

• Stawka łączona przy tym samym podziale 7:2:1 na pamięć podręczną, wejście i wyjście — G​emini 4 Hydrogen 1,10 USD za milion vs Claude Haiku 5.5 0,077 USD za milion.

Przeczytaj razem dwa ostatnie wiersze, a argument dotyczący cen zmieni kształt. Zespół, który planuje budżet na podstawie cennika, będzie oczekiwał piętnastokrotnej oszczędności, a otrzyma nieco poniżej ośmiokrotnej. Zespół, który planuje budżet na podstawie kosztu na zadanie, otrzymuje rzeczywistą liczbę, a ta liczba wciąż zdecydowanie przemawia na korzyść Haiku — ale to liczba, na której można oprzeć planowanie, w przeciwieństwie do cennika.

W karcie Haiku kryje się próg, którego nie oddaje żadna z tych liczb. Wszystko powyżej dotyczy ceny dla poniżej 100 tys. tokenów. Po przekroczeniu 100 000 tokenów promptu Haiku 5.5 przechodzi na 0,50 USD za wejście i 2,50 USD za wyjście — pięciokrotny skok, który lokuje go dokładnie na jednej trzeciej ceny wyjścia Hydrogen, a nie na jednej piętnastej. Oba modele mają okno 1 048 576 tokenów, więc punkt przecięcia jest osiągalny, a nie teoretyczny: obciążenie z długim kontekstem stawia Haiku na 0,50/2,50 USD wobec 1,50/7,50 USD Hydrogen, a różnica na token zwęża się do 3x, podczas gdy różnica w możliwościach pozostaje dokładnie tam, gdzie była.

Co daje osiemnaście punktów indeksu w zadaniach, które ludzie faktycznie wykonują

Osiemnaście punktów indeksu to na papierze duża różnica. To, czy w praktyce jest to duża różnica, zależy wyłącznie od charakteru pracy, a benchmarki dostawców wskazują różne kierunki w zależności od tego, który się przeczyta.

• Praca agentowa w terminalu — Google podaje, że Gemini 4 Hydrogen osiąga 57,0% na Terminal-Bench 4.1, z korektą na oszustwa. Anthropic podaje, że Claude Haiku 5.5 osiąga 39,2% na Terminal-Bench 4.0. To różne wersje benchmarku, więc porównanie ma charakter orientacyjny, a nie ścisły, ale kierunek jest spójny i wyraźnie przemawia na korzyść Hydrogen.

• Obsługa komputera — Hydrogen osiąga 77,6% w OSWorld-2.1, według danych dostawcy; Haiku 5.5 osiąga 72,4% w podzbiorze offline tego samego benchmarku, również według danych dostawcy. Węższa przewaga Hydrogen, a zastrzeżenie o podzbiorze oznacza, że obie liczby nie mierzą do końca tego samego.

• Trudne rozumowanie bez narzędzi — Hydrogen osiąga 58,8% na HLE-Diamond; Haiku 5.5 osiąga 45,9% na Humanity's Last Exam bez narzędzi, a z narzędziami wzrasta do 57,4%. To najszersza rzetelna różnica w tej parze i to ta, która przekłada się na pytanie „czy ten model potrafi utrzymać trudny problem bez rusztowania”.

• Przegląd i naprawa kodu — Hydrogen: 66,6% w Chartography; Haiku 5.5: 46,4% w Chartography bez narzędzi. Dwadzieścia punktów, ta sama nazwa benchmarku, ten sam warunek braku narzędzi.

• Kodowanie Frontier — A​nthropic podaje, że Haiku 5.5 uzyskuje 46,4% w FrontierCode 1.1, oraz podaje wynik 66,2 w FrontierCode od Cognition, gdy Haiku 5.5 działa jako sidekick w Devin Fusion. Zwróć uwagę, że druga liczba dotyczy innej konfiguracji, a nie innego wyniku dla tego samego zadania, a A​nthropic obie liczby oznacza jako zgłoszone przez klientów, a nie jako dane własne.

Każda z powyższych liczb jest raportowana przez dostawcę, czyli firmę sprzedającą model. Żadna nie ma niezależnego odtworzenia, a wersje benchmarków różnią się wystarczająco, że sumowanie ich w jedno twierdzenie „Hydrogen jest o X% lepszy” byłoby nieuczciwe. To, co potwierdzają, jest węższe i bardziej użyteczne: Hydrogen jest znacznie lepszy w zadaniach, które trwają długo i korzystają z narzędzi; różnica jest najmniejsza, gdy zadanie to jedno ograniczone pytanie.

Oba wolno się uruchamiają, o czym nikt nie pisze w nagłówku.

To jest ta część porównania, która zaskakuje ludzi, którzy wybrali, kierując się ceną lub indeksem, a następnie obserwowali, jak nadchodzi pierwszy token.

• Czas do pierwszego tokenu odpowiedzi — G​emini 4 Hydrogen 40,55 sekundy przy najwyższym ustawieniu myślenia w porównaniu z Claude Haiku 5.5 175,95 sekundy przy najwyższym ustawieniu. Hydrogen zaczyna cztery razy szybciej, a obie liczby znacznie przekraczają to, co toleruje interaktywny interfejs.

• Prędkość generowania po rozpoczęciu — Claude Haiku 5.5: 256 tokenów na sekundę vs G​emini 4 Hydrogen: 188 tokenów na sekundę. Haiku pisze szybciej i zaczyna później.

• Średni czas na jedno zadanie indeksowania — Claude Haiku 5.5: 14,7 minuty. Oba modele osiągają podobne wyniki w przeliczeniu na ukończone zadanie, ale docierają tam przeciwnymi drogami.

• Przy domyślnym poziomie rozumowania Hydrogen czas do pierwszego tokenu spada do około 16,7 sekundy; to liczba istotna dla interfejsu czatu, a zarazem ustawienie, które daje wynik indeksu 51, a nie 54.

Jeśli budujesz cokolwiek, na co człowiek czeka, żadna z flagowych konfiguracji obu modeli nie jest odpowiednia. W szczególności Haiku 5.5 to model z regulowanym wysiłkiem — od Low do Max — a wartości 175,95 sekundy i indeks 36 dotyczą ustawienia Max. Przy niższym wysiłku zaczyna wcześniej i uzyskuje niższe wyniki, a Anthropic nie publikuje tabeli przyporządkowującej jedno do drugiego. To test, który musisz przeprowadzić sam.

To w buforowaniu tak naprawdę tkwi stosunek cen.

Dla dowolnego obciążenia ze stabilnym prefiksem — prompt systemowy, mapa repozytorium, zestaw dokumentów — buforowane dane wejściowe stanowią większość rachunku, a obie karty zachowują się na tyle różnie, że zmienia to kolejność porównania.

• Cena odczytu z pamięci podręcznej — Claude Haiku 5.5: 0,01 USD za milion, 90% zniżki względem stawki wejściowej 0,10 USD. G​emini 4 Hydrogen: 0,075 USD za milion, 95% zniżki względem stawki 1,50 USD.

• Mechanizm pamięci podręcznej — Claude Haiku 5.5 obsługuje jawne zapisy do pamięci podręcznej po 0,125 USD za milion, więc to Ty kontrolujesz, co jest buforowane i na jak długo. G​emini 4 Hydrogen obsługuje wyłącznie niejawne buforowanie, bez jawnych uchwytów pamięci podręcznej, więc zniżka jest zachowaniem usługi, a nie API, które wywołujesz.

• Co to oznacza — obciążenie ze współdzielonym prefiksem o długości 60 000 tokenów odczytywanym tysiąc razy dziennie kosztuje $0,60 dziennie na odczytach z pamięci podręcznej w Haiku i $4,50 w Hydrogen, czyli różnicę 7,5x zamiast 15x, ponieważ Hydrogen daje 95% zniżki, a Haiku 90%. Zwiększ ten sam prefiks do 200 000 tokenów, powyżej progu Haiku, a obraz się odwraca: odczyt z pamięci podręcznej w warstwie długiej Haiku kosztuje $0,05 za milion, więc odczyt kosztuje $10,00 w Haiku wobec $15,00 w Hydrogen, podczas gdy każdy świeży token wejściowy w tym żądaniu jest teraz trzykrotnie tańszy w Haiku. Luka w pamięci podręcznej zawęża się dokładnie tam, gdzie luka w danych wejściowych się poszerza, co nie jest wymianą, jakiej oczekuje obciążenie z długim kontekstem.

Asymetria ma największe znaczenie w przypadku obciążenia, w którym Hydrogen wypada najlepiej. Długie sesje agentowe z dużym, stabilnym kontekstem to dokładnie ten scenariusz, w którym pomaga niejawne buforowanie i w którym chciałoby się mieć jawną kontrolę nad tym, co pozostaje w pamięci. Haiku daje tę kontrolę i tańsze buforowanie przy każdej długości prefiksu; Hydrogen daje możliwości i prosi, by zaufać usłudze, że dostrzeże powtórzenia.

Trzy obciążenia, trzy różne odpowiedzi

Dalsze abstrahowanie byłoby niedźwiedzią przysługą, więc oto gdzie w praktyce przebiega ta granica.

Potok klasyfikacji lub ekstrakcji obejmujący miliony krótkich dokumentów to zadanie dla Haiku 5.5 i nie ma tu nawet porównania. Ograniczone wejście, ograniczone wyjście, brak narzędzi, brak długiego horyzontu: różnica w indeksie nie ma znaczenia, ponieważ zadanie jej nie wykorzystuje, a $0.10/$0.50 w porównaniu z $1.50/$7.50 to piętnastokrotna oszczędność na rachunku, który już jest dominującym kosztem. Przeniesienie tego do Hydrogen nic nie daje i kosztuje o rząd wielkości więcej.

Agent kodujący, który edytuje pliki, uruchamia testy i wychodzi z błędów, to obciążenie Hydrogena. Luki w Terminal-Bench i Chartography są bezpośrednim dowodem, a wskaźnik kosztu na zadanie — 3,16 USD wobec 0,41 USD — zaniża tę różnicę, ponieważ zadanie, którego Haiku nie potrafi ukończyć, ma nieskończony koszt na ukończenie, a nie niski. Porównanie ma zastosowanie tylko do zadań, które potrafią wykonać oba modele.

Nocny batch, który streszcza długie dokumenty, plasuje się w niejednoznacznym środku i rozstrzyga go próg 100K. Poniżej 100 000 tokenów na wywołanie Haiku jest piętnaście razy tańszy za token i około osiem razy tańszy za ukończone zadanie. Powyżej tej granicy cena Haiku rośnie pięciokrotnie, a uczciwa odpowiedź brzmi: przetestuj oba na własnym korpusie, ponieważ punkt przecięcia zależy od tego, jak duża część twojego wejścia to prompt, a jak duża to dokument.

Interaktywny asystent nie jest ani jednym, ani drugim. Oba modele są zbyt wolne, by startować przy maksymalnych ustawieniach, a właściwą konfiguracją dla interfejsu czatu jest Hydrogen na poziomie domyślnym albo Haiku z niższym ustawieniem wysiłku — porównanie dwóch obniżeń konfiguracji, którego prawie nikt nie bada w benchmarkach i które jest jedyną wersją tego pytania, jaka dociera do użytkownika.

Uruchamianie obu bez wcześniejszego wybierania zwycięzcy

Rozsądnym stanowiskiem dla większości zespołów jest to, że nie jest to migracja, lecz decyzja o routingu, a decyzje o routingu taniej jest odwrócić niż migracje.

OrcaRouter nie ma w swojej ofercie żadnego z tych dwóch modeli z najwyższej półki: Claude Haiku 4.5 jest w katalogu w cenie 1,00 USD i 5,00 USD za milion z oknem 200 000 tokenów, a Gemini 3.8 Flash w cenie 0,75 USD i 3,75 USD z pełnym oknem 1 048 576 tokenów — oba w cenie katalogowej dostawcy bez marży (0%), na jednym kluczu, z automatycznym przełączaniem awaryjnym między dostawcami. Haiku 5.5 i Hydrogen pochodzą z własnych API ich dostawców. Realnym rozwiązaniem jest więc polityka routingu: Hydrogen wywoływany bezpośrednio w turach wykonawczych o długim horyzoncie, gdzie jego przewaga w benchmarkach jest rzeczywista, Haiku 5.5 wywoływany bezpośrednio w masowych, ograniczonych wywołaniach, gdzie jego cena jest rzeczywista, a za oboma model kierowany przez router jako ścieżka, na którą żądanie przechodzi awaryjnie, gdy którykolwiek z dostawców ograniczy przepustowość, podniesie limit zapytań lub wprowadzi zmianę ceny.

Ta ostatnia klauzula nie jest hipotetyczna. Karta Google'a już przewiduje podwojenie cen Gemini 4 Carbon i Gemini 4 Argon na 1 grudnia 2026 r., z 2,00 USD/10,00 USD na 4,00 USD/20,00 USD, podczas gdy Hydrogen nie ma żadnego etapu z datą. Anthropic zmienił już cenę Haiku raz w tym cyklu, obniżając ją o około 90% w warstwie poniżej 100 tys., gdy 5.5 zastąpiło 4.5. Warstwa routingu, która przekazuje cenę katalogową dostawcy bez marży, sprawia, że te zmiany docierają do Ciebie w dniu ich wprowadzenia, a nie przy kolejnym odnowieniu umowy — co w przypadku porównania, którego całym argumentem jest cena, jest funkcją, która ma znaczenie.

Co zmieniłoby tę odpowiedź?

Trzy rzeczy, uszeregowane według tego, jak bardzo by to zmieniły.

Niezależne odtworzenie różnicy w Terminal-Bench. Każdy powyższy wynik dotyczący agentów jest raportowany przez dostawców po obu stronach, na różnych wersjach benchmarku, a największe pojedyncze uzasadnienie premii cenowej Hydrogen opiera się na liczbach, których audytu nie zleciła żadna z firm. Artificial Analysis publikuje indeks dla obu modeli, ale nie publikuje wyników cząstkowych dla poszczególnych benchmarków, które rozstrzygnęłyby tę kwestię.

Opublikowana krzywa jakości w zależności od wysiłku dla Haiku 5.5. Jeśli Low effort utrzymuje większość wyniku ustawienia Max przy ułamku opóźnienia, przypadek interakcyjny się zawęża, a przewaga cenowa rozprzestrzenia się w górę na obciążenia obecnie przypisane do Hydrogen. A​nthropic udostępnia ustawienie, a nie tabelę.

Ruch na karcie Hydrogena. Obecnie nie ma żadnego, co jest nietypowe w rodzinie, w której dwóch z trzech członków podwaja się w ciągu trzech tygodni. Jeśli to się zmieni, wskaźnik kosztu na zadanie — jedyna liczba, która czyni to porównanie interesującym — przesunie się wraz z nim, a 7,7x stanie się czymś zupełnie innym.

Dopóki któreś z nich się nie pojawi, uzasadnionym podsumowaniem jest to, które potwierdza niezależny harness, a nie to, które sugeruje cennik: Haiku 5.5 jest od siedmiu do piętnastu razy tańszy w zależności od tego, czy liczyć tokeny, czy ukończone zadania, Hydrogen jest zdecydowanie lepszy w wszystkim, co działa długo i używa narzędzi, a jedyną liczbą, która powinna decydować o podziale, jest to, ile każdy z nich kosztuje cię na zadanie, które faktycznie możesz ukończyć.