Wygenerowana karta tytułowa z napisem „Gemini 4 Neon vs Claude Haiku 5.5”, podtytułem „Końce jednej drabiny”, z dwoma zwróconymi do siebie pionowymi stosami szczebli — po jednym pod każdą nazwą modelu — oraz wierszem „Dziewięć ustawień, jeden indeks” pod nimi.
Engineering & Research

Gemini 4 Neon kontra Claude Haiku 5.5: Dwa końce jednej drabiny

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Postaw G​emini 4 Neon i Claude H​aiku 5.5 obok siebie na karcie specyfikacji, a porównanie będzie wyglądać jak niedopasowanie: trzydzieści razy wyższa cena wejścia, trzydzieści razy wyższa cena wyjścia i model kosztujący jedną dziesiątą centa za tysiąc tokenów w zestawieniu z takim, który kosztuje trzy. Potem zauważasz, że oba modele są sprzedawane jako drabiny, a nie jako pojedyncze punkty. Neon ma cztery poziomy myślenia i domyślnie wysoki; H​aiku 5.5 ma pięć i domyślnie średni. Gdy porównasz szczebel ze szczeblem zamiast kartę z kartą, trzydziestokrotny stosunek przestaje być interesującą liczbą, a kształt obu drabin staje się rzeczą wartą dyskusji.

Oba modele są aktualne. Claude H​aiku 5.5 osiągnął ogólną dostępność 7 października 2026 r. w cenie 0,10 USD za milion tokenów wejściowych i 0,50 USD za milion tokenów wyjściowych; G​emini 4 Neon został wydany 18 listopada 2026 r. w cenie 3,00 USD i 15,00 USD. Oba mają okno kontekstu wynoszące 1 mln tokenów, oba obsługują tekst i obrazy oraz oba pobierają odpowiednio 0,01 USD i 0,15 USD za buforowane dane wejściowe — ta sama 95-procentowa zniżka zastosowana do bardzo różnych stawek podstawowych.

Dwie drabiny, dziewięć ustawień

Artificial Analysis ocenia każdy poziom obu modeli na tym samym dziewięcioczęściowym zestawie ewaluacyjnym — AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 i Terminal-Bench-Science 0.1 — i publikuje koszt na zadanie dla każdego z nich. Daje to dziewięć porównywalnych punktów zamiast dwóch, a koszt na zadanie jest mierzony, a nie wyliczany z cennika, więc już uwzględnia, ile tokenów każdy model decyduje się zużyć.

• Neon na poziomie low — 44.1, 0,75 USD za zadanie.

• Neon na średnim — 54,9, 1,90 USD.

• Neon na poziomie wysokim (domyślnym) — 59,6, 3,74 USD.

• Neon przy xhigh — 61,4, 6,44 USD.

• H​aiku 5.5 przy niskim poziomie — 18,6, 0,044 USD.

• H​aiku 5.5 w trybie średnim (domyślnym) — 24.6, $0.092.

• Haiku 5.5 przy ustawieniu wysokim — 29,9, 0,159 USD.

• Haiku 5.5 przy xhigh — 34,6, 0,248 USD.

• Haiku 5.5 przy maks. — 36,5, 0,411 USD.

Dwie rzeczy od razu wynikają z listy. Najtańszy szczebel Neona uzyskuje o 7,6 punktu lepszy wynik niż najdroższy szczebel H​aiku, a najdroższy szczebel Neona kosztuje 15,7 razy więcej niż najdroższy szczebel H​aiku, a nie 30 razy, jak sugerują cenniki. Żadna z tych rzeczy nie jest artefaktem zaokrąglenia; obie mają to samo źródło, a mianowicie to, że oba modele bardzo różnie zużywają tokeny w górnej części swoich zakresów.

Artificial Analysis model page for Claude Haiku 5.5 at Max effort, showing an Intelligence Index of 36, $0.10 input and $0.50 output per million tokens, $0.41 per Intelligence Index task, 298 million output tokens on the index against a 90-million median, 282 tokens per second, 180.94 seconds to first answer token, a default effort of medium and a 1M-token context window.

Co oznacza „High” na każdej karcie

Słownictwo to pierwsza pułapka. W Neon wysokie to poziom, z którym model jest dostarczany — ten, który otrzymujesz, jeśli nie przekażesz parametru myślenia. W H​aiku 5.5 wysokie to trzeci z pięciu poziomów, a domyślny to średni. Zatem porównanie zapisane jako „Neon wysokie kontra H​aiku wysokie” porównuje ustawienie domyślne z niedomyślnym i daje 29,7-punktową różnicę, której żaden z dostawców nie uznałby za główny wynik.

Porównaj faktyczne ustawienia domyślne — Neon na high, H​aiku na medium — a różnica rośnie do 35,0 punktu, ponieważ domyślne ustawienie H​aiku znajduje się o jeden szczebel niżej, niż sugeruje jego nazwa. Porównaj szczyty obu drabinek — xhigh z max — a zwęża się do 24,9 punktu. To dziesięciopunktowe wahnięcie wynikające wyłącznie z tego, którą parę ustawień zdecydowano się nazwać porównaniem, i jest większe niż różnica między kilkoma sąsiednimi modelami w tej samej tabeli rankingu.

Dopasowane szczeble i co robi luka

Gdy ułożysz szczeble według nazwy, luka indeksowa przesuwa się w wąskim przedziale od 25,5 do 30,3 punktu, bez trendu w żadnym kierunku:

• Na niskim poziomie — Neon 44,1 wobec Haiku 18,6, różnica 25,5 punktu, 17,0x kosztu na zadanie.

• Na poziomie średnim — 54,9 wobec 24,6, 30,3 punktu, 20,8x.

• Przy wysokim — 59,6 wobec 29,9, 29,7 punktu, 23,6x.

• Na czele — 61,4 wobec 34,6, 26,8 punktu, 25,9x.

Luka w inteligencji jest stabilna. Stosunek kosztów już nie: rośnie z 17x do 26x w miarę przechodzenia w górę drabiny, ponieważ Neon pobiera więcej za każdy dodatkowy punkt myślenia niż H​aiku. Przesunięcie H​aiku z high do xhigh daje 4,7 punktu indeksu za 56 procent więcej na zadanie. Przesunięcie Neon z high do xhigh daje 1,8 punktu za 72 procent więcej. W ujęciu marginalnym to tańszy model daje lepszy zwrot — co jest przeciwieństwem tego, czego można by oczekiwać po trzydziestokrotnym stosunku stawek z cennika.

Piąty szczebel to miejsce, w którym twierdzenie się załamuje

H​aiku 5.5 ma poziom, którego Neon nie ma: max. Jest to także poziom o najgorszym stosunku wartości do ceny w ofercie obu modeli. Od xhigh do max H​aiku zyskuje 1,85 punktu indeksu, a jego koszt na zadanie rośnie z 0,248 USD do 0,411 USD — wzrost o 66 procent przy poprawie o 5 procent. W tym samym kroku jego zmierzony czas do pierwszego tokenu odpowiedzi skacze z 46,2 sekundy do 180,9 sekundy, czyli około czterokrotnie.

To nie jest wada charakterystyczna wyłącznie dla H​aiku. Tak wygląda dodatkowy poziom rozumowania, gdy środowisko testowe wyczerpało łatwe zwycięstwa: model wciąż myśli i przestaje się poprawiać. Oznacza to jednak, że każdy, kto podaje wynik 36,5 dla H​aiku 5.5, podaje tę jedyną konfigurację tego modelu, która wiąże się z czterokrotnie większym opóźnieniem niż konfiguracja poniżej, a każdy, kto podaje 61,4 dla Neon, podaje tego samego rodzaju sufit z tego samego rodzaju powodu. Obie liczby z nagłówków to najwyższy szczebel drabiny, która pod koniec staje się stroma.

Generated nine-bar horizontal chart titled Nine settings, one index, with Neon's four bars at 44.1, 54.9, 59.6 and 61.4 followed by Haiku 5.5's five bars at 18.6, 24.6, 29.9, 34.6 and 36.5 on a 0 to 65 AA Index axis, and a dashed reference line at 54.9 labelled Neon medium clears Haiku's ceiling. The footer reads Intelligence Index and thinking levels per Artificial Analysis v5.0.1, 18 November 2026 release.

Tokeny rozumowania to ukryta kolumna

Liczby kosztów na zadanie mają sens, gdy spojrzy się na to, ile każdy model zapisuje u siebie. W przebiegach indeksowych Neon w trybie xhigh generuje około 80 500 tokenów rozumowania i 61 100 tokenów odpowiedzi na zadanie. Haiku 5.5 w trybie max generuje około 172 800 tokenów rozumowania i 53 200 tokenów odpowiedzi.

A więc model z trzydziestokrotną stawką zapisuje mniej niż połowę tyle rozumowania co model z dziesięciocentową stawką, na szczycie obu drabinek. H​aiku rekompensuje mniejszy model dłuższym myśleniem; Neon rekompensuje wyższą cenę krótszym myśleniem. Dlatego stosunek na zadanie wynoszący 15,7x jest tak daleko poniżej 30x sugerowanego przez cennik i dlatego jest najwyższy przy high — na szczeblu, gdzie nawyk tokenowy Neon jest najbliższy nawykowi H​aiku, a całą pracę wykonuje jego cennik.

Druga kolumna w tym samym panelu dotyczy fabrykacji. W AA-Omniscience wskaźnik halucynacji Neon w ustawieniu domyślnym wynosi 13,9 proc.; H​aiku 5.5 w ustawieniu domyślnym ma 40,4 proc., a przy maksimum 34,2 proc. To dwu- do trzykrotna różnica w tym, jak często model twierdzi coś, czego źródło nie potwierdza, i w przeciwieństwie do indeksu prawie nie poprawia się, gdy H​aiku wspina się po swojej drabinie. Jeśli w Twoim obciążeniu pracą błędny fakt jest kosztowny do wychwycenia, luka w indeksie raczej zaniża niż zawyża argumenty za Neonem.

Gdzie tani model przestaje być tani

H​aiku 5.5 ma realną przewagę cenową i jest ona największa tam, gdzie praca jest krótka. Wywołanie klasyfikacji, decyzja o trasowaniu, przepisanie akapitu, ekstrakcja z formularza — cokolwiek, gdzie na wyjściu jest kilkaset tokenów — kosztuje ułamki centa na H​aiku i coś bliżej centa na Neon. Przy takim rozmiarze stosunek 30x jest niemal dosłowny, a różnica w indeksie nie ma znaczenia, ponieważ oba modele z łatwością spełniają próg.

Przewaga maleje wraz z wydłużaniem się zadania i maleje z dwóch powodów, które się kumulują. Koszt przypadający na zadanie w Neon jest zdominowany przez dane wejściowe, odczyty z pamięci podręcznej i zapisy do niej — w przebiegach indeksowania przy wysokim obciążeniu dane wejściowe stanowią 64 procent rachunku — więc długi, stabilny prefiks przesuwa efektywną stawkę Neon w stronę jego ceny pamięci podręcznej wynoszącej $0.15. Haiku otrzymuje taką samą 95-procentową zniżkę na pamięć podręczną, ale od stawki bazowej, która jest już bardzo niska, więc jest mniej do oszczędzenia. A w pracy wymagającej kilku etapów planowania drabinka Haiku kończy się poniżej poziomu, na którym znajduje się domyślne ustawienie Neon, co oznacza, że żadna ilość tanich tokenów nie kupi odpowiedzi.

Jest jeszcze trzeci efekt, który warto nazwać, ponieważ łatwo go przeoczyć: zmierzone Elo briefcase — inny harness, oceniany osobno względem indeksu — faktycznie sprzyja H​aiku na szczycie, ale z węższą przewagą niż indeks. Neon xhigh uzyskuje 1699 przy 95-procentowym przedziale od 1688 do 1710; H​aiku max uzyskuje 1572. Na domyślnych szczeblach różnica wynosi 1632 wobec 1441. Tak więc drugi, niezależny harness zgadza się co do kierunku, a nie zgadza się co do wielkości, co jest normalnym stanem rzeczy i powodem, by sprawdzić dwie tabele liderów przed standaryzacją.

A jest jeszcze czwarty, który cennik całkowicie ukrywa. H​aiku 5.5 wycenia w dwóch przedziałach: $0.10 i $0.50 za milion do promptu o długości 100 000 tokenów, a powyżej – $0.50 i $2.50, przy czym odczyt z pamięci podręcznej rośnie z $0.01 do $0.05. Próg liczy całe wejście, w tym odczyty i zapisy do pamięci podręcznej, więc długi kontekst łatwo go przekracza. Wtedy cena wejścia H​aiku jest pięciokrotnie wyższa niż mówi nagłówek, cena wyjścia też jest pięciokrotnie wyższa, a stosunek do płaskich stawek Neon: $3.00 i $15.00 — które nie zmieniają się na żadnym progu — wynosi już nie trzydziestokrotność, lecz sześciokrotność, a w przypadku wyjścia trzykrotność. Kto porównuje oba cenniki po nominalnej wartości, porównuje cenę dwuprzedziałową z jednoprzedziałową i traktuje pierwszy przedział jako pełny obraz sytuacji.

Reguła decyzyjna, która przetrwa kolejne szczeble

Cztery zasady, w kolejności, która ma znaczenie:

• Jeśli zadanie jest krótkie, a odpowiedź można sprawdzić, wybierz H​aiku 5.5 na poziomie średnim lub niskim i przestań czytać. Przy takim rozmiarze luka w indeksie nie jest ograniczeniem, a różnica w cenie jest ogromna.

• Jeśli zadanie wymaga wieloetapowego planowania lub zmian kodu na poziomie repozytorium, problemem jest sufit H​aiku, a nie jego cena. Jego najlepszy wariant uzyskuje 36,5; domyślny wariant Neon uzyskuje 59,6. W tym momencie nie wymieniasz kosztu na jakość — wymieniasz działającą odpowiedź na tanią.

• Jeśli już korzystasz z Neon, nie ustawiaj domyślnie xhigh. Przejście z high na xhigh kosztuje o 72 procent więcej na zadanie w zamian za 1,8 punktu indeksu i 16 sekund dodatkowego czasu do pierwszego tokenu. Większość potoków lepiej działa z medium, które wynosi 54,9 przy połowie ceny domyślnego ustawienia.

• Jeśli korzystasz z H​aiku, nie zakładaj max. To czwarta najlepsza wartość na obu drabinkach, a różnica między nią a high wynosi 6,6 punktu indeksu przy 2,6 razy większym koszcie.

Żaden z tych modeli nie znajduje się w OrcaRouterowym katalogu dziś, więc nic z tego nie jest zachętą do przeniesienia któregokolwiek z nich na nasz klucz. To, co oferujemy — w cenie katalogowej dostawcy, bez marży — to Claude Haiku 4.5 w cenie 1,00 USD i 5,00 USD za milion oraz Gemini 4 Carbon w cenie 2,00 USD i 10,00 USD — poprzednicy po każdej ze stron. Jeśli powyższa arytmetyka szczebli to coś, co chcesz przetestować na własnym ruchu, a nie na leaderboardzie, przydatnym posunięciem jest uruchomienie taniego szczebla modelu, który już możesz wywołać, przeciwko drogiemu szczeblowi tego, którego rozważasz, na jednym kluczu, z awaryjnym przełączaniem pod spodem, na wypadek gdyby tani szczebel okazał się nie przechodzić poprzeczki.

Uczciwe podsumowanie jest takie, że te dwa modele tak naprawdę nie konkurują. Jeden to planista klasy frontier sprzedawany z premią, a drugi to pracownik do dużego wolumenu sprzedawany blisko dolnej granicy cen, i to, że ich drabiny pokrywają się nazwami, a nie zakresem, sprawia, że porównanie wydaje się bliższe, niż jest w rzeczywistości. Porównaj krańce — średni wariant Neon z maksymalnym wariantem H​aiku — a otrzymasz 54,9 za 1,90 USD wobec 36,5 za 0,41 USD. Osiemnaście punktów za czteroipółkrotnie większe pieniądze to decyzja o tym, ile zadanie jest warte, a nie o tym, który model jest lepszy.

Artificial Analysis model page for Gemini 4 Neon at Xhigh effort, showing an Intelligence Index of 61, $3.00 input and $15.00 output per million tokens, $6.44 per Intelligence Index task, 283 million output tokens on the index against a 65.4-million median, 110 tokens per second, 56.54 seconds to first answer token, a default effort of high and a 1M-token context window.