Genererat titelkort med texten Gemini 4 Neon vs Claude Haiku 5.5, underrubriken Ändarna av en stege, med två vertikala stegpinnsstaplar som vetter mot varandra – en under varje modellnamn – och raden Nio inställningar, ett index under dem.
Engineering & Research

Gemini 4 Neon vs Claude Haiku 5.5: Ändarna på en stege

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Sätt G​emini 4 Neon och Claude H​aiku 5.5 bredvid varandra i ett specifikationsblad, och jämförelsen ser ut som en missmatchning: trettio gånger indatapriset, trettio gånger utdatapriset, och en modell som kostar en tiondels cent per tusen tokens mot en som kostar tre. Sedan lägger man märke till att båda modellerna säljs som stegar snarare än som enskilda punkter. Neon har fyra tänknivåer och är som standard hög; H​aiku 5.5 har fem och är som standard medel. När man jämför steg mot steg i stället för kort mot kort slutar det trettiofaldiga förhållandet att vara den intressanta siffran, och formen på de två stegarna blir det som är värt att diskutera.

Båda modellerna är aktuella. Claude H​aiku 5.5 nådde allmän tillgänglighet den 7 oktober 2026 till $0.10 per miljon indatatoken och $0.50 per miljon utdatatoken; G​emini 4 Neon släpptes den 18 november 2026 till $3.00 och $15.00. Båda har ett kontextfönster på 1 miljon token, båda accepterar text och bilder, och båda tar $0.01 respektive $0.15 för cachad indata – samma rabatt på nittiofem procent tillämpad på mycket olika baspriser.

Två stegar, nio inställningar

Artificial Analysis poängsätter varje nivå av båda modellerna på samma niodelade utvärderingsset – AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 och Terminal-Bench-Science 0.1 – och publicerar en kostnad per uppgift för var och en. Det ger nio jämförbara punkter i stället för två, och kostnaden per uppgift mäts i stället för att härledas från prislistan, så den inräknar redan hur många tokens varje modell väljer att förbruka.

• Neon på låg — 44,1, 0,75 USD per uppgift.

• Neon vid medium — 54,9, 1,90 $.

• Neon vid hög (standard) — 59,6, 3,74 $.

• Neon vid xhigh — 61,4, 6,44 $.

• H​aiku 5.5 på låg — 18,6, $0,044.

• Haiku 5.5 på medel (standard) — 24,6, $0,092.

• H​aiku 5.5 vid hög — 29,9, $0,159.

• Haiku 5.5 vid xhigh — 34.6, $0.248.

• H​aiku 5.5 som mest — 36,5, 0,411 USD.

Två saker framgår omedelbart av listan. Neons billigaste nivå överträffar Haikus dyraste med 7,6 poäng, och Neons dyraste nivå kostar 15,7 gånger så mycket som Haikus dyraste i stället för de 30 gånger som prislistorna antyder. Ingen av dessa är en avrundningsartefakt; båda kommer från samma ställe, nämligen att de två modellerna använder tokens mycket olika i toppen av sina intervall.

Artificial Analysis model page for Claude Haiku 5.5 at Max effort, showing an Intelligence Index of 36, $0.10 input and $0.50 output per million tokens, $0.41 per Intelligence Index task, 298 million output tokens on the index against a 90-million median, 282 tokens per second, 180.94 seconds to first answer token, a default effort of medium and a 1M-token context window.

Vad 'High' innebär på varje kort

Vokabulären är den första fällan. På Neon är high den nivå som modellen levereras med – den man får om man inte skickar någon tänkparameter. På H​aiku 5.5 är high den tredje av fem och standard är medium. Så en jämförelse skriven som "Neon high versus H​aiku high" jämför en standard med en icke-standard, och den ger en skillnad på 29,7 punkter som ingen av leverantörerna skulle känna igen som huvudresultatet.

Jämför de faktiska standardinställningarna – Neon på high, H​aiku på medium – och gapet vidgas till 35,0 punkter, eftersom H​aikus standard ligger ett steg lägre än namnet antyder. Jämför topparna på de två stegarna – xhigh mot max – och det krymper till 24,9 punkter. Det är en svängning på tio punkter som helt och hållet drivs av vilket par av inställningar du valde att kalla jämförelsen, och den är större än gapet mellan flera närliggande modeller på samma topplista.

Matchade steg, och vad gapet gör

Om man ordnar stegpinnarna efter namn rör sig indexgapet inom ett smalt band, från 25,5 till 30,3 punkter, utan någon trend i någon riktning:

• Vid låg — Neon 44,1 mot H​aiku 18,6, en skillnad på 25,5 punkter, 17,0 gånger kostnaden per uppgift.

• På medel — 54,9 mot 24,6, 30,3 poäng, 20,8x.

• Vid hög — 59,6 mot 29,9, 29,7 punkter, 23,6x.

• I topp — 61,4 mot 34,6, 26,8 poäng, 25,9x.

Intelligensklyftan är stabil. Kostnadsförhållandet är det inte: det stiger från 17x till 26x när man klättrar uppåt i skalan, eftersom Neon tar mer betalt per ytterligare tankepoäng än H​aiku gör. Att dra upp H​aiku från high till xhigh ger 4,7 indexpoäng för 56 procent mer per uppgift. Att dra upp Neon från high till xhigh ger 1,8 poäng för 72 procent mer. Marginalt sett är den billigare modellen den med bättre avkastning — vilket är motsatsen till vad ett trettiofaldigt prislisteförhållande skulle få dig att förvänta dig.

Det femte steget är där påståendet brister

Haiku 5.5 har ett steg som Neon inte har: max. Det är också det steg med sämst värde som någon av modellerna erbjuder. Från xhigh till max ökar Haiku med 1,85 indexpoäng och kostnaden per uppgift stiger från $0,248 till $0,411 – en ökning med 66 procent för en förbättring på 5 procent. I samma steg hoppar den uppmätta tiden till första svarstoken från 46,2 sekunder till 180,9, ungefär fyra gånger så lång tid.

Det är inte en defekt som är unik för H​aiku. Det är så en extra resonemangsnivå ser ut när utvärderingsramverket har slut på enkla vinster: modellen fortsätter att tänka men slutar att förbättras. Men det innebär att den som citerar H​aiku 5.5:s 36,5 citerar den konfiguration av modellen som har fyra gånger så lång latens som den närmast under, och den som citerar Neons 61,4 citerar samma slags tak av samma slags skäl. Båda rubriksiffrorna är det översta steget på en stege som blir brant mot slutet.

Generated nine-bar horizontal chart titled Nine settings, one index, with Neon's four bars at 44.1, 54.9, 59.6 and 61.4 followed by Haiku 5.5's five bars at 18.6, 24.6, 29.9, 34.6 and 36.5 on a 0 to 65 AA Index axis, and a dashed reference line at 54.9 labelled Neon medium clears Haiku's ceiling. The footer reads Intelligence Index and thinking levels per Artificial Analysis v5.0.1, 18 November 2026 release.

Resonemangstokens är den dolda kolumnen

Kostnadssiffrorna per uppgift ger mening när man tittar på hur mycket varje modell skriver till sig själv. I indexkörningarna producerar Neon på xhigh ungefär 80 500 resonemangstokens och 61 100 svarstokens per uppgift. Haiku 5.5 på max producerar ungefär 172 800 resonemangstokens och 53 200 svarstokens.

Så modellen med den trettiofaldiga taxan skriver mindre än hälften så mycket resonemang som modellen med tio-cent-taxan, högst upp i båda stegarna. H​aiku kompenserar för en mindre modell genom att tänka längre; Neon kompenserar för ett högre pris genom att tänka mindre. Det är därför kvoten per uppgift på 15,7x ligger så långt under de 30x som prislistan antyder, och därför kvoten är störst på hög nivå – steget där Neons tokenbeteende ligger närmast H​aikus och dess taxa gör hela jobbet.

Den andra kolumnen i samma panel är fabricering. I AA-Omniscience är Neons hallucineringsfrekvens vid standardinställningen 13,9 procent; H​aiku 5.5 ligger på 40,4 procent vid standardinställningen och 34,2 procent vid max. Det är en skillnad på två till tre gånger i hur ofta modellen hävdar något som källan inte stöder, och till skillnad från indexet förbättras det knappt när H​aiku klättrar i sin stege. Om din arbetsbelastning är av det slag där ett felaktigt faktum är dyrt att upptäcka, undervärderar indexgapet argumentet för Neon snarare än överdriver det.

Där den billiga modellen slutar vara billig

H​aiku 5.5:s prisfördel är verklig och den är störst där arbetet är kort. Ett klassificeringsanrop, ett routingbeslut, en omskrivning av ett stycke, en extrahering från ett formulär – allt där utdata är några hundra tokens – kostar bråkdelar av ett cent på H​aiku och något närmare ett cent på Neon. I den storleken är 30x-förhållandet nära nog bokstavligt och indexgapet är irrelevant, eftersom båda modellerna klarar ribban med lätthet.

Fördelen minskar i takt med att uppgiften blir längre, och den minskar av två skäl som förstärker varandra. Neons kostnad per uppgift domineras av indata, cacheläsningar och cacheskrivningar – i indexkörningarna står indata för 64 procent av kostnaden vid hög nivå – så ett långt, stabilt prefix flyttar Neons effektiva pris mot dess cachepris på $0,15. H​aiku får samma 95 procents cacherabatt, men på en basavgift som redan är mycket liten, så det finns mindre att spara. Och för arbete som kräver flera planeringssteg toppar H​aikus stege under där Neons standard ligger, vilket innebär att hur många billiga tokens du än använder får du inte svaret.

Det finns en tredje effekt som är värd att namnge eftersom den är lätt att missa: det uppmätta briefcase-Elo:t – ett annat testramverk, poängsatt separat från indexet – gynnar faktiskt H​aiku i toppen med en mindre marginal än indexet gör. Neon xhigh får 1699 med ett 95-procentigt intervall på 1688 till 1710; H​aiku max får 1572. På standardnivåerna är gapet 1632 mot 1441. Så ett andra, oberoende testramverk håller med om riktningen och är oense om storleken, vilket är det normala läget och en anledning att kontrollera två resultattavlor innan man standardiserar.

Och det finns en fjärde, den som prislistan helt döljer. Haiku 5.5 har två prisnivåer: 0,10 och 0,50 dollar per miljon upp till en prompt på 100 000 token, sedan 0,50 och 2,50 dollar över det, med cache-läsningen som flyttas från 0,01 till 0,05 dollar. Tröskeln räknar hela indatan, inklusive cache-läsningar och cache-skrivningar, så en lång kontext utlöser den lätt. Vid det laget är Haikus indatapris fem gånger vad rubriken säger, dess utdatapris är fem gånger, och förhållandet till Neons platta 3,00 och 15,00 dollar — som inte stegras vid någon tröskel alls — är inte längre trettiofaldigt utan sexfaldigt, eller trefaldigt för utdata. Den som jämför de två prislistorna rakt av jämför ett pris med två nivåer mot ett pris med en nivå och behandlar den första nivån som hela historien.

En beslutsregel som överlever stegpinnarna

Fyra regler, i den ordning som spelar roll:

• Om uppgiften är kort och svaret är kontrollerbart, ta H​aiku 5.5 på medium eller låg och sluta läsa. Indexgapet binder inte vid den storleken och prisskillnaden är enorm.

• Om uppgiften kräver planering i flera steg eller kodändringar på reponivå är det Haikus tak som är problemet, inte priset. Dess bästa nivå får 36,5 poäng; Neons standard får 59,6. Vid det laget byter du inte kostnad mot kvalitet, du byter ett fungerande svar mot ett billigt.

• Om du redan använder Neon ska du inte använda xhigh som standard. Steget från high till xhigh kostar 72 procent mer per uppgift för 1,8 indexpoäng och 16 sekunders extra tid till första token. De flesta pipelines fungerar bättre med medium, som ger 54,9 till halva priset jämfört med standardinställningen.

• Om du använder H​aiku ska du inte anta max. Det är det fjärde bästa värdet på endera stegen, och gapet mellan det och high är 6,6 indexpoäng för 2,6 gånger kostnaden.

Ingen av modellerna finns i OrcaRouters katalog i dag, så inget av detta är ett säljargument för att flytta någon av dem till vår nyckel. Det vi däremot erbjuder, till leverantörens listpris utan påslag, är Claude Haiku 4.5 för 1,00 och 5,00 dollar per miljon och Gemini 4 Carbon för 2,00 och 10,00 dollar — föregångarna på vardera sidan. Om trappstegsaritmetiken ovan är något du vill testa på din egen trafik snarare än på en resultattavla, är det användbara draget att köra det billiga trappsteget av en modell du redan kan anropa mot det dyra trappsteget av den du överväger, på en och samma nyckel, med failover underifrån ifall det billiga trappsteget visar sig inte klara ribban.

Den ärliga sammanfattningen är att dessa två modeller egentligen inte konkurrerar. Den ena är en planerare i frontierklass som säljs till premiumpris och den andra är en högvolymsarbetare som säljs till nära bottenpris, och det faktum att deras modellstegar överlappar i namn snarare än i spann är det som får jämförelsen att kännas närmare än den är. Jämför ytterligheterna – Neons medium mot H​aikus max – och du får 54,9 för 1,90 dollar mot 36,5 för 0,41 dollar. Arton poäng för fyra och en halv gånger pengarna är ett beslut om vad uppgiften är värd, inte ett beslut om vilken modell som är bättre.

Artificial Analysis model page for Gemini 4 Neon at Xhigh effort, showing an Intelligence Index of 61, $3.00 input and $15.00 output per million tokens, $6.44 per Intelligence Index task, 283 million output tokens on the index against a 65.4-million median, 110 tokens per second, 56.54 seconds to first answer token, a default effort of high and a 1M-token context window.