GPT-6.1 Sol vs Grok 4.6: Accept-Header-problemet och en 35-poängsklyfta som inte är verklig

Det finns ett par på den aktuella modellmarknaden där det billigare alternativet vinner det svåraste vetenskapliga benchmarktestet rakt av, och hela jämförelsen går ändå inte dess väg. Grok 4.6, SpaceXAI:s flaggskepp sedan 2026-08-12, får 94,9 % på GPQA Diamond – vetenskapliga frågor på forskarnivå – mot 42,9 % på Humanity's Last Exam för samma modell, och den kostar 2,00 USD per miljon indata och 6,00 USD per miljon utdata. GPT-6.1 Sol, OpenAIs utgåva från 2026-09-29, får 52,9 % på samma HLE-uppsättning och tar 10,00 USD per miljon utdata. Så Grok 4.6 är bättre på en svår sak, billigare på varje rad i prislistan, och ändå är det i den andra halvan av den jämförelsen som det intressanta problemet ligger: de två modellerna får inte alltid samma fråga.

Siffrorna nedan är Artificial Analysis-mätningar som utförts på våra egna modellposter för båda modellerna, leverantörssiffror där de är märkta, samt våra egna serving-data. Utvärderare och datum anges där en siffra kan vara tvetydig.

Versionsnumret som gör jobbet

Börja med siffrorna som ser ut som en utklassning men inte är det. Artificial Analysis kör två benchmarktester för terminalagenter, och har poängsatt båda modellerna i vart och ett av dem:

• Terminal-Bench 2.1 — Grok 4.6 får 88,39 %; GPT-6.1 Sol listas inte i den här versionen.

• Terminal-Bench 4.0 — Grok 4.6 får 21,21 %; GPT-6.1 Sol får 56,06 %.

Läs bara den andra raden och Grok 4.6 ser ut att inte kunna slutföra en uppgift i ett skal. Läs båda och det blir tydligt att skillnaden är testharneset, inte modellen. Terminal-Bench 4.0 är en svårare revidering av samma idé, och de två modellerna poängsattes på den vid olika tidpunkter — GPT-6.1 Sols Artificial Analysis-post har ett utvärderingsdatum på 2026-09-28, Grok 4.6:s har 2026-08-12. En 35-punkters skillnad mellan två modeller mätta med sex veckors mellanrum på ett benchmark som reviderades inom det fönstret är inte bevis för att en av dem inte kan använda en terminal. Det är bevis för att man inte bör jämföra de två cellerna.

Den ärliga versionen av den agentiska jämförelsen är den snävare: Grok 4.6 uppnår 88,39 % på Terminal-Bench 2.1, och det finns ingen GPT-6.1 Sol-siffra på den versionen att ställa bredvid. Det är ett hål i bevisningen, och resten av den här artikeln behandlar det som ett sådant.

Vad de två är

Grok 4.6 är det nuvarande flaggskeppet i Grok-linjen, listad som "Senaste" i SpaceXAI:s egen utvecklardokumentation, och efterträder Grok 4.5 med samma kontextfönster på 500 000 token och samma indatayta för text, bild och fil. Den stöder konfigurerbar resonemangsansträngning, inbyggt verktygsanrop, strukturerade utdata och hela samplingsytan – temperature, top_p, seed, logprobs, penalties – vilket är en viktig detalj: till skillnad från GPT-6.1 Sol accepterar den parametern temperature.

GPT-6.1 Sol är en enda snapshot — gpt-6.1-sol, ingen daterad variant — med ett kontextfönster på 1 050 000 tokens, 128 000 maximal utdata, samma inmatningsyta för text, bild och fil samt fem ansträngningsnivåer med medium som standard. Den accepterar inte temperature eller top_p; sampling ersätts av ansträngningsratten.

Specifikationsraderna, sida vid sida, på de dimensioner där de skiljer sig:

• Kontextfönster — 1 050 000 tokens för GPT-6.1 Sol mot 500 000 för Grok 4.6. GPT-6.1 Sol har drygt dubbelt så stort fönster.

• Maximalt utdata — 128 000 tokens för GPT-6.1 Sol; Grok 4.6:s utdatatak är inte publicerat i vår katalogpost för den, vilket är ett fält som aldrig har fyllts i snarare än en nolla.

• Samplingsparametrar — temperatur, top_p, seed och straffparametrarna fungerar på Grok 4.6 och avvisas av GPT-6.1 Sol.

• Baspris — $2.00/$6.00 för Grok 4.6 mot $2.00/$10.00 för GPT-6.1 Sol, inom båda modellernas första prisnivåer.

Fem axlar, en tydlig riktning

De två modellerna har tillräckligt mycket oberoende mätning gemensamt för att kunna jämföras ordentligt, och formen på resultatet är konsekvent:

• AA Intelligence Index — GPT-6.1 Sol 51,8, plats 10 av 147, 93,2:a percentilen; Grok 4.6 44,3, plats 20, 86,4:e percentilen.

• Humanity's Last Exam — 52,9 % mot 42,9 %. Tio poäng, GPT-6.1 Sol.

• Långkontextsåterkallelse — 83 % mot 80,33 %.

• SciCode — 54,2 % mot 56,5 %. Grok 4.6 med 2,3 punkter, den enda av dessa fyra axlar där den leder.

• GPQA Diamond — GPT-6.1 Sol finns inte listad på denna axel i våra register; Grok 4.6 får 94,9 %, den enskilt starkaste siffran på dess kort.

Två av Grok 4.6:s axlar mäts inte på GPT-6.1 Sol-sidan, och en av GPT-6.1 Sol:s mäts inte på Grok 4.6:s. Det är standardformen för en jämförelse mellan modeller som utvärderats enligt olika scheman, och sättet att hantera det är att lämna cellerna tomma i stället för att fylla dem från en lanseringspresentation.

Det återstår en avstämning för Intelligence Index. Tidigare bevakning på den här bloggen placerade Grok 4.6 på 61 i samma index. Vårt aktuella register innehåller en ytterligare rad med det värdet, vid sidan av siffran 44.3 ovan – indexet har reviderats och poängsatts på nytt, och båda värdena finns för samma modell. Den som citerar Grok 4.6:s placering i indexet bör ange vilken revision de avser, eftersom skillnaden mellan 61 och 44.3 är större än det gap som hela den här artikeln handlar om.

Prislistan, och steget i den

Grok 4.6 är billigare på varje baslinje och har en längre lista med linjer. Dess prislista:

• Upp till 200 000 prompttokens — 2,00 $ inmatning, 6,00 $ utmatning, 0,50 $ cachad inmatning.

• Över 200 000 prompt-tokens — hela begäran omprissätts till $4.00 för indata, $12.00 för utdata, $1.00 för cachad indata.

GPT-6.1 Sol's:

• Upp till 272 000 prompt-tokens — $2.00 indata, $10.00 utdata, $0.10 cachad indata, $2.50 cache-skrivning.

• Över 272 000 prompt-tokens — hela begäran omprissätts till 4,00 USD för indata, 15,00 USD för utdata, 0,20 USD för cachad indata, 5,00 USD för cacheskrivning.

Både steget, och båda stegen, hamnar i samma område av promptlängd — men lägg märke till vad stegen gör med rubrikgapet. Inom den första nivån är Grok 4.6:s utdata 40 procent billigare. Ovanför steget, vid 12,00 $ mot 15,00 $, är det 20 procent billigare. Och för cachad indata vänds ordningen helt: GPT-6.1 Sols 0,10 $ per miljon är en femtedel av Grok 4.6:s 0,50 $ före steget och en tiondel efter det.

För en agentisk arbetsbelastning som läser om ett långt fast prefix vid varje tur — ett repo, en avtalsuppsättning, en lång transkription — är den cache-raden värd mer än baspriset, och den pekar i motsatt riktning. För en arbetsbelastning som producerar mycket utdata från en kort prompt är Grok 4.6:s $6.00 den linje som avgör det.

Vår egen serveringsdata, och varför en del av den bör ignoreras

OrcaRouters katalog har en sjudagars betjäningspanel för varje modell, och för en av dessa två är den en artefakt snarare än en mätning. Grok 4.6:s panel visar en p50-latens på 6 250 millisekunder och en felfrekvens på 56,76 %, över ett fönster där den betjänade 1 212 441 tokens. GPT-6.1 Sols panel visar en p50 på 2 442 millisekunder, 95,57 utdatatokens per sekund, en felfrekvens på 6,36 % och 421 752 431 tokens betjänade under samma sju dagar.

Trafiksiffrorna är de man bör läsa först, eftersom de förklarar resten. En modell som betjänade 1,2 miljoner tokens under en vecka har ett för tunt urval för att en felfrekvens ska betyda så mycket — vid den volymen speglar en frekvens på 56,76 % ett fåtal dussin försök, inte en tjänstekvalitet, och att behandla det som bevis för att Grok 4.6 är opålitlig skulle vara att läsa en mätartefakt som en mätning. Vår GPT-6.1 Sol-panel har ungefär 350 gånger mer trafik bakom sig, vilket gör det till ett användbart tal om våra playground-användare och fortfarande inte en egenskap hos modellen.

Vad vi inte kan berätta för dig

Tre saker saknas i detta, och ingen av dem kan fyllas genom argument.

Det första är en terminalagentpoäng för båda modellerna från samma version. Tills Artificial Analysis har poängsatt Grok 4.6 på Terminal-Bench 4.0, eller GPT-6.1 Sol på 2.1, vilar den agentiska jämförelsen på den ena modellens siffra och den andra modellens tystnad. Den som säger till dig att spridningen 56,06 % mot 21,21 % är ett kapacitetsgap citerar en skillnad mellan revisioner.

Det andra är Grok 4.6:s utdatatak. Fältet är omätt i vårt underlag, så en arbetsbelastning som bygger på mycket långa enskilda svar har inget publicerat tal att planera mot på den sidan.

Det tredje är vad båda modellerna faktiskt kostar per slutförd uppgift. Vår playground rapporterar en genomsnittlig kostnad per uppgift för Claude Opus 5; den rapporterar ingen sådan för någon av dessa två, och tokenpriserna ovan är indata till den siffran snarare än siffran i sig. Open​AI:s egna leverantörsrapporterade siffror för GPT-6.1 Sol beskriver förbättringar av kostnaden per uppgift – Terminal-Bench Science 0.1 till $5.47 per uppgift mot $23.21 för Claude Opus 5.5 och $23.80 för GPT-6 Astra, vid maximal ansträngning – men det är Open​AI:s siffror i Open​AI:s utvärderingsramverk, ingen utanför har reproducerat dem, och de säger inget om Grok 4.6.

Valet

Båda modellerna routas på OrcaRouter till leverantörens listpris med 0 % påslag — openai/gpt-6.1-sol till $2.00/$10.00 med $0.10 för cachad indata och nivån över 272K tillämpas exakt som OpenAI anger den, och grok/grok-4.6 till $2.00/$6.00 med nivån över 200K tillämpad exakt som SpaceXAI anger den. En nyckel når båda, prissättningen följer leverantören samma dag den ändras i stället för vid nästa faktureringscykel, och automatisk failover ligger under så att den billigare modellen kan hålla en väg utan att vara det enda som håller den.

Om arbetsbelastningen är frågeformad och output-tung – retrieval-och-svar, generering i volym, allt som aldrig växer förbi 200 000 tokens prompt – är Grok 4.6 det bättre köpet enligt prislistan, med 40 procent på den rad som spelar roll, och dess 94,9 % GPQA Diamond är en oberoende siffra, inte ett påstående.

Om arbetsbelastningen är agentisk, präglad av långa prompter eller cachetung är GPT-6.1 Sol det säkrare standardvalet: den leder inom varje oberoende axel som de två delar, förutom SciCode, dess cacheläsningar kostar en femtedel av vad Grok 4.6:s gör, och dess publicerade utdatatak är ett tal du kan planera efter. 500 000-tokenfönstret hos Grok 4.6 är generöst och 1 050 000-tokenfönstret hos GPT-6.1 Sol är dubbelt så stort – men vid en verkligt lång prompt har båda vid det laget klivit in i sina fördubblade nivåer, vilket är där prisskillnaden krymper till 20 procent och upphör att vara skälet att välja någon av dem.

Den slutsats som står sig mot bevisen: Grok 4.6 är den billigare modellen och GPT-6.1 Sol är den mer återhållsamma, och spridningen på 35 poäng i terminal-benchmark som cirkulerar är en jämförelse av två olika benchmarkversioner, inte av två modeller.