GPT-6.1 Terra:s benchmarks, sorterade: där 48 matchar 52 och där det inte gör det

Det sammansatta värdet för GPT-6.1 Terra är 48. GPT-6.1 Sol är 52, GPT-6 Astra är 53, GPT-5.6 Terra är 42 och GPT-6 Luna är 38. Det är hela historien om man bara läser den översta raden i Artificial Analysis Intelligence Index – en modell i mellanskiktet som hamnar sex poäng över sin föregångare och fyra under sitt dyrare syskon. Det är också det minst användbara sättet att läsa lanseringen, eftersom samma index döljer ett kodningsgap på 29 poäng mot Astra, ett gap på 7,6 poäng inom datoranvändning mot Claude Opus 5.5 och en förbättring av hallucinationer som är större än alla intelligensvinster i lanseringen tillsammans.

Det som följer skiljer mellan tre typer av siffror: oberoende mätningar från Artificial Analysis, leverantörsrapporterade resultat från OpenAI som ingen utanför har reproducerat, och härledda siffror – den aritmetik som förvandlar endera av de två första till en kostnad eller en kvot. Skillnaderna spelar roll, eftersom bevakningen av lanseringen redan har börjat blanda ihop dem.

De tre poängen som alla kommer att citera

Artificial Analysis listar GPT-6.1 Terra på 48 i sitt Intelligence Index, rankad 25:a av 221 modeller, till $0,40 per indexuppgift. GPT-6.1 Sol ligger på 52 och 13:e plats, till $0,72 per uppgift. GPT-6 Astra, det nuvarande flaggskeppet, ligger på 53. GPT-5.6 Terra ligger på 42 och 53:e plats, till $1,40 per uppgift. GPT-6 Luna ligger på 38.

Läser man det som en stege är Terra en verklig uppgradering: sex poäng för mindre än en tredjedel av kostnaden per slutförd uppgift, och tio poäng över budgetnivån. Läser man det som en jämförelse mot Sol är det precis vad priskortet antyder – fyra poäng svagare, till ungefär halva tokenpriset. Inget i kompositen motsäger OpenAIs positionering.

Det sammansatta indexet plattar också ut saker som det inte borde. Fyra indexpoäng mellan Terra och Sol är 8 % av skalan; 29 poäng mellan Terra och Astra på Coding Agent Index är 60 % av den skalan. Ett enda tal kan inte rymma båda, och lanseringsrapporteringen som bara anger det första har tyst utelämnat det andra.

Där klyftan vidgas: programmering

I Coding Agent Index v2.0 från Artificial Analysis får GPT-6.1 Terra 48 poäng, GPT-6.1 Sol 54 poäng och GPT-6 Luna 31 poäng. Det är ett underskott på sex poäng mot Sol och en ledning på 17 poäng över Luna — samma form som intelligensindexet, men med en relativt sett större lucka till toppen av familjen.

Leverantörssiffrorna berättar en mer smickrande historia, och det är leverantörssiffror. OpenAI rapporterar 50,3 % löst på Terminal-Bench 4.0 vid maximal ansträngning, mot 21,5 % för GPT-5.6 Terra. Det är mer än dubbelt så mycket, och det är det enskilt största hoppet från generation till generation i lanseringen. Det är också ett benchmark för terminaluppgifter, inte ett brett mått för kodningsagenter: Terra kan vara nära Sol på kort, välavgränsat skalarabete och ändå ligga sex punkter efter på det bredare indexet, och båda sakerna är sanna samtidigt.

Den praktiska tolkningen är att Terras kodningsvinster är koncentrerade till områden där uppgiften är avgränsad. "Kör den här testsviten, läs felet, patcha filen" är Terras typ av uppgift. "Håll en refaktorering av femton filer i huvudet i fyrtio steg" är det inte, och OpenAIs egen rekommendation hänvisar fortfarande komplexa programmeringsuppgifter till Sol eller Astra.

Där gapet är mindre än indexet antyder: datoranvändning

På OSWorld 2.1, det standardiserade riktmärket för skrivbordsautomatisering, uppnår GPT-6.1 Terra 74,2 % vid maximal resonemangsnivå. GPT-6.1 Sol uppnår 75,9 % vid xhigh. GPT-6 Astra uppnår 75,8 %. Claude Opus 5.5 leder bland de modeller vi kan jämföra med 81,8 %, följt av Claude Fable 5.1 på 80,7 %, Claude Sonnet 5.5 på 80,1 % och Kimi K3.1 Pro på 79,6 %.

Två saker följer. För det första ligger Terra inom 1,7 poäng från Sol på uppgiften den byggdes för, till halva tokenpriset – en mycket bättre affär än den fyrapoängs intelligensklyfta antyder. För det andra ligger hela GPT-6-familjen sex till sju poäng efter Anthropic när det gäller skrivbordsautomatisering, och Terra stänger inte igen det gapet. Om din produkt är en webbläsaragent är den intressanta jämförelsen inte Terra mot Sol, utan Terra mot Claude Sonnet 5.5, som är billigare per token än Sol och får 5,9 poäng högre på OSWorld.

Leverantörens egna agentiska siffror pekar i samma riktning. I Agents' Last Exam v1 rapporterar OpenAI 57,6 % för Terra vid medelhög ansträngning, mot 50,7 % för GPT-5.6 Terra vid maximal ansträngning. Påståendet som är kopplat till det – jämförbart med GPT-6 Astra vid medelhög ansträngning, till ungefär en tiondel av priset per token – är ett påstående per uppgift, och det är den ekonomiskt mest betydelsefulla meningen i lanseringen.

Siffran som faktiskt ändrades: hallucination

Artificial Analysis mäter en hallucineringsfrekvens för allvetenhet: hur ofta en modell gissar när den inte vet. GPT-5.6 Terra fick 88 %. GPT-6.1 Terra får 38 %. Noggrannheten steg med två punkter under samma period.

En minskning med 50 procentenheter i gissande är större än någon intelligensvinst i den här versionen, och det är det tal som förändrar vad en modell är säker att använda till. En modell som hittar på ett svar 88 % av gångerna när den är osäker kan inte användas för fakturautvinning eller formulärifyllning utan en mänsklig kontroll av varje utdata. Vid 38 % gissar den fortfarande mer än en tredjedel av gångerna – det här är en förbättring, inte en lösning – men felläget går från "anta att det är fel" till "sampla och verifiera".

Det har en direkt kostnadskonsekvens. Verifiering är den dolda kostnadsposten i varje distribution av billiga modeller: om du måste kontrollera 88 % av svaren blir arbetsinsatsen mycket större än besparingen på tokens. Vid 38 % blir stickprovskontroll genomförbar, och siffran 0,40 dollar per uppgift börjar se ut som den verkliga kostnaden snarare än den synliga halvan av den.

Leverantörspåståenden, och vad som saknas i dem

OpenAIs publicerade resultat, alla leverantörsdrivna och inga oberoende reproducerade vid tidpunkten för skrivandet:

• Terminal-Bench 4.0 — 50,3 % vid maximal ansträngning, jämfört med 21,5 % för GPT-5.6 Terra.

• Agents' Last Exam — 15 poäng över GPT-5.6 Terra vid medelinsats, till ungefär en tredjedel av kostnaden.

• MMMU-Pro — före GPT-5.6 Terra på alla ansträngningsnivåer, nära Astra och Sol, utan att några absoluta poäng har publicerats.

Terminal-Bench-Science 0.1 – inom 5 poäng från Claude Opus 5.5 till mindre än en femtedel av den uppskattade kostnaden.

• Promptar som framkallar fel – 16,7 % vid låg ansträngning jämfört med 53,6 %, och 4,3 % vid max, i ett internt test som företaget inte har publicerat.

Mönstret i den listan är värt att sätta namn på. De två starkaste påståendena – MMMU-Pro och felkvotstestet – är de två som saknar absoluta siffror. ”Närmar sig Astra” och ”nära Sol” är jämförande påståenden som inte går att kontrollera utan siffrorna bakom dem. Påståendena med konkreta siffror är de som en tredje part kan reproducera, och Artificial Analysis har redan reproducerat kostnadssidan: $0,40 per uppgift, $1,40 för föregångaren.

Hastighet är det oberoende talet som inte finns i indexet

Artificial Analysis mäter GPT-6.1 Terra till 90,9 utgående tokens per sekund med 133,64 sekunder till första token i sitt resonemangsbenchmark. GPT-6.1 Sol mäts till 73,5 tokens per sekund och 284,31 sekunder. Det är ungefär 24 % mer genomströmning och drygt dubbelt så stor fördel i tid till första token – en oberoende mätning, inte ett leverantörspåstående, och det starkaste objektiva argumentet för Terra i hela lanseringen.

För en chattprodukt spelar genomströmning knappt någon roll; för en loop för datoranvändning som tar tjugo steg per uppgift är det skillnaden mellan en uppgift på 40 sekunder och en på 90 sekunder. Indexet prissätter inte latens, vilket är anledningen till att en modell som rankas 25:a kan vara rätt köp för en agent som rankas 13:a i kvalitet.

Hur du läser indexet utan att bli vilseledd

• Betrakta sammansättningen som ett filter, inte som en rangordning. Den talar om vilka modeller som är med i samtalet; den talar inte om vilken som vinner din uppgift.

• Titta på delpoängen för kodning och datoranvändning separat. Terras profil är ovanligt bred: nära Sol inom skrivbordsautomatisering, sex poäng efter inom kodning, fyra efter totalt.

• Kontrollera absoluta värden igen mot ett enda datum. Indexet renormaliseras med jämna mellanrum, och texter från olika veckor anger olika siffror för samma modell.

• Vikta hallucineringsfrekvensen lika tungt som intelligenspoängen om din arbetsbelastning har en verifieringskostnad. En förbättring med 50 poäng förändrar den operativa modellen, inte bara poängen.

• Mät din egen uppgift. Siffrorna för kostnad per uppgift från Artificial Analysis är en proxy som bygger på deras prompts; dina prompts kommer att ge ett annat förhållande mellan tokenpris och antal försök.

Inget av detta gör GPT-6.1 Terra till en dålig modell. Det gör den till en specifik sådan: en snabb, billig modell som hallucinerar mycket mindre och som ligger nära sitt dyrare syskon på skärmar men långt från flaggskeppet på kod. Kompositpoängen säger 48. Delpoängerna säger vilka 48 du köper.