GPT-6.1 Terra's benchmarks, gesorteerd: waar 48 gelijk is aan 52 en waar niet

De samengestelde score voor GPT-6.1 Terra is 48. GPT-6.1 Sol is 52, GPT-6 Astra is 53, GPT-5.6 Terra is 42 en GPT-6 Luna is 38. Dat is het hele verhaal als je alleen de bovenste regel van de Artificial Analysis Intelligence Index leest — een model uit de middenklasse dat zes punten boven zijn voorganger uitkomt en vier onder zijn duurdere broertje. Het is ook de minst nuttige manier om deze release te lezen, want diezelfde index verbergt een verschil van 29 punten in codeerprestaties met Astra, een verschil van 7,6 punten op het gebied van computergebruik met Claude Opus 5.5, en een verbetering op het gebied van hallucinaties die groter is dan alle intelligentiewinsten van de lancering bij elkaar.

Wat volgt scheidt drie soorten getallen: onafhankelijke metingen van Artificial Analysis, door de leverancier gerapporteerde resultaten van OpenAI die niemand buiten heeft gereproduceerd, en afgeleide cijfers — de rekenkunde die een van de eerste twee omzet in kosten of een ratio. Die onderscheiden zijn belangrijk, omdat de berichtgeving over de lancering ze al begint te vermengen.

De drie scores die iedereen zal aanhalen

Artificial Analysis vermeldt GPT-6.1 Terra op 48 in zijn Intelligence Index, op de 25e plaats van 221 modellen, tegen $0,40 per indextaak. GPT-6.1 Sol staat op 52 en op de 13e plaats, tegen $0,72 per taak. GPT-6 Astra, het huidige vlaggenschip, staat op 53. GPT-5.6 Terra staat op 42 en op de 53e plaats, tegen $1,40 per taak. GPT-6 Luna staat op 38.

Als je het als een ladder leest, is Terra een echte upgrade: zes punten voor minder dan een derde van de kosten per afgeronde taak, en tien punten boven de budgetcategorie. Als vergelijking met Sol is het precies wat de prijskaart impliceert — vier punten zwakker, tegen ongeveer de helft van de tokenprijs. Niets in de samengestelde score spreekt OpenAI's positionering tegen.

De samengestelde index vlakt ook zaken af die dat niet zouden moeten. Vier indexpunten tussen Terra en Sol is 8% van de schaal; 29 punten tussen Terra en Astra op de Coding Agent Index is 60% van die schaal. Eén enkel getal kan beide niet dragen, en de verslaggeving rond de lancering die alleen het eerste noemt, heeft het tweede stilletjes laten vallen.

Waar de kloof groter wordt: programmeren

Op de Coding Agent Index v2.0 van Artificial Analysis scoort GPT-6.1 Terra 48, GPT-6.1 Sol 54 en GPT-6 Luna 31. Dat is een tekort van zes punten ten opzichte van Sol en een voorsprong van 17 punten op Luna — dezelfde vorm als de intelligentie-index, maar met een relatief grotere kloof tot de top van de familie.

De leverancierscijfers vertellen een flatteuzer verhaal, en het zijn leverancierscijfers. OpenAI rapporteert 50,3% opgelost op Terminal-Bench 4.0 bij maximale inspanning, tegenover 21,5% voor GPT-5.6 Terra. Dat is meer dan een verdubbeling, en het is de grootste sprong van generatie op generatie in deze release. Het is ook een benchmark voor terminaltaken, geen brede maatstaf voor coding-agents: Terra kan bij korte, goed afgebakende shell-taken dicht bij Sol in de buurt komen en toch zes punten achterlopen op de bredere index, en beide dingen zijn tegelijkertijd waar.

De praktische lezing is dat Terra's winst op het gebied van programmeren zich concentreert waar de taak afgebakend is. "Voer deze testsuite uit, lees de foutmelding, patch het bestand" is Terra's vorm. "Een refactor van vijftien bestanden veertig stappen lang in je hoofd houden" is dat niet, en OpenAI's eigen aanbeveling wijst complex programmeerwerk nog steeds toe aan Sol of Astra.

Waar de kloof kleiner is dan de index suggereert: computergebruik

Op OSWorld 2.1, de standaardbenchmark voor desktopautomatisering, scoort GPT-6.1 Terra 74,2% bij maximale redeneerkracht. GPT-6.1 Sol scoort 75,9% bij xhigh. GPT-6 Astra scoort 75,8%. Claude Opus 5.5 staat bovenaan bij de modellen die we kunnen vergelijken, met 81,8%, met Claude Fable 5.1 op 80,7%, Claude Sonnet 5.5 op 80,1% en Kimi K3.1 Pro op 79,6%.

Twee dingen volgen hieruit. Ten eerste zit Terra binnen 1,7 punten van Sol op de taak waarvoor het is gebouwd, tegen de helft van de tokenprijs — een veel betere ruil dan de intelligentiekloof van vier punten doet vermoeden. Ten tweede blijft de hele GPT-6-familie zes tot zeven punten achter op Anthropic bij desktopautomatisering, en Terra dicht die kloof niet. Als je product een browseragent is, is de interessante vergelijking niet Terra tegenover Sol; het is Terra tegenover Claude Sonnet 5.5, dat per token goedkoper is dan Sol en 5,9 punten hoger scoort op OSWorld.

De eigen agentische cijfers van de leverancier wijzen dezelfde kant op. Op Agents' Last Exam v1 meldt OpenAI 57,6% voor Terra bij gemiddelde inspanning, tegenover 50,7% voor GPT-5.6 Terra op maximaal. De bewering die eraan vastzit — vergelijkbaar met GPT-6 Astra op gemiddeld, tegen ongeveer een tiende van de prijs per token — is een bewering per taak, en het is de economisch meest betekenisvolle zin in de lancering.

Het getal dat daadwerkelijk veranderde: hallucinatie

Artificial Analysis meet een Omniscience-hallucinatiegraad: hoe vaak een model gokt wanneer het het antwoord niet weet. GPT-5.6 Terra scoorde 88%. GPT-6.1 Terra scoort 38%. De nauwkeurigheid steeg in dezelfde periode met twee punten.

Een daling van 50 punten in giswerk is groter dan welke intelligentiewinst dan ook in deze release, en het is het enige getal dat verandert waarvoor een model veilig te gebruiken is. Een model dat 88% van de tijd een antwoord verzint wanneer het onzeker is, kun je niet vertrouwen voor factuurextractie of het invullen van formulieren zonder menselijke controle op elke output. Bij 38% gist het nog steeds meer dan een derde van de tijd — dit is een verbetering, geen oplossing — maar de faalmodus verschuift van 'ga ervan uit dat het fout is' naar 'sample en verifieer'.

Dat heeft directe gevolgen voor de kosten. Verificatie is de verborgen kostenpost bij elke inzet van een goedkoop model: als je 88% van de antwoorden moet controleren, wegen de arbeidskosten veel zwaarder dan de tokenbesparing. Bij 38% wordt steekproefsgewijs controleren haalbaar, en gaat het bedrag van $0.40 per taak lijken op de werkelijke kosten in plaats van de zichtbare helft daarvan.

Claims van leveranciers, en wat daarin ontbreekt

De gepubliceerde resultaten van OpenAI, allemaal door de leverancier zelf uitgevoerd en geen enkele onafhankelijk gereproduceerd op het moment van schrijven:

• Terminal-Bench 4.0 — 50,3% bij maximale inspanning, tegenover 21,5% voor GPT-5.6 Terra.

Agents' Last Exam — 15 punten boven GPT-5.6 Terra bij gemiddelde inspanning, tegen ongeveer een derde van de kosten.

• MMMU-Pro — vooruit op GPT-5.6 Terra op elk inspanningsniveau, in de buurt komend van Astra en Sol, zonder gepubliceerde absolute scores.

• Terminal-Bench-Science 0.1 — binnen 5 punten van Claude Opus 5.5 tegen minder dan een vijfde van de geschatte kosten.

• Foutveroorzakende prompts — 16,7% bij lage inspanning tegenover 53,6%, en 4,3% bij maximale inspanning, op een interne test die het bedrijf niet heeft gepubliceerd.

Het patroon in die lijst verdient een naam. De twee sterkste beweringen — MMMU-Pro en de foutpercentagetest — zijn de twee waaraan geen absolute cijfers zijn gekoppeld. "Benadert Astra" en "dicht bij Sol" zijn vergelijkende uitspraken die niet kunnen worden gecontroleerd zonder de cijfers erachter. De beweringen met harde cijfers zijn de beweringen die een derde partij kan reproduceren, en Artificial Analysis heeft de kostenkant al gereproduceerd: $0,40 per taak, $1,40 voor de voorganger.

Snelheid is het onafhankelijke getal dat niet in de index staat.

Artificial Analysis meet GPT-6.1 Terra op 90,9 output-tokens per seconde met 133,64 seconden tot het eerste token op zijn redeneerbenchmark. GPT-6.1 Sol wordt gemeten op 73,5 tokens per seconde en 284,31 seconden. Dat is ruwweg 24% meer doorvoer en een ruim twee keer zo groot voordeel in tijd-tot-eerste-token — een onafhankelijke meting, geen claim van de leverancier, en het sterkste objectieve argument voor Terra in de hele release.

Voor een chatproduct doet doorvoer er nauwelijks toe; voor een computer-use-lus die twintig stappen per taak kost, is het het verschil tussen een taak van 40 seconden en een van 90 seconden. De index neemt latentie niet mee in de prijs, en daarom kan een model dat op de 25e plaats staat de juiste aankoop zijn voor een agent die qua kwaliteit op de 13e plaats staat.

Hoe u de index leest zonder misleid te worden

• Behandel de composiet als een filter, niet als een rangschikking. Het vertelt je welke modellen in de conversatie zitten; het vertelt je niet welke jouw taak wint.

Bekijk de deelscores voor programmeren en computergebruik afzonderlijk. Terra's profiel is ongewoon breed: bijna op het niveau van Sol bij desktopautomatisering, zes punten achter bij programmeren, vier punten achter overall.

• Controleer absolute waarden opnieuw aan de hand van één enkele datum. De index wordt periodiek gehernormaliseerd, en verslagen uit verschillende weken noemen verschillende getallen voor hetzelfde model.

• Weeg het hallucinatiepercentage net zo zwaar als de intelligentiescore als je workload verificatiekosten met zich meebrengt. Een verbetering van 50 punten verandert het operationele model, niet alleen de score.

• Meet je eigen taak. De cijfers voor kosten per taak van Artificial Analysis zijn een proxy op basis van hun prompts; jouw prompts zullen een andere verhouding tussen tokenprijs en pogingen opleveren.

Niets hiervan maakt GPT-6.1 Terra een slecht model. Het maakt er een specifiek model van: een snel, goedkoop model dat veel minder hallucineert en dat op schermen dicht bij zijn duurdere broertje zit en op code ver van het vlaggenschip staat. De samengestelde score zegt 48. De deelscores zeggen welke 48 je koopt.