GPT-6.1 Terra voor browseragenten: de wiskunde per stap achter 74,2%

OpenAI's verkoopargument voor GPT-6.1 Terra is niet dat het slimmer is. Het is dat het een scherm kan bedienen — een formulier invullen, een technische tekening lezen, door een applicatie klikken — en dat goedkoop en snel kan doen. De benchmark die deze claim ondersteunt, is OSWorld 2.1, waar Terra 74,2% scoort bij maximale redeneerinspanning, binnen 1,7 punten van GPT-6.1 Sol op xhigh en 1,6 punten van GPT-6 Astra. Het getal dat voor een agent telt, is echter niet de taakscore. Het is de betrouwbaarheid per stap die die score impliceert, omdat agents stap voor stap falen, niet taak voor taak.

Dit stuk ontleedt de 74,2%: wat OSWorld meet, wat dat per stap impliceert, wat een taak van twintig stappen kost, waar de lus breekt, en de vangrails die voorkomen dat een agent met 74% nauwkeurigheid een incident met 0% nauwkeurigheid wordt.

Wat het scorebord zegt

• GPT-6.1 Terra — 74,2% op OSWorld 2.1 bij maximale inspanning.

• GPT-6.1 Sol — 75,9% bij xhigh.

• GPT-6 Astra — 75,8%.

• Claude Opus 5.5 — 81,8%.

• Claude Sonnet 5.5 — 80,1%.

• Kimi K3.1 Pro — 79,6%.

Drie interpretaties verdienen het om apart te worden bekeken. Binnen de GPT-6-familie zit Terra een afrondingsfout verwijderd van zijn duurdere broers en zussen — het prijsverschil levert bij desktopautomatisering vrijwel niets op. Bij vergelijking tussen leveranciers blijft de hele familie zes tot zeven punten achter op Anthropic. En Terra's eigen leverancier-gerelateerde claim — ongeveer gelijk aan GPT-6 Astra op medium bij Agents’ Last Exam, tegen een tiende van de prijs per token — is een claim per taak die het OSWorld-cijfer grotendeels ondersteunt.

Van taakscore naar betrouwbaarheid per stap

OSWorld-taken worden na een reeks acties beoordeeld als geslaagd of gezakt. Als een taak ongeveer twintig stappen vergt en Terra 74,2% van de taken end-to-end voltooit, is het impliciete slagingspercentage per stap de twintigste wortel van 0,742 — ongeveer 98,5%. Dat is een rekenkundige illustratie, geen meting: sommige taken zijn korter, sommige langer, en fouten zijn niet onafhankelijk. Maar het zet de schaal juist. Een model dat eruitziet als een model met 74%, is in werkelijkheid een model met 98,5% per stap, en in dat gat zit het agentontwerp.

Reken de wiskunde de andere kant op voor een workflow van vijftig stappen. Bij dezelfde snelheid per stap daalt de succesrate van begin tot eind tot ongeveer 47%. Bij tachtig stappen is die 30%. De taakscore verandert niet; de workflow wel, en daarom hangt 'goed genoeg voor een agent' volledig af van hoe lang de agent zonder toezicht draait.

Wat een taak kost

Neem 3.000 invoertokens per stap aan — een schermafbeelding plus taakstatus plus actiegeschiedenis — en 150 uitvoertokens voor de actie, over twintig stappen.

• Per taak: 60.000 invoer tegen $1 per miljoen is $0,06; 3.000 uitvoer tegen $5 per miljoen is $0,015. Totaal: $0,075.

• Met een herpogingspercentage van 30%: ongeveer $0,0975 per succesvolle taak, of $98 per duizend taken.

• Dezelfde werklast op GPT-6.1 Sol tegen $2/$10: $0,15 per taak, $195 per duizend taken.

• Bij GPT-6 Astra tegen $10/$50: $0,75 per taak, $975 per duizend taken.

• Op Claude Opus 5.5 bij $4/$20: $0,30 per taak, $390 per duizend.

De aannames over tokens wegen zwaarder dan de prijsverhouding. Screenshots domineren de invoerkosten, en de grootte van een screenshot is een keuze: een volledige PNG van 1440×900 kost veel meer tokens dan een bijgesneden regio van interesse. Een pipeline die per stap één bijgesneden screenshot verstuurt in plaats van het hele bureaublad, kan de invoertokens halveren, wat de kosten per taak halveert en de rangorde ten opzichte van de nauwkeurigere modellen verandert.

Latentie is het product

Artificial Analysis meet Terra op 90,9 outputtokens per seconde en 133,64 seconden tot het eerste token op zijn redeneerbenchmark, tegenover 73,5 tokens per seconde en 284,31 seconden voor GPT-6.1 Sol. Die latentiecijfers komen uit een redeneertaak met maximale inspanning, dus ze overdrijven de vertraging per stap in een agentlus — maar de verhouding, iets meer dan 2×, is de juiste indicator voor hoe lang elk model nadenkt voordat het handelt.

In een agent-loop wordt denktijd per taak twintigvoudig vermenigvuldigd. Als Sol vier seconden per stap nodig heeft en Terra twee, kost een taak van twintig stappen 40 seconden in plaats van 80. OpenAI-medewerker Victor E. Nunez meldde dat Terra een webformulier meer dan twee minuten sneller dan Sol voltooide; dat is een anekdote, geen benchmark, maar het is het soort verschil dat gebruikers merken zonder dat het hun wordt gezegd.

Waar de lus breekt

• Onomkeerbare acties. Indienen, verzenden, verwijderen, betalen — elke actie met een neveneffect vereist een goedkeuringspoort. Geen enkele benchmarkscore verandert dat.

• Dubbelzinnige interfaces. Twee knoppen met het label “Doorgaan” verslaan een model, ongeacht de prijs; de oplossing is hygiëne bij prompts en screenshots.

• Lange tijdshorizonnen. De berekening per stap hierboven is het volledige argument tegen werk met lange tijdshorizonnen zonder toezicht bij 98,5% per stap.

• Verouderde schermafbeeldingen. Een frame dat is vastgelegd vóór een layoutverschuiving, is onjuist, en een onjuist frame leidt tot een zelfverzekerde verkeerde klik.

• Status die tussen tabbladen blijft bestaan. Op screenshots gebaseerde agents zien één venster tegelijk; workflows met meerdere tabbladen vereisen expliciete statusregistratie buiten het model.

Vangrails die 74% opleverbaar maken

• Begrens stappen, niet alleen dollars. Twintig is tegelijk een budget en een veiligheidsmaatregel; een loop die niet kan eindigen, is de duurste faalmodus.

• Beheers neveneffecten. Leid elke actie die externe status wijzigt via een mens of een beleidscontrole.

• Log de frame samen met de actie. Wanneer de agent iets verkeerd doet, is het enige bruikbare artefact de schermafbeelding waarop deze handelde.

• Gebruik gestructureerde outputs voor het actieschema. Een actie in vrije tekst is niet te parsen op precies het moment dat je zekerheid nodig hebt.

• Meet per stap, niet per taak. Een regressie van 2% per stap is onzichtbaar in taakscores en verdubbelt de faalkans over vijftig stappen.

• Houd een tweede model paraat voor de moeilijke stappen. Terra voor routinematige frames en een sterker model voor de dubbelzinnige gevallen is goedkoper dan Terra met nieuwe pogingen.

Wat te lopen vandaag

GPT-6.1 Terra staat op het moment van schrijven niet in de OrcaRouter-catalogus, dus de Terra-variant moet direct tegen OpenAI worden getest. De vergelijkingsset is bij ons live met 0% opslag over de lijstprijs van de provider — GPT-6.1 Sol voor $2/$10, GPT-6 Astra voor $10/$50, Claude Opus 5.5 voor $4/$20, Claude Sonnet 5.5 voor $2/$10 en Kimi K3.1 Pro voor $2/$10 — allemaal op één sleutel met automatische failover.

Het experiment dat de moeite waard is om uit te voeren, is niet “welk model scoort het hoogst op OSWorld”. Het is je eigen takenverzameling, per stap gescoord, met het screenshotbeleid constant gehouden. Die meting bepaalt of Terra’s prijs en snelheid het gat van 7,6 punt ten opzichte van Claude Opus 5.5 waard zijn bij de taken die je daadwerkelijk uitvoert — en het is het enige getal waarop een agentproduct kan worden gebouwd.