GPT-6.1 Terra för webbläsaragenter: Matematiken per steg bakom 74,2 %

OpenAI:s argument för GPT-6.1 Terra är inte att den är smartare. Det är att den kan hantera en skärm — fylla i ett formulär, läsa en teknisk ritning, klicka sig igenom en applikation — och göra det billigt och snabbt. Riktmärket som stöder påståendet är OSWorld 2.1, där Terra får 74,2 % vid maximal resonemangsansträngning, inom 1,7 poäng från GPT-6.1 Sol vid xhigh och 1,6 poäng från GPT-6 Astra. Siffran som spelar roll för en agent är dock inte uppgiftspoängen. Det är den tillförlitlighet per steg som den poängen antyder, eftersom agenter misslyckas steg för steg, inte uppgift för uppgift.

Den här artikeln plockar isär de 74,2 procenten: vad OSWorld mäter, vad det innebär per steg, vad en tjugostegsuppgift kostar, var loopen brister och vilka skyddsräcken som hindrar en agent med 74 procents träffsäkerhet från att bli en incident med 0 procents träffsäkerhet.

Vad resultattavlan säger

• GPT-6.1 Terra — 74,2 % på OSWorld 2.1 vid maximal insats.

• GPT-6.1 Sol — 75,9 % vid xhigh.

• GPT-6 Astra — 75,8 %.

• Claude Opus 5.5 — 81,8 %.

• Claude Sonnet 5.5 — 80,1 %.

• Kimi K3.1 Pro — 79,6 %.

Tre tolkningar är värda att skilja åt. Inom GPT-6-familjen är Terra ett avrundningsfel bort från sina dyrare syskon – prisskillnaden köper nästan ingenting när det gäller skrivbordsautomatisering. Leverantörsöverskridande ligger hela familjen sex till sju poäng efter Anthropic. Och Terras eget leverantörsnära påstående – ungefär i nivå med GPT-6 Astra på medium i Agents' Last Exam, till en tiondel av priset per token – är ett påstående per uppgift som OSWorld-siffran i stort sett stöder.

Från uppgiftspoäng till tillförlitlighet per steg

OSWorld-uppgifter bedöms som godkända eller underkända efter en sekvens av åtgärder. Om en uppgift tar ungefär tjugo steg och Terra slutför 74,2 % av uppgifterna från början till slut, är den underförstådda framgångsgraden per steg den tjugonde roten ur 0,742 – ungefär 98,5 %. Det är en aritmetisk illustration, inte en mätning: vissa uppgifter är kortare, vissa längre, och fel är inte oberoende. Men det sätter skalan korrekt. En modell som ser ut som en 74 %-modell är egentligen en modell med 98,5 % per steg, och det gapet är där agentdesign lever.

Räkna om matematiken åt andra hållet för ett arbetsflöde med femtio steg. Vid samma sannolikhet per steg sjunker den totala framgången till cirka 47 %. Vid åttio steg är den 30 %. Uppgiftens poäng ändras inte; arbetsflödet gör det, och det är därför som ”tillräckligt bra för en agent” helt beror på hur länge agenten kör utan övervakning.

Vad en uppgift kostar

Anta 3 000 indatatoken per steg – en skärmbild plus uppgiftstillstånd plus åtgärdshistorik – och 150 utdatatoken för åtgärden, över tjugo steg.

Per uppgift: 60 000 indata à $1 per miljon är $0,06; 3 000 utdata à $5 per miljon är $0,015. Totalt $0,075.

• Med en återförsöksfrekvens på 30 %: cirka 0,0975 USD per lyckad uppgift, eller 98 USD per tusen uppgifter.

• Samma arbetsmängd på GPT-6.1 Sol till $2/$10: $0.15 per uppgift, $195 per tusen.

• Med GPT-6 Astra till $10/$50: $0,75 per uppgift, $975 per tusen.

• På Claude Opus 5.5 till $4/$20: $0,30 per uppgift, $390 per tusen.

Tokenantagandena spelar större roll än prisförhållandet. Skärmbilder dominerar kostnaden för indata, och skärmbildens storlek är ett val: en fullständig 1440×900-PNG kostar långt fler tokens än ett beskuret intresseområde. En pipeline som skickar en beskuren skärmbild per steg i stället för hela skrivbordet kan halvera antalet indatatokens, vilket halverar kostnaden per uppgift och ändrar rangordningen gentemot de mer noggranna modellerna.

Latens är produkten

Artificial Analysis mäter Terra till 90,9 utdatatokens per sekund och 133,64 sekunder till första token på sitt resonemangsbenchmark, mot 73,5 tokens per sekund och 284,31 sekunder för GPT-6.1 Sol. Dessa latenssiffror kommer från en resonemangsuppgift med maximal ansträngning, så de överdriver fördröjningen per steg i en agentloop – men förhållandet, drygt 2×, är rätt indikator på hur länge varje modell tänker innan den agerar.

I en agentloop ackumuleras tanketiden tjugo gånger per uppgift. Om Sol tar fyra sekunder per steg och Terra två sekunder, slutförs en uppgift med tjugo steg på 40 sekunder i stället för 80. OpenAI-medarbetaren Victor E. Nunez rapporterade att Terra slutförde ett webbformulär mer än två minuter snabbare än Sol; det är en anekdot, inte ett riktmärke, men det är den typ av skillnad som användare lägger märke till utan att någon påpekar den.

Där loopen bryts

• Oåterkalleliga åtgärder. Skicka in, sänd, radera, betala – varje åtgärd med sidoeffekt kräver en godkännandegrind. Inga benchmarkpoäng ändrar det.

Tvetydiga gränssnitt. Två knappar märkta ”Continue” slår ut en modell oavsett pris; lösningen är god hygien kring prompter och skärmdumpar.

• Långa horisonter. Matematiken per steg ovan är hela argumentet mot oövervakat långhorisontarbete vid 98,5 % per steg.

• Inaktuella skärmbilder. En bildruta som fångats före en layoutförskjutning är felaktig, och en felaktig bildruta ger ett självsäkert felaktigt klick.

• Tillstånd som sträcker sig över flikar. Skärmbildsbaserade agenter ser ett fönster i taget; arbetsflöden med flera flikar kräver explicit tillståndsspårning utanför modellen.

Skyddsräcken som gör 74 % leveransbara

• Begränsa antalet steg, inte bara antalet dollar. Tjugo är både en budget och en säkerhetskontroll på samma gång; en loop som inte kan avslutas är det dyraste felmoden.

• Grindvakta sidoeffekter. Låt varje åtgärd som ändrar externt tillstånd passera genom en människa eller en policykontroll.

• Logga bildrutan tillsammans med åtgärden. När agenten gör något fel är den enda användbara artefakten skärmbilden som den agerade på.

• Använd strukturerade utdata för åtgärdsschemat. En fritextåtgärd går inte att tolka precis när du behöver säkerhet.

• Mät per steg, inte per uppgift. En regression på 2 % per steg är osynlig i uppgiftspoängen och fördubblar felfrekvensen över femtio steg.

• Behåll en andra modell för de svåra stegen. Terra för rutinmässiga frames, en starkare modell för de tvetydiga, är billigare än Terra med återförsök.

Vad du ska springa idag

GPT-6.1 Terra finns inte i OrcaRouter-katalogen vid tidpunkten för skrivandet, så Terra-armen måste testas direkt mot OpenAI. Jämförelseuppsättningen är aktiv hos oss med 0 % påslag över leverantörens listpris — GPT-6.1 Sol till $2/$10, GPT-6 Astra till $10/$50, Claude Opus 5.5 till $4/$20, Claude Sonnet 5.5 till $2/$10 och Kimi K3.1 Pro till $2/$10 — allt på en enda nyckel med automatisk failover.

Experimentet som är värt att köra är inte ”vilken modell som får högst poäng på OSWorld”. Det är din egen uppsättning uppgifter, poängsatt per steg, med skärmbildspolicyn oförändrad. Den mätningen avgör om Terras pris och hastighet är värda 7,6-poängsgapet till Claude Opus 5.5 på de uppgifter du faktiskt kör — och det är det enda talet som en agentprodukt kan byggas på.