GPT-6.1 Terra dla Agentów Przeglądarkowych: Matematyka każdego kroku stojąca za 74,2%

Argument OpenAI za GPT-6.1 Terra nie polega na tym, że jest mądrzejszy. Polega na tym, że potrafi obsługiwać ekran — wypełnić formularz, odczytać rysunek techniczny, klikać w aplikacji — i robić to tanio i szybko. Benchmarkiem, który potwierdza to twierdzenie, jest OSWorld 2.1, gdzie Terra uzyskuje 74,2% przy maksymalnym wysiłku rozumowania, z wynikiem różniącym się o 1,7 punktu od GPT-6.1 Sol w trybie xhigh i o 1,6 punktu od GPT-6 Astra. Jednak liczbą, która ma znaczenie dla agenta, nie jest wynik zadania. Jest nią niezawodność na pojedynczy krok, jaką sugeruje ten wynik, ponieważ agenci zawodzą krok po kroku, a nie zadanie po zadaniu.

Ten materiał bierze na warsztat te 74,2%: co mierzy OSWorld, co to oznacza na każdym kroku, ile kosztuje zadanie składające się z dwudziestu kroków, gdzie załamuje się pętla i jakie zabezpieczenia powstrzymują agenta o 74-procentowej dokładności przed staniem się incydentem o 0-procentowej dokładności.

Co mówi tablica wyników

• GPT-6.1 Terra — 74,2% w OSWorld 2.1 przy maksymalnym wysiłku.

• GPT-6.1 Sol — 75,9% przy xhigh.

• GPT-6 Astra — 75,8%.

• Claude Opus 5.5 — 81,8%.

• Claude Sonnet 5.5 — 80.1%.

• Kimi K3.1 Pro — 79,6%.

Warto rozdzielić trzy interpretacje. W rodzinie GPT-6 Terra dzieli od droższych modeli siostrzanych zaledwie błąd zaokrąglenia — różnica w cenie nie daje prawie nic w automatyzacji pulpitu. U różnych dostawców cała rodzina pozostaje za Anthropic o sześć do siedmiu punktów. A twierdzenie samego dostawcy dotyczące Terra — mniej więcej na poziomie GPT-6 Astra w trybie medium w Agents’ Last Exam, przy jednej dziesiątej ceny za token — dotyczy konkretnego zadania i liczba OSWorld w dużej mierze je potwierdza.

Od wyniku zadania do niezawodności na poziomie poszczególnych kroków

Zadania OSWorld są oceniane jako zaliczone lub niezaliczone po sekwencji działań. Jeśli zadanie zajmuje około dwudziestu kroków, a Terra kończy 74,2% zadań od początku do końca, to implikowany wskaźnik powodzenia na krok wynosi pierwiastek dwudziestego stopnia z 0,742 — około 98,5%. To jest ilustracja arytmetyczna, a nie pomiar: niektóre zadania są krótsze, inne dłuższe, a porażki nie są niezależne. Ale poprawnie ustala skalę. Model, który wygląda jak model 74%, w rzeczywistości jest modelem 98,5% na krok, i właśnie w tej luce mieści się projektowanie agentów.

Odwróć obliczenia dla procesu składającego się z pięćdziesięciu kroków. Przy tej samej skuteczności na krok powodzenie całego procesu spada do około 47%. Przy osiemdziesięciu krokach wynosi 30%. Wynik zadania się nie zmienia; zmienia się proces, i dlatego „wystarczająco dobry dla agenta” zależy wyłącznie od tego, jak długo agent działa bez nadzoru.

Ile kosztuje zadanie

Załóż 3000 tokenów wejściowych na krok — zrzut ekranu plus stan zadania plus historia działań — oraz 150 tokenów wyjściowych na działanie, przez dwadzieścia kroków.

• Za zadanie: 60 000 danych wejściowych po 1 USD za milion to 0,06 USD; 3 000 danych wyjściowych po 5 USD za milion to 0,015 USD. Razem 0,075 USD.

• Przy 30% współczynniku ponownych prób: około 0,0975 USD za udane zadanie, czyli 98 USD za tysiąc zadań.

Ten sam nakład pracy na GPT-6.1 Sol w cenie $2/$10: $0.15 za zadanie, $195 za tysiąc.

• W przypadku GPT-6 Astra przy $10/$50: $0,75 za zadanie, $975 za tysiąc.

• W przypadku Claude Opus 5.5 w cenie $4/$20: $0,30 za zadanie, $390 za tysiąc.

Założenia dotyczące tokenów mają większe znaczenie niż stosunek cen. Zrzuty ekranu dominują w koszcie wejścia, a rozmiar zrzutu ekranu jest kwestią wyboru: pełny plik PNG 1440×900 kosztuje znacznie więcej tokenów niż przycięty obszar zainteresowania. Potok, który wysyła jeden przycięty zrzut ekranu na krok zamiast całego pulpitu, może zmniejszyć liczbę tokenów wejściowych o połowę, co o połowę obniża koszt na zadanie i zmienia ranking względem dokładniejszych modeli.

Opóźnienie jest produktem

Artificial Analysis mierzy Terra na poziomie 90,9 tokena wyjściowego na sekundę i 133,64 sekundy do pierwszego tokena w swoim benchmarku rozumowania, w porównaniu z 73,5 tokena na sekundę i 284,31 sekundy dla GPT-6.1 Sol. Te wartości opóźnienia pochodzą z zadania rozumowania o maksymalnym wysiłku, więc zawyżają opóźnienie na krok w pętli agenta — ale stosunek, nieco ponad 2×, jest właściwym wskaźnikiem tego, jak długo każdy model myśli, zanim podejmie działanie.

W pętli agenta czas poświęcony na myślenie kumuluje się dwudziestokrotnie podczas każdego zadania. Jeśli Sol potrzebuje czterech sekund na krok, a Terra dwóch, zadanie składające się z dwudziestu kroków kończy się w 40 sekund zamiast w 80. Pracownik OpenAI Victor E. Nunez poinformował, że Terra wypełniła formularz internetowy ponad dwie minuty szybciej niż Sol; to anegdota, a nie benchmark, ale właśnie tego typu różnicę użytkownicy zauważają, nawet gdy nikt im o niej nie powie.

Gdzie pętla się przerywa

• Nieodwracalne działania. Wyślij, prześlij, usuń, zapłać — każde działanie z efektem ubocznym wymaga bramki zatwierdzenia. Żadne wyniki testów porównawczych tego nie zmienią.

• Niejednoznaczne interfejsy. Dwa przyciski oznaczone „Continue” pokonają każdy model, niezależnie od ceny; rozwiązaniem jest higiena promptów i zrzutów ekranu.

• Długie horyzonty. Powyższa matematyka dla pojedynczego kroku stanowi cały argument przeciwko nienadzorowanej pracy na długich horyzontach przy 98,5% na krok.

• {{1}}Nieaktualne zrzuty ekranu{{/1}}. Klatka przechwycona przed zmianą układu jest błędna, a błędna klatka prowadzi do pewnego, lecz błędnego kliknięcia.

• Stan, który trwa ponad kartami. Agenci działający na podstawie zrzutów ekranu widzą jedno okno naraz; przepływy pracy z wieloma kartami wymagają jawnego śledzenia stanu poza modelem.

Zabezpieczenia, dzięki którym 74% jest gotowe do wdrożenia

• Ustal limit kroków, nie tylko dolarów. Dwadzieścia to jednocześnie budżet i kontrola bezpieczeństwa; pętla, której nie można zakończyć, to najkosztowniejszy tryb awarii.

• Bramkuj efekty uboczne. Każde działanie zmieniające stan zewnętrzny kieruj przez człowieka lub kontrolę polityki.

• Zarejestruj klatkę wraz z działaniem. Gdy agent zrobi coś nieprawidłowo, jedynym przydatnym artefaktem jest zrzut ekranu, na którym działał.

• Używaj ustrukturyzowanych danych wyjściowych dla schematu akcji. Akcja w formie dowolnego tekstu jest nie do sparsowania dokładnie w momencie, gdy potrzebujesz pewności.

• Mierz na każdym kroku, a nie na poziomie zadania. Dwuporcentowa regresja na krok jest niewidoczna w wynikach zadań i podwaja odsetek niepowodzeń na przestrzeni pięćdziesięciu kroków.

• Używaj drugiego modelu do trudnych kroków. Terra do rutynowych klatek, silniejszy model do niejednoznacznych — jest taniej niż Terra z ponownymi próbami.

Co uruchomić dzisiaj

GPT-6.1 Terra nie znajduje się w katalogu OrcaRouter w momencie pisania tego tekstu, więc wariant Terra trzeba testować bezpośrednio na OpenAI. Zestaw porównawczy jest już aktywny po naszej stronie — z 0% marży ponad cenę katalogową dostawcy: GPT-6.1 Sol za $2/$10, GPT-6 Astra za $10/$50, Claude Opus 5.5 za $4/$20, Claude Sonnet 5.5 za $2/$10 oraz Kimi K3.1 Pro za $2/$10 — wszystko na jednym kluczu z automatycznym przełączaniem awaryjnym.

Eksperymentem, który warto przeprowadzić, nie jest „który model osiąga najwyższy wynik w OSWorld”. Jest nim własny zestaw zadań, oceniany krok po kroku, przy niezmiennej polityce zrzutów ekranu. To pomiar decyduje, czy cena i szybkość Terra są warte 7,6-punktowej różnicy względem Claude Opus 5.5 w zadaniach, które rzeczywiście wykonujesz — i jest to jedyna liczba, na której można oprzeć produkt agentowy.