Benchmarki GPT-6.1 Terra, posortowane: gdzie 48 remisuje z 52, a gdzie nie

Wynik złożony dla GPT-6.1 Terra wynosi 48. GPT-6.1 Sol ma 52, GPT-6 Astra 53, GPT-5.6 Terra 42, a GPT-6 Luna 38. To cała historia, jeśli czytasz tylko pierwszy wiersz Artificial Analysis Intelligence Index — model średniej klasy, który wypada sześć punktów powyżej poprzednika i cztery poniżej droższego brata. To także najmniej użyteczny sposób odczytania premiery, ponieważ ten sam indeks ukrywa 29-punktową różnicę w kodowaniu względem Astry, 7,6-punktową lukę w obsłudze komputera względem Claude Opus 5.5 oraz poprawę w zakresie halucynacji, która jest większa niż wszystkie wzrosty inteligencji w ramach premiery łącznie.

To, co następuje, rozdziela trzy rodzaje liczb: niezależne pomiary od Artificial Analysis, wyniki podawane przez OpenAI, których nikt z zewnątrz nie odtworzył, oraz liczby pochodne — arytmetykę, która przekształca jedne lub drugie z dwóch pierwszych w koszt albo stosunek. Te rozróżnienia mają znaczenie, ponieważ relacje z premiery już zaczęły je mieszać.

Trzy wyniki, które wszyscy będą cytować

Artificial Analysis umieszcza GPT-6.1 Terra z wynikiem 48 w swoim Intelligence Index, na 25. miejscu spośród 221 modeli, przy koszcie 0,40 USD za zadanie indeksowe. GPT-6.1 Sol ma wynik 52 i 13. miejsce, przy 0,72 USD za zadanie. GPT-6 Astra, obecny model flagowy, ma wynik 53. GPT-5.6 Terra ma wynik 42 i 53. miejsce, przy 1,40 USD za zadanie. GPT-6 Luna ma wynik 38.

Odczytując to jako drabinkę, Terra jest prawdziwym ulepszeniem: sześć punktów za mniej niż jedną trzecią kosztu na ukończone zadanie i dziesięć punktów powyżej poziomu budżetowego. W porównaniu z Sol jest dokładnie tym, co sugeruje cennik — cztery punkty słabsza, przy mniej więcej połowie ceny tokenów. Nic w wyniku złożonym nie przeczy pozycjonowaniu OpenAI.

Kompozyt spłaszcza też rzeczy, których nie powinien. Cztery punkty indeksu między Terra a Sol to 8% skali; 29 punktów między Terra a Astra w Coding Agent Index to 60% tej skali. Jedna liczba nie może udźwignąć obu, a relacje z premiery, które cytują tylko pierwszą, po cichu pominęły drugą.

Tam, gdzie luka się powiększa: programowanie

W indeksie Coding Agent Index v2.0 firmy Artificial Analysis GPT-6.1 Terra uzyskuje 48 punktów, GPT-6.1 Sol — 54, a GPT-6 Luna — 31. To sześciopunktowa strata do Sol i 17-punktowa przewaga nad Luną — ten sam układ co w indeksie inteligencji, ale luka do najlepszego modelu w rodzinie jest większa w ujęciu względnym.

Liczby dostawcy opowiadają bardziej pochlebną historię — i są to liczby dostawcy. OpenAI podaje, że przy maksymalnym wysiłku rozwiązano 50,3% zadań w Terminal-Bench 4.0, wobec 21,5% dla GPT-5.6 Terra. To ponad dwukrotnie więcej i największy skok z generacji na generację w tym wydaniu. Jest to również benchmark zadań terminalowych, a nie szeroka miara agenta kodującego: Terra może być bliska Sol w krótkich, dobrze zdefiniowanych zadaniach powłoki, a mimo to pozostawać sześć punktów z tyłu w szerszym indeksie — i oba te stwierdzenia są prawdziwe jednocześnie.

Praktyczny wniosek jest taki, że zyski Terra w kodowaniu skupiają się tam, gdzie zadanie ma ograniczony zakres. „Uruchom ten zestaw testów, odczytaj błąd, załataj plik” to profil Terra. „Utrzymaj w głowie refaktoryzację piętnastu plików przez czterdzieści kroków” już nie, a własna rekomendacja OpenAI nadal kieruje złożoną pracę programistyczną do Sol lub Astra.

Gdzie luka jest mniejsza, niż sugeruje indeks: korzystanie z komputerów

W OSWorld 2.1, standardowym benchmarku automatyzacji pulpitu, GPT-6.1 Terra osiąga 74,2% przy maksymalnym rozumowaniu. GPT-6.1 Sol osiąga 75,9% przy xhigh. GPT-6 Astra osiąga 75,8%. Claude Opus 5.5 przewodzi wśród modeli, które możemy porównać, z wynikiem 81,8%, a Claude Fable 5.1 osiąga 80,7%, Claude Sonnet 5.5 – 80,1%, a Kimi K3.1 Pro – 79,6%.

Z tego wynikają dwie rzeczy. Po pierwsze, Terra dzieli od Sola zaledwie 1,7 punktu w zadaniu, do którego została stworzona, przy połowie ceny za token — to znacznie lepszy interes, niż sugerowałaby czteropunktowa luka w inteligencji. Po drugie, cała rodzina GPT-6 ustępuje Anthropicowi w automatyzacji pulpitu o sześć do siedmiu punktów, a Terra tej luki nie zamyka. Jeśli Twój produkt jest agentem przeglądarkowym, interesującym porównaniem nie jest Terra kontra Sol; jest nim Terra kontra Claude Sonnet 5.5, który jest tańszy za token niż Sol i uzyskuje o 5,9 punktu wyższy wynik w OSWorld.

Własne wskaźniki agentowe dostawcy wskazują ten sam kierunek. W Agents' Last Exam v1 OpenAI podaje 57,6% dla Terra przy średnim wysiłku, wobec 50,7% dla GPT-5.6 Terra przy maksymalnym. Dołączone do tego twierdzenie — o porównywalności z GPT-6 Astra przy średnim wysiłku, przy cenie za token wynoszącej około jednej dziesiątej — jest twierdzeniem na poziomie zadania i stanowi najbardziej istotne ekonomicznie zdanie w tej premierze.

Liczba, która faktycznie się zmieniła: halucynacja

Artificial Analysis mierzy wskaźnik halucynacji w teście Omniscience: jak często model zgaduje, gdy nie zna odpowiedzi. GPT-5.6 Terra uzyskał 88%. GPT-6.1 Terra uzyskuje 38%. W tym samym okresie dokładność wzrosła o dwa punkty.

Spadek o 50 punktów w odsetku zgadywania jest większy niż jakikolwiek przyrost inteligencji w tym wydaniu i to jedyna liczba, która zmienia, do czego model można bezpiecznie używać. Model, który w 88% przypadków, gdy nie jest pewny, wymyśla odpowiedź, nie może być zaufany przy wyodrębnianiu danych z faktur ani wypełnianiu formularzy bez sprawdzania przez człowieka każdego wyniku. Przy 38% nadal zgaduje w ponad jednej trzeciej przypadków — to poprawa, a nie rozwiązanie — ale tryb błędu przesuwa się z „zakładaj, że jest błędnie” na „próbkuj i weryfikuj”.

Ma to bezpośrednie konsekwencje kosztowe. Weryfikacja to ukryta pozycja kosztowa w każdym wdrożeniu taniego modelu: jeśli trzeba sprawdzać 88% odpowiedzi, koszt pracy przyćmiewa oszczędność tokenów. Przy 38% wyrywkowa kontrola staje się realna, a stawka $0.40 za zadanie zaczyna wyglądać na rzeczywisty koszt, a nie widoczną jego połowę.

Twierdzenia dostawców i czego w nich brakuje

Opublikowane przez OpenAI wyniki — wszystkie przeprowadzone przez dostawcę i żadne niezależnie nieodtworzone w momencie pisania:

• Terminal-Bench 4.0 — 50,3% przy maksymalnym wysiłku, w porównaniu z 21,5% dla GPT-5.6 Terra.

• Agents' Last Exam — o 15 punktów więcej niż GPT-5.6 Terra przy średnim wysiłku, za około jedną trzecią kosztu.

• MMMU-Pro — przed GPT-5.6 Terra na każdym poziomie wysiłku, zbliżając się do Astra i Sol, bez opublikowanych wyników bezwzględnych.

• Terminal-Bench-Science 0.1 — w odległości do 5 punktów od Claude Opus 5.5 przy mniej niż jednej piątej szacowanego kosztu.

• Prompty wywołujące błędy — 16,7% przy niskim wysiłku wobec 53,6% i 4,3% przy maksymalnym, w wewnętrznym teście, którego firma nie opublikowała.

Warto nazwać wzorzec widoczny na tej liście. Dwa najmocniejsze twierdzenia — MMMU-Pro i test współczynnika błędów — to te dwa, do których nie dołączono żadnych liczb bezwzględnych. „Zbliża się do poziomu Astra” i „blisko poziomu Sol” to stwierdzenia porównawcze, których nie można zweryfikować bez liczb stojących za nimi. Twierdzenia z twardymi liczbami to te, które strona trzecia może odtworzyć, a Artificial Analysis już odtworzyło stronę kosztową: 0,40 USD za zadanie, 1,40 USD za poprzednika.

Prędkość jest niezależną liczbą, której nie ma w indeksie.

Artificial Analysis mierzy GPT-6.1 Terra na poziomie 90,9 tokenów wyjściowych na sekundę przy 133,64 sekundy do pierwszego tokenu w swoim benchmarku rozumowania. GPT-6.1 Sol jest mierzony na poziomie 73,5 tokena na sekundę i 284,31 sekundy. To około 24% większa przepustowość i nieco ponad dwukrotnie większa przewaga pod względem czasu do pierwszego tokenu — niezależny pomiar, a nie twierdzenie dostawcy, i najsilniejszy obiektywny argument za Terra w całym wydaniu.

W produkcie czatowym przepustowość prawie nie ma znaczenia; w pętli computer use, w której na jedno zadanie przypada dwadzieścia kroków, to różnica między zadaniem trwającym 40 sekund a takim, które trwa 90 sekund. Indeks nie wycenia opóźnienia, dlatego model sklasyfikowany na 25. miejscu może być właściwym zakupem dla agenta, który pod względem jakości zajmuje 13. miejsce.

Jak czytać indeks, nie dając się zwieść

Traktuj wskaźnik złożony jak filtr, a nie ranking. Mówi ci, które modele są w grze; nie mówi, który z nich zwycięży w twoim zadaniu.

• Spójrz osobno na podwyniki dotyczące programowania i korzystania z komputera. Profil Terry jest nietypowo szeroki: blisko Sol w automatyzacji pulpitu, sześć punktów straty w programowaniu, cztery w wyniku ogólnym.

• Ponownie sprawdź wartości bezwzględne względem jednej daty. Indeks jest okresowo renormalizowany, a opracowania z różnych tygodni podają różne liczby dla tego samego modelu.

• Traktuj wskaźnik halucynacji równie poważnie jak wynik inteligencji, jeśli w Twoim obciążeniu pracą występuje koszt weryfikacji. Poprawa o 50 punktów zmienia model operacyjny, a nie tylko wynik.

• Zmierz własne zadanie. Wskaźniki kosztu na zadanie od Artificial Analysis są przybliżeniem opartym na ich promptach; Twoje prompty dadzą inny stosunek ceny tokenów do liczby prób.

Nic z tego nie czyni GPT-6.1 Terra złym modelem. Czyni go modelem konkretnym: szybkim, tanim, znacznie rzadziej halucynującym, bliskim swojemu droższemu bratu pod względem ekranów i dalekim od flagowca pod względem kodu. Wynik zbiorczy mówi 48. Wyniki cząstkowe mówią, które 48 kupujesz.