Największa liczba GPT-6.1 Terra to 38%: wskaźnik halucynacji, a nie IQ

Doniesienia o premierze GPT-6.1 Terra skupiły się na sześciopunktowym wzroście inteligencji i karcie za pół ceny. Liczbą, która faktycznie zmienia sposób wykorzystania modelu, jest 38% — miara Artificial Analysis pokazująca, jak często Terra zgaduje, gdy nie zna odpowiedzi; spadła z 88% w GPT-5.6 Terra. Pięćdziesięciopunktowy spadek częstości zgadywania jest większy niż wszystkie wzrosty jakości w wydaniu razem wzięte i przenosi model z postawy „zakładaj, że odpowiedź jest wymyślona” do „próbkuj i weryfikuj”.

Ten tekst rozdziela dwie różne rzeczy, które w tym wydaniu określa się mianem halucynacji — niezależną miarę wszechwiedzy i wewnętrzny test błędów OpenAI — oraz określa koszt 38-procentowego odsetka zgadywania w rzeczywistym potoku weryfikacji.

Co mierzy 38%?

Ewaluacja AA-Omniscience od Artificial Analysis zadaje modelom pytania, na które mogą nie znać odpowiedzi, i liczy, jak często mimo to udzielają odpowiedzi z pełnym przekonaniem. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. Dokładność wzrosła w tym samym okresie o dwa punkty.

Czytane razem, te dwa fakty opisują model, który stał się bardziej skłonny mówić „nie wiem” — a nie taki, który stał się dramatycznie bardziej wiedzący. Wskaźnik inteligencji przesunął się o sześć punktów, z 42 do 48. Zachowanie polegające na wstrzymywaniu się od odpowiedzi zmieniło się o pięćdziesiąt. Dla każdego, kto używa modelu do wydobywania faktów, jest to bardziej wartościowa zmiana.

To wciąż nie jest dobre. Trzydzieści osiem procent oznacza, że w zbiorze pytań, na które model nie potrafi odpowiedzieć, w ponad jednej trzeciej przypadków nadal udziela pewnej błędnej odpowiedzi. Model, który w 62% przypadków wstrzymuje się od odpowiedzi, gdy czegoś nie wie, jest znacznie bezpieczniejszy niż ten, który wstrzymuje się w 12% przypadków — i wciąż nie jest czymś, co można postawić przed klientem bez sprawdzenia.

Numer dostawcy to inny test.

Głównym wynikiem OpenAI jest spadek o 37 punktów w przypadku promptów zaprojektowanych, by wywoływać błędy: z 53,6% na GPT-5.6 Terra przy niskim wysiłku do 16,7% na Terra i 4,3% przy maksymalnym wysiłku. Ten test jest wewnętrzny, niepublikowany i skonstruowany adwersaryjnie. Mierzy on, czy model potrafi oprzeć się promptowi zaprojektowanemu tak, by go pokonać — a nie czy wymyśla fakty, gdy ich nie zna.

Obie liczby mogą być prawdziwe jednocześnie. Test dostawcy mierzy odporność na wrogie prompty; niezależny test mierzy kalibrację w warunkach braku wiedzy. Są ze sobą skorelowane, ale nie są wymienne, a relacje z premiery w dużej mierze traktowały pierwszy wynik jako dowód na drugi. Tak jednak nie jest.

Ile kosztuje 38-procentowy wskaźnik zgadywania

Weryfikacja to ukryta pozycja kosztowa w każdym wdrożeniu taniego modelu i skaluje się wraz z odsetkiem zgadywań. Weźmy potok ekstrakcji dokumentów przetwarzający 100 000 stron miesięcznie, w którym ręczna kontrola wyrywkowa kosztuje 2 USD za sprawdzoną stronę.

• Przy 88-procentowej skuteczności zgadywania nie można przeprowadzać kontroli wyrywkowych. Sprawdzasz wszystko: 100 000 stron × 2 USD = 200 000 USD miesięcznie. Rachunek za tokeny nie ma znaczenia.

• Przy 38% schemat próbkowania staje się opłacalny. Sprawdź 20% stron: 20 000 × 2 $ = 40 000 $ miesięcznie, przy znanym wskaźniku pominięć w pozostałych.

Przy hipotetycznych 10% sprawdzanie 5% kosztowałoby 10 000 dolarów miesięcznie i nadal ograniczałoby wskaźnik błędów.

Koszt tokenów samego pipeline’u przy stawkach Terra — powiedzmy 20 000 tokenów wejściowych i 500 tokenów wyjściowych na stronę — wynosi 2250 USD na 100 000 stron. Pozycja weryfikacji jest od dziesięciu do dziewięćdziesięciu razy większa niż pozycja modelu. To właściwe ramy porównywania tanich modeli: rachunek to model plus weryfikacja, a weryfikacja zależy od wskaźnika zgadywania.

Które zadania tolerują zgadywanie

• Tolerancyjny — streszczanie dokumentu całkowicie mieszczącego się w kontekście (odpowiedź opiera się na danych wejściowych), klasyfikacja ze stałym zestawem etykiet, tworzenie treści, które edytuje człowiek, ekstrakcja ze schematem odrzucającym nieprawidłowe dane wyjściowe.

• Nietolerancyjny — udzielanie odpowiedzi na pytania faktograficzne bez pozyskiwania źródeł (retrieval), dane finansowe, cytaty prawne, dawki leków, wszystko, gdzie prawdopodobna błędna odpowiedź jest gorsza niż brak odpowiedzi.

Linią podziału nie jest wynik inteligencji modelu, lecz to, czy odpowiedź można zweryfikować względem źródła. 38-procentowy odsetek zgadywania w zadaniu, w którym każdy wynik jest weryfikowany, to problem efektywności. W zadaniu, w którym wyniki trafiają bezpośrednio do klienta, stanowi to obciążenie.

Jak to zmierzyć na własnych danych

• Zbuduj zestaw pytań, na które model nie potrafi odpowiedzieć na podstawie kontekstu. Wskaźnik zgadywania jest mierzony na elementach, na które nie można odpowiedzieć, a nie na całym zestawie testowym — test, w którym każde pytanie ma odpowiedź, mierzy dokładność, a nie kalibrację.

• Oceniaj trzy wyniki, nie dwa: poprawny, błędny, wstrzymany. Model, który odpowiada „nie wiem”, zachowuje się poprawnie w przypadku pytania, na które nie można odpowiedzieć.

• Porównaj z GPT-5.6 Terra na tym samym zestawie. Poprawa o pięćdziesiąt punktów to twierdzenie niezależne od dostawcy, ale jest mierzone na pytaniach Artificial Analysis; Twoje mogą się różnić.

• Zwracaj uwagę na ustawienie poziomu wysiłku. Twierdzenia dotyczące współczynnika błędów zależą od konkretnego poziomu wysiłku, a zachowanie polegające na powstrzymywaniu się od odpowiedzi prawdopodobnie również zmienia się wraz z wysiłkiem rozumowania — przebieg o niskim wysiłku może zgadywać częściej niż przebieg o maksymalnym wysiłku.

Prompty do wstrzymania się

Kalibracja jest częściowo właściwością promptu. Trzy wzorce, które niezawodnie ograniczają zgadywanie z przekonaniem:

• Daj modelowi wyraźną możliwość wyjścia — „jeśli odpowiedzi nie ma w dostarczonym kontekście, odpowiedz UNKNOWN” — i uznawaj taką odpowiedź za poprawną w przypadku elementów, na które nie można odpowiedzieć.

• Wymagaj cytowania każdego twierdzenia faktycznego i odrzucaj wyniki, których cytowania nie pasują do kontekstu.

• Proś o etykietę pewności i kieruj odpowiedzi o niskiej pewności do drugiego modelu lub człowieka, zamiast wymagać od taniego modelu, by był pewny.

Każdy z nich kosztuje tokeny i dodaje etap. Każdy jest tańszy niż dotarcie błędnej odpowiedzi do klienta, a liczba 38% sprawia, że ten kompromis warto wycenić, zamiast go ignorować.

Dlaczego to ma większe znaczenie niż indeks

Sześciopunktowy wzrost inteligencji zmienia, które zadania model jest w stanie w ogóle wykonywać. Pięćdziesięciopunktowa zmiana w zgadywaniu zmienia, które zadania może wykonywać bez człowieka w pętli. W przypadku decyzji o routingu druga jest użyteczniejszą osią: decyduje, czy tani model może wykonywać zadanie bez nadzoru, a nadzór to koszt, który dominuje w produkcyjnym rachunku.

GPT-6.1 Terra to nie model, który przestał halucynować. To model, któremu halucynacje zdarzają się mniej niż połowę tak często jak jego poprzednikowi, przy połowie ceny i z nowszą datą odcięcia wiedzy. Ta kombinacja jest naprawdę przydatna — i jest to opowieść o weryfikacji, a nie o możliwościach.

Co możesz uruchomić już dziś

GPT-6.1 Terra nie znajduje się w katalogu OrcaRouter w chwili pisania tego tekstu, dlatego jego zachowanie polegające na wstrzymywaniu się od odpowiedzi trzeba zmierzyć bezpośrednio względem OpenAI. Wszystko, z czym jest porównywany, jest już dostępne po naszej stronie z 0% narzutu ponad cenę katalogową dostawcy — GPT-5.6 Terra za $2/$12, GPT-6.1 Sol za $2/$10, GPT-6 Astra za $10/$50, GPT-6 Luna za $0.10/$0.50, Claude Sonnet 5.5 za $2/$10 — co wystarcza do zbudowania zbioru kalibracyjnego i modelu kosztów weryfikacji, zanim Terra pojawi się w ofercie.

Liczba, którą należy przenieść do tego eksperymentu, to nie 48. To 38, a pytanie, które trzeba zadać, brzmi: jak wygląda twój budżet przeglądu przy tym wskaźniku zgadywania.