Karta tytułowa z napisem „Rachunek za poprawki GPT-6.2 Sol”, przedstawiająca GPT-6.2 Sol z wynikiem 48,6 w Artificial Analysis Coding Agent Index przy 1,22 USD na zadanie w porównaniu z Claude Opus 5.5 z wynikiem 58,2 przy 12,61 USD na zadanie, z adnotacją, że oba modele mierzono w różnych środowiskach testowych. Logo OrcaRouter znajduje się w prawym dolnym rogu.
Guides & Insights

Rachunek za przeróbkę GPT-6.2 Sol: tanio za token, drogo za poprawkę

Autor

Gideon Frost

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Rankiem 20 listopada chiński komentator AI 宝玉 (@dotey) opublikował opinię o GPT-6.2 Sol, którą rozpozna każdy, kto spędził z tym modelem tydzień. Proste zadania są w porządku. W złożonych zadaniach programistycznych nie jest tylko trochę gorszy od Claude Opus 5.5 — praca, którą kończy Sol, i tak wymaga, by Opus po nim posprzątał, więc lepiej byłoby od razu powierzyć zadanie Opusowi. Wpis to raport z użytkowania i nic więcej: żadnego harnessu, żadnej listy zadań, żadnego diffa, 124 polubienia w chwili pisania i wątek komentarzy, w którym trwa o to spór. Jest też weryfikowalny w sposób, w jaki większość wrażeń z tygodnia premiery nie jest, bo to, co opisuje, ma konkretny kształt. Model, który dobrze radzi sobie z łatwą pracą, a załamuje się przy trudnej, powinien w ewaluacjach pokazywać określony wzorzec — mocny w wykonaniu, słaby w rozumieniu — a opublikowane liczby albo ten wzorzec mają, albo nie.

W dużej mierze tak. OpenAI wydało GPT-6.2 Sol 17 listopada 2026 r. w cenie 2 USD za milion tokenów wejściowych i 10 USD za milion tokenów wyjściowych. W niezależnym Coding Agent Index firmy Artificial Analysis plasuje się poniżej modelu, który zastępuje, a komponent, który ciągnie je w dół, to ten, w którym model musi przeczytać bazę kodu i powiedzieć o niej coś prawdziwego. To jest mechanizm stojący za „trzeba po nim posprzątać”, wyrażony liczbą. Czego tweet nie robi, a czego próbuje dokonać ten artykuł, to wycenienie sprzątania — ponieważ gdy faktycznie przeprowadzi się obliczenia, teza o przeróbkach okazuje się znacznie mocniejsza pod względem czasu zegarowego niż pieniędzy, a oba te wymiary prowadzą do różnych decyzji.

Co ten post faktycznie twierdzi

Mówiąc wprost: Dziś przeprowadziłem test obciążeniowy GPT-6.2 Sol. Proste zadania są w porządku. Przy nieco bardziej złożonych zadaniach programistycznych jest nie tylko trochę gorszy od Opus 5.5 — praca, którą kończy, wciąż wymaga, żeby Opus 5.5 po nim posprzątał, więc lepiej od razu pozwolić Opus 5.5 zrobić to od początku.

Kryją się w tym trzy dające się rozdzielić twierdzenia. Po pierwsze, twierdzenie o jakości: Sol jest znacząco gorszy niż Opus 5.5 w złożonym programowaniu. Po drugie, twierdzenie o przepływie pracy: luka ujawnia się jako przeróbki, a nie jako oczywista porażka — dostajesz wynik, wygląda on na gotowy, a silniejszy model musi go naprawić. Po trzecie, twierdzenie ekonomiczne: przeróbki niwelują wszelkie oszczędności wynikające z ceny tokenów.

Pierwsze dwa można zweryfikować na podstawie opublikowanych ewaluacji. Trzecie to arytmetyka i zależy od liczby, której nikt nie opublikował — ile kosztuje przebieg naprawczy w stosunku do wykonania zadania raz za pomocą kosztownego modelu. Wszystko poniżej utrzymuje te trzy twierdzenia osobno, ponieważ nie wszystkie przetrwają w równym stopniu.

Czyste porównanie przebiega w ramach jednego środowiska testowego

Jedno ostrzeżenie, zanim pojawią się jakiekolwiek liczby, bo to najczęstszy sposób, w jaki to porównanie bywa przeprowadzane nieuczciwie. Artificial Analysis mierzy agentów kodujących jako połączenie modelu iharnessu: Codex dla modeli OpenAI, Claude Code dla modeli Anthropic. Koszt na zadanie, zużycie tokenów i czas rzeczywisty zmieniają się wraz z harnessem w takim samym stopniu jak z modelem, więc surowe porównanie „Sol kosztuje $1.22, Opus kosztuje $12.61” mierzy dwie różne maszyny.

Po tym zarzucie pozostaje każde porównanie w obrębie jednego środowiska testowego. W Codex GPT-6.2 Sol można bezpośrednio zestawić z GPT-6.1 Sol i GPT-6.2 Astra, na identycznych zadaniach, z tym samym zestawem narzędzi i tym samym sposobem oceniania — i właśnie tam kryje się regresja. Parę między środowiskami nadal warto drukować, wyraźnie oznaczoną, ponieważ to właśnie takie porównanie czytelnik faktycznie przeprowadza, decydując między subskrypcją OpenAI a subskrypcją Anthropic.

• Codex, GPT-6.2 Sol (max) — Coding Agent Index 48,6, 1,22 USD za zadanie, 4,25 mln tokenów

• Codex, GPT-6.1 Sol (max) — indeks 52,2, 1,51 USD za zadanie, 4,33 mln tokenów

• Codex, GPT-6.2 Astra (max) — indeks 53,5, 5,12 USD na zadanie, 4,67 mln tokenów

• Claude Code, Claude Opus 5.5 (max) — indeks 58,2, 12,61 USD za zadanie, 15,89 mln tokenów

Przeczytaj pierwsze dwa wiersze razem. Nowy model uzyskuje wynik 3,6 punktu poniżej modelu, który zastępuje, na tym samym harnessie, przy zużyciu tokenów w granicach 2% od niego. Cena też się nie zmieniła — Sol utrzymuje 2 USD i 10 USD od 29 września, a GPT-6.2 Sol zachował dokładnie ten sam cennik. To nie jest więc tańszy model, który wymienia jakość na cenę. To ta sama cena, ten sam harness i mniejsze możliwości w tym, co mierzy indeks. Porównanie @dotey dotyczy modelu innego dostawcy, ale regresję, którą odczuwa, widać bez wychodzenia poza własną linię produktów O​penAI.

A two-column scoreboard comparing GPT-6.2 Sol and Claude Opus 5.5 across Intelligence Index, cost per index task, time per index task, Coding Agent Index, SWE-Atlas-QnA and output tokens, with a footer noting that index and cost figures are Artificial Analysis's and that the two coding-agent scores come from different harnesses. The OrcaRouter logo sits in the bottom-right corner.

Gdzie luka w złożonych zadaniach jest rzeczywista

Coding Agent Index to złożony wskaźnik trzech ocen o równych wagach: FrontierCode-AA 2.0 (132 zadania z inżynierii oprogramowania, napisane przez Cognition i zaimplementowane przez Artificial Analysis), Terminal-Bench 4.1 (66 zadań agentowych w terminalu, pochodzących z Laude Institute) oraz SWE-Atlas-QnA-AA (124 zadania techniczne typu pytanie-odpowiedź dotyczące bazy kodu, pochodzące od Scale AI, z ocenianiem dostosowanym przez Artificial Analysis). Każdy wynik jest średnią z trzech prób na zadanie.

Rozłóż Sol na komponenty i porównaj z poprzednikiem, a kształt opisywany przez @dotey pojawi się natychmiast:

• SWE-Atlas-QnA-AA — GPT-6.2 Sol 46,2% vs GPT-6.1 Sol 59,9%, spadek o 13,7 punktu w ramach jednego harnessu

• FrontierCode-AA 2.0 — 41,5% vs 42,5%, praktycznie bez zmian

• Terminal-Bench 4.1 — 58,1% wobec 54,0%, wzrost o 4,1 punktu

Model stał się więc lepszy w wykonywaniu i gorszy w wiedzy. Praca w terminalu polega na wykonaniu i obserwacji: uruchom polecenie, odczytaj dane wyjściowe, dostosuj. Pytania i odpowiedzi dotyczące bazy kodu polegają na wyszukaniu i raportowaniu: znajdź odpowiedni kod, zrozum, dlaczego jest taki, jaki jest, i przedstaw go dokładnie. Model, który poprawia się w pierwszym i cofa o 13,7 punktu w drugim, przejdzie test dymny i wygeneruje zmiany, które wyglądają poprawnie, ale pomijają powód, dla którego kod został napisany w ten sposób. To jest dokładnie ten tryb awarii, który generuje przeróbki, a nie komunikat o błędzie, i dlatego skarga pojawia się jako „wymaga uporządkowania”, a nie „to nie działa”.

Bezwzględna różnica do Opus 5.5 w tej samej ewaluacji jest jeszcze większa — 46,2% wobec 65,9% — ale ta wartość obejmuje różne środowiska testowe, więc należy traktować ją jako orientacyjną. Spadek o 13,7 punktu w obrębie Codex nie jest orientacyjny. To to samo środowisko testowe, te same 124 zadania, ten sam oceniający, a model po prostu odpowiada na pytania dotyczące bazy kodu mniej trafnie niż model, który zastąpił.

Artificial Analysis's model page for GPT-6.2 Sol, listing it as released November 2026, ranked 13th of 95 on intelligence and 40th of 94 on performance, scoring 57 on the Intelligence Index, using 60.9M tokens, priced at $2.00 per million input tokens and $10.00 per million output tokens, costing $1.01 per task and 9.6 minutes per task, at roughly 70 tokens per second.

Gdzie Sol jest naprawdę w porządku

Pierwszy człon tweeta zasługuje na takie samo potraktowanie jak drugi. „Proste zadania są w porządku” nie jest ustępstwem; w kompozytowym Intelligence Index, który przepuszcza każdy model przez jeden identyczny zestaw testów, a nie przez harnessy dostawców, GPT-6.2 Sol przy maksymalnym wysiłku bije Claude Opus 5.5 przy maksymalnym wysiłku w kilku komponentach wprost:

• Terminal-Bench-Science 0.1 — 67,6% vs 59,0%, 8,6-punktowa wygrana Sol

• AutomationBench-AA — 71,3% w porównaniu z 69,5%

• Terminal-Bench 4.0 — 60,1% vs 59,6%

• GDP.pdf — wszystkie zaliczone — 30,0% vs 26,2%

A przegrywa na tych, które wymagają zapamiętania faktu i podania go:

• HLE-Diamond — 64,0% w porównaniu z 67,9%

AnalystAgent — 53,8% vs 56,3%

• AA-Omniscience — 40,4 przy dokładności 61,6% w porównaniu z 48,1 przy dokładności 65,5%

• FrontierCode-AA 2.0 (wersja indeksu) — 44,4% vs 46,4%

Wiersz Omniscience to ten, nad którym warto się zatrzymać. To ewaluacja mierząca, czy model wie, czego nie wie: Sol odpowiada poprawnie w 61,6% przypadków, a jego współczynnik halucynacji wynosi 55,4%, wobec 65,5% i 50,3% w przypadku Opus 5.5. Model, który odpowiada poprawnie niemal o cztery punkty procentowe rzadziej i zmyśla o pięć punktów procentowych częściej, to model, którego wyniki człowiek musi sprawdzać — co jest tezą o konieczności przerabiania, nadchodzącą z drugiego kierunku.

W sumie Sol uzyskuje 57,3 wobec 59,1 w wyniku złożonym i robi to w 9,6 minuty na zadanie zamiast w 25,7, za 1,01 dolara zamiast 10,04 dolara, emitując przy tym 60,9 mln tokenów wyjściowych w całym zestawie wobec 218 mln w przypadku Opusa. Niezależnie od tego, co jeszcze jest prawdą, tani model nie jest wolny ani rozwlekły.

Pokrętło wysiłku zostało już przestawione

Oczywisty zarzut ze strony każdego, kto korzystał z modelu rozumowania O​penAI, jest taki, że to niewłaściwe ustawienie. Zmniejsz wysiłek, a model przestaje nadmiernie myśleć; zwiększ go, a przestaje iść na skróty. Artificial Analysis przeprowadziło już pełny przegląd na Coding Agent Index w Codex i nie ratuje to sytuacji:

• niski — 37.2

• średni — 45.4

• wysoki — 47.5

• xhigh — 49.8

• maks. — 48,6

Szczyt wypada przy xhigh, a nie przy max: pchanie do maksymalnego wysiłku kosztuje faktycznie 1,2 punktu, a to ten rodzaj niemonotonicznego wyniku, jaki pojawia się, gdy model zaczyna podważać własne decyzje. Ale nawet najlepsze ustawienie, 49,8, leży 2,4 punktu poniżej wyniku, jaki GPT-6.1 Sol uzyskał przy max, i 8,4 poniżej Claude Opus 5.5. Nie ma takiej pozycji pokrętła, przy której GPT-6.2 Sol staje się silniejszym agentem kodującym; jest tylko wybór, ile chcesz zapłacić za 49,8.

Koszt tego wyboru warto znać, ponieważ jest wysoki w ujęciu względnym, nawet jeśli jest niski w ujęciu absolutnym. W Intelligence Index Sol kosztuje 0,18 USD za zadanie przy niskim wysiłku, 0,41 USD przy średnim, 0,56 USD przy wysokim, 0,65 USD przy xhigh i 1,01 USD przy max. Przejście ze średniego na xhigh w przybliżeniu podwaja jakość na zadanie — z 52,7 do 55,7 w tym indeksie — i kosztuje o 58% więcej. Domyślnym ustawieniem jest średni, czyli ustawienie dające wynik 45,4 w kodowaniu. Jeśli porównujesz Sol z Opus, rób to przy xhigh lub max, w przeciwnym razie porównujesz niewłaściwą konfigurację.

Jedna liczba, która przewiduje przeróbki

W tym samym przebiegu istnieje drugi szereg danych, który odnosi się bezpośrednio do doświadczenia „to wymaga uporządkowania”, i nie jest to ocena jakości. Artificial Analysis rejestruje odmowy bezpieczeństwa na każdą ewaluację i odróżnia odmowy, po których harness odzyskał sprawność, od tych, które zakończyły próbę. W SWE-Atlas-QnA-AA, w ponad 372 próbach:

• GPT-6.2 Sol (max) — 25 odmów, każda to twarde zatrzymanie, 6,7% prób

• GPT-6.2 Sol (xhigh) — 22 odmowy, 5,9%

• GPT-6.2 Sol (medium) — 13 odmów, 3,5%

• GPT-6.1 Sol (max) — 15 odmów, 4,0%

• GPT-6.2 Astra (max) — 8 odmów, 2,2%

• Claude Opus 5.5 — 52 odmowy, z których żadna nie była twardym zatrzymaniem, 14,0%

To właśnie linia Opus jest interesująca i przeczy pobieżnej interpretacji. Opus 5.5 odmawia częściej niż jakikolwiek model w tej tabeli — a środowisko testowe odzyskało wszystkie 52, więc żaden z nich nie kosztował przebiegu. Sol odmawia rzadziej, a środowisko testowe nie zdołało odzyskać ani jednego z jego 25. Odmowa, która kończy turę agenta, to zadanie, które człowiek musi teraz przejąć; odmowa, którą udaje się odzyskać, to ponowna próba. W ewaluacji najbardziej przypominającej „odpowiadanie na pytania dotyczące tego repozytorium” model, na który skarży się tweet, zawodzi w trybie, w którym powstaje praca niedokończona, a nie błędna.

Czytany razem z 13,7-punktowym spadkiem w rozumieniu, to spójna historia, a nie dwie niepowiązane liczby: Sol jest mniej niezawodny w tej części kodowania, która polega na wyszukiwaniu i raportowaniu, a gdy zawodzi, robi to w sposób, który pozostawia zadanie otwarte.

Wycena etapu porządkowania

Teraz trzecie twierdzenie — ekonomiczne — czyli to, w którym intuicja najczęściej wygrywa z arytmetyką. Użyj kosztu na zadanie w Intelligence Index, ponieważ ten zestaw testów to to samo środowisko testowe dla każdego modelu, który się w nim znajduje, więc liczby są bezpośrednio porównywalne: GPT-6.2 Sol $1.01, Claude Opus 5.5 $10.04.

OpenAI's developer documentation page for GPT-6.2 Sol, describing it as the go-to model for everyday work from coding to powering agents at scale, accepting text and image input and producing text, with a 1,050,000-token context window, 922,000 max input tokens, 128,000 max output tokens and a June 1, 2026 knowledge cutoff. The pricing table lists $2.00 per million input tokens, $0.10 cached input, $2.50 cache writes and $10.00 output; it also notes that above 272,000 input tokens the input and cache rates double and output costs 15 times the short-context rate, and that batch costs 50% of standard rates.

Weźmy zadanie, które wykonuje Sol, a następnie naprawia Opus. Niech p oznacza udział zadań wymagających naprawy, a r koszt naprawy jako ułamek pełnego przebiegu Opusa. Wariant „Sol, potem naprawa” kosztuje 1,01 USD + p × r × 10,04 USD. Sam Opus kosztuje 10,04 USD. Wariant „Sol, potem naprawa” jest tańszy, gdy p × r jest poniżej 0,899.

To wysoka poprzeczka. Jeśli naprawa kosztuje połowę pełnego przebiegu, możesz naprawić każde pojedyncze zadanie i nadal być o 78% tańszy niż przy bezpośrednim przejściu do Opus. Dopiero gdy naprawy zbliżają się kosztem do pełnego ponownego wykonania niemal każdego zadania, rachunek się odwraca: przy p = 1 i r = 1 płacisz $11.05 za to, co Opus zrobiłby za $10.04. Na tysiącu zadań to $11,050 wobec $10,040 — 10% kary, a nie klęska, którą sugeruje tweet.

Zatem jeśli chodzi wyłącznie o pieniądze, zarzut dotyczący przeróbki nie podważa uzasadnienia ceny, chyba że przeróbka jest niemal całkowita. Ale pieniądze to nie jest ograniczenie, na które natrafia większość zespołów. Czas jest:

• Czas na jedno zadanie w Intelligence Index — GPT-6.2 Sol 9,6 min vs Claude Opus 5.5 25,7 min

• Czas, gdy zadanie wymaga pełnego ponownego wykonania przez Opus — 9,6 + 25,7 = 35,3 min w porównaniu z 25,7 min

• Zużycie tokenów w tym samym zestawie — 60,9 mln vs 218 mln tokenów wyjściowych

Tutaj teza o przerabianiu ma zastosowanie bez żadnych zastrzeżeń. Każde zadanie, którego Sol się podejmie, a następnie je zwróci, to zadanie, które zajęło o 37% więcej czasu, niż zajęłoby, gdybyś najpierw poszedł do Opusa, a tego czasu nie odkupisz tańszym tokenem. Jeśli twoim ograniczeniem jest termin, a nie budżet — a w takiej sytuacji jest w rzeczywistości prawie każdy deweloper, gdy publikuje tę skargę — @dotey ma rację, a spór dotyczy przepustowości, nie ceny.

Co zmieniłoby werdykt?

Dwie rzeczy, a żadna z nich nie jest jeszcze dostępna. Pierwsza to publikowany wskaźnik reworku: jaka część diffów Sola do złożonych zadań musi zostać faktycznie zmieniona przez silniejszy model, mierzona na stałym zestawie zadań. Nikt tego nie publikuje, ponieważ wymaga to uruchomienia dwóch modeli na tych samych zgłoszeniach i porównania wyników, a to jest jedyna liczba, która rozstrzygnęłaby spór. Druga to wynik GPT-6.2 Sol na przebiegu kodowania w harnessie Anthropic lub Opus 5.5 na Codexie, co zamieniłoby powyższe porównanie między harnessami w prawdziwe starcie bezpośrednie.

W odniesieniu do tego zwróć uwagę na to, co już ustalono. Regresja jest realna i występuje w ramach jednego zestawu testowego. Przegląd poziomów wysiłku tego nie naprawia. Ocena rozumienia — ta, która przewiduje przeróbki — przesunęła się w złym kierunku o 13,7 punktu. Czytelnik, który chce mieć powód, by utrzymać złożone kodowanie na Opus 5.5, ma powód, który nie zależy od niczyjego wrażenia z tygodnia premiery.

Przeprowadzanie testu na własnych zadaniach

Wskaźnik poprawek można zmierzyć na własnym backlogu w jedno popołudnie i to jedyna wersja tej liczby, która ma dla Ciebie znaczenie. Weź dwadzieścia zadań, które Twój zespół faktycznie dostarczył w zeszłym miesiącu, przepuść każde przez oba modele przy tym samym ustawieniu nakładu i porównaj powstałe patche z tym, co ostatecznie scalił człowiek. Odsetek zadań wymagających istotnych poprawek to Twoje p; koszt tokenów etapu naprawczego to Twoje r.

OrcaRouter sprawia, że staje się to decyzją o routingu, a nie o zakupie: anthropic/claude-opus-5.5 i openai/gpt-6.1-sol są oba dostępne pod jednym kluczem, w cenie katalogowej dostawcy z przeniesioną 0% marżą, więc liczby powyżej to liczby, za które otrzymasz fakturę. Ma to tutaj większe znaczenie niż zwykle, ponieważ model, przeciwko któremu występuje tweet — GPT-6.2 Sol — nie znajduje się jeszcze w naszym katalogu; nie obsługujemy go i żadna ilość routingu tego nie zmieni. Obsługujemy natomiast model, który Sol zastąpił, a jest to właściwa grupa kontrolna dla eksperymentu: uruchom 6.2 Sol wszędzie, gdzie możesz go dosięgnąć, uruchom GPT-6.1 Sol na tych samych zadaniach za naszym pośrednictwem, a 13,7-punktowy spadek zrozumienia staje się czymś, co możesz potwierdzić lub obalić na własnym kodzie, a nie na syntetycznym zestawie.

W przypadku kształtu wdrożenia, jaki sugerują dane, uczciwą odpowiedzią jest DSL routingu: wysyłaj kroki planowania i rozumienia bazy kodu do Opus 5.5, wysyłaj pętle wykonawcze i terminalowe do tańszego modelu, a automatyczne przełączanie awaryjne niech obejmuje przypadek, w którym dostawca zatrzyma się w trakcie działania. To konfiguracja, a nie architektura — i tak właśnie wygląda „użyj Opus, żeby posprzątać po Sol”, gdy zapiszesz to jako potok, a nie jako skargę.

To, co warto wyciągnąć z tego tweeta niezależnie od wybranego modelu: rachunek za zadanie programistyczne to nie liczba tokenów. To tokeny plus minuty pracy człowieka plus czas zegarowy, który upływa między „gotowe” a „faktycznie gotowe”. Sol zdecydowanie wygrywa pierwszą pozycję tego zestawienia, Opus 5.5 wygrywa drugą i trzecią, ilekroć zadanie wraca, a żaden dostawca nie publikuje odsetka zadań, które wracają. Dopóki ktoś tego nie zrobi, jedyną godną zaufania liczbą jest ta, którą zmierzysz na własnych diffach.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie