Karta tytułowa porównania GPT-6.2 Astra i GPT-6.2 Sol budujących to samo demo mecha w Yonkers w three.js, pokazująca Astrę z wynikiem 1318 Elo w AA-3D Artificial Analysis i Sol z wynikiem 1259, z paskiem informującym, że w opublikowanym przez jednego dewelopera zestawieniu obok siebie żaden z modeli nie przekształcił przekonująco miasta w mecha. Logo OrcaRouter znajduje się w prawym dolnym rogu.
Guides & Insights

GPT-6.2 Astra kontra GPT-6.2 Sol: Dwa dema mechów, jeden niewypał

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Wpis OpenAI zapowiadający premierę GPT-6.2 Astra i GPT-6.2 Solzawiera wąską, możliwą do zweryfikowania obietnicę: ta para „pisze czystszy kod i buduje frontendy, które wyglądają i działają lepiej, zwłaszcza w przypadku stron internetowych, gier i projektowania 3D”. To twierdzenie, którego nie rozstrzygnie karta specyfikacji, a benchmark może je jedynie w przybliżeniu oddać, więc dwa dni po premierze istnieje dokładnie jedno opublikowane, powtarzalne starcie jeden na jeden — prompt Yonkers Simona Willisona, uruchomiony na obu modelach z wysiłkiem Ultra w Codex CLI, z oboma wynikami pozostawionymi online, aby każdy mógł je otworzyć. Jego werdykt to pierwsze zdanie tej historii: „Żaden z nich nie poradził sobie wystarczająco dobrze z przekształceniem Yonkers w wielkiego mecha”.

To, co czyni ten test wartym artykułu, to nie fakt, że dwa modele wypadły poniżej oczekiwań. Chodzi o to, że wypadły poniżej oczekiwań na różne sposoby, w kodzie, który można przeczytać, oraz że ten, którego porażka kosztowała więcej, był wystarczająco dobry, by później zmontować wideo porównawcze. Jeśli zamierzasz poświęcić tydzień okna kontekstowego na generowanie frontendu, różnica między pakietem 568 KB a czterema modułami napisanymi ręcznie to różnica między demem, które możesz wdrożyć, a takim, które musisz przepisać.

Co Open​AI twierdzi, że ta dwójka może zbudować

Twierdzenie jest wystarczająco konkretne, by je przetestować. Wpis OpenAI opisuje, jak oba modele zamieniają „pisemne zlecenie w interaktywne doświadczenie przeglądarkowe, od stołu pinballowego, w który można zagrać, po rekonstrukcję Koloseum, którą można zwiedzać z różnych perspektyw”, i wskazuje na AA-3D od Artificial Analysis, gdzie ludzcy sędziowie widzą dwa zaślepione doświadczenia zbudowane na podstawie tego samego promptu i głosują na to, które wolą. W tym rankingu GPT-6.2 Astra zajmuje pierwsze miejsce z wynikiem 1 318 Elo, przed Claude Fable 5.2 z 1 271 i GPT-6.2 Sol z 1 259.

Gdybyś przeczytał o 59-punktowej różnicy między dwoma modelami Open​AI, doszedłbyś do wniosku, że Astra jest znacząco lepsza w 3D. Spójrz na liczby bezwzględne, a dowiesz się czegoś, co ranking ukrywa: tabela porównuje wyłącznie dwie próby dla tego samego promptu, więc może powiedzieć, która z pary wygląda lepiej, nie mówiąc nic o tym, czy którakolwiek z nich jest dobra. Zaślepiony test preferencji między dwoma niedokończonymi mechami i tak wyłoni zwycięzcę.

Dokumentacja zawiera zastrzeżenie, które brzmi jak przeprosiny ze strony zespołu ds. inżynierii promptów. W notatkach migracyjnych dla GPT-6.2 OpenAI stwierdza, że oba modele są bardziej zwięzłe i bardziej bezpośrednie niż GPT-6 Astra, że mogą zaproponować krok i poczekać, gdy intencja jest niejasna, oraz — zdanie istotne dla tego tekstu — że prace frontendowe wymagają teraz wyraźnych wskazówek dotyczących obrazów i typografii. Kierunek, którego nie napisałeś, to kierunek, który model wymyśla. Prompt Yonkers nie zawiera żadnych wytycznych artystycznych, co jest właśnie powodem, dla którego stanowi uczciwy test obu modeli i nieco nieuczciwy test każdego z nich.

Jedno polecenie, dwa opublikowane dema

Polecenie to jedno zdanie: „Zrób animację w three.js, w której Yonkers wstaje jako wielki mech (efektowny ruch wstawania) i tupie po Manhattanie, Queens i Brooklynie, użyj danych mapowych OpenStreetMap”. Oba uruchomienia wykorzystywały tryb Ultra effort w Codex CLI. Oba wyniki są nadal online i oba otwierają działającą scenę WebGL z prawdziwą kamerą, prawdziwym miastem low-poly i prawdziwą trasą — co już jest więcej, niż daje za pierwszym razem większość zapytań dotyczących three.js.

Żadna z tych prac nie jest ukończonym dziełem. Willison porównuje je z wersjami Claude Fable 5.2 i Gemini 4 Carbon zbudowanymi na podstawie tego samego polecenia i ocenia, że obie próby GPT-6.2 przegrywają w kwestii, o którą tak naprawdę prosił prompt: przejścia od miasta do stojącego mecha. Wstawanie jest tu sednem pokazu, a żaden z modeli tak naprawdę go nie animował.

• Pakiet — GPT-6.2 Astra dostarcza jeden build Vite o rozmiarze 568,418 bajtów plus 8,075 bajtów CSS, podczas gdy GPT-6.2 Sol — main.js o rozmiarze 17,094 bajtów importujący city.js, mech.js i effects.js, z three.js serwowanym lokalnie o rozmiarze 658,900 bajtów

• Oś czasu — Astra odtwarza 96-sekundową sekwencję na suwaku 0–960, a Sol 48-sekundową sekwencję, przy czym chodzenie rozpoczyna się o 6,25 s, a ostatni krok przypada na 44,5 s

• Rozdziały — po cztery: Astra numeruje je licznikiem sekwencji wskazującym „01 / 04”, natomiast Sol nadaje im nazwy Yonkers, Manhattan, Queens i Brooklyn, zaczynając od 0, 17,6, 30,2 i 38 sekund

• Kamera — Astra przełącza się między widokiem „track” a „atlas”, natomiast Sol ma przełącznik orbity przypisany do O

• Telemetria — Astra wyświetla odczyt akcji „Rising” i współrzędne „40.9310° N 73.8987° W” w porównaniu z kanwą radarową 184×138 Sol przy „40.93° N · 73.90° W”

• Atrybucja — oba zamieszczają w stopce strony informacje o OpenFreeMap, OpenMapTiles i © OpenStreetMap contributors, co jest jedynym wymogiem briefu, którego nie pominął żaden z modeli.

• Koszt uruchomienia — przy maksymalnym wysiłku standardowy pelikan SVG Willisona kosztował 88,71¢ na Astra w porównaniu z 13,69¢ na Sol; stosunek ten utrzymuje się na każdym poziomie wysiłku, który zmierzył

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: jeden pakiet 568 KB, skryptowany interfejs użytkownika

Build Astry nosi tytuł „Stride Atlas — Yonkers Rising” i zachowuje się jak prezentacja: winieta z marką i statusem „System online”, przełącznik dźwięku, przycisk pełnego ekranu oraz kanwa, której etykieta dostępności obiecuje: „Trójwymiarowe miasto i animowany mech. Przeciągnij, aby obrócić, i przewiń, aby powiększyć”. Poniżej znajduje się nadtytuł o treści „Symulacja mecha / 001”, nagłówek „Yonkers Rising.” oraz podtytuł „Obszar metropolitalny Nowego Jorku”.

Rzemiosło tkwi w instrumentacji. Jest panel telemetryczny z odczytem akcji „Wznoszenie” i bieżącymi współrzędnymi, wstawiona kanwa z przeglądem trasy oznaczona 10 km oraz konsola transportowa z licznikiem sekwencji, przyciskami odtwarzania i ponownego uruchomienia, zegarem, zakresem przewijania od 0 do 960 i czasem zakończenia 01:36. To 96 sekund autorskiej sekwencji, a tak długi suwak przewijania nie jest przypadkiem — to decyzja, że demo jest filmem, a kamera jest reżyserem.

Jest również dostarczany jako jeden spakowany artefakt. Wszystko powyżej jest kompilowane do jednego wyniku Vite o rozmiarze 568 418 bajtów i jednego arkusza stylów o rozmiarze 8 075 bajtów, z ciągiem chapters i stompProgramCache, które przetrwały minifikację, ponieważ dane sekwencji są prawdziwe. W przypadku demonstracji pakiet to właściwy wybór: jeden plik do hostowania, jeden wpis w pamięci podręcznej, żaden graf importów do zepsucia. W przypadku bazy kodu, którą trzeba rozszerzać, to mur o rozmiarze 568 KB.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: cztery moduły, lokalny three.js

Wersja Sola nosi tytuł „Yonkers Protocol | Nowojorska symulacja mecha”, a jej opis meta wprost wymienia technologię: „Kinowa animacja Three.js przedstawiająca mecha wielkości miasta wznoszącego się w Yonkers i maszerującego przez Manhattan, Queens i Brooklyn”. Strona działa pod marką „METRO CONTROL / NEW YORK, NY” z plakietką „OPENSTREETMAP TERRAIN”, przełącznikiem widoku orbitalnego, przełącznikiem dźwięku i oknem widoku oznaczonym jako „symulacja Yonkers Protocol”.

Tam, gdzie Astra napisała scenariusz filmu, Sol zbudował pokój kontrolny. Znajduje się tam odczyt sektora „01 / 04 YONKERS”, przycisk „Rozpocznij sekwencję” z podpowiedzią SPACE, kanwa radaru 184×138, cztery przyciski faz — Yonkers / Przebudzenie, Manhattan / Na południe, Queens / East River, Brooklyn / Końcowe podejście — oraz podpowiedź: przeciągnij, aby obracać, przewiń, aby powiększać. Tekst jest najbardziej pewnym siebie elementem na obu stronach: „Zobacz, jak Yonkers wznosi się z nabrzeża Hudsonu i maszeruje przez Manhattan, Queens i Brooklyn”.

Kod jest najciekawszą częścią. Sol całkowicie pominął bundler i użył mapy importów wskazującej three na lokalną kopię kompilacji modułu, a następnie ręcznie podzielił pracę: city.js ma 9 603 bajtów, mech.js ma 25 511, effects.js ma 12 119. main.js odpowiada za reżyserię — 48-sekundowy czas trwania, marsz rozpoczynający się o 6,25 s, ostatni krok o 44,5 s, szesnaście punktów kontrolnych długości i szerokości geograficznej ciągnących się od Yonkers aż po Brooklyn oraz THREE.CatmullRomCurve3 przechodzącą przez nie z parametrem arcLengthDivisions ustawionym na 1 000, dzięki czemu mech idzie równym tempem, zamiast przyspieszać na ciasnych zakrętach. To ostatnie ustawienie to szczegół, który zapisujesz tylko wtedy, gdy widziałeś, jak postać się zacina.

Żadne z tych podejść nie jest błędne. Astra optymalizowała pod coś, co się ładuje, Sol optymalizował pod coś, co można otworzyć i edytować — a podział plików pokazuje, że Sol rozumiał, iż demo 3D to graf sceny, aktor i zestaw efektów oraz że należą one do różnych plików.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Morphing, który przeoczyły oba dema

Oto część, której nie przykryje żadna ilość dopracowania UI. Polecenie wymaga, aby Yonkers stanął jako wielki mech — transformacja, w której kwartał miejski staje się ciałem. Żadna z tych wersji nie oddaje tego przejścia przekonująco, a Willison mówi to wprost, stawiając obie za wersją Claude Fable 5.2 i Gemini 4 Carbon.

To uczciwa interpretacja wyniku 1 318 Elo. Artificial Analysis zmierzyło Astrę wyżej niż Sola, a demo to potwierdza — strona Astry jest bardziej dopracowana. Ale ranking odpowiada na pytanie „który z tych dwóch jest lepszy”, a czytelnik tak naprawdę pyta: „czy to jest wystarczająco dobre, by z tego korzystać” — i w tej kwestii odpowiedź z jedynego opublikowanego porównania bezpośredniego brzmi: nie. Test preferencji między dwoma modelami, które oba nie zauważyły morfu, i tak da ranking, a ranking i tak zostanie podany jako przewaga w możliwościach.

Drugą połową frontendowej historii premiery jest komunikacja i ta część również nie przedstawia się korzystnie. Willison cytuje przedpremierowy list z opinią Theo Browne’a, który opisuje model dobrze zarządzający podagentami przy długich zadaniach, a potem blokujący się na wewnętrznym pytaniu implementacyjnym, na które żaden człowiek nie potrafiłby odpowiedzieć — jego przykład to agent, który po dwóch godzinach pracy nad projektem zatrzymuje się, by zapytać, czy recenzent zapisuje swoje klipy pod jedną czy drugą nazwą pliku. Własna notatka migracyjna Open​AI, że model „może zaproponować krok i poczekać, gdy intencja jest niejasna”, opisuje to samo zachowanie od wewnątrz, i jest to realny koszt: agent, który czeka na dane wejściowe, których nie możesz mu dostarczyć, to agent, który się zatrzymał.

Co luka oznacza dla Twojej kompilacji

Jeśli praca jest demem 3D lub frontendowym, praktyczna różnica między tymi dwoma modelami nie polega na 59 Elo. Polega na tym, że Astra da ci artefakt wyglądający na ukończony, a Sol da ci repozytorium. Wybierz Astrę, gdy rezultatem ma być link, który komuś wyślesz; wybierz Sola, gdy rezultatem ma być kod, który ktoś inny musi zmienić w poniedziałek.

Wyceń ten wybór na tej samej osi. GPT-6.2 Astra rozlicza się stawką 8 USD za milion tokenów wejściowych i 40 USD za milion tokenów wyjściowych, z danymi wejściowymi z pamięci podręcznej po 0,40 USD i zapisami do pamięci podręcznej po 10 USD. GPT-6.2 Sol rozlicza się stawkami 2, 10, 0,10 i 2,50 USD — jedną czwartą stawki za token w każdej pozycji. Oba mają okno kontekstu 1 050 000 tokenów, z maksymalnie 922 000 tokenów wejściowych i 128 000 tokenów wyjściowych, oba odrzucają reasoning_effort: "none", a oba podwajają opłatę za dane wejściowe i dane wejściowe z pamięci podręcznej powyżej 272 000 tokenów na żądanie, naliczając 1,5× za dane wyjściowe. Rozliczenia wsadowe wynoszą 50% stawki standardowej, tryb Fast — dwukrotność, a Ultrafast — trzykrotność do 28 lutego 2027 r. i sześciokrotność od 1 marca 2027 r.

Warto zapamiętać koszt na artefakt z tego samego popołudnia. Test pelikana Willisona renderuje ten sam SVG na trzech poziomach wysiłku, a przy maksymalnym wysiłku Astra kosztowała 88,71¢ wobec 13,69¢ Sola — około sześć i pół razy więcej za rysunek, którego żadnego z nich nie określił mianem czystego zwycięstwa. Generowanie frontendu przy wysiłku Ultra to miejsce, w którym przewaga drogiego modelu jest rzeczywista, ale wąska, i w którym pojedyncza ponowna próba ją niweluje.

Gdzie mieści się warstwa routingu

Mówiąc wprost o naszej pozycji: GPT-6.2 Astra i GPT-6.2 Sol nie znajdują się dziś w katalogu OrcaRouter. Pozycje Open​AI, które obsługujemy, to GPT-6 Astra, GPT-6 Sol i GPT-6.1 Sol, więc ta para jest ogólnie dostępna przez własne API Open​AI i platformy zewnętrzne, a nie przez nas.

To, co katalog faktycznie ci daje, to nawyk, o który apeluje ten artykuł. Test taki jak Yonkers to dokładnie ten rodzaj obciążenia, który chcesz porównać metodą A/B między modelami, zamiast wiązać z nim ścieżkę produkcyjną — a zrobienie tego przez jeden endpoint oznacza jeden klucz, jeden rachunek i brak drugiej umowy, z automatycznym przełączaniem awaryjnym, gdy testowany model zaczyna przekraczać limit czasu w trakcie renderowania. W przypadku pozycji, które rzeczywiście oferujemy, OrcaRouter przekazuje cennik dostawcy z marżą 0%, więc płacisz dokładnie według cennika samego dostawcy, a obniżka ceny obowiązuje u nas tego samego dnia. Jeśli wybierasz między modelem za 2 USD a modelem za 8 USD do pracy frontendowej, to właśnie takie porównanie warto przeprowadzić samemu, na tym samym prompcie, zanim wybierzesz ustawienie domyślne.

Węższy wniosek z tej premiery jest taki, że generowanie 3D przeszło od „nie da się” do „niedokończone”, a oba modele znajdują się w różnych punktach tego zbocza: jeden tworzy stronę, która wygląda na gotową, drugi tworzy kod, który jest gotowy. Żaden nie przeistoczył Yonkers. Oba były wystarczająco blisko, że następne wydanie prawdopodobnie tego dokona — a kiedy to nastąpi, koszt przekonania się będzie jednym promptem, nie jedną migracją.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu