Wygenerowana karta tytułowa z nagłówkiem 'GPT-6.2 Astra na czele Blueprint-Bench 2', podtytułem 'linia człowieka to dwanaście mieszkań' i podpisem '0.614 wobec 0.586 bazowego wyniku człowieka'. Poniżej znajdują się dwie zaokrąglone karty: lewa z etykietą 'GPT-6.2 Astra' i wierszami 'Blueprint-Bench 2: 0.614', '1. miejsce w rankingu' oraz 'rekonstrukcja sceny 3D'; prawa z etykietą 'bazowy wynik człowieka' i wierszami '0.586', 'pomiar na 12 mieszkaniach' oraz 'z 50 w benchmarku'. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
Guides & Insights

GPT-6.2 Astra przewodzi w Blueprint-Bench 2: linia ludzka to dwanaście mieszkań

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

GPT-6.2 Astra uzyskuje 0,614 w Blueprint-Bench 2. Ludzki poziom odniesienia na tej samej tablicy wynosi 0,586. To realna przewaga, a zarazem 0,028 punktu mierzone względem ludzkiej liczby, którą Andon Labs obliczyło na podstawie dwunastu mieszkań. Wynik pojawił się na stronie ewaluacyjnej Andona 20 listopada 2026 r. i został tego samego ranka nagłośniony przez Grega Brockmana, który ujął to tak, że GPT-6.2 Astra „przewyższa ludzki poziom odniesienia w benchmarku fizycznego rozumienia 3D”. Obie połowy tego zdania trzeba trochę odąć, a ten artykuł dotyczy tego, które fragmenty się ostają. GPT-6.2 Astra, GPT-6.2 Sol i Gemini 4 Carbon zajmują miejsca w pierwszej czwórce na tablicy Andona, co ma większe znaczenie dla czytelnika decydującego, jak to nazwać, niż pozycja z nagłówka.

Sam benchmark nie jest nowy. Blueprint-Bench 2 znajduje się na stronie Andon Labs od maja 2026 r. i od sześciu miesięcy gromadzi modele; to, co zmieniło się 20 listopada, polega na tym, że pewien model w końcu przekroczył linię ludzką o więcej niż wynosi jego własny margines błędu. Nie jest to więc premiera benchmarku ani premiera modelu — O​penAI udostępniło GPT-6.2 Astra 17 listopada 2026 r., trzy dni przed pojawieniem się wyniku. To wynik trafiający na istniejącą tablicę, a ciekawe pytanie nie brzmi, czy liczba jest prawdziwa. Brzmi ono, co ta liczba mierzy, ponieważ fraza „fizyczne rozumienie 3D” odgrywa w tweecie większą rolę, niż sama ewaluacja odgrywa we własnej metodologii.

Co Andon Labs faktycznie zmierzyło

Blueprint-Bench 2 daje agentowi pięćdziesiąt mieszkań, jedno po drugim. W przypadku każdego mieszkania analizuje on około dwudziestu zdjęć wnętrz i musi narysować dwuwymiarowy plan mieszkania: pomieszczenia, połączenia między nimi oraz ich względne rozmiary. Agenci przenoszą między mieszkaniami trwały notatnik, dzięki czemu model może zapisywać, czego nauczył się o typowych układach — gdzie zwykle znajduje się korytarz, co sugeruje ościeżnica w rogu — i wykorzystać to w następnym mieszkaniu. Ten notatnik to element projektu, który czyni z tego ewaluację agenta, a nie test wizyjny, i dlatego wyniki wyraźniej oddzielają modele czołowe od modeli średniej klasy, niż zrobiłby to benchmark oparty na pojedynczym obrazie.

Ocena porównuje graf łączności modelu z danymi referencyjnymi, z wagami w sześciu podmetrykach: podobieństwo Jaccarda dla połączeń pokój–pokój na 50%, podobieństwo stopni na 20%, gęstość grafu na 10%, liczba pokoi na 10%, liczba drzwi na 5% i orientacja na 5%. Plany są dopasowywane z uwzględnieniem symetrii D4, więc plan obrócony lub odbity lustrzanie nadal jest punktowany, a wynik złożony jest normalizowany tak, że losowy punkt odniesienia daje 0, a idealny plan daje 1. Waga 50% dla Jaccarda to cały benchmark w jednym zdaniu: sam Andon w swoim opisie mówi, że każdy model w przybliżeniu poprawnie określa liczbę pokoi, z dokładnością około 90%, a czynnikiem rozstrzygającym jest to, czy model potrafi ustalić, które pokoje otwierają się do których. Liczenie pokoi ze zdjęć jest łatwe. Odtworzenie topologii z przejścia przez dom nie jest.

Z tego projektu wynikają dwie konsekwencje. Po pierwsze, wynikiem jest plan 2D, a nie model 3D — rozumowanie przestrzenne jest trójwymiarowe w tym sensie, że agent musi wywnioskować układ piętra z sekwencji nakładających się widoków, ale nic w punktacji nie nagradza poprawnej rekonstrukcji wysokości sufitu, kubatury czy mebli. Po drugie, wynik jest liczbą podobieństwa grafów, a nie procentem dokładności. Wartość 0,614 nie oznacza, że model poprawnie odtworzył 61% mieszkań; oznacza, że jego grafy łączności znajdują się w 61,4% drogi od losowego do idealnego przy takim ważeniu.

0,028, które dzieli model od człowieka

Oto czołówka tabeli tak, jak wyglądała 20 listopada 2026 r., wraz ze słupkami błędu standardowego, które Andon rysuje na swoim wykresie, odczytanymi z opublikowanej wartości:

• GPT-6.2 Astra — 0.614, miejsce 1, przedział błędu w przybliżeniu od 0.601 do 0.627

• Gemini 4 Carbon — 0,586, ex aequo na 2. miejscu, przedział błędu w przybliżeniu od 0,571 do 0,601

• Poziom odniesienia człowieka — 0,586, ex aequo 2. miejsce, testowany na 12 mieszkaniach, nie opublikowano przedziału

• GPT-6.2 Sol — 0.570, miejsce 4, przedział błędu w przybliżeniu od 0.558 do 0.584

• Claude Fable 5.2 — 0,566, 5. miejsce

• Gemini 4 Argon — 0,544, pozycja 6

• Claude Opus 5.5 — 0.512, miejsce 7

• GPT-6 Astra — 0,497, pozycja 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Z tej listy warto wyciągnąć trzy rzeczy. Pierwsza to wielkość przewagi, która wynosi 0,028 punktu na skali, gdzie losowo oznacza 0, a idealnie 1. Druga to fakt, że słupek błędu Astry nie sięga w dół do 0,586 — dolna granica jego przedziału to 0,601 — więc przewaga nad wynikiem człowieka nie mieści się w szumie samego modelu. Trzecia to fakt, że wynik człowieka nie ma żadnego przedziału niepewności, ponieważ obliczono go na dwunastu mieszkaniach z zadania obejmującego pięćdziesiąt mieszkań. Wynik człowieka z dwunastu mieszkań i wynik modelu z pięćdziesięciu nie są tym samym pomiarem, a Andon mówi o tym otwarcie: przypis w rankingu brzmi: „Wynik bazowy dla człowieka testowany tylko na podzbiorze 12 mieszkań”. Traktuj 0,586 jako oszacowanie tego, gdzie plasuje się człowiek, a nie jako linię o znanej szerokości.

Inną rzeczą, którą pokazują słupki błędów, jest to, jak wąska jest czołówka tabeli. Dolny wąs Astry i górny wąs Gemini 4 Carbon spotykają się dokładnie przy 0,601. W tym benchmarku pierwsze miejsce i drugie ex aequo są oddalone o jedno dotknięcie wąsów, co jest twierdzeniem innym niż „lepszy niż jakiekolwiek inne AI” i łatwiejszym do obrony. Podpis samego Andona pod wykresem godzi tę różnicę w sposób, który warto zauważyć: oznacza przerywaną linię człowieka jako „Human (0.59)”, a następnie pisze, że GPT-6.2 Astra i Gemini 4 Carbon „obecnie remisują z nią”, choć tabela stawia Astrę 0,028 powyżej niej, a Carbon dokładnie na niej. Tabela jest staranniejszym artefaktem. To podpis został zacytowany.

Dwa benchmarki, jeden kierunek

To, że jedna tablica wyników przekracza próg ludzki, może być artefaktem punktacji. Powodem, by traktować ten wynik poważnie, jest to, że druga, niezależnie zbudowana ocena 3D zmieniła się w tym samym kierunku w tym samym tygodniu. Artificial Analysis prowadzi AA-3D, czyli zupełnie inne zadanie: modele działają jako agenci w offline’owym sandboxie poprzez Stirrup i przekształcają pisemne zlecenie w interaktywną scenę three.js, a ranking powstaje na podstawie zaślepionych głosów parami oddanych przez rekrutowany panel ludzki — ponad 20 000 głosów na obecnej tablicy — a nie z porównania wykresów.

• GPT-6.2 Astra (Max) — 1,318 Elo, 95% przedział od 1,286 do 1,349, miejsce 1

• Claude Fable 5.2 (Max) — 1271 Elo, 2. miejsce

• GPT-6.2 Sol (Max) — 1 259 Elo, pozycja 3

• Claude Sonnet 5.5 (Max) — 1,204 Elo, pozycja 4

• Claude Opus 5.5 (Max) — 1,202 Elo, 5. miejsce

• GPT-6 Astra (Max) — 1,168 Elo, przedział 95% od 1,141 do 1,196, pozycja 6

Dwa rankingi nie zgadzają się co do środka stawki — Claude Fable 5.2 zajmuje 5. miejsce w rankingu Andon's, a 2. w rankingu Artificial Analysis — a co do czołówki zgadzają się całkowicie. Astra prowadzi, Sol jest w pierwszej trójce, a poprzednia generacja pozostaje około 150 Elo z tyłu. Własny post premierowy O​penAI ogłosił 17 listopada twierdzenie o AA-3D z tymi samymi trzema liczbami, a niezależny ranking pokazuje je teraz bez zmian, co jest rzadkim przypadkiem, w którym liczba podana przez dostawcę i liczba strony trzeciej to ta sama liczba. Nie dotyczy to liczby Blueprint-Bench: O​penAI nie powiedział nic o rzutach pięter, a wynik pochodził wyłącznie od Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Zbieżność jest argumentem. Benchmark podobieństwa grafów oceniany przez kod i benchmark Elo oceniany na podstawie ślepej preferencji ludzi są tak odległe, jak tylko mogą być dwa pomiary „zdolności przestrzennych”, a mimo to szeregują te same trzy modele w tej samej kolejności. Czego jednak nie ustalają, to że którykolwiek z nich mierzy coś, co zespół robotyki nazwałby inteligencją przestrzenną, co prowadzi nas do najciekawszego wiersza w tabeli Andona.

Dlaczego model robotyki zdobył zero punktów

Gemini Robotics-ER 1.6 uzyskuje wynik 0,000 w Blueprint-Bench 2 — na poziomie losowej linii bazowej lub poniżej niej, oznaczony przez Andon podwójną gwiazdką. To najbardziej użyteczna liczba na stronie. Model zbudowany specjalnie do rozumowania przestrzennego i ucieleśnionego — coś, po co sięgnąłbyś, gdyby zadaniem było „zrozumienie przestrzeni fizycznej” — tworzy grafy łączności nie lepsze niż przypadek. Andon sam to zaznacza: specjalizacja przestrzenna nie przekłada się na generowanie rzutów pomieszczeń.

Cztery inne modele również plasują się na losowym poziomie odniesienia, a kształt tego skupienia mówi, co nagradza benchmark. Nagradza on konkretną złożoną umiejętność — odczytanie sekwencji zdjęć, utrzymywanie spójnej hipotezy dotyczącej piętra i wygenerowanie ściśle sformatowanego planu, który parser może ocenić. Model może świetnie radzić sobie z rozumowaniem o przestrzeni fizycznej i mimo to ponieść porażkę, ponieważ trybem awarii jest zwykle format wyjściowy lub spójność w długim horyzoncie, a nie wnioskowanie przestrzenne. Oznacza to, że „przewyższa ludzki poziom odniesienia w fizycznym rozumieniu 3D” to uczciwe podsumowanie wyniku i nieco zbyt hojne podsumowanie umiejętności. Uczciwa wersja jest węższa: model odtwarza łączność mieszkania ze zdjęć dokładniej niż ludzka próba dwunastu mieszkań, w benchmarku, który ocenia strukturę grafu i nic więcej.

Dla każdego, czyja rzeczywista praca wiąże się z rzutami kondygnacji — pozyskiwaniem danych o nieruchomościach, dokumentacją ubezpieczeniową, pracami związanymi z utrzymaniem obiektów, digitalizacją papierowych planów — to węższe twierdzenie nadal jest użyteczne, ponieważ struktura grafu jest dokładnie tym, czego potrzebują te przepływy pracy, i dokładnie tym, co proces PDF-to-CAD robi źle. Dla każdego, kto czyta to jako stwierdzenie o robotach poruszających się po pomieszczeniach, wiersz Robotics-ER jest sprostowaniem.

Ile kosztuje kupienie tego leada

GPT-6.2 Astra jest wyceniany na 8 USD za milion tokenów wejściowych, 0,40 USD za tokeny z pamięci podręcznej i 40 USD za milion tokenów wyjściowych, co stanowi 20% mniej niż GPT-6 Astra w obu kierunkach rozliczenia. Model, który dorównuje ludzkiej linii, Gemini 4 Carbon, kosztuje 2 USD i 10 USD — jedną czwartą ceny wejściowej Astry i jedną czwartą jej ceny wyjściowej. GPT-6.2 Sol, czwarty w rankingu Andona z wynikiem 0,570 i trzeci w AA-3D z wynikiem 1 259 Elo, utrzymuje ceny tokenów GPT-6.1 Sol zamiast cen Astry.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 kontra GPT-6.2 Astra 0.614

• Cena wejściowa za 1 mln — Carbon $2.00 vs Astra $8.00

• Cena za 1 mln tokenów wyjściowych — Carbon $10.00 vs Astra $40.00

• AA-3D Elo — Carbon poza tablicą wyników kontra Astra 1,318, 1. miejsce

• Gdzie plasuje się każdy z nich — Carbon dorównuje ludzkiej linii, a Astra przewyższa ją o 0,028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Odczytaj to jako pytanie o cenę, a odpowiedź jest niewygodna dla flagowca. W jedynym benchmarku, w którym pojawiają się oba modele, za jedną piątą ceny otrzymujesz remis z ludzkim punktem odniesienia i jesteś o włos od pierwszego miejsca. Argumentacja Astry za jej ceną nie opiera się na rzutach mieszkań; opiera się na ewaluacjach pracy zawodowej w poście startowym OpenAI, gdzie jest modelem z oknem kontekstu wynoszącym 1 050 000 tokenów i czołowymi wynikami w Agents' Last Exam i Terminal-Bench-Science. Jeśli twoim obciążeniem są zdjęcia mieszkań i grafy łączności, różnicę w cenie trudno uzasadnić na podstawie samej tej tablicy wyników. Jeśli twoim obciążeniem jest długi zestaw dokumentów prawnych lub naukowych, ten benchmark nie mówi o tym nic ani w jedną, ani w drugą stronę.

Jeszcze jedna uwaga dotycząca kosztów: ani Andon, ani Artificial Analysis nie publikują wartości kosztu na zadanie dla Blueprint-Bench 2, a ten benchmark jest na to nietypowo wrażliwy. Pięćdziesiąt mieszkań po około dwadzieścia zdjęć każde to mnóstwo tokenów wejściowych, zanim model napisze choć jedno pomieszczenie, a model, który osiąga ten sam wynik na grafie przy większej liczbie tur pętli notatnika, kosztuje więcej na mieszkanie, niż sugeruje jego cena tokenów. Nie interpretuj powyższych cen tokenów jako rachunku za mieszkanie; nim nie są.

Gdzie to pozostawia decyzję dotyczącą routingu

Praktyczny wymiar tego wszystkiego jest taki, że pytanie „który model do pracy przestrzennej” stało się właśnie pytaniem o dwa modele z rozpiętością cenową, a warstwa routingu jest miejscem, w którym ta rozpiętość zostaje rozstrzygnięta. Gemini 4 Carbon jest w katalogu OrcaRouter w cenie katalogowej z 0% marży przekazywanej dalej, co oznacza, że podane powyżej 2 USD i 10 USD to kwoty, które faktycznie płacisz za milion tokenów, a nie stawka dostawcy z doliczoną marżą platformy. Ma to tu szczególne znaczenie, ponieważ różnica kosztów między pierwszym a ex aequo drugim miejscem w tym zestawieniu wynosi 4x, a różnica 4x to coś, co warto zmierzyć na własnych rzutach pięter, zanim standaryzujesz na którymkolwiek z nich.

GPT-6.2 Astra nie znajduje się w naszym katalogu na dzień 20 listopada; modele OpenAI, które udostępniamy, to GPT-6 Astra, który uzyskuje 0,497 w tym zestawieniu, oraz seria GPT-6 Sol. Warto powiedzieć to wprost, zamiast sugerować coś innego, ponieważ zmienia to rekomendację: dopóki Astra nie będzie tutaj dostępna w routingu, modelem w naszym katalogu, który dorównuje wynikowi bazowemu człowieka, jest Carbon, a GPT-6 Astra jest dostępny pod tym samym kluczem, jeśli chcesz stylu odpowiedzi OpenAI za 10 i 50 USD. Gdy model i jego tańszy rywal trafiają do jednego endpointu, test A/B na własnych apartamentach kosztuje zmianę klucza API, a nie drugą umowę, a przełączanie awaryjne oznacza, że limit zapytań na jednym z nich nie zatrzymuje partii.

Co zmieniłoby ten odczyt?

Trzy rzeczy, w kolejności od tego, jak bardzo mogłyby zmienić historię. Pierwsza to szersza ludzka linia bazowa. Dwanaście mieszkań to mała próba jak na zadanie z pięćdziesięcioma mieszkaniami, a opublikowanie przez Andona przedziału dla wyniku ludzkiego rozstrzygnęłoby, czy 0,586 to linia, czy rozmaz — jeśli ludzkie pasmo okaże się rozciągać od 0,55 do 0,62, to przewaga Astry jest realna, ale remis Carbona nie, i cała góra tabeli się przetasuje. Druga to drugi przebieg GPT-6.2 Astra na tej samej planszy. Model ma trzy dni; liczby Andona pochodzą z jednej kampanii, a benchmarki z pętlą notatnika i horyzontem pięćdziesięciu mieszkań mają większą wariancję między przebiegami niż jednorazowa ewaluacja, na co słupki błędu standardowego wskazują, ale nie mogą jej w pełni pochłonąć.

Trzeci element to sama strona. Sekcja „Kluczowe ustalenia” Andona wciąż wymienia GPT 5.5, Gemini 3.1 Pro i Claude Opus 4.7 jako trzy najlepsze modele, co było prawdą w maju 2026 i nie zostało zaktualizowane, gdy tabela się zapełniła. Ich opisy rozumowania przestrzennego wciąż cytują Gemini 3.1 Pro i GPT 5.5 analizujące poszczególne mieszkania. Tabela wyników jest aktualna; otaczający ją tekst to migawka sprzed sześciu miesięcy. Czytaj tabelę, a nie sekcję kluczowych ustaleń, i czytaj słupki błędu na wykresie, a nie podpis, który mówi, że dwa modele remisują na linii, ponad którą jeden z nich jest mierzalnie wyżej.

Nic z tego nie sprawia, że wynik jest błędny. GPT-6.2 Astra to najlepszy model w obu niezależnych ewaluacjach 3D opublikowanych w tym tygodniu — z przewagą, która w jednej z nich przekracza jego własny margines błędu, a w drugiej wynosi 47 Elo, gdzie dwa 95-procentowe przedziały wciąż się nakładają. To pierwszy model, który znacząco przewyższa ludzkie oszacowanie w benchmarku prowadzonym od maja. Twierdzenie jest mniejsze niż tweet i solidniejsze niż przeciek, co jest właściwym kształtem wyniku, który pojawił się trzy dni po modelu.

Porównane w tym artykule2

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie