Een gegenereerde titelkaart met als kop 'GPT-6.2 Astra voert Blueprint-Bench 2 aan', als ondertitel 'de menselijke lijn is twaalf appartementen' en een bijschrift dat luidt: '0.614 tegen een menselijke baseline van 0.586'. Daaronder staan twee afgeronde kaarten: links met het label 'GPT-6.2 Astra' en de regels 'Blueprint-Bench 2: 0.614', 'rang 1 op de ranglijst' en '3D-scènereconstructie'; rechts met het label 'menselijke baseline' en '0.586', 'gemeten op 12 appartementen' en 'van de 50 in de benchmark'. Het OrcaRouter-logo is in de rechteronderhoek samengevoegd.
Guides & Insights

GPT-6.2 Astra voert Blueprint-Bench 2 aan: de menselijke lijn is twaalf appartementen

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

GPT-6.2 Astra scoort 0,614 op Blueprint-Bench 2. Het menselijke basisniveau op dezelfde ranglijst is 0,586. Dat is een echte voorsprong, en het is ook 0,028 punt gemeten tegen een menselijk getal dat Andon Labs heeft berekend op basis van twaalf appartementen. Het resultaat verscheen op 20 november 2026 op Andons evaluatiepagina en werd dezelfde ochtend nog opgepikt door Greg Brockman, die het bracht als GPT-6.2 Astra die "het menselijke basisniveau overtrof op een benchmark voor fysiek 3D-begrip." Beide helften van die zin moeten wat worden afgezwakt, en dit artikel gaat over welke delen standhouden. GPT-6.2 Astra, GPT-6.2 Sol en Gemini 4 Carbon bezetten de top vier plaatsen op Andons ranglijst, wat voor een lezer die moet beslissen hoe hij het noemt belangrijker is dan de rang in de kop.

De benchmark zelf is niet nieuw. Blueprint-Bench 2 staat sinds mei 2026 op de site van Andon Labs en verzamelt al zes maanden modellen; wat op 20 november veranderde, is dat een model eindelijk de menselijke grens overschreed met meer dan zijn eigen foutmarge. Dit is dus geen lancering van een benchmark en ook geen modellancering — O​penAI bracht GPT-6.2 Astra op 17 november 2026 uit, drie dagen voordat de score verscheen. Het is een resultaat dat op een bestaand scorebord landt, en de interessante vraag is niet of het getal echt is. Het is wat het getal meet, aangezien de frase "fysiek 3D-begrip" meer werk verricht in de tweet dan de eval in zijn eigen methodologie doet.

Wat Andon Labs daadwerkelijk heeft gemeten

Blueprint-Bench 2 geeft een agent vijftig appartementen, het ene na het andere. Voor elk appartement bekijkt hij ongeveer twintig interieurfoto's en moet hij een 2D-plattegrond tekenen: kamers, welke kamers met welke verbonden zijn, en hun relatieve groottes. Agents nemen een persistent notitieblok mee tussen appartementen, zodat een model kan opschrijven wat het heeft geleerd over typische indelingen — waar een gang meestal zit, wat een deurkozijn in een hoek impliceert — en dat op het volgende appartement kan gebruiken. Dat notitieblok is het deel van het ontwerp dat hier een agent-evaluatie van maakt in plaats van een visietest, en het is de reden waarom de scores frontiermodellen schoner van modellen uit het middensegment scheiden dan een benchmark met één afbeelding zou doen.

Scoring vergelijkt de connectiviteitsgraaf van het model met de ground truth, gewogen over zes submetrieken: Jaccard-overeenkomst voor kamer-tot-kamerverbindingen voor 50%, graadsimilariteit voor 20%, graafdichtheid voor 10%, aantal kamers voor 10%, aantal deuren voor 5% en oriëntatie voor 5%. Plattegronden worden onder D4-symmetrie gematcht, dus een plattegrond die is geroteerd of gespiegeld scoort nog steeds, en de samengestelde score wordt genormaliseerd zodat een willekeurige baseline op 0 uitkomt en een perfecte plattegrond op 1. Het gewicht van 50% op Jaccard is de hele benchmark in één zin: De eigen write-up van Andon zegt dat elk model het aantal kamers ongeveer goed krijgt, rond 90%, en dat het onderscheidende punt is of het model kan uitwerken welke kamers op welke uitkomen. Kamers tellen vanaf foto's is gemakkelijk. De topologie reconstrueren vanuit een walkthrough is dat niet.

Uit dat ontwerp volgen twee consequenties. Ten eerste is de output een 2D-plattegrond, geen 3D-model — de ruimtelijke redenering is driedimensionaal in de zin dat de agent de indeling van een verdieping moet afleiden uit een reeks overlappende beelden, maar niets in de beoordeling beloont een correcte reconstructie van plafondhoogte, volume of meubilair. Ten tweede is de score een getal voor de gelijkenis tussen grafen, geen nauwkeurigheidspercentage. Een 0,614 betekent niet dat het model 61% van de appartementen goed heeft; het betekent dat de connectiviteitsgrafen bij die weging 61,4% van de weg van willekeurig naar perfect liggen.

De 0,028 die een model van een mens scheidt

Hier is de top van het bord zoals het er op 20 november 2026 voorstond, met de standaardfoutbalken die Andon op zijn grafiek tekent, afgelezen van het gepubliceerde cijfer:

• GPT-6.2 Astra — 0,614, rang 1, foutmarge ongeveer 0,601 tot 0,627

• Gemini 4 Carbon — 0,586, gedeelde rang 2, foutmarge ongeveer 0,571 tot 0,601

• Menselijke baseline — 0,586, gedeelde rang 2, getest op 12 appartementen, geen interval gepubliceerd

• GPT-6.2 Sol — 0,570, rang 4, foutmarge ongeveer 0,558 tot 0,584

• Claude Fable 5.2 — 0,566, rang 5

• Gemini 4 Argon — 0,544, rang 6

• Claude Opus 5.5 — 0.512, rang 7

• GPT-6 Astra — 0,497, rang 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Drie dingen uit die lijst zijn het waard om uit te lichten. Het eerste is de grootte van de marge: 0,028 van een punt op een schaal waarop willekeurig 0 is en perfect 1. Het tweede is dat de foutbalk van Astra niet tot 0,586 reikt — de onderkant van de band is 0,601 — dus de voorsprong op het menselijke cijfer valt niet binnen de eigen ruis van het model. Het derde is dat het menselijke getal helemaal geen onzekerheidsband heeft, omdat het is berekend op een twaalftal appartementen uit een taak met vijftig appartementen. Een menselijke score op twaalf flats en een modelscore op vijftig zijn niet dezelfde meting, en Andon is daar open over: de voetnoot van de leaderboard zegt: "Menselijke baseline alleen getest op een subset van 12 appartementen." Beschouw 0,586 als een schatting van waar een mens uitkomt, niet als een lijn met een bekende breedte.

Het andere dat de foutbalken laten zien, is hoe smal de top van de ranglijst is. Astra's onderste whisker en Gemini 4 Carbon's bovenste whisker raken elkaar op precies 0.601. Op deze benchmark schelen de eerste plaats en de gedeelde tweede plaats maar één whisker-aanraking van elkaar, wat een andere bewering is dan "beter dan elke andere AI" en een beter verdedigbare. Andons eigen grafiekonderschrift neemt op een opmerkelijke manier een tussenpositie in: het labelt de gestippelde menselijke lijn als "Human (0.59)" en schrijft vervolgens dat GPT-6.2 Astra en Gemini 4 Carbon "het nu evenaren", ook al zet de tabel Astra 0.028 erboven en Carbon precies erop. De tabel is het zorgvuldigere artefact. Het onderschrift is degene die werd geciteerd.

Twee benchmarks, één richting

Eén bord dat een menselijke lijn wist, zou een scoring-artefact kunnen zijn. De reden om het resultaat serieus te nemen, is dat een tweede, onafhankelijk opgebouwde 3D-evaluatie in dezelfde week dezelfde kant op bewoog. Artificial Analysis draait AA-3D, een heel andere taak: modellen werken als agents in een offline sandbox via Stirrup en zetten een geschreven briefing om in een interactieve three.js-scène, en de ranglijst komt uit blinde paarsgewijze stemmen door een aangeworven menselijk panel — meer dan 20.000 stemmen op het huidige bord — in plaats van uit een grafiekvergelijking.

• GPT-6.2 Astra (Max) — 1.318 Elo, 95%-interval 1.286 tot 1.349, rang 1

• Claude Fable 5.2 (Max) — 1.271 Elo, rang 2

• GPT-6.2 Sol (Max) — 1,259 Elo, rang 3

• Claude Sonnet 5.5 (Max) — 1.204 Elo, rang 4

• Claude Opus 5.5 (Max) — 1.202 Elo, rang 5

• GPT-6 Astra (Max) — 1.168 Elo, 95%-interval 1.141 tot 1.196, rang 6

De twee ranglijsten zijn het oneens over het midden van het veld — Claude Fable 5.2 staat 5e op die van Andon en 2e op die van Artificial Analysis — en ze zijn het volledig eens over de top. Astra leidt, Sol staat in de top drie, en de vorige generatie staat ongeveer 150 Elo achter. O​penAI's eigen lanceerbericht deed de AA-3D-bewering op 17 november met dezelfde drie cijfers, en de onafhankelijke ranglijst toont ze nu ongewijzigd, wat het zeldzame geval is waarin een cijfer van een leverancier en een cijfer van een derde partij hetzelfde cijfer zijn. Dat geldt niet voor het Blueprint-Bench-cijfer: O​penAI zei niets over plattegronden, en de score kwam alleen van Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

De convergentie is het argument. Een graafsimilariteitsbenchmark die door code wordt gescoord en een Elo-benchmark die door blinde menselijke voorkeur wordt gescoord, liggen ongeveer zo ver uiteen als twee evaluaties van ‘ruimtelijk vermogen’ maar kunnen liggen, en toch rangschikken ze dezelfde drie modellen in dezelfde volgorde. Wat ze niet aantonen, is dat een van beide iets meet wat een roboticateam ruimtelijke intelligentie zou noemen, en dat brengt ons bij de meest interessante regel op Andons tabel.

Waarom een robotmodel nul scoorde

Gemini Robotics-ER 1.6 scoort 0,000 op Blueprint-Bench 2 — op of onder de willekeurige basislijn, door Andon gemarkeerd met een dubbele asterisk. Het is het nuttigste getal op de pagina. Een model dat specifiek is gebouwd voor ruimtelijk en belichaamd redeneren, het soort model waarnaar je zou grijpen als de taak was om 'een fysieke ruimte te begrijpen', produceert connectiviteitsgrafen die niet beter zijn dan kans. Andon markeert het zelf: de ruimtelijke specialisatie draagt niet over naar plattegrondgeneratie.

Vier andere modellen zitten ook op de random baseline, en de vorm van die cluster vertelt je wat de benchmark beloont. Wat hij beloont, is een specifieke samengestelde vaardigheid — een reeks foto's lezen, een consistente hypothese over een verdieping aanhouden en een strikt geformatteerd plan produceren dat een parser kan scoren. Een model kan uitstekend zijn in redeneren over fysieke ruimte en hier toch op falen, omdat de faalmodus meestal het uitvoerformaat of de consistentie over lange termijn is, niet de ruimtelijke inferentie. Dat betekent dat "overtreft de menselijke baseline op fysiek 3D-begrip" een eerlijke samenvatting van de score is en een iets te genereuze samenvatting van de vaardigheid. De eerlijke versie is smaller: het reconstrueert de connectiviteit van een appartement uit foto's nauwkeuriger dan een menselijke steekproef van twaalf appartementen deed, op een benchmark die grafstructuur en niets anders scoort.

Voor iedereen wiens daadwerkelijke werk met plattegronden te maken heeft — vastleggen van vastgoed, verzekeringsdocumentatie, facilitair werk, het digitaliseren van papieren plannen — is die beperktere bewering nog steeds de nuttige, omdat grafstructuur precies is wat die workflows nodig hebben en precies wat een PDF-naar-CAD-pijplijn verkeerd doet. Voor iedereen die het leest als een uitspraak over robots die door kamers navigeren, is de Robotics-ER-rij de correctie.

Wat het kost om die lead te kopen

GPT-6.2 Astra kost $8 per miljoen inputtokens, $0,40 voor gecachede tokens en $40 per miljoen outputtokens, wat aan zowel de input- als de outputzijde 20% onder GPT-6 Astra ligt. Het model dat de menselijke lijn evenaart, Gemini 4 Carbon, kost $2 en $10 — een kwart van Astra's inputprijs en een kwart van zijn outputprijs. GPT-6.2 Sol, vierde op Andon's board met 0,570 en derde op AA-3D met 1.259 Elo, behoudt de tokenprijzen van GPT-6.1 Sol in plaats van die van Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0,586 vs GPT-6.2 Astra 0,614

• Invoerprijs per 1M — Carbon $2,00 vs Astra $8,00

Uitvoerprijs per 1M — Carbon $10,00 vs Astra $40,00

• AA-3D Elo — Carbon niet op de ranglijst vs Astra 1.318, rang 1

• Waar elk staat — Carbon evenaart de menselijke grens, terwijl Astra die met 0,028 overschrijdt

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Lees je dat als een prijsvraag, dan is het antwoord ongemakkelijk voor het vlaggenschip. Op de enige benchmark waarop beide modellen voorkomen, levert een vijfde van de prijs je een gelijkspel met de menselijke baseline op en een haartje afstand tot de eerste plaats. Astra's pleidooi voor zijn prijs berust niet op plattegronden; het berust op de evaluaties van professioneel werk in OpenAI's lanceringspost, waar het het model is met een contextvenster van 1.050.000 tokens en de frontier-scores op Agents' Last Exam en Terminal-Bench-Science. Als je workload bestaat uit appartementenfoto's en connectiviteitsgrafen, is het prijsverschil op basis van dit bord alleen moeilijk te rechtvaardigen. Als je workload een lange reeks juridische of wetenschappelijke documenten is, zegt deze benchmark daar hoe dan ook niets over.

Nog één voorbehoud over kosten: noch Andon noch Artificial Analysis publiceert een kosten-per-taakcijfer voor Blueprint-Bench 2, en deze benchmark is er ongewoon gevoelig voor. Vijftig appartementen met ruwweg twintig afbeeldingen elk zijn veel invoertokens voordat het model ook maar één kamer schrijft, en een model dat dezelfde grafiekscore bereikt met meer rondes van de notitieblok-lus kost meer per appartement dan de tokenprijs doet vermoeden. Lees de tokenprijzen hierboven niet als een rekening per appartement; dat zijn ze niet.

Waar dit leidt tot een routeringsbeslissing

De praktische vertaling van dit alles is dat "welk model voor ruimtelijk werk" net een tweemodelvraag is geworden met een prijsverschil, en de routeringslaag is waar dat verschil wordt opgelost. Gemini 4 Carbon staat in de OrcaRouter-catalogus tegen lijstprijs met 0% opslag die wordt doorberekend, wat betekent dat de $2 en $10 hierboven zijn wat je daadwerkelijk per miljoen tokens betaalt, in plaats van een leverancierstarief met een platformmarge erbovenop. Dat is hier specifiek van belang omdat het kostenverschil tussen de eerste en de gedeelde tweede plaats in dit klassement 4x is, en een verschil van 4x is precies iets dat je op je eigen plattegronden wilt meten voordat je op een van beide standaardiseert.

GPT-6.2 Astra staat op 20 november niet in onze catalogus; de OpenAI-modellen die wij aanbieden zijn GPT-6 Astra, dat 0,497 scoort op dit board, en de GPT-6 Sol-lijn. Dat is het waard om ronduit te zeggen in plaats van anders te suggereren, want het verandert de aanbeveling: totdat Astra hier routeerbaar is, is het model in onze catalogus dat de menselijke baseline evenaart Carbon, en GPT-6 Astra zit op dezelfde sleutel als je de O​penAI-outputstijl wilt voor $10 en $50. Wanneer een model en zijn goedkopere rivaal op één endpoint uitkomen, kost een A/B op je eigen appartementen een API-sleutelwijziging in plaats van een tweede contract, en failover betekent dat een rate limit op één van beide de batch niet stopt.

Wat zou deze interpretatie veranderen?

Drie dingen, gerangschikt naar hoeveel ze het verhaal zouden veranderen. Het eerste is een bredere menselijke baseline. Twaalf appartementen is een kleine steekproef voor een taak met vijftig appartementen, en als Andon een interval voor het menselijke cijfer publiceert, zou dat beslissen of 0,586 een lijn of een waas is — als de menselijke band van 0,55 tot 0,62 blijkt te lopen, dan is de voorsprong van Astra echt, maar de gelijkstand van Carbon niet, en wordt de hele top van de ranglijst opnieuw geschud. Het tweede is een tweede run van GPT-6.2 Astra op dezelfde ranglijst. Het model is drie dagen oud; Andons cijfers komen uit één campagne, en benchmarks met een notitiebloklus en een horizon van vijftig appartementen hebben meer variantie tussen runs dan een single-shot-evaluatie, wat de standaardfoutbalken wel suggereren maar niet volledig kunnen opvangen.

De derde is de pagina zelf. Andons sectie "Key findings" noemt nog steeds GPT 5.5, Gemini 3.1 Pro en Claude Opus 4.7 als de drie beste modellen, wat in mei 2026 klopte en niet is bijgewerkt naarmate de tabel werd aangevuld. Hun teksten over ruimtelijk redeneren citeren nog steeds Gemini 3.1 Pro en GPT 5.5 die individuele appartementen doorwerken. De ranglijst is actueel; de tekst eromheen is een momentopname van zes maanden geleden. Lees de tabel, niet de sectie met bevindingen, en kijk naar de foutbalken in de grafiek in plaats van naar het bijschrift dat zegt dat twee modellen gelijk staan op een lijn waar een van beide meetbaar boven ligt.

Niets daarvan maakt het resultaat onjuist. GPT-6.2 Astra is het beste model op beide onafhankelijke 3D-evaluaties die deze week zijn gepubliceerd, met een marge die bij een van de twee groter is dan zijn eigen foutmarge en bij de andere 47 Elo bedraagt, waar de twee 95%-intervallen elkaar nog steeds overlappen. Het is het eerste model dat betekenisvol boven een menselijke schatting uitkomt op een benchmark die sinds mei draait. De claim is kleiner dan de tweet en solider dan een lek, wat de juiste vorm is voor een resultaat dat drie dagen na het model arriveerde.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt