Ett genererat titelkort med rubriken "GPT-6.2 Astra toppar Blueprint-Bench 2" och underrubriken "den mänskliga linjen är tolv lägenheter" samt en bildtext som lyder "0.614 mot en mänsklig baslinje på 0.586". Två rundade kort ligger nedanför: det vänstra märkt "GPT-6.2 Astra" med raderna "Blueprint-Bench 2: 0.614", "plats 1 på listan" och "3D-scenrekonstruktion"; det högra märkt "mänsklig baslinje" med "0.586", "uppmätt på 12 lägenheter" och "av 50 i benchmarken". OrcaRouter-logotypen är komponerad i det nedre högra hörnet.
Guides & Insights

GPT-6.2 Astra toppar Blueprint-Bench 2: den mänskliga linjen är tolv lägenheter

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

GPT-6.2 Astra får 0,614 på Blueprint-Bench 2. Den mänskliga baslinjen på samma resultattavla är 0,586. Det är ett verkligt försprång, och det är också 0,028 poäng mätt mot en mänsklig siffra som Andon Labs räknade fram från tolv lägenheter. Resultatet publicerades på Andons utvärderingssida den 20 november 2026 och lyftes samma morgon av Greg Brockman, som formulerade det som att GPT-6.2 Astra "överträffar mänsklig baslinje på benchmark för fysisk 3D-förståelse". Båda halvorna av den meningen behöver lite luft släppas ut, och den här artikeln handlar om vilka delar som överlever. GPT-6.2 Astra, GPT-6.2 Sol och Gemini 4 Carbon intar de fyra översta platserna på Andons resultattavla, vilket spelar större roll för en läsare som försöker avgöra vad man ska kalla det än vad rubrikplaceringen gör.

Själva benchmarken är inte ny. Blueprint-Bench 2 har funnits på Andon Labs webbplats sedan maj 2026 och har samlat in modeller i sex månader; det som ändrades den 20 november är att en modell äntligen klarade den mänskliga ribban med mer än sin egen felmarginal. Så det här är inte en lansering av en benchmark och inte en modellansering — OpenAI släppte GPT-6.2 Astra den 17 november 2026, tre dagar innan poängen dök upp. Det är ett resultat som landar på en befintlig resultattavla, och den intressanta frågan är inte om siffran är verklig. Det är vad siffran mäter, eftersom frasen "fysisk 3D-förståelse" gör mer arbete i tweeten än utvärderingen gör i sin egen metodik.

Vad Andon Labs faktiskt mätte

Blueprint-Bench 2 ger en agent femtio lägenheter, en efter en. För varje lägenhet tittar den på ungefär tjugo interiörfotografier och måste rita en 2D-planlösning: rum, vilka rum som ansluter till vilka och deras relativa storlekar. Agenterna har ett bestående anteckningsblock mellan lägenheterna, så en modell kan skriva ned vad den har lärt sig om typiska planlösningar – var en hall vanligtvis ligger, vad en dörrkarm i ett hörn innebär – och använda det i nästa lägenhet. Det anteckningsblocket är den del av designen som gör detta till en agentutvärdering snarare än ett syntest, och det är därför poängen skiljer frontiermodeller från modeller på mellannivå tydligare än vad ett benchmark med en enda bild skulle göra.

Poängsättningen jämför modellens konnektivitetsgraf mot facit, viktat över sex delmått: Jaccard-likhet för rum-till-rum-kopplingar på 50 %, gradlikhet på 20 %, grafdensitet på 10 %, antal rum på 10 %, antal dörrar på 5 % och orientering på 5 %. Planer matchas under D4-symmetri, så en plan som är roterad eller speglad får fortfarande poäng, och det sammansatta måttet normaliseras så att en slumpmässig baslinje motsvarar 0 och en perfekt plan motsvarar 1. Viktningen på 50 % för Jaccard är hela benchmarken i en rad: Andons egen skrift säger att varje modell får antalet rum ungefär rätt, runt 90 %, och att det avgörande är om modellen kan lista ut vilka rum som öppnar sig mot vilka. Att räkna rum från fotografier är lätt. Att rekonstruera topologin från en genomgång är det inte.

Två konsekvenser följer av den konstruktionen. För det första är utdata en 2D-plan, inte en 3D-modell – det spatiala resonemanget är tredimensionellt i den meningen att agenten måste sluta sig till layouten för en våning utifrån en sekvens av överlappande vyer, men inget i poängsättningen belönar en korrekt rekonstruktion av takhöjd, volym eller möbler. För det andra är poängen ett likhetstal för grafer, inte ett procenttal för noggrannhet. Ett värde på 0,614 betyder inte att modellen fick 61 % av lägenheterna rätt; det betyder att dess konnektivitetsgrafer ligger 61,4 % av vägen från slumpmässig till perfekt med den viktningen.

0,028 som skiljer en modell från en person

Här är toppen av listan som den såg ut den 20 november 2026, med de standardfelstaplar som Andon ritar i sitt diagram avlästa från den publicerade siffran:

• GPT-6.2 Astra — 0,614, rang 1, felmarginal ungefär 0,601 till 0,627

• Gemini 4 Carbon — 0,586, delad andraplats, felmarginal ungefär 0,571 till 0,601

• Mänsklig baslinje — 0,586, delad placering 2, testad på 12 lägenheter, inget intervall publicerat

• GPT-6.2 Sol — 0.570, rang 4, felmarginal ungefär 0.558 till 0.584

• Claude Fable 5.2 — 0,566, rang 5

• Gemini 4 Argon — 0,544, rang 6

• Claude Opus 5.5 — 0.512, plats 7

• GPT-6 Astra — 0,497, plats 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Tre saker är värda att lyfta fram ur den listan. Den första är marginalens storlek, som är 0,028 av en poäng på en skala där slumpen är 0 och perfekt är 1. Den andra är att Astras felmarginal inte når ner till 0,586 – den nedre gränsen för dess intervall är 0,601 – så övertaget gentemot den mänskliga siffran ligger inte inom modellens eget brus. Den tredje är att den mänskliga siffran inte har något osäkerhetsintervall alls, eftersom den beräknades på ett dussin lägenheter av en uppgift med femtio lägenheter. En mänsklig poäng från tolv lägenheter och en modellpoäng från femtio är inte samma mätning, och Andon är öppen med det: fotnoten i resultattavlan säger "Mänsklig baslinje testades endast på en delmängd av 12 lägenheter." Betrakta 0,586 som en uppskattning av var en person hamnar, inte som en linje med känd bredd.

Det andra som felstaplarna visar är hur tunn toppen av fältet är. Astras nedre whisker och Gemini 4 Carbons övre whisker möts exakt vid 0,601. I den här benchmarken ligger förstaplatsen och den delade andraplatsen bara en whiskerberöring ifrån varandra, vilket är ett annat påstående än "bättre än någon annan AI" och ett mer försvarbart sådant. Andons egen bildtext till diagrammet gör en slags avvägning som är värd att notera: den märker den streckade människolinjen "Människa (0,59)" och skriver sedan att GPT-6.2 Astra och Gemini 4 Carbon "nu tangerar den", även om tabellen placerar Astra 0,028 över den och Carbon exakt på den. Tabellen är den mer noggranna artefakten. Bildtexten är den som blev citerad.

Två benchmarks, en riktning

Att en resultattavla passerar en mänsklig gräns kan vara en poängartefakt. Anledningen till att ta resultatet på allvar är att en andra, oberoende byggd 3D-utvärdering rörde sig på samma sätt samma vecka. Artificial Analysis driver AA-3D, vilket är en helt annan uppgift: modeller arbetar som agenter i en offline-sandbox via Stirrup och förvandlar en skriftlig uppdragsbeskrivning till en interaktiv three.js-scen, och rankingen kommer från blinda parvisa röster från en rekryterad mänsklig panel – över 20 000 röster på den nuvarande resultattavlan – snarare än från en grafjämförelse.

• GPT-6.2 Astra (Max) – 1 318 Elo, 95 % konfidensintervall 1 286–1 349, rang 1

• Claude Fable 5.2 (Max) — 1 271 Elo, placering 2

• GPT-6.2 Sol (Max) — 1 259 Elo, plats 3

• Claude Sonnet 5.5 (Max) — 1 204 Elo, rang 4

Claude Opus 5.5 (Max) — 1 202 Elo, placering 5

• GPT-6 Astra (Max) — 1 168 Elo, 95 % intervall 1 141 till 1 196, plats 6

De två resultattavlorna är oense om mitten av fältet – Claude Fable 5.2 ligger femma hos Andon och tvåa hos Artificial Analysis – och de är helt överens om toppen. Astra leder, Sol finns bland de tre främsta, och den tidigare generationen ligger ungefär 150 Elo bakom. O​penAI:s eget lanseringsinlägg gjorde AA-3D-påståendet den 17 november med samma tre siffror, och den oberoende tavlan visar dem nu oförändrade, vilket är det sällsynta fallet där en leverantörssiffra och en tredjepartssiffra är samma siffra. Det gäller inte för Blueprint-Bench-siffran: O​penAI sade ingenting om planritningar, och poängen kom enbart från Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Konvergensen är argumentet. Ett benchmark för graflikhet som poängsätts av kod och ett Elo-benchmark som poängsätts genom blind mänsklig preferens ligger ungefär så långt ifrån varandra som två utvärderingar av "rumslig förmåga" kan göra, och de rangordnar samma tre modeller i samma ordning. Vad de inte fastställer är att någon av dem mäter något som ett robotikteam skulle kalla rumslig intelligens, vilket för oss till den mest intressanta raden i Andons tabell.

Varför en robotikmodell fick noll poäng

Gemini Robotics-ER 1.6 får 0,000 på Blueprint-Bench 2 – på eller under slumpbaslinjen, markerad av Andon med en dubbel asterisk. Det är den mest användbara siffran på sidan. En modell byggd specifikt för rumsligt och förkroppsligat resonemang, den typ av sak man skulle ta till om uppgiften var att "förstå ett fysiskt rum", producerar konnektivitetsgrafer som inte är bättre än slumpen. Andon flaggar det själva: den rumsliga specialiseringen överförs inte till generering av planlösningar.

Fyra andra modeller ligger också på den slumpmässiga baslinjen, och formen på det klustret berättar vad benchmarken belönar. Det den belönar är en specifik sammansatt färdighet – läsa en sekvens av fotografier, behålla en konsekvent hypotes om ett våningsplan och avge en strikt formaterad plan som en parser kan poängsätta. En modell kan vara utmärkt på att resonera om fysiskt rum och ändå misslyckas med detta, eftersom felmoden oftast är utdataformatet eller konsekvensen över långa horisonter, inte den rumsliga inferensen. Vilket innebär att "överträffar den mänskliga baslinjen för fysisk 3D-förståelse" är en rättvis sammanfattning av poängen och en något generös sammanfattning av färdigheten. Den ärliga versionen är snävare: den rekonstruerar lägenhetens konnektivitet från fotografier mer korrekt än ett mänskligt urval på tolv lägenheter gjorde, i en benchmark som poängsätter grafstruktur och inget annat.

För alla vars faktiska arbete handlar om planlösningar — fastighetsregistrering, försäkringsdokumentation, fastighetsförvaltning, digitalisering av pappersritningar — är det snävare påståendet fortfarande det användbara, eftersom grafstruktur är precis vad dessa arbetsflöden behöver och precis vad en PDF-till-CAD-pipeline gör fel. För alla som läser det som ett påstående om robotar som navigerar i rum, är Robotics-ER-raden rättelsen.

Vad det kostar att köpa den leaden

GPT-6.2 Astra listas till $8 per miljon inputtoken, $0,40 cachade och $40 per miljon outputtoken, vilket är 20 % under GPT-6 Astra i båda riktningarna på mätaren. Modellen som ligger på samma nivå som den mänskliga linjen, Gemini 4 Carbon, listas till $2 och $10 – en fjärdedel av Astras inputpris och en fjärdedel av dess outputpris. GPT-6.2 Sol, fyra på Andons resultattavla med 0,570 och trea på AA-3D med 1 259 Elo, behåller GPT-6.1 Sols tokenpriser i stället för Astras.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 mot GPT-6.2 Astra 0.614

• Pris för indata per 1M — Carbon $2,00 vs Astra $8,00

• Pris för utdata per 1M — Carbon $10.00 vs Astra $40.00

• AA-3D Elo — Carbon inte på tavlan mot Astra 1 318, rank 1

• Var de ligger till – Carbon tangerar den mänskliga gränsen, medan Astra klarar den med 0,028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Läs det som en prisfråga, och svaret är obekvämt för flaggskeppet. På det enda benchmark där båda modellerna förekommer får du för en femtedel av priset oavgjort mot den mänskliga baslinjen och en hårsmån från förstaplatsen. Astras argument för sitt pris vilar inte på planlösningar; det vilar på utvärderingarna av professionellt arbete i O​penAI:s lanseringsinlägg, där det är modellen med ett kontextfönster på 1 050 000 token och toppresultaten på Agents' Last Exam och Terminal-Bench-Science. Om din arbetsbelastning består av lägenhetsfotografier och konnektivitetsgrafer är prisskillnaden svår att motivera utifrån enbart den här tavlan. Om din arbetsbelastning är en lång samling juridiska eller vetenskapliga dokument säger det här benchmarket ingenting om det åt något håll.

Ytterligare ett förbehåll om kostnaden: varken Andon eller Artificial Analysis publicerar någon siffra för kostnad per uppgift för Blueprint-Bench 2, och detta benchmark är ovanligt känsligt för den. Femtio lägenheter med ungefär tjugo bilder vardera är många indatatokens innan modellen ens skriver ett enda rum, och en modell som når samma grafpoäng med fler varv i anteckningsloopen kostar mer per lägenhet än vad dess tokenpris antyder. Läs inte tokenpriserna ovan som en räkning per lägenhet; de är ingen sådan.

Vilket lämnar ett routingbeslut

Den praktiska versionen av allt detta är att "vilken modell för rumsligt arbete" just blev en fråga om två modeller med ett prisspann, och routningslagret är där spannet avgörs. Gemini 4 Carbon finns i OrcaRouter-katalogen till listpris med 0 % påslag som förs vidare, vilket innebär att $2 och $10 ovan är vad du faktiskt betalar per miljon tokens i stället för en leverantörstaxa med en plattformsmarginal ovanpå. Det spelar särskilt roll här eftersom kostnadsskillnaden mellan förstaplatsen och delad andraplats på den här listan är 4x, och en 4x-skillnad är sådant man vill mäta på sina egna planlösningar innan man standardiserar på någon av dem.

GPT-6.2 Astra finns inte i vår katalog per den 20 november; de OpenAI-modeller vi erbjuder är GPT-6 Astra, som får 0,497 poäng på den här listan, och GPT-6 Sol-serien. Det är värt att säga rakt ut i stället för att antyda något annat, eftersom det ändrar rekommendationen: tills Astra kan dirigeras här är modellen i vår katalog som matchar den mänskliga baslinjen Carbon, och GPT-6 Astra ligger på samma nyckel om du vill ha OpenAI-utdatastilen för $10 och $50. När en modell och dess billigare konkurrent hamnar på samma endpoint kostar ett A/B-test på dina egna lägenheter ett byte av API-nyckel i stället för ett andra avtal, och failover innebär att en hastighetsbegränsning på den ena inte stoppar batchen.

Vad skulle ändra den här avläsningen?

Tre saker, i ordning efter hur mycket de skulle förändra berättelsen. Den första är en bredare mänsklig baslinje. Tolv lägenheter är ett litet urval för en uppgift med femtio lägenheter, och om Andon publicerar ett intervall för den mänskliga siffran skulle det avgöra huruvida 0,586 är en linje eller en utsmetning — om det mänskliga bandet visar sig sträcka sig från 0,55 till 0,62, då är Astras ledning verklig men Carbons delade placering är det inte, och hela toppen av resultattavlan kastas om. Den andra är en andra körning av GPT-6.2 Astra på samma resultattavla. Modellen är tre dagar gammal; Andons siffror kommer från en enda kampanj, och benchmarkar med en anteckningsblocksloop och en horisont på femtio lägenheter har större variation mellan körningar än en enstaka utvärdering, vilket är vad staplarna för standardfel antyder men inte helt kan absorbera.

Den tredje är själva sidan. Andons avsnitt ”Key findings” namnger fortfarande GPT 5.5, Gemini 3.1 Pro och Claude Opus 4.7 som de tre bästa modellerna, vilket stämde i maj 2026 och inte har uppdaterats i takt med att tabellen fylldes på. Deras texter om rumsligt resonemang citerar fortfarande Gemini 3.1 Pro och GPT 5.5 som arbetar sig igenom enskilda lägenheter. Resultattavlan är aktuell; prosan runt den är en ögonblicksbild från sex månader sedan. Läs tabellen, inte avsnittet med viktigaste resultaten, och läs felstaplarna i diagrammet i stället för bildtexten som säger att två modeller ligger på samma linje, när en av dem ligger mätbart över.

Inget av det gör resultatet felaktigt. GPT-6.2 Astra är den bästa modellen i båda de oberoende 3D-utvärderingar som publicerades denna vecka, med en marginal som överskrider dess egen felmarginal på en av dem och med 47 Elo på den andra, där de två 95-procentiga intervallen fortfarande överlappar. Det är den första modellen som ligger tydligt över en mänsklig uppskattning på ett benchmark som har pågått sedan maj. Påståendet är mindre än tweeten och stadigare än en läcka, vilket är rätt form för ett resultat som kom tre dagar efter att modellen gjorde det.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen