Eine generierte Titelkarte mit der Schlagzeile „GPT-6.2 Astra führt Blueprint-Bench 2 an“ und dem Untertitel „die menschliche Linie sind zwölf Wohnungen“ sowie einer Bildunterschrift mit dem Text „0,614 gegenüber einer menschlichen Baseline von 0,586“. Darunter befinden sich zwei abgerundete Karten: Die linke trägt die Beschriftung „GPT-6.2 Astra“ mit den Zeilen „Blueprint-Bench 2: 0,614“, „Platz 1 in der Rangliste“ und „3D-Szenenrekonstruktion“; die rechte trägt die Beschriftung „menschliche Baseline“ mit „0,586“, „gemessen an 12 Wohnungen“ und „von 50 im Benchmark“. Das OrcaRouter-Logo ist in die untere rechte Ecke eingefügt.
Guides & Insights

GPT-6.2 Astra führt Blueprint-Bench 2 an: Die menschliche Linie liegt bei zwölf Wohnungen

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

GPT-6.2 Astra erzielt 0,614 auf Blueprint-Bench 2. Die menschliche Baseline auf demselben Board liegt bei 0,586. Das ist ein echter Vorsprung, und es sind zugleich 0,028 Punkte gemessen an einer menschlichen Zahl, die Andon Labs aus zwölf Apartments berechnet hat. Das Ergebnis wurde am 20. November 2026 auf Andons Evaluierungsseite veröffentlicht und am selben Morgen von Greg Brockman weiterverbreitet, der es so formulierte, dass GPT-6.2 Astra „die menschliche Baseline beim Benchmark für physisches 3D-Verständnis übertrifft“. Beiden Hälften dieses Satzes muss man ein wenig Luft herauslassen, und in diesem Artikel geht es darum, welche Teile davon Bestand haben. GPT-6.2 Astra, GPT-6.2 Sol und Gemini 4 Carbon belegen die oberen vier Plätze auf Andons Board, was für Leser, die entscheiden, wie sie es nennen sollen, mehr zählt als der Platz in der Schlagzeile.

Der Benchmark selbst ist nicht neu. Blueprint-Bench 2 ist seit Mai 2026 auf der Website von Andon Labs und sammelt seit sechs Monaten Modelle; was sich am 20. November geändert hat, ist, dass ein Modell endlich die menschliche Marke um mehr als seine eigene Fehlermarge übertraf. Das ist also keine Benchmark-Einführung und keine Modell-Einführung – O​penAI hat GPT-6.2 Astra am 17. November 2026 veröffentlicht, drei Tage bevor die Punktzahl erschien. Es ist ein Ergebnis, das auf einem bestehenden Board landet, und die interessante Frage ist nicht, ob die Zahl real ist. Sie ist, was die Zahl misst, denn der Ausdruck „physisches 3D-Verständnis“ leistet im Tweet mehr Arbeit, als die Evaluation in ihrer eigenen Methodik leistet.

Was Andon Labs tatsächlich gemessen hat

Blueprint-Bench 2 gibt einem Agenten fünfzig Wohnungen, eine nach der anderen. Für jede Wohnung sieht er sich rund zwanzig Innenraumfotos an und muss einen 2D-Grundriss zeichnen: Räume, welche Räume mit welchen verbunden sind und ihre relativen Größen. Agenten führen zwischen den Wohnungen ein persistentes Notizbuch mit, sodass ein Modell aufschreiben kann, was es über typische Grundrisse gelernt hat – wo ein Flur normalerweise liegt, was ein Türrahmen in einer Ecke impliziert – und es bei der nächsten Wohnung nutzen kann. Dieses Notizbuch ist der Teil des Designs, der daraus ein Agenten-Eval statt eines Visionstests macht, und es ist der Grund, warum die Ergebnisse Frontier-Modelle sauberer von Mittelklasse-Modellen trennen, als es ein Benchmark mit einem einzelnen Bild täte.

Die Bewertung vergleicht den Konnektivitätsgraphen des Modells mit der Ground Truth, gewichtet über sechs Teilmetriken: Jaccard-Ähnlichkeit bei Raum-zu-Raum-Verbindungen mit 50 %, Gradähnlichkeit mit 20 %, Graphdichte mit 10 %, Raumanzahl mit 10 %, Türanzahl mit 5 % und Orientierung mit 5 %. Pläne werden unter D4-Symmetrie abgeglichen, sodass ein gedrehter oder gespiegelter Plan weiterhin zählt, und die Gesamtbewertung wird normalisiert, sodass eine Zufallsbasis 0 und ein perfekter Plan 1 ergibt. Die 50-%-Gewichtung auf Jaccard ist der gesamte Benchmark in einer Zeile: Andons eigene Ausarbeitung sagt, jedes Modell trifft die Raumanzahl ungefähr richtig, etwa zu 90 %, und der entscheidende Unterschied ist, ob das Modell herausfinden kann, welche Räume in welche münden. Räume aus Fotos zu zählen ist einfach. Die Topologie aus einem Rundgang zu rekonstruieren nicht.

Aus diesem Design folgen zwei Konsequenzen. Erstens ist die Ausgabe ein 2D-Plan, kein 3D-Modell – das räumliche Schlussfolgern ist insofern dreidimensional, als der Agent aus einer Folge überlappender Ansichten den Grundriss eines Stockwerks ableiten muss, aber nichts in der Bewertung eine korrekte Rekonstruktion von Deckenhöhe, Volumen oder Möbeln belohnt. Zweitens ist der Score ein Graph-Ähnlichkeitswert, kein Genauigkeitsprozentsatz. Ein Wert von 0,614 bedeutet nicht, dass das Modell bei 61 % der Wohnungen richtig lag; er bedeutet, dass seine Konnektivitätsgraphen unter dieser Gewichtung zu 61,4 % auf dem Weg von zufällig zu perfekt liegen.

Die 0,028, die ein Modell von einem Menschen trennen

Hier ist die Spitze der Rangliste, wie sie am 20. November 2026 stand, mit den Standardfehlerbalken, die Andon in seinem Diagramm einzeichnet, abgelesen aus der veröffentlichten Abbildung:

• GPT-6.2 Astra — 0,614, Rang 1, Fehlerbalken etwa 0,601 bis 0,627

• Gemini 4 Carbon — 0,586, geteilter Rang 2, Fehlerbalken etwa 0,571 bis 0,601

• Menschliche Baseline — 0,586, geteilter Rang 2, getestet an 12 Wohnungen, kein Intervall veröffentlicht

• GPT-6.2 Sol — 0,570, Rang 4, Fehlerbalken etwa 0,558 bis 0,584

• Claude Fable 5.2 — 0.566, Rang 5

• Gemini 4 Argon — 0,544, Rang 6

• Claude Opus 5.5 — 0,512, Rang 7

• GPT-6 Astra — 0.497, Rang 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Drei Dinge lohnen es, aus dieser Liste hervorgehoben zu werden. Das erste ist die Größe des Vorsprungs: 0,028 eines Punktes auf einer Skala, auf der Zufall 0 und Perfektion 1 ist. Das zweite ist, dass Astas Fehlerbalken nicht bis 0,586 herunterreicht — die Untergrenze seines Bands liegt bei 0,601 —, sodass der Vorsprung gegenüber der menschlichen Zahl nicht innerhalb des eigenen Rauschens des Modells liegt. Das dritte ist, dass die menschliche Zahl überhaupt kein Unsicherheitsband trägt, weil sie anhand eines Dutzends Wohnungen aus einer Aufgabe mit fünfzig Wohnungen berechnet wurde. Ein menschlicher Punktwert aus zwölf Wohnungen und ein Modellwert aus fünfzig sind nicht dieselbe Messung, und Andon sagt das offen: In der Fußnote der Rangliste heißt es: „Menschliche Baseline nur an einer Teilmenge von 12 Wohnungen getestet.“ Behandle 0,586 als Schätzung dafür, wo eine Person landet, nicht als Linie mit bekannter Breite.

Was die Fehlerbalken außerdem zeigen, ist, wie schmal die Spitze der Rangliste ist. Astras unterer Whisker und der obere Whisker von Gemini 4 Carbon treffen sich bei genau 0,601. In diesem Benchmark liegen der erste Platz und der punktgleich Zweite nur eine Whisker-Berührung auseinander, was eine andere Aussage ist als „besser als jede andere KI“ und eine belastbarere. Andons eigene Bildunterschrift zum Diagramm gleicht den Unterschied auf bemerkenswerte Weise aus: Sie beschriftet die gestrichelte Menschenlinie mit „Human (0.59)“ und schreibt dann, GPT-6.2 Astra und Gemini 4 Carbon „now ties it“, obwohl die Tabelle Astra 0,028 darüber und Carbon exakt darauf führt. Die Tabelle ist das sorgfältigere Artefakt. Die Bildunterschrift ist diejenige, die zitiert wurde.

Zwei Benchmarks, eine Richtung

Eine Rangliste, die eine menschliche Messlatte überschreitet, könnte ein Bewertungsartefakt sein. Der Grund, das Ergebnis ernst zu nehmen, ist, dass sich eine zweite, unabhängig erstellte 3D-Evaluierung in derselben Woche in dieselbe Richtung bewegte. Artificial Analysis betreibt AA-3D, eine völlig andere Aufgabe: Modelle arbeiten als Agenten in einer Offline-Sandbox über Stirrup und verwandeln ein schriftliches Briefing in eine interaktive three.js-Szene, und das Ranking stammt aus blinden Paarvergleichen eines rekrutierten menschlichen Panels – über 20.000 Stimmen auf der aktuellen Rangliste – und nicht aus einem Graphvergleich.

• GPT-6.2 Astra (Max) — 1.318 Elo, 95%-Intervall 1.286 bis 1.349, Rang 1

• Claude Fable 5.2 (Max) — 1.271 Elo, Rang 2

• GPT-6.2 Sol (Max) — 1.259 Elo, Rang 3

• Claude Sonnet 5.5 (Max) — 1.204 Elo, Rang 4

• Claude Opus 5.5 (Max) — 1.202 Elo, Rang 5

• GPT-6 Astra (Max) — 1.168 Elo, 95-%-Intervall 1.141 bis 1.196, Rang 6

Die beiden Ranglisten sind sich beim Mittelfeld uneinig – Claude Fable 5.2 steht bei Andon auf Platz 5 und bei Artificial Analysis auf Platz 2 –, und über die Spitze sind sie sich völlig einig. Astra führt, Sol liegt in den Top drei, und die vorherige Generation liegt rund 150 Elo zurück. OpenAIs eigener Launch-Beitrag machte am 17. November die AA-3D-Aussage mit denselben drei Zahlen, und die unabhängige Rangliste zeigt sie nun unverändert – der seltene Fall, in dem ein Herstellerwert und ein Drittanbieterwert derselbe Wert sind. Das gilt nicht für die Blueprint-Bench-Zahl: OpenAI sagte nichts über Grundrisse, und der Wert kam allein von Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Die Konvergenz ist das Argument. Ein Graphähnlichkeits-Benchmark, der durch Code bewertet wird, und ein Elo-Benchmark, der durch blinde menschliche Präferenz bewertet wird, liegen etwa so weit auseinander, wie zwei Bewertungen von „räumlicher Fähigkeit“ nur auseinanderliegen können, und sie ordnen dieselben drei Modelle in derselben Reihenfolge ein. Was sie jedoch nicht belegen, ist, dass eines von beiden etwas misst, das ein Robotikteam als räumliche Intelligenz bezeichnen würde – womit wir bei der interessantesten Zeile in Andons Tabelle wären.

Warum ein Robotikmodell null Punkte erzielte

Gemini Robotics-ER 1.6 erzielt 0,000 auf Blueprint-Bench 2 — auf oder unter der Zufallsbaseline, von Andon mit einem doppelten Sternchen markiert. Es ist die nützlichste Zahl auf der Seite. Ein Modell, das speziell für räumliches und verkörpertes Reasoning entwickelt wurde, also genau das, wozu man greifen würde, wenn die Aufgabe „einen physischen Raum verstehen“ lauten würde, erzeugt Konnektivitätsgraphen, die nicht besser als der Zufall sind. Andon weist selbst darauf hin: Die räumliche Spezialisierung lässt sich nicht auf die Grundrissgenerierung übertragen.

Vier weitere Modelle liegen ebenfalls auf der Zufallsbaseline, und die Form dieses Clusters verrät Ihnen, wofür der Benchmark belohnt. Belohnt wird eine bestimmte zusammengesetzte Fähigkeit – eine Folge von Fotografien lesen, eine konsistente Hypothese über eine Etage aufrechterhalten und einen streng formatierten Plan ausgeben, den ein Parser bewerten kann. Ein Modell kann hervorragend darin sein, über physischen Raum zu schlussfolgern, und daran trotzdem scheitern, weil der Fehlermodus meist das Ausgabeformat oder die Konsistenz über lange Horizonte ist, nicht die räumliche Schlussfolgerung. Das bedeutet: „übertrifft die menschliche Baseline beim physischen 3D-Verständnis“ ist eine faire Zusammenfassung des Ergebnisses und eine etwas großzügige Zusammenfassung der Fähigkeit. Die ehrliche Version ist enger gefasst: Es rekonstruiert die Konnektivität einer Wohnung aus Fotografien genauer, als es eine menschliche Stichprobe von zwölf Wohnungen tat, in einem Benchmark, der Graphenstruktur und sonst nichts bewertet.

Für alle, deren eigentliche Arbeit mit Grundrissen zu tun hat – Immobilienerfassung, Versicherungsdokumentation, Facility-Management, die Digitalisierung von Papierplänen –, ist diese engere Aussage nach wie vor die nützliche, denn die Graphenstruktur ist genau das, was diese Arbeitsabläufe brauchen, und genau das, was eine PDF-zu-CAD-Pipeline falsch macht. Für alle, die sie als Aussage über Roboter lesen, die durch Räume navigieren, ist die Robotics-ER-Zeile die Korrektur.

Was es kostet, diesen Lead zu kaufen

GPT-6.2 Astra kostet 8 US-Dollar pro Million Input-Tokens, 0,40 US-Dollar gecacht und 40 US-Dollar pro Million Output – 20 % unter GPT-6 Astra in beiden Zählerrichtungen. Das Modell, das die menschliche Linie erreicht, Gemini 4 Carbon, kostet 2 und 10 US-Dollar – ein Viertel von Astras Input-Preis und ein Viertel seines Output-Preises. GPT-6.2 Sol, Vierter auf Andons Rangliste mit 0,570 und Dritter auf AA-3D mit 1.259 Elo, behält die Token-Preise von GPT-6.1 Sol statt die von Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 vs. GPT-6.2 Astra 0.614

• Eingabepreis pro 1 Mio. — Carbon 2,00 $ vs. Astra 8,00 $

• Ausgabepreis pro 1 Mio. – Carbon 10,00 $ vs. Astra 40,00 $

• AA-3D Elo — Carbon nicht auf dem Leaderboard gegen Astra 1.318, Rang 1

• Wo sie jeweils liegen — Carbon erreicht die menschliche Linie, Astra übertrifft sie um 0.028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Liest man das als Preisfrage, ist die Antwort unangenehm für das Flaggschiff. In dem einen Benchmark, in dem beide Modelle vorkommen, bekommt man für ein Fünftel des Preises ein Unentschieden mit der menschlichen Baseline und ist nur um Haaresbreite vom ersten Platz entfernt. Astras Argument für seinen Preis stützt sich nicht auf Grundrisse; es stützt sich auf die Bewertungen professioneller Arbeit in OpenAI-Launchbeitrag, wo es das Modell mit dem Kontextfenster von 1.050.000 Tokens und den Spitzenwerten bei Agents' Last Exam und Terminal-Bench-Science ist. Wenn Ihre Workload aus Wohnungsfotos und Konnektivitätsgraphen besteht, ist der Preisunterschied allein anhand dieses Boards schwer zu rechtfertigen. Wenn Ihre Workload aus einem langen Satz juristischer oder wissenschaftlicher Dokumente besteht, sagt dieser Benchmark dazu weder das eine noch das andere.

Noch ein Vorbehalt zu den Kosten: Weder Andon noch Artificial Analysis veröffentlichen eine Kennzahl für die Kosten pro Aufgabe für Blueprint-Bench 2, und dieser Benchmark reagiert ungewöhnlich empfindlich darauf. Fünfzig Wohnungen mit jeweils rund zwanzig Bildern sind eine Menge Input-Tokens, bevor das Modell auch nur einen einzigen Raum schreibt, und ein Modell, das denselben Graph-Score mit mehr Runden der Notizblock-Schleife erreicht, kostet pro Wohnung mehr, als sein Tokenpreis vermuten lässt. Lesen Sie die oben genannten Tokenpreise nicht als Rechnung pro Wohnung; das sind sie nicht.

Was dies für eine Routing-Entscheidung bedeutet

Die praktische Konsequenz aus all dem ist, dass „welches Modell für räumliche Arbeit“ gerade zu einer Zwei-Modell-Frage mit einer Preisspanne geworden ist, und die Routing-Schicht ist der Ort, an dem diese Spanne aufgelöst wird. Gemini 4 Carbon ist im OrcaRouter-Katalog zum Listenpreis mit einem durchgereichten Aufschlag von 0 % enthalten, was bedeutet, dass die oben genannten 2 $ und 10 $ tatsächlich das sind, was Sie pro Million Tokens zahlen, und nicht ein Anbietertarif, auf den obendrauf noch eine Plattformmarge aufgeschlagen wird. Das ist hier besonders wichtig, weil die Kostendifferenz zwischen dem ersten und dem geteilten zweiten Platz in dieser Rangliste 4x beträgt, und eine 4x-Differenz ist genau die Art von Sache, die Sie an Ihren eigenen Grundrissen messen sollten, bevor Sie sich auf eines der beiden festlegen.

GPT-6.2 Astra ist mit Stand 20. November nicht in unserem Katalog; die OpenAI-Modelle, die wir anbieten, sind GPT-6 Astra, das auf diesem Board 0,497 erzielt, und die GPT-6-Sol-Reihe. Das sollte man klar sagen, statt etwas anderes anzudeuten, denn es ändert die Empfehlung: Solange Astra hier nicht routbar ist, ist Carbon das Modell in unserem Katalog, das mit der menschlichen Baseline gleichzieht, und GPT-6 Astra läuft über denselben Schlüssel, wenn Sie den OpenAI-Ausgabestil zu 10 $ und 50 $ möchten. Wenn ein Modell und sein günstigerer Rivale auf einem Endpunkt landen, kostet ein A/B-Test an Ihren eigenen Apartments nur eine Änderung des API-Schlüssels statt eines zweiten Vertrags, und Failover bedeutet, dass ein Ratenlimit bei einem den Batch nicht stoppt.

Was würde diese Lesart ändern?

Drei Dinge, geordnet danach, wie stark sie die Geschichte voranbringen würden. Das erste ist eine breitere menschliche Baseline. Zwölf Wohnungen sind eine kleine Stichprobe für eine Aufgabe mit fünfzig Wohnungen, und wenn Andon ein Intervall für die menschliche Zahl veröffentlichte, würde sich klären, ob 0,586 eine Linie oder ein verschmierter Bereich ist – falls sich die menschliche Bandbreite als von 0,55 bis 0,62 reichend erweist, dann ist Astras Vorsprung real, aber Carbons Gleichstand nicht, und die gesamte Spitze der Rangliste wird neu gemischt. Das zweite ist ein zweiter Lauf von GPT-6.2 Astra auf demselben Board. Das Modell ist drei Tage alt; Andons Zahlen stammen aus einer einzigen Kampagne, und Benchmarks mit einer Notizblock-Schleife und einem Horizont von fünfzig Wohnungen haben mehr Varianz von Lauf zu Lauf als eine Single-Shot-Eval, worauf die Standardfehlerbalken hindeuten, sie aber nicht vollständig auffangen können.

Das dritte ist die Seite selbst. Andons Abschnitt „Key findings“ nennt noch immer GPT 5.5, Gemini 3.1 Pro und Claude Opus 4.7 als die drei besten Modelle, was im Mai 2026 zutraf und nicht aktualisiert wurde, als sich die Tabelle füllte. Ihre Ausführungen zum räumlichen Denken zitieren noch immer Gemini 3.1 Pro und GPT 5.5, die einzelne Wohnungen durcharbeiten. Die Bestenliste ist aktuell; die Prosa drumherum ist eine Momentaufnahme von vor sechs Monaten. Lies die Tabelle, nicht den Abschnitt mit den Ergebnissen, und lies die Fehlerbalken im Diagramm statt der Bildunterschrift, die besagt, dass zwei Modelle gleichauf liegen, obwohl eines davon messbar über der Linie liegt.

Nichts davon macht das Ergebnis falsch. GPT-6.2 Astra ist das beste Modell in beiden diese Woche veröffentlichten unabhängigen 3D-Evaluierungen – mit einem Vorsprung, der bei einer davon über der eigenen Fehlerspanne liegt, und um 47 Elo bei der anderen, wo sich die beiden 95%-Intervalle noch überschneiden. Es ist das erste Modell, das auf einem seit Mai laufenden Benchmark deutlich über einer menschlichen Schätzung liegt. Die Behauptung ist kleiner als der Tweet und belastbarer als ein Leak – die richtige Form für ein Ergebnis, das drei Tage nach dem Modell eintraf.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert