Сгенерированная титульная карточка с заголовком «GPT-6.2 Astra возглавляет Blueprint-Bench 2», подзаголовком «человеческая линия — двенадцать квартир» и подписью «0,614 против человеческой базовой отметки 0,586». Ниже расположены две карточки со скруглёнными углами: слева — с надписью «GPT-6.2 Astra» и строками «Blueprint-Bench 2: 0,614», «1-е место в таблице» и «3D-реконструкция сцены»; справа — с надписью «человеческий базовый уровень» со значениями «0,586», «измерено на 12 квартирах» и «из 50 в бенчмарке». Логотип OrcaRouter вставлен в правый нижний угол.
Guides & Insights

GPT-6.2 Astra возглавляет Blueprint-Bench 2: человеческая планка — двенадцать квартир

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

GPT-6.2 Astra набирает 0,614 в Blueprint-Bench 2. Человеческий базовый уровень в том же рейтинге — 0,586. Это реальный отрыв, и в то же время это 0,028 балла, измеренные относительно человеческого показателя, который Andon Labs вычислила на основе двенадцати квартир. Результат появился на странице оценки Andon 20 ноября 2026 года и в то же утро был растиражирован Грегом Брокманом, который сформулировал это так: GPT-6.2 Astra «превосходит человеческий базовый уровень в бенчмарке на физическое 3D-понимание». Обеим половинам этого предложения стоит немного сбавить пафос, и эта статья о том, какие части выдержат проверку. GPT-6.2 Astra, GPT-6.2 Sol и Gemini 4 Carbon входят в четвёрку лидеров рейтинга Andon, и для читателя, решающего, как это называть, это важнее, чем ранг из заголовка.

Сам бенчмарк не нов. Blueprint-Bench 2 присутствует на сайте Andon Labs с мая 2026 года и уже полгода пополняется моделями; изменилось же 20 ноября то, что модель наконец превзошла человеческий уровень на величину, превышающую её собственную погрешность. Так что это не запуск бенчмарка и не запуск модели — OpenAI выпустила GPT-6.2 Astra 17 ноября 2026 года, за три дня до появления результата. Это результат, появившийся на уже существующей доске, и интересный вопрос не в том, реальна ли цифра. А в том, что эта цифра измеряет, поскольку фраза «физическое понимание 3D» делает в твите больше работы, чем сам бенчмарк — в своей методологии.

Что на самом деле измерила Andon Labs

Blueprint-Bench 2 даёт агенту пятьдесят квартир одну за другой. Для каждой квартиры он просматривает примерно двадцать фотографий интерьера и должен нарисовать 2D-план этажа: комнаты, какие комнаты с какими соединяются и их относительные размеры. Агенты переносят между квартирами постоянный блокнот, так что модель может записывать то, что узнала о типичных планировках — где обычно находится коридор, что подразумевает дверная рама в углу — и использовать это в следующей квартире. Этот блокнот — та часть дизайна, которая делает это оценкой агента, а не тестом на зрение, и именно поэтому оценки чище отделяют передовые модели от моделей среднего уровня, чем это сделал бы бенчмарк по одному изображению.

Оценка сравнивает граф связности модели с эталонной разметкой и взвешивается по шести подметрикам: сходство Жаккара по связям между комнатами — 50%, сходство степеней — 20%, плотность графа — 10%, число комнат — 10%, число дверей — 5% и ориентация — 5%. Планы сопоставляются с учётом симметрии D4, поэтому повёрнутый или отражённый план всё равно получает балл, а композитная оценка нормализуется так, что случайный базовый уровень соответствует 0, а идеальный план — 1. Вес 50% у Жаккара — это весь бенчмарк в одной строке: в собственной публикации Andon говорится, что все модели примерно правильно определяют число комнат, около 90%, а различающим фактором является то, может ли модель понять, какие комнаты сообщаются с какими. Считать комнаты по фотографиям легко. Восстанавливать топологию по обходу — нет.

Из такого дизайна следуют два последствия. Во-первых, выходные данные — это 2D-план, а не 3D-модель: пространственное рассуждение трёхмерно в том смысле, что агенту приходится выводить планировку этажа из последовательности перекрывающихся ракурсов, но ничто в системе оценки не вознаграждает правильную реконструкцию высоты потолков, объёма или мебели. Во-вторых, оценка — это число сходства графов, а не процент точности. Значение 0,614 не означает, что модель правильно определила 61% квартир; оно означает, что её графы связности находятся на 61,4% пути от случайного к идеальному при таком взвешивании.

0,028, которые отделяют модель от человека

Вот верхняя часть таблицы лидеров по состоянию на 20 ноября 2026 года, с планками стандартных ошибок, которые Andon наносит на свой график и которые считаны с опубликованного показателя:

• GPT-6.2 Astra — 0,614, 1-е место, погрешность примерно от 0,601 до 0,627

• Gemini 4 Carbon — 0,586, делит 2-е место, интервал погрешности примерно от 0,571 до 0,601

• Базовый уровень человека — 0,586, делит 2-е место, протестировано на 12 квартирах, интервал не опубликован.

• GPT-6.2 Sol — 0.570, 4-е место, погрешность примерно от 0.558 до 0.584

• Claude Fable 5.2 — 0,566, ранг 5

• Gemini 4 Argon — 0.544, место 6

• Claude Opus 5.5 — 0.512, место 7

• GPT-6 Astra — 0.497, 8-е место

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Из этого списка стоит выделить три вещи. Первая — размер отрыва, который составляет 0,028 балла по шкале, где случайный результат равен 0, а идеальный — 1. Вторая — планка погрешности Astra не опускается до 0,586: нижняя граница её диапазона равна 0,601, — поэтому преимущество над человеческим показателем не укладывается в собственный шум модели. Третья — человеческий показатель вообще не имеет диапазона неопределённости, потому что он был вычислен по дюжине квартир в задаче с пятьюдесятью квартирами. Оценка человека по двенадцати квартирам и оценка модели по пятидесяти — это не одно и то же измерение, и Andon прямо об этом говорит: в сноске к таблице лидеров указано: «Базовый уровень человека проверялся только на подмножестве из 12 квартир». Считайте 0,586 оценкой того, каков результат человека, а не линией с известной шириной.

Ещё одно, что показывают усы погрешностей, — насколько тонка вершина таблицы лидеров. Нижний ус Astra и верхний ус Gemini 4 Carbon смыкаются ровно на 0.601. В этом бенчмарке первое место и разделённое второе разделяет всего одно касание усов — это иное утверждение, чем «лучше любого другого ИИ», и более обоснованное. Подпись к графику самого Andon сглаживает разницу так, что это стоит заметить: она обозначает пунктирную линию человека как «Human (0.59)», а затем пишет, что GPT-6.2 Astra и Gemini 4 Carbon «теперь сравнялись с ней», хотя таблица помещает Astra на 0.028 выше неё, а Carbon — ровно на ней. Таблица — более аккуратный артефакт. Цитировали именно подпись.

Два ориентира, одно направление

То, что одна таблица лидеров перешагнула человеческую планку, может быть артефактом системы подсчёта баллов. Серьёзно относиться к этому результату стоит потому, что вторая, независимо построенная 3D-оценка сдвинулась в ту же сторону в ту же неделю. Artificial Analysis ведёт AA-3D — это совершенно другая задача: модели работают как агенты в офлайн-песочнице через Stirrup и превращают письменное задание в интерактивную сцену three.js, а рейтинг строится на слепых попарных голосах приглашённой панели людей — более 20 000 голосов в текущем рейтинге — а не на сравнении графиков.

• GPT-6.2 Astra (Max) — 1 318 Elo, 95%-й интервал: от 1 286 до 1 349, ранг 1

Claude Fable 5.2 (Max) — 1 271 Эло, 2-е место

• GPT-6.2 Sol (Max) — 1 259 Elo, 3-е место

• Claude Sonnet 5.5 (Max) — 1 204 Elo, 4-е место

• Claude Opus 5.5 (Max) — 1,202 Elo, 5-е место

• GPT-6 Astra (Max) — 1 168 Elo, 95-процентный интервал от 1 141 до 1 196, 6-е место

Два рейтинга расходятся в оценке середины поля — Claude Fable 5.2 занимает 5-е место в рейтинге Andon и 2-е в рейтинге Artificial Analysis — и полностью совпадают относительно верхушки. Astra лидирует, Sol входит в тройку лидеров, а предыдущее поколение отстаёт примерно на 150 Elo. В собственном анонсе запуска OpenAI 17 ноября указала для AA-3D те же три цифры, и независимый рейтинг теперь показывает их без изменений — редкий случай, когда цифра вендора и цифра третьей стороны совпадают. Это не относится к показателю Blueprint-Bench: OpenAI ничего не говорила о планировках, и оценка пришла только от Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Совпадение результатов и есть аргумент. Бенчмарк на сходство графов, оцениваемый кодом, и Elo-бенчмарк, оцениваемый слепым человеческим предпочтением, максимально далеки друг от друга, насколько это вообще возможно для двух оценок «пространственных способностей», и при этом они ранжируют одни и те же три модели в одном и том же порядке. Но они не устанавливают, что хоть одна из них измеряет то, что команда робототехников назвала бы пространственным интеллектом, — и это подводит нас к самой интересной строке в таблице Andon.

Почему робототехническая модель получила ноль

Gemini Robotics-ER 1.6 набирает 0.000 в Blueprint-Bench 2 — на уровне случайного базового результата или ниже, отмечено Andon двойной звёздочкой. Это самое полезное число на странице. Модель, созданная специально для пространственных рассуждений и рассуждений о физическом воплощении, — то, к чему вы бы обратились, если бы задача состояла в том, чтобы «понять физическое пространство», — выдаёт графы связности не лучше случайных. Andon сам это отмечает: пространственная специализация не переносится на генерацию планов помещений.

Ещё четыре модели тоже находятся на уровне случайного базового результата, и форма этого кластера показывает, что именно поощряет бенчмарк. Он поощряет конкретный составной навык: прочитать последовательность фотографий, удерживать согласованную гипотезу о планировке этажа и выдать строго отформатированный план, который сможет оценить парсер. Модель может отлично рассуждать о физическом пространстве и всё равно провалить это, потому что режим отказа обычно связан с форматом вывода или долгосрочной согласованностью, а не с пространственным выводом. Это значит, что «превосходит человеческий базовый уровень в понимании физического 3D» — справедливое резюме оценки и слегка щедрое резюме навыка. Честная версия уже: она восстанавливает связность квартиры по фотографиям точнее, чем это сделала человеческая выборка из двенадцати квартир, на бенчмарке, который оценивает структуру графа и ничего больше.

Для всех, чья реальная работа связана с поэтажными планами — фиксацией объектов недвижимости, страховой документацией, эксплуатацией зданий, оцифровкой бумажных планов, — это более узкое утверждение по-прежнему остаётся полезным, потому что графовая структура — это именно то, что нужно таким рабочим процессам, и именно то, в чём ошибается конвейер преобразования PDF в CAD. Для тех, кто читает это как утверждение о роботах, перемещающихся по помещениям, поправкой служит строка Robotics-ER.

Сколько стоит купить этот лид

GPT-6.2 Astra стоит $8 за миллион входных токенов, $0,40 за кэшированные и $40 за миллион выходных, что на 20% ниже GPT-6 Astra по обоим направлениям тарификации. Модель, которая идёт наравне с человеческим уровнем, Gemini 4 Carbon, стоит $2 и $10 — четверть входной цены Astra и четверть её выходной цены. GPT-6.2 Sol, четвёртая в рейтинге Andon с 0,570 и третья в AA-3D с 1 259 Elo, сохраняет цены на токены GPT-6.1 Sol, а не Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0,586 против GPT-6.2 Astra 0,614

• Цена ввода за 1 млн — Carbon $2.00 против Astra $8.00

• Цена вывода за 1M — Carbon $10.00 против Astra $40.00

• AA-3D Elo — Carbon отсутствует в таблице против Astra 1 318, 1-е место

• Где находится каждый — Carbon идёт наравне с человеческой линией, а Astra превышает её на 0.028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Если рассматривать это как вопрос цены, ответ неудобен для флагманской модели. На единственном бенчмарке, где фигурируют обе модели, за пятую часть цены вы получаете равенство с человеческой базовой линией и отставание на волосок от первого места. Аргументация Astra в пользу своей цены не опирается на планировки квартир; она опирается на оценки профессиональной работы в посте OpenAI о запуске, где эта модель обладает контекстным окном в 1 050 000 токенов и передовыми результатами на Agents' Last Exam и Terminal-Bench-Science. Если ваша рабочая нагрузка — это фотографии квартир и графы связности, разницу в цене трудно обосновать, опираясь только на этот лидерборд. Если ваша рабочая нагрузка — длинный набор юридических или научных документов, этот бенчмарк ничего не говорит об этом ни в ту, ни в другую сторону.

Ещё одна оговорка по стоимости: ни Andon, ни Artificial Analysis не публикуют показатель стоимости в расчёте на задачу для Blueprint-Bench 2, а этот бенчмарк необычайно чувствителен к нему. Пятьдесят квартир примерно по двадцать изображений в каждой — это очень много входных токенов ещё до того, как модель опишет хотя бы одну комнату, а модель, которая достигает того же балла по графу за большее число итераций цикла с блокнотом, обходится дороже за квартиру, чем предполагает её цена за токены. Не воспринимайте приведённые выше цены за токены как счёт за одну квартиру; это не так.

Что это значит для решения о маршрутизации

На практике всё это означает, что вопрос «какую модель использовать для пространственных задач» только что стал вопросом выбора из двух моделей с разбросом цен, а слой маршрутизации — это место, где этот разброс разрешается. Gemini 4 Carbon присутствует в каталоге OrcaRouter по прейскурантной цене с 0% наценки, перекладываемой на клиента, а значит, указанные выше $2 и $10 — это то, что вы фактически платите за миллион токенов, а не тариф поставщика с наложенной сверху маржой платформы. Это особенно важно здесь потому, что разрыв в стоимости между первым и разделившим второе место в этой таблице составляет 4x, а разрыв в 4x — это как раз то, что стоит измерить на собственных планах этажей, прежде чем сделать один из них стандартом.

По состоянию на 20 ноября GPT-6.2 Astra отсутствует в нашем каталоге; модели OpenAI, которые мы обслуживаем, — это GPT-6 Astra, которая набирает 0,497 балла в этом рейтинге, и линейка GPT-6 Sol. Об этом стоит сказать прямо, а не намекать на обратное, потому что это меняет рекомендацию: пока Astra недоступна для маршрутизации здесь, модель в нашем каталоге, достигающая человеческого базового уровня, — это Carbon, а GPT-6 Astra доступна по тому же ключу, если вам нужен стиль вывода O​penAI за $10 и $50. Когда модель и её более дешёвый конкурент оказываются на одном эндпоинте, A/B-тест на ваших собственных квартирах обходится сменой API-ключа, а не вторым контрактом, а отказоустойчивость означает, что ограничение частоты запросов для одной модели не останавливает пакетную обработку.

Что могло бы изменить это чтение?

Три вещи — в порядке того, насколько сильно они сдвинули бы историю. Первая — более широкий базовый уровень для человека. Двенадцать квартир — небольшая выборка для задачи на пятьдесят квартир, и если Andon опубликует интервал по человеческому показателю, это позволит понять, 0,586 — это линия или размытое пятно: если человеческий диапазон окажется от 0,55 до 0,62, то преимущество Astra реально, а ничья Carbon — нет, и вся верхушка табло перестроится. Вторая — второй прогон GPT-6.2 Astra на том же табло. Модели три дня; цифры Andon получены из одной кампании, а бенчмарки с циклом блокнота и горизонтом в пятьдесят квартир имеют больше разброса от прогона к прогону, чем одноразовая оценка, — на что и намекают планки стандартной ошибки, но не могут полностью это учесть.

Третье — сама страница. В разделе «Ключевые выводы» на странице Andon по-прежнему указаны GPT 5.5, Gemini 3.1 Pro и Claude Opus 4.7 как три лучшие модели; это было верно в мае 2026 года, и раздел не обновляли по мере заполнения таблицы. В их материалах по пространственному мышлению всё ещё приводятся Gemini 3.1 Pro и GPT 5.5, которые разбирают отдельные квартиры. Таблица лидеров актуальна; текст вокруг неё — снимок шестимесячной давности. Читайте таблицу, а не раздел с выводами, и читайте планки погрешностей на графике, а не подпись, в которой говорится, что две модели идут вровень, хотя одна из них измеримо выше.

Ничто из этого не делает результат ошибочным. GPT-6.2 Astra — лучшая модель в обеих независимых 3D-оценках, опубликованных на этой неделе, с отрывом, который превышает её собственную погрешность в одной из них и составляет 47 Elo в другой, где два 95%-ных интервала всё ещё пересекаются. Это первая модель, которая содержательно находится выше человеческой оценки в бенчмарке, идущем с мая. Утверждение меньше, чем твит, и прочнее, чем утечка, — правильная форма для результата, появившегося через три дня после самой модели.

Сравнение в этой статье2

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно