一张生成的标题卡,主标题为“GPT-6.2 Astra 登顶 Blueprint-Bench 2”,副标题为“人类基准线是十二套公寓”,说明文字为“0.614 对 0.586 的人类基准”。下方是两张圆角卡片:左侧标注为“GPT-6.2 Astra”,包含“Blueprint-Bench 2:0.614”“排行榜第 1 名”和“3D 场景重建”三行;右侧标注为“人类基准”,包含“0.586”“在 12 套公寓上测得”和“基准测试共 50 套中的”三行。OrcaRouter 标志合成在右下角。
Guides & Insights

GPT-6.2 Astra 登顶 Blueprint-Bench 2:人类线为十二套公寓

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

GPT-6.2 Astra 在 Blueprint-Bench 2 上得分 0.614。同一榜单的人类基线是 0.586。这是实实在在的领先,但也是在 Andon Labs 根据十二套公寓计算出来的人类数值上量出的 0.028 分。该结果于 2026 年 11 月 20 日发布在 Andon 的评测页面上,并于当天上午被 Greg Brockman 放大传播,他称 GPT-6.2 Astra“在物理 3D 理解基准上超过人类基线”。这句话的两半都需要挤掉一点水分,而本文要讨论的是哪些部分站得住脚。GPT-6.2 Astra、GPT-6.2 Sol 和 Gemini 4 Carbon 占据了 Andon 榜单的前四席,对正在决定该如何称呼它的读者来说,这比头条排名更重要。

基准本身并不新鲜。Blueprint-Bench 2 自 2026 年 5 月起就一直在 Andon Labs 的网站上,并且已经收集了六个月的模型;11 月 20 日发生变化的是,终于有模型以超过自身误差线的幅度越过了人类线。所以这既不是基准发布,也不是模型发布——O​penAI 于 2026 年 11 月 17 日发布了 GPT-6.2 Astra,比该分数出现早三天。这是一个落在现有榜单上的结果,而有趣的问题并不是这个数字是否真实。而是这个数字在衡量什么,因为“物理三维理解”这个说法在推文里所起的作用,比该评估在其自身方法论中所起的作用更大。

Andon Labs 实际测量了什么

Blueprint-Bench 2 会依次交给智能体五十套公寓,一套接一套。对于每套公寓,它要查看大约二十张室内照片,并绘制一张二维平面图:有哪些房间、哪些房间彼此连通,以及它们的相对大小。智能体在公寓之间会携带一个持续保留的记事本,因此模型可以写下它学到的关于典型布局的知识——走廊通常位于哪里、角落里的门框意味着什么——并在下一套公寓中使用这些知识。这个记事本正是该设计的一部分,使它成为一项智能体评估,而不是视觉测试;也正是它让分数比单图基准更清晰地区分开前沿模型与中端模型。

评分将模型的连通图与真实标注进行比较,并按六个子指标加权:房间到房间连接的 Jaccard 相似度占 50%,度相似度占 20%,图密度占 10%,房间数量占 10%,门数量占 5%,朝向占 5%。平面图在 D4 对称性下进行匹配,因此旋转或镜像后的平面图仍可得分;综合分数经过归一化,使随机基线映射为 0,完美平面图映射为 1。Jaccard 占 50% 的权重,一行就说清了整个基准:Andon 自己的说明称,每个模型都能把房间数量大致弄对,约 90%,而真正的区分点在于模型能否搞清哪些房间通向哪些房间。从照片中数房间很容易。从漫游中重建拓扑则不然。

这一设计带来两个后果。第一,输出是二维平面图,而不是三维模型——这里的空间推理之所以是三维的,是指智能体必须从一系列相互重叠的视角推断某一楼层的布局,但评分中没有任何部分会奖励对层高、体积或家具的正确重建。第二,得分是图相似度数值,而不是准确率百分比。0.614 并不意味着模型把 61% 的公寓都判断对了;它意味着在那种加权方式下,其连通性图从随机到完美之间处在 61.4% 的位置。

区分模型与真人的0.028

这是截至2026年11月20日的排行榜榜首,其中Andon在其图表上绘制的标准误差条数值取自公布的数据:

GPT-6.2 Astra — 0.614,排名第 1,误差范围约为 0.601 至 0.627

• Gemini 4 Carbon — 0.586,并列第 2 名,误差条约为 0.571 至 0.601

• 人类基线 — 0.586,并列第 2 名,在 12 套公寓上测试,未公布区间

• GPT-6.2 Sol — 0.570,排名第 4,误差范围约为 0.558 至 0.584

• Claude Fable 5.2 — 0.566,排名第 5

• Gemini 4 Argon — 0.544,排名第6

• Claude Opus 5.5 — 0.512,排名第 7

• GPT-6 Astra — 0.497,排名第 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

那份清单里有三点值得单独拿出来说。第一是领先幅度的大小:在一个随机为 0、完美为 1 的尺度上,它是 0.028 分。第二是 Astra 的误差条并没有下探到 0.586——其区间底部是 0.601——所以它对人类成绩的领先并不在模型自身噪声范围之内。第三是人类的数字完全没有不确定区间,因为它是从一个含五十套公寓的任务中仅基于十二套公寓计算出来的。来自十二套公寓的人类分数和来自五十套公寓的模型分数并不是同一种测量,Andon 对此直言不讳:排行榜脚注写着“人类基线仅在 12 套公寓的子集上测试”。把 0.586 视为对一个人大致会落在哪里的估计值,而不是一条宽度已知的线。

误差条还显示出榜单顶部的差距有多小。Astra 的下须和 Gemini 4 Carbon 的上须恰好相交于 0.601。在这个基准测试上,第一名和并列第二之间只差一次须线相触的距离;这与“比任何其他 AI 都更好”是不同主张,而且更站得住脚。Andon 自己的图表说明以一种值得注意的方式做了折中:它把虚线的人类线标为“Human (0.59)”,然后写道 GPT-6.2 Astra 和 Gemini 4 Carbon“现在追平了它”,尽管表格显示 Astra 比它高 0.028,而 Carbon 正好落在它上面。表格是更严谨的产物。被引用的却是说明文字。

两个基准,一个方向

一个榜单越过人类基准线,可能只是评分造成的假象。之所以要认真对待这一结果,是因为第二个独立构建的 3D 评测在同一周也呈现出相同走向。Artificial Analysis 运营的 AA-3D 则完全是另一项任务:模型通过 Stirrup 在离线沙盒中作为智能体工作,把书面简报转化为交互式 three.js 场景,排名来自招募的人类评审团进行的盲评两两投票——当前榜单上已有超过 20,000 票——而不是来自图表比较。

• GPT-6.2 Astra (Max) — 1,318 Elo,95% 区间为 1,286 至 1,349,排名第 1

• Claude Fable 5.2 (Max) — 1,271 Elo,排名第 2

• GPT-6.2 Sol (Max) — 1,259 Elo,排名第 3

• Claude Sonnet 5.5 (Max) — 1,204 Elo,排名第 4

• Claude Opus 5.5 (Max) — 1,202 Elo,排名第 5

GPT-6 Astra(Max)——1,168 Elo,95% 区间 1,141 至 1,196,排名第 6

两个榜单在榜单中游的排名上存在分歧——Claude Fable 5.2 在 Andon 的榜单上排第 5,在 Artificial Analysis 的榜单上排第 2——但它们在榜首上完全一致。Astra 领先,Sol 位列前三,上一代大约落后 150 Elo。OpenAI 自己的发布帖于 11 月 17 日以同样的三个数字提出了 AA-3D 的说法,而独立榜单现在显示这些数字没有变化,这是厂商数据与第三方数据相同的罕见情况。Blueprint-Bench 的分数则并非如此:OpenAI 对户型图只字未提,而这个分数仅来自 Andon。

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

趋同性本身就是论据。一个由代码评分的图相似性基准,和一个由盲测人类偏好评分的 Elo 基准,几乎是对“空间能力”的两种尽可能迥异的评估,却把同样的三个模型排出了相同的顺序。它们未能确立的是:这两者中的任何一个所测量的东西,是否就是机器人团队会称之为空间智能的东西——这就把我们引向 Andon 表格中最有意思的那一行。

为什么一个机器人模型得了零分

Gemini Robotics-ER 1.6 在 Blueprint-Bench 2 上得分 0.000——处于或低于随机基线,被 Andon 以双星号标记。这是页面上最有用的一个数字。一个专为空间与具身推理构建的模型,正是当任务为“理解一个物理空间”时你会想到去用的那种东西,却生成了与随机猜测别无二致的连通性图。Andon 自己也指出了这一点:空间专精能力并不能迁移到平面图生成任务上。

另外四个模型也处于随机基线水平,而这个集群的形态说明了该基准奖励的是什么。它奖励的是一种特定的复合技能——阅读一系列照片,对某一楼层保持一致的假设,并输出一种可被解析器评分的严格格式化方案。一个模型可以非常擅长物理空间推理,却仍然通不过这项任务,因为失败模式通常是输出格式或长程一致性,而不是空间推断。这意味着“在物理3D理解上超过人类基线”是对分数的公允总结,却是对技能略微慷慨的总结。更诚实的说法则更狭窄:在一个只对图结构评分的基准上,它从照片中重建公寓连通性的准确度高于一个由十二套公寓组成的人类样本。

对于实际工作中会接触平面图的人——房产采集、保险文档、设施工作、纸质平面图数字化——那个更窄的说法仍然是有用的,因为图结构正是这些工作流所需要的,也正是 PDF-to-CAD 流程会弄错的地方。对于把它读成关于机器人在房间中导航的陈述的人,Robotics-ER 那一行才是更正。

购买那条线索的成本是多少

GPT-6.2 Astra 的标价为每百万输入 token 8 美元、缓存 0.40 美元、每百万输出 40 美元,在计费的两个方向上均比 GPT-6 Astra 低 20%。与人类水平线持平的模型 Gemini 4 Carbon 标价为 2 美元和 10 美元——分别是 Astra 输入价格的四分之一和输出价格的四分之一。GPT-6.2 Sol 在 Andon 榜单上以 0.570 排名第四,在 AA-3D 上以 1,259 Elo 排名第三,它沿用 GPT-6.1 Sol 的 token 价格,而非 Astra 的。

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 对比 GPT-6.2 Astra 0.614

• 每 1M 输入价格 — Carbon $2.00 对比 Astra $8.00

• 每 100 万输出价格 — Carbon $10.00 对比 Astra $40.00

• AA-3D Elo — Carbon 未上榜,对阵 Astra 1,318,排名第 1

• 各自所处的位置——Carbon 与人类基准线持平,而 Astra 则以 0.028 的优势超过该线

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

如果把这理解为定价问题,那么答案对旗舰机型来说并不好受。在两款模型都出现的唯一一个基准测试上,花五分之一的价格,就能换来与人类基线打平,并距离第一名仅毫厘之差。Astra 为其定价给出的依据并不落在户型图上,而是落在 OpenAI 发布文章中的专业工作评估上;在这些评估中,它是拥有 1,050,000 token 上下文窗口、并在 Agents' Last Exam 和 Terminal-Bench-Science 上取得前沿分数的模型。如果你的工作负载是公寓照片和连通性图,仅凭这个榜单很难证明价格差异合理。如果你的工作负载是长篇法律或科学文档集,这个基准测试对此也说明不了什么。

关于成本还有一点需要说明:Andon 和 Artificial Analysis 都没有公布 Blueprint-Bench 2 的每任务成本数字,而这项基准测试对成本异常敏感。五十套公寓、每套大约二十张图片,在模型写出第一个房间之前就已经是大量输入 token;而一个需要更多轮记事本循环才能达到相同图分数的模型,其每套公寓的成本会高于其 token 单价所暗示的水平。不要把上文中的 token 价格当作每套公寓的账单——它们并不是。

这让路由决策处于何种境地

这一切落到实际层面就是:“空间类工作该用哪个模型”已经变成了一个带价差的双模型问题,而价差正是在路由层被化解的。Gemini 4 Carbon 以目录价收录在 OrcaRouter 的模型目录中,0% 加价直接传递,这意味着上面提到的 $2 和 $10 就是你实际为每百万 token 支付的费用,而不是叠加了平台利润的厂商费率。这一点在这里尤其重要,因为在该榜单上,第一名与并列第二名之间的成本差距是 4 倍,而 4 倍的差距正是那种你希望在标准化选用其中任何一个之前,先拿自己的平面图实测一番的东西。

截至11月20日,GPT-6.2 Astra 不在我们的目录中;我们提供的 OpenAI 模型是 GPT-6 Astra,它在该榜单上得分为 0.497,以及 GPT-6 Sol 系列。这一点值得直说,而不是暗示相反情况,因为它会改变推荐:在 Astra 可在此处路由之前,我们目录中与人类基线持平的是 Carbon;如果你想要 O​penAI 的输出风格,GPT-6 Astra 位于同一密钥上,价格为 $10 和 $50。当一个模型及其更便宜的竞争对手落在同一个端点上时,在您自己的公寓上做 A/B 测试只需更换 API 密钥,而不是签第二份合同,而且故障转移意味着对其中一个的速率限制不会让批次停下。

什么会改变这一解读

有三件事,按其可能推动故事发展的程度排序。第一是更广泛的人类基线。对于一项五十套公寓的任务来说,十二套公寓的样本太小,而 Andon 若公布人类数值的区间,就能确定 0.586 究竟是一条线还是一团模糊——如果人类区间最终落在 0.55 到 0.62,那么 Astra 的领先是真实的,但 Carbon 的并列不是,整个榜单前列都会重新洗牌。第二是在同一榜单上再跑一次 GPT-6.2 Astra。该模型才发布三天;Andon 的数字来自一次运行,而带有记事本循环和五十套公寓视野的基准测试,其运行间方差比单次评估更大——这正是标准误差条试图暗示但无法完全吸收的部分。

第三点是页面本身。Andon 的“主要发现”部分仍将 GPT 5.5、Gemini 3.1 Pro 和 Claude Opus 4.7 列为排名前三的模型,这在 2026 年 5 月属实,而随着表格不断补全,该部分并未更新。其空间推理相关文章仍引用 Gemini 3.1 Pro 和 GPT 5.5 逐个公寓进行推理的内容。排行榜是最新的;围绕它的文字说明却是六个月前的快照。要看表格,而不是“主要发现”部分;要看图表上的误差线,而不是那句称两个模型并列、但其中一个明显高于另一条线的图注。

这些都不足以让结果出错。GPT-6.2 Astra 在本周发布的两项独立三维评估中都是最佳模型:在其中一项上,其领先幅度超过自身误差范围;在另一项上则领先 47 Elo,而两者的 95% 区间仍然重叠。在一个自五月起持续运行的基准上,它是首个明显高于人类估计的模型。这一说法比推文所宣称的更克制,也比泄密更可靠;对于一个在模型发布三天后才出现的成果来说,这样的形态正合适。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新