GPT-6.2 Astra 与 GPT-6.2 Sol 构建同一个 three.js Yonkers 机甲演示的对比标题卡,显示 Astra 在 Artificial Analysis 的 AA-3D 上为 1,318 Elo,Sol 为 1,259,并有一条说明指出,在一位开发者公开发布的并排对比中,两个模型都未能令人信服地将城市变形为机甲。OrcaRouter 标志位于右下角。
Guides & Insights

GPT-6.2 Astra 对比 GPT-6.2 Sol:两场机甲演示,一次失手

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

OpenAI 为 GPT-6.2 Astra和GPT-6.2 Sol发布的文章提出了一个范围有限、可核查的承诺:这对模型“能写出更整洁的代码,并构建出外观和功能都更好的前端,尤其是在网站、游戏和 3D 设计方面”。这类说法规格表无法定论,基准测试也只能近似衡量,因此发布两天后,针对这一承诺的公开且可复现的正面对比恰好只有一份——Simon Willison 的 Yonkers 提示词,在 Codex CLI 中以 Ultra effort 档位分别对两个模型运行,两份输出都留在网上供任何人打开。他的结论正是这篇报道的第一句:“它们都没能足够好地把 Yonkers 变形成一台大型机甲。”

这项测试之所以值得写成文章,不在于两个模型都没达标,而在于它们以不同方式没达标,而且代码你可以读到;更在于那个失败代价更高的模型,反倒好到足以在事后剪出对比视频。如果你准备把一周的上下文窗口花在前端生成上,那么 568 KB 的打包产物与四个手写模块之间的差别,就是能直接交付的演示和必须重写的演示之间的差别。

OpenAI称这对组合能构建什么

这一说法足够具体,可以进行检验。Open​AI 的帖子称,这两款模型都能把“一份书面简报变成交互式浏览器体验,从可游玩的弹珠台到可从不同角度探索的斗兽场复刻”,并指向 Artificial Analysis 的 AA-3D;在该平台上,人类评审会看到根据同一提示构建的两个盲测体验,并投票选择自己更喜欢的那个。在该排行榜上,GPT-6.2 Astra 以 1,318 Elo 排名第一,领先于 1,271 Elo 的 Claude Fable 5.2 和 1,259 Elo 的 GPT-6.2 Sol。

读一读两个 Open​AI 模型之间 59 分的差距,你会得出结论:Astra 在 3D 方面明显更强。读一读绝对数值,你就会发现排名所掩盖的东西:榜单只比较同一提示词下的两次尝试,因此它能告诉你一对中哪个看起来更好,却对两者中任何一个是否优秀只字不提。在两个尚未完成的机甲之间做盲测偏好测试,仍然会得出一个赢家。

文档里补了一条注意事项,读起来像是提示词工程团队的一声道歉。在 GPT-6.2 的迁移说明中,Open​AI 表示这两款模型都比 GPT-6 Astra 更简洁、更直接;当意图不明时,它们可能会先提出一个步骤然后等待;还有一句对本文至关重要的说法——如今前端工作需要就图像和字体排版给出明确的指示。你没有写出的指示,就是模型自行编造出来的指示。Yonkers 那条提示词里完全没有美术指导,而这恰恰正是它对这两款模型构成公平测试、对其中任何一款又略显不公的原因所在。

一个提示词,两个已发布的演示

提示词只有一句话:“制作一个 three js 动画,让扬克斯作为一个巨型机甲站起来(帅气的站起动作),并在曼哈顿、皇后区和布鲁克林四处跺脚走动,使用 openstreetmap 地图数据。”两次运行都在 Codex CLI 中使用了 Ultra 档。两个结果都仍然在线,而且都能打开一个可用的 WebGL 场景,里面有真实的摄像机、真实的低多边形城市和真实路线——这已经超过大多数 three.js 请求第一次尝试所能产出的结果。

两者都算不上完成品。Willison 自己比较的对象是同一份需求说明下 Claude Fable 5.2 和 Gemini 4 Carbon 的构建版本,而他的判断是:两个 GPT-6.2 的尝试都败在提示词真正要求的那一点上——从城市到站立机甲的过渡。起立动作才是演示的核心,而两个模型都没有真正把它做成动画。

• 打包体积 — GPT-6.2 Astra 交付的是单个 Vite 构建产物,体积 568,418 字节,另加 8,075 字节的 CSS;而 GPT-6.2 Sol 则是一个 17,094 字节的 main.js,导入 city.js、mech.js 和 effects.js,并且 three.js 由本地提供,体积为 658,900 字节

时间轴 — Astra 在 0–960 的拖动条上运行 96 秒序列,而 Sol 运行 48 秒序列,行走从 6.25 秒开始,最后一步在 44.5 秒

• 章节——各四个:Astra 用序列计数器给它们编号,显示为“01 / 04”;而 Sol 则将它们命名为 Yonkers、Manhattan、Queens 和 Brooklyn,分别从 0、17.6、30.2 和 38 秒开始

• 摄像机 — Astra 可在“track”视图与“atlas”视图之间切换,而 Sol 则是绑定到 O 键的轨道切换

• 遥测——Astra 打印出一项动作读数,内容为“上升”和坐标“40.9310° N 73.8987° W”,而 Sol 是一个 184×138 的雷达画布,位于“40.93° N · 73.90° W”

• 署名——两者都在页面页脚中注明 OpenFreeMap、OpenMapTiles 和 © OpenStreetMap contributors,这是需求简报中两个模型都没有遗漏的唯一一项要求

• 运行成本——在最高努力程度下,Willison 的标准 SVG 鹈鹕在 Astra 上的成本为 88.71¢,而在 Sol 上为 13.69¢,这一比例在他测量的每个努力级别上都成立

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra:单个 568 KB 的打包文件,脚本化 UI

Astra 的构建版本名为 "Stride Atlas — Yonkers Rising",其表现如同一个演示:带品牌标识和"系统在线"状态的页眉、音频开关、全屏按钮,以及一块画布,其无障碍标签承诺"三维城市与动画机甲。拖动以旋转,滚动以缩放。"在它下方,是上方小标题"Mech simulation / 001"、主标题"Yonkers Rising.",以及副标题"New York Metropolitan Area"。

精巧之处在于仪表设计。有一个遥测面板,其动作读数显示为“上升”,并带有实时坐标;一块内嵌的路线概览画布,标注为 10 km;还有一个播放控制台,包含序列计数器、播放和重启按钮、时钟、从 0 到 960 的拖动范围,以及 01:36 的结束时间。那是 96 秒的编排序列,而这么长的拖动条绝非偶然——这是一个决定:演示就是一部电影,而镜头就是导演。

它还会以单个打包产物的形式出现。上述所有内容都被编译成一个 568,418 字节的 Vite 输出和一个 8,075 字节的样式表,其中字符串 chapters 和一个 stompProgramCache 因序列数据是真实的而在压缩后保留下来。对于演示来说,打包是正确选择:一个要托管的文件、一个缓存条目、没有会断掉的导入图。对于你必须扩展的代码库来说,它就是一堵 568 KB 的墙。

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol:四个模块,一个本地 three.js

Sol 的构建作品标题为“Yonkers Protocol | A New York Mech Simulation”,其元描述更是直接点明了所用技术:“一段电影级的 Three.js 动画:一台城市规模的机甲在扬克斯升起,并一路行进穿过曼哈顿、皇后区和布鲁克林。”该页面以“METRO CONTROL / NEW YORK, NY”品牌标识运行,配有一个“OPENSTREETMAP TERRAIN”标签、一个轨道视图切换开关、一个声音开关,以及一个标注为“Yonkers Protocol simulation”的视口。

Astra 编排了一部影片,Sol 则搭建了一间控制室。这里有一处扇区读数显示为“01 / 04 YONKERS”,一个带有 SPACE 提示的“启动序列”按钮,一块 184×138 的雷达画布,四个阶段按钮——扬克斯 / 觉醒、曼哈顿 / 南行、皇后区 / 东河、布鲁克林 / 最终进近——以及一条拖拽环绕、滚动缩放的提示。文案是这两个页面上最有底气的内容:“看扬克斯从哈德逊河滨崛起,一路穿过曼哈顿、皇后区和布鲁克林。”

代码才是有意思的部分。Sol 完全跳过了打包器,改用导入映射把 three 指向模块构建的本地副本,然后手动拆分工作:city.js 为 9,603 字节,mech.js 为 25,511 字节,effects.js 为 12,119 字节。main.js 掌握着整体走向——总时长 48 秒,从 6.25 秒开始行走,最后一步在 44.5 秒,十六个经纬度检查点从扬克斯一路延伸到布鲁克林,还有一个穿过这些检查点的 THREE.CatmullRomCurve3,其 arcLengthDivisions 设为 1,000,这样机甲就能以均匀的步速行走,而不会在急转弯处加速。最后这项设置,是你只有亲眼见过角色卡顿才会写出的那种细节。

两种做法都没错。Astra 优化的是一件能加载起来的东西,Sol 优化的是一件能打开并编辑的东西——而文件的拆分方式说明 Sol 明白了一个 3D demo 就是一个场景图、一个 actor 和一组特效,而这些本就应该分属不同的文件。

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

两个演示都漏掉的形变

这就是再多的 UI 打磨也掩盖不了的部分。提示词要求 Yonkers 站起来,成为一个大型机甲——这是一次变形,让一个城市街区变成一具躯体。两个构建都没有令人信服地实现这种转变,Willison 也直言不讳,把两者都排在 Claude Fable 5.2 的版本和 Gemini 4 Carbon 的版本之后。

这才是对 1,318 Elo 分数的诚实解读。Artificial Analysis 测得 Astra 领先于 Sol,演示也印证了这一点——Astra 的页面完成度更高。但榜单回答的是“这两者中哪个更好”,而读者真正的问题是“这已经好到可以投入使用了吗”,对此,唯一公开的并排对比给出的答案是否定的。对两个都未能完成变形的模型做偏好测试,仍然会产生排名,而这个排名仍然会被报道为能力领先。

这次发布的前端故事的另一半是沟通,而它同样不光彩。Willison 引用了 Theo Browne 在发布前的反馈信,信中描述了一个模型:它在长任务中能很好地管理子代理,随后却会卡在一个人类无法回答的内部实现问题上——他举的例子是,一个代理在项目进行两小时后停下来,问审阅者是把它的片段写到一个文件名还是另一个文件名。Open​AI 自己的迁移说明称,该模型“在意图不明确时可能会提出一个步骤并等待”,这是从内部描述的同一行为,而且这是实实在在的代价:一个等待你无法给出的输入的代理,就是一个已经停下来的代理。

这一差距对你的构建意味着什么

如果工作是 3D 或前端演示,这两个模型之间的实际差别并不是那 59 点 Elo。差别在于:Astra 会交给你一个看起来已完成的作品,而 Sol 会交给你一个代码仓库。当交付物是你发给别人的一个链接时,选 Astra;当交付物是别人周一必须修改的代码时,选 Sol。

在同一维度上比较这一选择。GPT-6.2 Astra 的计费为每百万输入 token 8 美元、每百万输出 token 40 美元,缓存输入为 0.40 美元,缓存写入为 10 美元。GPT-6.2 Sol 的计费分别为 2 美元、10 美元、0.10 美元和 2.50 美元——每一档的 token 费率都是四分之一。两者均具有 1,050,000 个 token 的上下文窗口,最大输入为 922,000 个 token,最大输出为 128,000 个 token,两者都会拒绝reasoning_effort: "none",并且对于每次请求中超过 272,000 个 token 的输入和缓存输入,两者都会将其翻倍,同时输出按 1.5 倍计费。批处理按标准价格的 50% 计费,Fast 模式按双倍计费,Ultrafast 在 2027 年 2 月 28 日之前按三倍计费,自 2027 年 3 月 1 日起按六倍计费。

同一天下午得出的每件产物成本数字才是值得记住的。Willison 的鹈鹕测试会在三个投入级别下渲染同一个 SVG,而在最高投入级别下,Astra 花费了 88.71¢,Sol 则为 13.69¢——大约是其六倍半,而对于这幅图,他并未将两者中的任何一个称为一次干脆的胜出。在 Ultra 投入级别下进行前端生成,正是昂贵模型的优势真实存在但幅度有限的领域,而一次重试就会将其抹去。

路由层所处的位置

直接说明情况:GPT-6.2 Astra 和 GPT-6.2 Sol 目前不在 OrcaRouter 目录中。我们提供的 Open​AI 条目是 GPT-6 Astra、GPT-6 Sol 以及 GPT-6.1 Sol,因此这一对模型通常可通过 Open​AI 自己的 API 和第三方平台访问,而不是通过我们。

这份目录真正给你带来的,是本文所主张的那种习惯。像 Yonkers 这样的测试,正是你希望在多个模型之间做 A/B 对比、而不是把生产路径押在某个模型上的那类工作负载——而通过一个端点来做这件事,意味着一个密钥、一份账单、无需第二份合同,并且当你正在试用的某个模型在渲染中途开始超时时,还能自动故障转移。在我们确实提供的那些行上,OrcaRouter 以 0% 加价按提供商标价透传,所以你支付的就是厂商自己的价目表价格,而降价在我们这边当天就会生效。如果你要在前端工作上于一个 $2 模型和一个 $8 模型之间做选择,那正是值得你自己在相同提示词上跑一遍、然后再选定默认模型的对比。

这次发布带来的更具体教训是:3D 生成已经从“不能”跨到了“未完成”,而这两个模型处在这道斜坡上的不同位置:一个生成的是看起来已经完成的页面,另一个生成的是真正完成的代码。两者都没有把 Yonkers 变形。两者都已经足够接近,以至于下一个版本很可能会做到——而到那时,验证这一点的代价将是一句提示词,而不是一次迁移。

本文中的对比1

根据本文内容识别