标题卡上写着“Xbox 360 手柄测试”,副标题为“Gemini 4 Pro 对决 GPT-6 Astra —— 一场平局,一次尝试,没有赢家”,上方有四行状态信息:“状态:未发布,仅有别名”“测试者判定:平局”“次日可复现:否”以及“Claude Fable 5.2:未参与本次测试”,并配有一个扁平线稿风格的游戏手柄插图。OrcaRouter 标志合成于右下角。
Guides & Insights

Gemini 4 Pro 与 GPT-6 Astra 在 Xbox 360 手柄测试中的对比——以及为什么 Fable 5.2 没有参与其中

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

9月21日发布了一则 X 帖子,带有三个名字、一段视频,以及“SOTA 对比”这几个字:Gemini 4 Pro、GPT-6 Astra、Claude Fable 5.2。其中两个名字属于无人能调用的模型。另一个属于已开售十八天的模型。而帖子所指的那个生成物——一个仅凭单条提示词一次生成的矢量图形游戏手柄——据实际运行过它的人说,是前两者之间的两两对比。Claude Fable 5.2 不在其中。Claude Fable 5.1 也不在。

框架与证据之间的那道落差,正是 Gemini 4 Pro 眼下整个故事的状态,值得仔细拆解,而不是一弃了之。控制器测试并非无足轻重。这是本月任何人对一个未发布的前沿模型所拿出的、看起来最具可复现性的单一产物,它背后有一条四个月的脉络,而且正被许多人当作定论来读。它并不是定论。这是一次平局,来自一次尝试,而测试者本人第二天都无法复现——确切知道它走到了哪一步、又没走到哪一步,比一味炒作或嗤之以鼻都更有用。

这项测试,以及 SVG 为何成为基准

这个提示词比它如今被用来评判的那些模型还要古老。它可追溯到 Gemini 3.0 时代,当时它以这样的形式流传:“创建一个 Xbox 360 手柄的 SVG 图像。将其输出在 Markdown 多行代码块中。”这种措辞很重要,因为它有意对语言模型表现出敌意。矢量绘图全是结构,毫无纹理——没有可供模型藏身的照片噪点,也没有扩散采样器来抹平错误。每一条曲线都必须以坐标形式精确指定。手柄对模型来说是个难啃的目标:两个对称的握把、一个凹面圆盘、以透视呈现的肩键扳机、十六个左右各需定位的按键,以及一个只要有一处比例偏移就会立刻显得不对劲的轮廓。而且,由于答案以文本形式出现,你可以直接粘贴到查看器中,这种比较既成本低廉又便于传播。没有人需要去相信别人聊天窗口的截图。

九月,社区重新捡起了这个提示词。从竞技场会话中流传出的产出——骑自行车的鹈鹕、从五个微距相机角度渲染的 PlayStation 5 控制器、带可切换灯光的 3D 宝塔、体素寺庙场景、Airbus H145 直升机页面——在报道中被描述为在高思考强度下各需大约八到二十分钟。那个控制器就是被截图放进对比里的那个。

控制器比较实际显示的内容

这是测试人员报告的结果,而它比时间线所描述的说法要小得多。

• 裁决——平局。发起测试的人以 Lumina 之名发帖,称两份输出都"近乎完美"。

• 唯一的不对称之处——Astra 版本的标志略有偏差。这只是单一细节上的优势,而测试者也只是将其界定为单一细节上的优势,而非整体性的领先。

• 视觉完整性 —— 两种渲染都呈现出细节丰富的控制器主体、控件与光影明暗。两者在形体上都没有崩坏。

• 比较未能确立的一点——即未发布的模型处于领先地位。两个输出被评为同样出色,这正是“不领先”的定义。

• 可复现性——据称该输出是前一晚生成的,耗时约二十分钟,而测试人员第二天无法获得可比的结果。

• 身份 —— 该输出所对应的竞技场条目被标注为 gemini-3.8-flash,而这一名称本就属于 Google 于 9 月 2 日发布的某个模型,据报后来又被重新标注为 gemini-3.7-flash。这个别名背后究竟是哪个模型,目前仍无定论;另外两名测试者在同一时间窗口内也表示,他们同样无法确认自己用的是哪个模型。

按顺序阅读这份清单,证据的轮廓就变得清晰了。有意思的说法并不是“未发布的模型赢了”。而在于,一个无人能识别的模型,以某个已发布模型的名义运行,一次尝试就产出了矢量作品,连细心的测试者都无法将其与一个前沿模型的输出区分开来,而那个前沿模型在九月的大部分时间里已经全面可用。这是一个真实的观察。它同样也是关于某个下午的观察,而测试者本人也这么说。

双向结果和第三方主张

引发本文的那篇帖子说的是三个模型。而描述同一场控制器会话的几篇报道说的却是两个。Claude Fable 5.2 本周的实际状态是另一回事,只是恰好赶上了同一个新闻周期;这一点值得说清楚,因为这种混为一谈在两个方向上都在发挥作用。

• 声称内容——X 账号 @chetaslua 于 9 月 18 日发帖称,Claude Fable 5.2“正在 claude code 中被测试,用于将 fable 5.1 路由至其自身”。这是一项关于 Claude Code 的路由声明,且来源仅为单一账号。

• 这个名字究竟是什么——只是报道者自己的假设。以 JAZII 名义发帖的测试者,其 9 月 18 日的文章是对该行为最为详尽的记述,其中明确表示,“Fable 5.2”是他们自行指定的名称,而非任何人确认过的名字。既没有模型卡,也没有 API 标识符、定价页面、系统卡,更没有第二家媒体独立报道过 Fable 5.2 这一通路。

• 那份得到多方印证的 Claude 路由报道究竟涉及什么——本博客已另行撰文讨论过:多家独立媒体转载的九月中旬“静默路由”报道,说的是一个尚未发布的 Opus 层级检查点,而非 Fable。将其归为 Fable 的说法只有单一信源。请把它当作一家之言的报道,而不是一项查证结论。

• 测试者确实报告了什么——在高推理强度下,疑似下一代 Fable 比 GPT-6 Astra 更受青睐,但速度更慢、成本更高。那只是一个偏好,来自一个人,针对的是其自己的工作。

• 关于已发布的模型,哪些信息已得到核实——Claude Fable 5.1 自 2026 年 9 月 1 日起已全面可用。该模型确实存在,已有定价,并且今天就可以调用。

所以,对这个三方并列框架,诚实的说法是这样的:那篇帖子里的三个名字中,有两个是尚未公布、由社区自行命名的模型;控制器测试只涉及其中一个,即那个身份至少还能锚定到一条竞技场(arena)条目的名字;而 Fable 那一栏,则来自一位明确拒绝为该模型点名的单一测试者的偏好。这并不是无视其中任何一项的理由。它的意义在于:应当把这三个名字放在三种不同的置信度上,而不是同一种。

实际在争论的基准表

控制器 SVG 是可见的产物。真正在起说服作用的,是一份大约在 9 月 18 日浮出水面的基准测试表,自那以后一直被中英文科技媒体转载。它值得列出来,因为这些数字具体到足以核查,而且没有一个被核查过。

• DeepSWE v1.1 —— 88.7%,据称比 GPT-6 Astra 高出约两个百分点。

• GDPval-AA v2 — 2,064 Elo,被称为上述对比中唯一超过 2,000 的条目。

• Terminal-bench 2.1 — 95.3%,为表中最高的得分。

• OSWorld-2.0 — 86.8%,领先于 GPT-6 Astra 和 Claude Fable 5.1 两者。

• 声称的定价——每百万输入token 2.25美元,每百万输出token 11.25美元。

• 宣称的规格——1000 万 token 的输入上限、256K token 的输出上限、跨对话记忆。

以上每一行都是社区的说法。Google 没有证实其中任何内容,也完全没有证实那个 Arena 条目就是 Gemini 4 Pro,并且未回应置评请求。这张表没有检查点标识符,没有推理强度设置,没有智能体执行框架,没有工具权限,没有测试集划分,没有样本量,也没有运行日志——这些都是真实评估会具备而一张幻灯片截图不会具备的东西。这些基准测试名称还来自 OpenAI 在自己 9 月发布材料中使用过的同一类名称,这说明的是这张表是在哪里拼凑出来的,而不是在哪里测出来的。

本月在进行任何前沿对比时,还有第二个需要留意的理由:大家都会去查的那个独立指数已于9月7日更新为v4.3版本,而版本更新会压缩或拉伸榜单顶部。一个分数若不附上其版本,就无法与三周前的分数相比——无论那是我们的,还是别人的。

A two-column scoreboard titled 'Gemini 4 Pro vs GPT-6 Astra — the scoreboard', comparing the two on the same six dimensions: controller test, edge in that test, repeated next day, model id you can call, price per million tokens, and DeepSWE v1.1. Gemini 4 Pro's column is marked unreleased with community-claimed figures; GPT-6 Astra's column carries a callable model id and OpenAI-reported figures. The OrcaRouter logo is composited in the bottom-right corner.

关于 Gemini 4 Pro,实际上已经确认了什么?

剥去那些说辞,确凿的记录寥寥无几。

• 2026年7月21日 — Google 证实已为 Gemini 4 启动迄今为止最具雄心的预训练运行。首席执行官在第二季度财报电话会议上重申了这一点。

• 2026年9月2日 —— Gemini 3.8 Flash 发布。Google 最新推出的正式可用模型仍属于 Flash 级别模型。

• 2026 年 9 月 15 日至 18 日——一位化名“Lentils”的爆料者声称,Gemini 4 Pro 的检查点正以代号“argon”在内部出现;社区追踪者记录到一条竞技场条目,其标签为已发布的gemini-3.8-flash标签,每个回答耗时八到十分钟,并能产出远超该模型水平的矢量和 3D 作品。

• 今天——没有 Gemini 4 的模型 ID,没有端点,没有价格,没有模型卡。Gemini 3.5 Pro 原定于六月预览却从未发布,据《华尔街日报》报道,它因提升幅度太小而被取消。

这就是全部已确认的表面。流传中的其他一切——表格、价格、上下文窗口、代号、竞技场条目的身份——都是披着小数点外衣的推断。

等待期间你实际可以运行的内容

这是对比帖子里省略掉的部分,而这恰恰是能改变决策的部分。

GPT-6 Astra 并非传闻。它已于 2026 年 9 月 3 日发布,模型 ID 为 gpt-6-astra,且今日即可按 OpenAI 自身标价调用,每百万输入 token 10.00 美元、每百万输出 token 50.00 美元,缓存输入为 1.00 美元。它在 OrcaRouter 上以相同的供应商标价运行,0% 加价——我们直接传递供应商的价格,因此当价格变动时,我们这边的数字会在同一天变动,而不是等到有人抽出时间更新利润率。其 OpenAI 报告的基准测试成绩为 DeepSWE v1.1 74%、OSWorld 2.0 72.6%、Terminal-Bench 4.0 57.9%,以及 ExploitBench 100%,正是这一点使其越过了关键网络能力阈值。这些成绩为供应商报告且未复现,也正是泄露的 Gemini 4 Pro 表格所隐含反驳的数据。

Screenshot of the OrcaRouter model page for GPT-6 Astra, showing the model id openai/gpt-6-astra, a 1M-token context window with 128K maximum output, a p50 time to first token of 6.89 seconds, input priced at $10.00 and output at $50.00 per million tokens, a catalog date of 2026-09-04, and a summary line noting a catalog headline benchmark of 96.1 on GPQA Diamond.

Gemini 4 Pro 不在 OrcaRouter 上,我们也不会假装它在。没有端点,没有模型 ID,也没有价格,因为根本没有已发布的模型。相比之下,Claude Fable 5.1 自 9 月 1 日起已全面可用,可按其自身标价进行路由,Claude Opus 5 以及当前前沿层级的其他模型同样如此——一个 API 覆盖 200 多个模型,按提供商标价,零加价,因此像这样的对比不需要三个账户、三个 SDK 和三张账单才能付诸行动。

如果控制器结果诱惑你围绕一个未公布的模型重构生产路径,那么有证据支持的理智做法就是:不要这么做。保留你现有的路径;如果你想知道这种效应是否能推广到你自己的工作中,就把一小部分流量导向一条未经证实的路径,并让回退落到一个你已经信任的模型上。这样,一个糟糕的下午只会让你损失一个百分点的流量,而不是酿成一次事故,而且你得到的是自己的答案,而不是借用别人二十分钟的结果。

什么能让控制器结果变得有意义

• 别名终得真名。竞技场里的条目,不过是带着排行榜一行的传闻。出现在厂商自家文档里的模型 id,才算得上产品。盯住模型列表,别盯时间线。

• 结果可复现。有一名测试者第二天就无法得到相同的输出。而三个独立的人按需复现,且模型已明确标注——这完全是另一类证据。

• 泄露的表格配上了方法论。一个没有检查点、投入程度设置和评测框架的基准分数,不是一次测量,而是一种关于测量的主张。

• 一个价格出现了。所声称的 $2.25/$11.25 会让一款尚未发布的前沿模型以巨大差距成为三者中最便宜的,而这类说法要么会出现在价目表中,要么根本不会出现。

• Fable 的归属说法有了第二个来源。目前它只有一个来源,而提出这一说法的人表示,这个名字本来就是自己的。

Screenshot of the Artificial Analysis models overview page in English, headed 'Comparison of Models: Intelligence, Performance & Price Analysis', with five highlight cards naming the leaders on intelligence, output speed, latency, price and context window, and charts plotting Intelligence, Output Speed in output tokens per second, and Cost per Task in US dollars across the current frontier models.

值得回答的问题

如果竞技场里的这个条目真的是 Gemini 4 Pro,为什么要用一款已发布模型的名字来运行它?

在现有模型的标签背后测试一个新检查点,是盲基准测试的标准做法——它让实验室能够收集直接对比投票,而不让名称影响投票。这也意味着,这个标签完全无法告诉你它背后是什么,而这正是这里的问题所在:这个别名只能证明有东西正在被测试,却不能证明测试的到底是什么。

与 GPT-6 Astra 战成平手,是否意味着这款尚未发布的模型令人失望?

不,而正是在这里,这种框定造成的伤害最大。一个仍处于后训练阶段、以别名运行、却在一项高难度单次任务上追平已发布前沿模型的检查点,是比发布日图表强得多的信号。它只是一个关于方向的信号,而不是关于你能买到的产品的信号,而在对比帖里,这两者会被当成同一回事来解读。

因为这个,我今天需要换什么吗?

不是因为这一点。控制器测试中的任何东西都不会改变什么可用、任何东西要花多少钱,或任何模型擅长什么。本周与决策相关的事实是,GPT-6 Astra 和 Claude Fable 5.1 都已上线且已定价,而 Gemini 4 Pro 则两者皆非。如果你想对这种可能性做对冲,那就用路由来对冲,而不是用重写。

诚实的解读

控制器测试是目前关于 Gemini 4 Pro 最有力的证据,而这份最有力的证据却是一场平局——来自一次没能复现的尝试,针对一个没人说得出名字的模型,还附着一份没人能核验的基准表。这听起来像是在否定它,但并不是。这个测试之所以能传播开来,是因为它是这个故事里第一件看起来像产品、而不是幻灯片的东西——一个真实的提示词、一份真实的输出、一个真实的人在比对二者,以及一个双方阵营都没能一口咬定归为己有的结果。

它没有做到的是解决任何问题。如果你需要在本周交付,那么真正决定你选择的,是现有的前沿档位——GPT-6 Astra 为 $10/$50,Claude Fable 5.1 按其自身标价——而且两者都可以用同一个密钥调用,无需第二份合同。如果你想知道 Google 有什么,那么唯一能把这篇文章从一篇“目前已知”的报道变成一篇发布报道的信号,就是一个模型 ID、一份价目表和一次复现。在这些到来之前,对 Xbox 360 手柄对比的正确解读,就是做过这项对比的人所给出的那种:两幅非常好的图,但没有胜者。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新