標題卡寫著「The Xbox 360 Controller Test」,上方副標題為「Gemini 4 Pro 對上 GPT-6 Astra —— 一次平手,一次嘗試,沒有贏家」,下方有四列狀態列:「狀態:未推出,僅有別名」、「測試者判定:平手」、「隔日可重現:否」,以及「Claude Fable 5.2:未參與本測試」,並搭配扁平線稿風格的遊戲控制器插圖。OrcaRouter 標誌合成於右下角。
Guides & Insights

Gemini 4 Pro 對上 GPT-6 Astra 的 Xbox 360 控制器測試——以及為何 Fable 5.2 不在其中

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

9月21日出現了一則 X 貼文,裡頭有三個名字、一段影片,以及「SOTA 比較」這幾個字:Gemini 4 Pro、GPT-6 Astra、Claude Fable 5.2。這三個名字裡,有兩個屬於根本沒人能召喚的模型。有一個屬於已經開賣十八天的模型。而貼文所指的那件成品——一個只憑單一提示、一次生成就以向量圖形繪製出來的遊戲控制器——根據實際跑過的人所說,是前兩者之間的雙向比較。Claude Fable 5.2 並不在其中。Claude Fable 5.1 也不在。

那個論述與證據之間的落差,就是 Gemini 4 Pro 這件事目前的全貌,值得仔細拆解,而不是直接否定。控制器測試並非毫無意義。它是這個月任何人針對一款尚未發布的前沿模型所端出的、看起來最可複製的單一產物,背後有四个月的脈絡,而且正被許多人解讀為定論。它不是定論。它是來自一次嘗試的一場平局,而測試者本人隔天無法重現——清楚知道它能到哪裡、不能到哪裡,比一味炒作或嗤之以鼻都更有用。

這項測試,以及為什麼 SVG 會成為基準

這個提示詞比它現在用來評判的模型還要舊。它可追溯至 Gemini 3.0 時代,當時它以以下形式流傳:"建立一個 Xbox 360 控制器的 SVG 圖像。以 Markdown 多行程式碼區塊輸出。"那樣的措辭很重要,因為它刻意對語言模型充滿敵意。向量繪圖全是結構,沒有紋理——沒有攝影雜訊可供模型藏身,沒有擴散取樣器可以抹平錯誤。每一條曲線都必須以座標指定。控制器對它來說是個艱難的目標:兩個對稱的握把、一個凹陷的碟形、以透視法繪製的肩部扳機、十六個左右的按鈕,每個都需要一個位置,還有一個輪廓,只要有一個比例偏差,就會立刻看起來不對。而且因為答案以文字形式送達,你可以貼到檢視器中,所以比較起來既便宜又方便。沒有人需要相信別人聊天視窗的截圖。

九月時,社群再次拾起了這個提示詞。從競技場場次流傳出來的輸出——騎著腳踏車的鵜鶘、從五個微距鏡頭角度渲染而成的 PlayStation 5 控制器、可切換燈光的 3D 寶塔、體素寺廟場景、Airbus H145 直升機頁面——在報導中被描述為在高思考強度下每個大約需要八到二十分鐘。其中控制器就是被截圖放進比較裡的那一個。

控制器比較實際上顯示了什麼

以下是測試人員所回報的結果,而這比時間軸所塑造的說法要小得多。

• 裁決——平手。執行這項測試、以 Lumina 名義發文的人,稱兩份輸出都「近乎完美」。

• 唯一的不對稱之處——Astra 的版本帶有一個略有錯誤的標誌。那只是單一細節上的優勢,而測試者也將其界定為單一細節上的優勢,而非整體性的領先。

• 視覺完整性 — 兩張算圖都呈現出細節豐富的控制器本體、控制元件與光影。兩者在外形上都沒有崩壞。

• 這項比較未能確立的是——那款尚未發布的模型領先。兩份被評為同樣好的輸出,正是「不算領先」的定義。

• 可重現性 —— 據稱該輸出是前一晚產生的,耗時約二十分鐘,而測試人員隔天無法取得可比的結果。

• 身分——這項輸出所來自的競技場參賽條目被標示為gemini-3.8-flash,這個名稱早已屬於 Google 於 9 月 2 日推出的某個模型,後來據報導又被重新標記為gemini-3.7-flash。這個別名背後究竟是哪個模型仍未釐清,而另外兩位測試者也在同一期間表示,他們同樣無法確認自己當時使用的是哪個模型。

依序讀這份清單,證據的輪廓就變得清晰。有趣的主張並不是「那個未發布的模型贏了」。而是:一個無人能辨識的模型,打著某個已發布模型的名號運行,在一次嘗試中就產出了向量作品,而一位謹慎的測試者無法將其與一個前沿模型的輸出區分開來,那個前沿模型在九月的大部分時間裡都已普遍可用。那是一項真實的觀察。它同時也是關於某個下午的觀察,而測試者也這麼說了。

雙向結果與三向主張

催生這篇文章的那則貼文說的是三個模型。描述同一場控制器會議的幾篇報導則說的是兩個。Claude Fable 5.2 本週的實際狀態是一則恰好共用同一個新聞週期的獨立消息,而這件事值得精確以對,因為這種混為一談在兩個方向上都在發揮作用。

• 主張內容——X 帳號 @chetaslua 於 9 月 18 日發文稱,Claude Fable 5.2「已在 Claude Code 中受測,將 Fable 5.1 路由至其上」。這是一項關於 Claude Code 的路由主張,且僅出自單一帳號。

• 這個名稱的性質——是記者自己的推測。以 JAZII 名義發文的測試者,其 9 月 18 日的文章是對該行為最詳盡的記述,他明白指出「Fable 5.2」是他們自行指定的名稱,並非任何人所確認的名稱。目前沒有模型卡、沒有 API 識別碼、沒有定價頁面、沒有系統卡,也沒有第二家媒體獨立報導過 Fable 5.2 的路徑。

• 已獲佐證的 Claude 路由報導,實際涉及的內容究竟是什麼——本部落格已另行討論過:九月中旬那些獲數家獨立媒體跟進報導的靜默路由消息,是關於一個未發布的 Opus 層級檢查點,而非 Fable。將此事歸因於 Fable 的說法只有單一來源。請把它當作單一說法的報導,而不是一項調查發現。

• 測試者實際回報的是——在高推理強度下,疑似下一代的 Fable 比 GPT-6 Astra 更受青睞,但速度較慢且成本較高。那只是來自單一個人、針對其自身工作的一項偏好。

• 關於已發布模型的已驗證事項——Claude Fable 5.1 自 2026 年 9 月 1 日起已全面開放使用。該模型確實存在、有其定價,且今日即可呼叫。

所以,這種三方框架的誠實版本是這樣:那篇貼文裡的三個名稱中,有兩個是未公布的模型、名稱由社群指派;控制器測試只涉及其中那個身分至少還錨定在某個 arena 條目上的模型;而 Fable 欄位則是一位明確拒絕說出模型名稱的單一測試者所給出的偏好。這並不是忽視其中任何一項的理由,而是要把這三個名稱放在三個不同信心水準、而非同一個信心水準來看待的理由。

真正在進行論證的是基準表

控制器 SVG 是可見的產物。真正發揮說服力的,是一份大約在 9 月 18 日浮現的基準測試表,此後便不斷被中英文科技媒體轉載。它值得被一一列出,因為這些數字具體到足以查核,而它們沒有一個被查核過。

• DeepSWE v1.1 — 88.7%,據稱約比 GPT-6 Astra 高出兩個百分點。

• GDPval-AA v2 — 2,064 Elo,被描述為上述比較中唯一超過 2,000 的項目。

• Terminal-bench 2.1 — 95.3%,列為表中最高分。

• OSWorld-2.0 — 86.8%,領先於 GPT-6 Astra 與 Claude Fable 5.1 兩者。

• 聲稱的定價——每百萬輸入詞元{{1}}2.25{{/1}}美元,每百萬輸出詞元{{2}}11.25{{/2}}美元。

• 宣稱規格 — 一千萬個 token 的輸入上限、256K 個 token 的輸出上限、跨對話記憶。

上方每一行都是社群說法。Google 對這些說法全未證實,也完全未證實那個競技場項目就是 Gemini 4 Pro,且未回覆置評請求。這張表沒有檢查點識別碼、沒有推理強度設定、沒有代理測試框架、沒有工具權限、沒有測試集切分、沒有樣本數,也沒有執行日誌——這些都是真正評估會具備、而一張簡報投影片截圖不會有的東西。這些基準測試名稱也同樣出自 OpenAI 在其自家 9 月發布素材中所用的同一系列,這透露出這份表格是在哪裡彙整的,而不是在哪裡實測的。

本月對任何前沿比較都得謹慎,還有第二個理由:大家都會取用的那個獨立指數,已於9月7日改版為 v4.3,而改版會壓縮或拉開排行榜頂端。沒有附上版本的分數,無法與三週前的分數相比——不論是我們的或任何人的都一樣。

A two-column scoreboard titled 'Gemini 4 Pro vs GPT-6 Astra — the scoreboard', comparing the two on the same six dimensions: controller test, edge in that test, repeated next day, model id you can call, price per million tokens, and DeepSWE v1.1. Gemini 4 Pro's column is marked unreleased with community-claimed figures; GPT-6 Astra's column carries a callable model id and OpenAI-reported figures. The OrcaRouter logo is composited in the bottom-right corner.

關於 Gemini 4 Pro,實際上確認了什麼?

剝去那些說法,確鑿的紀錄寥寥無幾。

• 2026年7月21日 — Google 證實已展開迄今最具企圖心的預訓練計畫,對象為 Gemini 4。執行長在第二季財報電話會議上重申此事。

• 2026 年 9 月 2 日 — Gemini 3.8 Flash 正式推出。Google 最新的正式發布模型仍屬於 Flash 層級的模型。

• 2026 年 9 月 15 日至 18 日——一名以「Lentils」名義發文的爆料者聲稱,Gemini 4 Pro 的檢查點正以代號「argon」在內部出現;社群追蹤者在已發布的 gemini-3.8-flash 標籤下記錄到一筆競技場條目,每個回答耗時八到十分鐘,並產出遠超該模型所能達到的向量與 3D 作品。

• 今天——沒有 Gemini 4 的模型 ID、沒有端點、沒有價格、沒有模型卡。曾預告將於六月推出卻從未正式發布的 Gemini 3.5 Pro,據《Wall Street Journal》報導,因其提升幅度太小而遭到廢棄。

那就是全部已確認的表面。其他所有流通中的內容——表格、價格、上下文視窗、代號、競技場參賽項目的身分——都只是披著小數點外衣的推論。

等待期間你實際上可以執行的內容

這是比較貼文略過的部分,而這正是會左右決定的關鍵。

GPT-6 Astra 不是謠言。它已於 2026 年 9 月 3 日推出,其模型 ID 為gpt-6-astra,而且今天即可依 OpenAI 自家定價呼叫:每百萬輸入 token 10.00 美元、每百萬輸出 token 50.00 美元,快取輸入則為 1.00 美元。它在 OrcaRouter 上以同樣的供應商定價、0% 加價運行——我們直接傳遞廠商費率,因此當費率變動時,我們這邊的數字會在同一天變動,而不是等到有人有空更新利潤率。OpenAI 回報的基準測試成績為 DeepSWE v1.1 達 74%、OSWorld 2.0 達 72.6%、Terminal-Bench 4.0 達 57.9%,以及 ExploitBench 達 100%,這正是讓它超過關鍵網路能力門檻的原因。那些是廠商回報且未經重現的數字,而它們正是外洩的 Gemini 4 Pro 表格隱含反駁的數字。

Screenshot of the OrcaRouter model page for GPT-6 Astra, showing the model id openai/gpt-6-astra, a 1M-token context window with 128K maximum output, a p50 time to first token of 6.89 seconds, input priced at $10.00 and output at $50.00 per million tokens, a catalog date of 2026-09-04, and a summary line noting a catalog headline benchmark of 96.1 on GPQA Diamond.

Gemini 4 Pro 並不在 OrcaRouter 上,我們也不會假裝它在。沒有端點、沒有模型 ID,也沒有價格,因為根本沒有已正式推出的模型。相較之下,Claude Fable 5.1 自 9 月 1 日起已全面開放使用,並可依其自身的定價表進行路由;Claude Opus 5 以及當前前沿層級的其他模型也是如此——一個 API 涵蓋 200+ 個模型,以供應商定價表價格提供,零加價,因此像這樣的比較不需要三個帳戶、三套 SDK 和三張帳單才能付諸行動。

如果控制器結果正是誘使你圍繞一個尚未發布的模型去重整生產路徑的原因,那麼理智的做法就是證據所支持的那一個:別這麼做。保留你現有的路徑;而如果你想弄清楚這個效應是否能推廣到你自己的工作上,就把一小部分流量導向一條未經證實的路徑,並在其後設置一個退回到你已經信任的模型的備援。如此一來,一個糟糕的下午只會讓你損失一個百分點的流量,而不是一場事故,而且你得到的是屬於自己的答案,而不是借來別人那二十分鐘的結果。

什麼會讓控制器的結果變得有意義?

• 別名終究會得到正式名稱。排行榜上的參賽條目,不過是附帶一列排名的傳聞。唯有出現在廠商自家文件裡的模型 ID,才算得上產品。盯緊模型清單,而不是時間軸。

• 結果能夠重現。有一名測試者隔天就無法得到相同的輸出。而三位獨立的人在模型已明確標示的情況下,只要需要就能重現,這完全是另一種等級的證據。

• 外洩的表格有了方法論。一份缺少檢查點、投入程度設定與測試框架的基準分數,並不是一項量測;而是關於某項量測的宣稱。

• 出現了一項價格。所宣稱的 $2.25/$11.25 會讓一款尚未發布的前沿模型以大幅差距成為三者中最便宜的,而這種說法要嘛會出現在價目表中,要嘛不會。

• Fable 的署名將獲得第二個來源。目前它只有一個來源,而提出該來源的人表示這個名字從一開始就是他們的。

Screenshot of the Artificial Analysis models overview page in English, headed 'Comparison of Models: Intelligence, Performance & Price Analysis', with five highlight cards naming the leaders on intelligence, output speed, latency, price and context window, and charts plotting Intelligence, Output Speed in output tokens per second, and Cost per Task in US dollars across the current frontier models.

值得回答的問題

如果競技場上的參賽項目真的是 Gemini 4 Pro,為什麼要用一款已發布模型的名稱來跑它?

在現有模型的標籤背後測試新的檢查點,是盲基準測試的標準做法——它讓實驗室能在名稱不影響投票的情況下收集一對一的投票。這也意味著標籤不會告訴你它背後是什麼,而這正是這裡的問題所在:這個別名是某個東西正在被測試的證據,而不是被測試的是什麼的證據。

跟 GPT-6 Astra 打成平手,就代表這款尚未推出的模型令人失望嗎?

不,而這正是框架造成最大傷害的地方。一個仍在後訓練、以別名運行、在困難的一次性任務上能與已推出的前沿模型匹敵的檢查點,是比發表日圖表強得多的訊號。它只是關於方向的訊號,而不是關於你能買到的產品,但在比較文中,這兩者會被讀成同一回事。

因為這件事,我今天該換掉什麼嗎?

不是因為這個。控制器測試裡的任何東西,都不會改變有哪些東西可用、任何東西要花多少錢,或任何模型擅長什麼。本週與決策相關的事實是:GPT-6 Astra 和 Claude Fable 5.1 都已上線並有定價,而 Gemini 4 Pro 兩者皆非。如果你想為這個可能性避險,請用路由來避險,而不是用重寫。

誠實的解讀

控制器測試是任何人針對 Gemini 4 Pro 所提出的最佳證據,而任何人所提出的最佳證據是一場平局——來自一次沒有重複的嘗試、一個沒有人能說出名字的模型,還有一份沒有人能查核的基準測試表。那聽起來像是駁斥,但並不是。這個測試之所以廣傳,是因為它是這個故事裡第一個看起來像產品、而不是投影片的東西——一個真實的提示、一個真實的輸出、一個真實的人在比較兩者,以及一個雙方支持者都無法逕自宣稱勝出的結果。

它沒有做到的,是敲定任何事。如果你這週就得交付上線,真正存在的前沿層級——定價 $10/$50 的 GPT-6 Astra、依自身定價表計價的 Claude Fable 5.1——才是你決策真正落腳的地方,而兩者都能用同一把金鑰呼叫,不必再簽第二份合約。如果你想知道 Google 手上有什麼,唯一能讓這件事從一篇「目前所知」的報導,變成一篇「正式發布」報導的訊號,就是模型 ID、價目表,以及一份可重現的結果。在這些出現之前,對那項 Xbox 360 控制器比較的正確解讀,就是執行那項比較的人自己給出的說法:兩幅非常好的圖,沒有贏家。

本文中的比較2

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新