GPT-6.2 Astra 與 GPT-6.2 Sol 對比標題卡:兩者以 three.js 打造同一個揚克斯機甲示範,圖中顯示 Astra 在 Artificial Analysis 的 AA-3D 上為 1,318 Elo,Sol 為 1,259,並以橫幅註明:在某位開發者公開的並排對比中,兩個模型都未能令人信服地把城市變形成機甲。OrcaRouter 標誌位於右下角。
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol:兩場機甲演示,一次失手

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

OpenAI 為 GPT-6.2 Astra 與 GPT-6.2 Sol 發布的貼文,提出了一項範圍明確且可驗證的承諾:這兩個模型「能寫出更乾淨的程式碼,並打造出外觀與運作都更好的前端,尤其是在網站、遊戲與 3D 設計方面。」這種說法不是規格表能定論的,基準測試也只能大致逼近;因此發布兩天後,針對這項承諾,已公開且可重現的正面對決恰好只有一份——Simon Willison 的 Yonkers 提示詞,在 Codex CLI 中以 Ultra 努力程度分別對兩個模型執行,兩份輸出都留在線上,任何人都能開啟。他的評語正是這則報導的第一行:「兩者在把 Yonkers 變形成大型機甲這件事上,都做得不夠好。」

這個測試值得寫成一篇文章,不是因為兩個模型都沒達標,而是因為它們以不同方式沒達標,而且是在你看得到的程式碼裡;並且,失敗代價較高的那個模型,反而好到足以在事後剪出比較影片。如果你正打算花一週的上下文視窗在前端生成上,那麼 568 KB 的打包檔和四個手寫模組之間的差別,就是一個你能出貨的 demo 和一個你得重寫的 demo 之間的差別。

OpenAI 表示這對組合能打造出什麼

這項說法具體到足以檢驗。OpenAI 的貼文描述這兩個模型都能將「一份書面簡報轉化為互動式瀏覽器體驗,從可遊玩的彈珠檯,到可從不同角度探索的羅馬競技場重現作品」,並指向 Artificial Analysis 的 AA-3D;在該平台上,人類評審會觀看根據同一提示詞建立的兩個盲測體驗,並投票選出自己偏好的那一個。在該排行榜上,GPT-6.2 Astra 以 1,318 Elo 排名第一,領先 1,271 的 Claude Fable 5.2 與 1,259 的 GPT-6.2 Sol。

讀到兩個 Open​AI 模型之間 59 分的差距,你會得出 Astra 在 3D 方面明顯更好的結論。讀到絕對數字,你則會學到排名所掩蓋的事:這個排行榜只會比較同一提示詞的兩次嘗試,因此它能告訴你一對之中哪個看起來更好,卻對兩者是否真的好毫無說明。在兩個未完成的機甲之間進行盲測偏好測試,仍然會選出贏家。

文件新增了一項但書,讀起來像是提示工程團隊的道歉。在 GPT-6.2 的遷移說明中,OpenAI 表示兩款模型都比GPT-6 Astra更簡潔、更直接,當意圖不明確時,它們可能會提出一個步驟並等待,而且——對本文而言最重要的那一句——前端工作現在需要針對圖像與字體排印給出明確指示。你沒寫出的指示,就是模型會自行編造的指示。Yonkers 提示詞完全沒有任何藝術指導,這正是為什麼它是對這兩款模型的一場公平測試,也是對其中任何一款略不公平的測試。

一個提示詞,兩個已發佈的示範

提示詞只有一句話:「製作一個 three js 動畫,讓 Yonkers 以巨大機甲的身姿站起來(酷炫的站起動作),並在曼哈頓、皇后區和布魯克林跺步走動,使用 openstreetmap 地圖資料。」兩次執行都在 Codex CLI 中以 Ultra 努力程度進行。兩個結果仍可在線上取得,且都能開啟可運作的 WebGL 場景,具備真實的相機、真實的低多邊形城市和真實的路線——這已經比大多數 three.js 請求第一次嘗試所產出的結果還要多。

兩者都不是完成品。Willison 自己拿來對比的是同一份需求下 Claude Fable 5.2 與 Gemini 4 Carbon 的版本,而他的判斷是,GPT-6.2 的兩次嘗試都敗在提示詞真正要求的那一件事上:從城市形態轉變為站立機甲的過程。站起來的動作才是這段示範的重點,而兩個模型都沒有真正把它做出動畫。

• 套件包 — GPT-6.2 Astra 隨附一個 Vite 建置產物,大小為 568,418 位元組,加上 8,075 位元組的 CSS;相較之下,GPT-6.2 Sol 則是一個 17,094 位元組的 main.js,會匯入 city.js、mech.js 與 effects.js,並在本機提供大小為 658,900 位元組的 three.js

• 時間軸 — Astra 在 0–960 拖曳軸上執行 96 秒的序列,而 Sol 則執行 48 秒的序列,行走從 6.25 秒開始,最後一步在 44.5 秒

• 章節——各有四個:Astra 將它們編號為序列計數器「01 / 04」,而 Sol 則將它們命名為 Yonkers、Manhattan、Queens 和 Brooklyn,起始時間分別為 0、17.6、30.2 和 38 秒

• 相機 — Astra 會在「追蹤」與「圖集」檢視之間切換,而 Sol 則是綁定到 O 的軌道切換

• 遙測 — Astra 顯示一則動作讀數為「上升」,座標為「40.9310° N 73.8987° W」;相較之下,Sol 則是在「40.93° N · 73.90° W」的 184×138 雷達畫布上。

• 署名 — 兩者在頁尾都標註了 OpenFreeMap、OpenMapTiles 與 © OpenStreetMap contributors,而這是需求簡報中兩個模型都沒有漏掉的唯一一項要求

• 執行成本——在最高投入程度下,Willison 的標準 SVG 鵜鶘在 Astra 上花費 88.71¢,而 Sol 上為 13.69¢;這個比例在他測量的每一個投入程度下都成立

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra:單一 568 KB 打包檔,以腳本驅動的 UI

Astra 的建置版本名為「Stride Atlas — Yonkers Rising」,整體表現得像一場簡報:刊頭包含品牌與「系統已上線」狀態、音訊切換鈕、全螢幕按鈕,以及一個畫布,其無障礙標籤寫著「三維城市與動畫機甲。拖曳以旋轉,捲動以縮放。」下方依序是眉標「機甲模擬 / 001」、標題「揚克斯崛起。」與副標「紐約都會區」。

技藝盡在儀表之中。有一個遙測面板,其動作讀數顯示「上升」,並附有即時座標;一個標示 10 km 的內嵌路線總覽畫布;還有一個播放控制台,配有序列計數器、播放與重新開始按鈕、時鐘、從 0 到 960 的拖曳範圍,以及 01:36 的結束時間。那是 96 秒的編排序列,而這麼長的拖曳條絕非偶然——這是一項決定:這個示範是一部電影,而攝影機就是導演。

它同時也以單一打包產物的形式出現。上述所有內容都編譯成一份 568,418 位元組的 Vite 輸出,以及一份 8,075 位元組的樣式表,其中 chapters 與 stompProgramCache 這兩個字串因為序列化資料是真實存在的,所以在壓縮後仍保留下來。就示範用途而言,打包是正確的選擇:一個檔案就能託管、一個快取項目、沒有會中斷的匯入圖。但對於必須持續擴充的程式碼庫來說,它是一道 568 KB 的高牆。

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol:四個模組,一個本機 three.js

Sol 的版本標題為「Yonkers Protocol | A New York Mech Simulation」,其 meta description 直接點名該技術:「一段電影感的 Three.js 動畫,描繪一座城市般巨大的機甲在揚克斯升起,並行進穿越曼哈頓、皇后區與布魯克林。」該頁面以「METRO CONTROL / NEW YORK, NY」品牌呈現,並配有「OPENSTREETMAP 地形」標籤、環繞視角切換、音效切換,以及標示為「Yonkers Protocol 模擬」的視埠。

在 Astra 編寫影片腳本的地方,Sol 打造了一間控制室。那裡有顯示「01 / 04 YONKERS」的區段讀數、附有 SPACE 提示的「Start sequence」按鈕、184×138 的雷達畫布、四個階段按鈕——Yonkers / Awakening、Manhattan / Southbound、Queens / East River、Brooklyn / Final approach——以及拖曳環繞、滾動縮放的提示。這段文案是兩個頁面上最自信的內容:「看著 Yonkers 從哈德遜河濱崛起,一路行經 Manhattan、Queens 和 Brooklyn。」

程式碼才是有趣的部分。Sol 完全跳過了打包工具,改用一個 import map,將 three 指向模組建置的本機副本,然後手動拆分工作:city.js 為 9,603 位元組,mech.js 為 25,511,effects.js 為 12,119。main.js 掌握方向——總時長 48 秒,從 6.25 秒開始行走,最後一步在 44.5 秒,十六個經緯度檢查點從 Yonkers 一路延伸到 Brooklyn,還有一個穿過它們的 THREE.CatmullRomCurve3,其 arcLengthDivisions 設為 1,000,讓機甲以穩定步調行走,而不是在急轉彎處加速。最後那個設定,是你只有親眼看過角色卡頓才會寫出來的那種細節。

兩種做法都沒有錯。Astra 針對「能載入的東西」做最佳化,Sol 則針對「可以開啟並編輯的東西」做最佳化——而檔案拆分告訴你,Sol 理解到 3D 示範是一個場景圖、一個 actor 和一組效果,而這些應該放在不同檔案中。

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

兩個示範都漏掉的 morph

這就是無論多少 UI 打磨都掩蓋不了的部分。提示要求 Yonkers 要站起來成為一台大型機甲——一種轉變,讓一個城市街區變成一個身體。兩個建構都沒能令人信服地呈現這種轉變,而 Willison 也直言不諱,將兩者都排在 Claude Fable 5.2 的版本和 Gemini 4 Carbon 的版本之後。

這才是對 1,318 Elo 分數的誠實解讀。Artificial Analysis 測出 Astra 領先 Sol,而 demo 也印證了這點——Astra 是完成度較高的頁面。但排行榜回答的是「這兩者哪個更好」,而讀者真正想問的是「這夠好用嗎」,而就唯一公開的並排比較來看,答案是「不夠」。兩個都沒做出形變的模型之間的偏好測試,仍然會產生排名,而這個排名仍會被當成能力領先來報導。

這次發佈的前端敘事,另一半是溝通,而這一點也同樣不怎麼好看。Willison 引用了 Theo Browne 的發佈前回饋信,信中描述了一個模型:它在長時間任務中能妥善管理子代理,卻會卡在一個沒有人類能回答的內部實作問題上——他舉的例子是,一個代理在專案進行了兩小時後停下來,詢問審查者是把它的片段寫到某個檔名還是另一個檔名。Open​AI 自己的遷移說明指出,該模型「在意圖不明確時可能會提出一個步驟並等待」,這是從內部描述的同一種行為,而這確實是實質成本:一個等待你無法提供的輸入的代理,就是一個已經停下來的代理。

這個差距對你的建置意味著什麼

如果作品是 3D 或前端 demo,這兩個模型的實際差別不在於那 59 Elo。差別在於:Astra 會交給你一個看起來完成度很高的成品,而 Sol 會交給你一個程式碼儲存庫。當交付物是你傳給別人的連結時,選 Astra;當交付物是別人週一得修改的程式碼時,選 Sol。

以同一基準為這項選擇定價。GPT-6.2 Astra 每百萬輸入 token 計費 $8、每百萬輸出 token 計費 $40,快取輸入為 $0.40、快取寫入為 $10。GPT-6.2 Sol 則計費 $2、$10、$0.10 和 $2.50——每一項 token 費率都是四分之一。兩者都具備 1,050,000 token 的上下文視窗,最大輸入為 922,000、最大輸出為 128,000,兩者都拒絕reasoning_effort: "none",且兩者在每次請求超過 272,000 tokens 時,輸入與快取輸入都加倍,同時輸出按 1.5× 計費。Batch 按標準費率的 50% 計費,Fast 模式為兩倍,Ultrafast 在 2027 年 2 月 28 日之前為三倍,自 2027 年 3 月 1 日起為六倍。

同一天下午得出的「每件成品成本」數字,才是值得記住的那個。Willison 的鵜鶘測試以三種投入等級渲染同一個 SVG,而在最高投入等級下,Astra 花費 88.71¢,Sol 則是 13.69¢——大約是六倍半的代價,換來的是一張他對兩者都未稱之為乾脆勝利的圖。在 Ultra 投入等級下的前端生成,正是昂貴模型的優勢真實卻狹窄之處,而只要重試一次就會把它抹掉。

路由層的定位

直接表明立場:GPT-6.2 Astra 與 GPT-6.2 Sol 目前不在 OrcaRouter 的型錄中。我們提供的 Open​AI 項目為 GPT-6 Astra、GPT-6 Sol 以及 GPT-6.1 Sol,因此這兩個模型一般可透過 Open​AI 自家的 API 與第三方平台取得,而非透過我們。

型錄真正帶給你的,是這篇文章所主張的習慣。像 Yonkers 這樣的測試,正是你會想跨模型做 A/B、而不是把正式生產路徑押上去的那種工作負載——而透過單一端點來做,意味著一組金鑰、一張帳單,也不必再簽第二份合約;當你正在試用的模型在渲染途中開始逾時,還能自動容錯移轉。在我們確實有上架的項目上,OrcaRouter 以 0% 加成轉嫁供應商牌價,所以你付的就是供應商自己的價目表價格,而供應商降價當天,我們這邊也會同步生效。如果你要在 2 美元的模型和 8 美元的模型之間,為前端工作做選擇,那正是值得你自己用同一個提示詞跑一遍的比較,然後再決定預設要用哪一個。

這次發布更狹義的教訓是,3D 生成已經從「做不到」跨到「尚未完成」,而這兩個模型位於這道斜坡上的不同位置:一個產出的頁面看起來完成了,另一個產出的程式碼則真的完成了。兩者都沒能把 Yonkers 變形。兩者都已經夠接近,下一版很可能就會做到——而當那一天到來,確認的代價會是一次提示詞,而不是一次遷移。

本文中的比較1

根據本文內容識別