GPT-6.1 Terra 基準測試分析標題卡
Guides & Insights

GPT-6.1 Terra 的基準測試排序:48 與 52 打平之處,以及未打平之處

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

GPT-6.1 Terra 的綜合分數是 48。GPT-6.1 Sol 是 52,GPT-6 Astra 是 53,GPT-5.6 Terra 是 42,GPT-6 Luna 是 38。如果你只看 Artificial Analysis Intelligence Index 的最上面一行,這就是全部故事——一個中階模型,比前代高六分,比更貴的兄弟模型低四分。這也是解讀這次發布最沒用的方式,因為同一個指數掩蓋了它與 Astra 之間 29 分的程式設計差距、與 Claude Opus 5.5 之間 7.6 分的電腦使用差距,以及一項大於這次發布中所有智力提升總和的幻覺改善。

以下內容區分三類數字:來自 Artificial Analysis 的獨立測量、由 OpenAI 回報而外界無人重現的廠商結果,以及推導出的數字——也就是把前兩類數字中的任一類轉換為成本或比率的算術。這些區別很重要,因為發布報導已經開始把它們混為一談。

大家都會引用的三個分數

Artificial Analysis 在其 Intelligence Index 上將 GPT-6.1 Terra 列為 48 分,在 221 個模型中排名第 25,每項指數任務為 $0.40。GPT-6.1 Sol 為 52 分、排名第 13,每項任務為 $0.72。GPT-6 Astra 是目前旗艦,為 53 分。GPT-5.6 Terra 為 42 分、排名第 53,每項任務為 $1.40。GPT-6 Luna 為 38 分。

若以階梯來看,Terra 是真正的升級:每完成一項任務的成本不到三分之一,卻高出六分;並比預算層級高出十分。若與 Sol 相比,則正好符合價目表所暗示的內容——弱四分,但 token 價格約為一半。綜合評分中沒有任何一點與 OpenAI 的定位相矛盾。

綜合分數也把不該抹平的東西抹平了。Terra 與 Sol 之間的四個指數點,是該量表的 8%;而在 Coding Agent Index 上,Terra 與 Astra 之間的 29 點,則是該量表的 60%。單一數字無法同時承載兩者,而只引用前者的發布報導,已悄悄略過後者。

A four-column scoreboard comparing GPT-6.1 Terra, GPT-6.1 Sol, GPT-6 Astra and GPT-5.6 Terra on Intelligence Index, coding index, cost per task, computer-use score, hallucination rate and measured speed

差距擴大之處:程式設計

在 Artificial Analysis 的 Coding Agent Index v2.0 上,GPT-6.1 Terra 得分 48,GPT-6.1 Sol 得分 54,GPT-6 Luna 得分 31。這代表相較於 Sol 落後六分,並領先 Luna 17 分——與智慧指數的型態相同,但相對於家族頂尖的差距在相對意義上更大。

廠商數字說起來更體面,而這些正是廠商自家數字。OpenAI 回報,在最高投入下,Terminal-Bench 4.0 的解題率為 50.3%,而 GPT-5.6 Terra 為 21.5%。這超過兩倍,也是本次發布中單一代際最大幅度的躍升。它同時是終端任務基準,而非廣泛的程式編碼代理衡量指標:Terra 在簡短、範圍明確的 shell 工作上可以接近 Sol,卻在更廣泛的指數上仍落後六個百分點,而這兩件事同時成立。

實務上的解讀是:Terra 在編碼上的提升,集中在任務範圍有明確界線的地方。「跑這套測試、讀取失敗訊息、修補檔案」正是 Terra 的強項型態;「在腦中同時掌握橫跨十五個檔案、長達四十步的重構」則不是,而 OpenAI 自家的建議仍把複雜的程式設計工作指向 Sol 或 Astra。

當差距比指數所顯示的更小時:電腦使用

在 OSWorld 2.1 這項標準桌面自動化基準測試中,GPT-6.1 Terra 在最高推理設定下得分 74.2%。GPT-6.1 Sol 在 xhigh 設定下得分 75.9%。GPT-6 Astra 得分 75.8%。在我們可比較的模型中,Claude Opus 5.5 以 81.8% 領先,Claude Fable 5.1 為 80.7%,Claude Sonnet 5.5 為 80.1%,Kimi K3.1 Pro 為 79.6%。

由此可得兩點。第一,Terra 在它專為此打造的那項任務上,與 Sol 的差距不到 1.7 分,而 token 價格只有一半——這比四點智慧差距所暗示的划算得多。第二,整個 GPT-6 系列在桌面自動化上落後 Anthropic 六到七分,而 Terra 並未縮小這個差距。如果你的產品是瀏覽器代理程式,值得比較的不是 Terra 對上 Sol,而是 Terra 對上 Claude Sonnet 5.5:後者每 token 比 Sol 便宜,且在 OSWorld 上得分高出 5.9 分。

廠商自家的代理式數據也指向同一方向。在 Agents' Last Exam v1 上,OpenAI 回報 Terra 在中等投入程度下為 57.6%,而 GPT-5.6 Terra 在最高投入程度下為 50.7%。隨之而來的說法是:它在中等投入程度下可與 GPT-6 Astra 相比,而每 token 價格約為後者的十分之一;這是針對個別任務的說法,也是此次發布中最具經濟意義的一句話。

真正有變動的數字:幻覺

Artificial Analysis 測量了一項名為 Omniscience 的幻覺率:也就是模型在不知道答案時,猜測作答的頻率。GPT-5.6 Terra 得分為 88%。GPT-6.1 Terra 得分為 38%。在同一時期內,準確率上升了兩個百分點。

猜測率下降 50 個百分點,比本次發布中任何智力提升都來得大,而它正是唯一會改變模型可安全用於哪些用途的數字。一個在不確定時有 88% 機率憑空編造答案的模型,若沒有對每項輸出進行人工核查,就不值得信任它來做發票擷取或表單填寫。在 38% 時,它仍有超過三分之一的時間在猜——這是改善,而非解決方案——但失效模式已從「假設它是錯的」轉為「抽樣並驗證」。

這有直接的成本後果。驗證是每個廉價模型部署中隱藏的支出項目:如果你必須檢查 88% 的答案,人力成本會使節省的 token 成本相形見絀。在 38% 時,抽查變得可行,而每項任務 $0.40 的數字開始看起來像真實成本,而不是其中可見的一半。

廠商聲稱,以及其中缺少了什麼

OpenAI 公布的結果,全部由廠商自行執行,且截至撰寫時,尚無任何一項經獨立重現:

• Terminal-Bench 4.0 — 在最高努力程度下達 50.3%,而 GPT-5.6 Terra 為 21.5%。

• Agents' Last Exam — 在中等投入下,比 GPT-5.6 Terra 高 15 分,成本約為三分之一。

• MMMU-Pro — 在每個努力等級上都領先 GPT-5.6 Terra,接近 Astra 和 Sol,但未公布絕對分數。

• Terminal-Bench-Science 0.1 — 估計成本不到五分之一,與 Claude Opus 5.5 的差距在 5 分以內。

• 誘發錯誤的提示——在低努力程度下為 16.7%,相較之下為 53.6%;在最大努力程度下則為 4.3%,此數據來自該公司尚未公開的內部測試。

那份清單中的模式值得為它命名。最強的兩項主張——MMMU-Pro 與錯誤率測試——正是沒有附上絕對數字的那兩項。「Approaches Astra」與「close to Sol」是比較性陳述,若沒有其背後的數字就無法查核。帶有確切數字的主張,才是第三方能夠重現的;而 Artificial Analysis 已經重現了成本面:每項任務 $0.40,前代產品 $1.40。

Speed 是不在索引中的獨立數字。

Artificial Analysis 在其推理基準測試中測得 GPT-6.1 Terra 的輸出速度為每秒 90.9 個 token,首個 token 時間為 133.64 秒。GPT-6.1 Sol 則測得每秒 73.5 個 token,首個 token 時間為 284.31 秒。也就是說,Terra 的吞吐量約高出 24%,而首個 token 時間的優勢略超過兩倍——這是獨立測量,而非廠商說法,也是整個發布中最有力的客觀依據。

對聊天產品來說,吞吐量幾乎無關緊要;但對每個任務要跑二十步的電腦操作迴圈而言,它決定了一項任務是四十秒還是九十秒完成。這個指數並未將延遲納入計價,因此一個排名第 25 的模型,可能正是品質排名第 13 的代理應該選購的對象。

如何讀懂指數而不被誤導

• 將綜合指標視為篩選器,而非排名。它會告訴你哪些模型在候選之中;但不會告訴你哪一個能在你的任務中勝出。

• 分別檢視程式設計與電腦使用這兩個子分數。Terra 的分數分布異常寬廣:桌面自動化接近 Sol,程式設計落後六分,總體落後四分。

• 請以{{1}}單一日期{{/1}}重新核對絕對數值。該指數會定期重新歸一化,而不同週次的文章會對同一個模型引用不同的數字。

• 若你的工作負載具有驗證成本,請將幻覺率的權重看得與智能分數一樣重。50 分的提升改變的是營運模式,而不只是分數。

• 衡量你自己的任務。Artificial Analysis 的每項任務成本數據,是根據其提示詞建立的替代指標;你的提示詞會在 token 價格與嘗試次數之間產生不同的比率。

這些都不會讓 GPT-6.1 Terra 成為糟糕的模型。這反而讓它成為一個定位明確的模型:快速、便宜、幻覺少得多,在螢幕相關任務上接近它更貴的同系列模型,但在程式碼上遠離旗艦。綜合分數顯示 48。子分數則說明你買到的是哪一種 48。

Screenshot of the Artificial Analysis leaderboard showing GPT-6.1 Terra's Intelligence Index of 48, cost per task and measured output speedScreenshot of OpenAI's model documentation for GPT-6.1 Terra listing its benchmark claims, context window and reasoning effort settings

本文中的比較4

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新