Claude Fable 5.2 基準測試：65 在實際耗時上的代價

Claude Fable 5.2 在 Artificial Analysis Intelligence Index v5.0.1 上拿下 65 分——在 78 個模型中排名第一，領先 Gemini 4 Carbon 五分。這五分伴隨著 267 秒的首個權杖延遲、每項任務 46.8 分鐘的實際耗時，以及每次指數執行 26.54 美元的支出，而這每一項都是這個分數的實際樣貌。這就是測試框架所測量到的內容，以及該如何運用它。Claude Fable 5.2 API 頁面列出了端點與價格；本文則聚焦於基準測試。

九項評估

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。三個終端機與自動化任務、兩個以文件為依據且處理長輸入的推理任務、兩個高難度科學與數學評測、一個前沿程式碼評測。沒有網頁代理測試框架，沒有多輪支援模擬，沒有漏洞偵測。

分數及其量表

65，排名78 名中的第 1 名，採用 v5.0.1。只有曾在 v5.0.1 上重新評分的模型才應歸入同一張表；v4.3 與 v4.3.2 的分數屬於不同的評估集，任何混合它們的圖表都無效。在目前這一批中，頂端排序是 Fable 5.2 的 65 分與 Gemini 4 Carbon 的 60 分，其餘模型則落後更多，或尚未重新評分。

在一個九項評估的指標上，五分的差距是真實的，但幅度很窄。有用的解讀不是「好五個百分點」，而是「在困難套件上略佔優勢」，而值得為此付出代價的理由是變異性，而非原始能力：在答錯就會使整輪執行作廢的任務中，成功率上的一點點優勢會隨著步驟累積放大。

牆上的時鐘

267 秒才產生第一個 token，在 77 個有延遲資料的模型中排名第 76。46.8 分鐘為每項任務總計。每秒 97 個 token的輸出速度（一旦開始輸出），比 Carbon 的 72 快 35%，且幾乎不佔整體耗時。

重點在於分佈。透過 OrcaRouter 的即時流量，同一個模型回報首個 token 的 p50 為 8.09 秒，而 p95 為 10.00 秒，統計範圍是七天內的 3,560 萬個 token。評測框架與閘道器量測的是不同母體：前者讓模型在 HLE-Diamond 上以最大努力思考，後者則是呼叫端所設定任何努力程度下的中位數請求。如果你以最大努力執行 Fable 5.2，就會重現 AA 的數字；若以低努力執行，則會看到接近閘道器的數字。

金錢

每次索引執行 $26.54，輸入每百萬 $8.00、輸出每百萬 $40.00——在 77 個中排名第 77，是榜上最貴的。Gemini 4 Carbon 進行同樣九次評估只需 $5.48。這是用 4.8 倍的花費換取五個索引分，而這是這項比較中最有用的一項比率。

AA 回報該次執行產出 2.75 億個輸出 token，冗長度為 0.97%。請注意，相較於 Carbon 的 2.69% 與 2.05 億個 token，這個百分比與數量指向相反方向，因此不應引用該百分比作為精簡性主張。

讓這項比較變得可用的比率，是每指數點 $0.41 的基準測試支出，對比 Carbon 的 $0.09。無論你從中得出什麼結論，算術結果都迫使我們做出路由決策，而非單一模型決策：在這個價格下，該模型是一個層級，而不是預設選項。

分數不會告訴你的事

此資料集中沒有網路安全評估，因此這裡沒有任何內容能說明漏洞召回或修補品質——如果你正是因為這個原因而關注前沿模型，這點就相關。這裡也沒有跨多輪工具呼叫的長時間執行代理評估，而這正是 Fable 5.2 實際宣傳的工作負載；終端任務近似它，但並未重現它。

此外，也沒有可靠性衡量。OrcaRouter 上的實際流量顯示，七天內所有上游供應商的非 2xx 比率為 10.8%，而 Carbon 則為 39.7%。基準測試框架會透過重試吸收這個問題；你的應用程式不會，除非你自行建置。

將其解讀為一項決定

如果你的任務類似那九項評估，而且你能以非同步方式執行，那麼 65 次、每次 $26.54 對困難案例來說站得住腳，對簡單案例卻是浪費——依難度分流，並讓大多數使用較便宜的模型。如果你的任務是互動式的，harness 的數字不等於你的數字；該拿來設計的是 gateway 的 p50 8.09 秒，而 effort 等級才是決定你會落在八秒附近、還是四分鐘附近的變數。

就正面對決而言，Claude Fable 5.2 vs Claude Fable 5.1涵蓋的是價格更高的上一代，而Gemini 4 Carbon vs Claude Fable 5.1涵蓋的是跨廠商配對。LLM 模型清單列出了 v5.0.1 同批其餘模型及其 ID 與價格；重用任何圖表前，請重新確認索引版本，因為同一張表中若出現 v4.3 的分數，將使該比較失效。