Obsidian 3：隱藏的基準測試列、3.6× 帳單，以及 Fable 5.5 的疑問

本週 Cognition 新的程式設計排行榜上，最耐人尋味的數字，來自一個沒有人能指名的模型。FrontierCode 2.0 背後的資料檔案中出現了一筆標示為 Obsidian 3 的隱藏項目，其高強度模式得分為 46.77%，高於 Cognition 自家表格中排在首位、得分 45.5% 的 Claude Opus 5.5。這一列是在 claude-code 測試框架中跑出的，而在該排行榜上，只有 Anthropic 的模型會使用這個框架；因此猜測立刻分成兩派：一派認為是 Anthropic 尚未推出的旗艦 Claude Fable 5.5，另一派則認為是某位發文者稱為「Opus 5.6」的中期更新版。這些說法都未獲證實。Anthropic 未置一詞，也沒有任何模型卡或 API ID 存在；本文中每一個 Obsidian 3 的數字，都是來自 X 貼文未經證實的說法，而非我們能重現的結果。

能查核的範圍更窄，也更有用：外洩所指的公開檔案、歸因於隱藏資料列的 effort 曲線，以及「3.6× 成本」說法背後的算術。把這些放在一起，故事就不再是「Anthropic 的下一代模型勝過它目前的模型」。它會變成更具體的東西——一個在高 effort 時達到高峰、隨後卻倒退的資料列，一個只有在兩側維持不同 effort 等級時才成立的比較，以及一個根本不含該資料列的資料檔案。

外洩了什麼，以及何時外洩

Cognition 於 10 月 27 日發布 FrontierCode 2.0。這個基準測試刻意設計得難以取巧：132 項任務由超過 20 位維護者依據真實開源儲存庫打造，每項約需 40 小時，評分標準是補丁是否真能合併，而非是否通過測試。每次執行都重複三次，任務為私有，且只要有單一阻斷性條件未通過就得零分。Cognition 自家的表格將 Claude Opus 5.5 列為第一，在最大投入下達 45.5%，GPT-6 Astra 以 42.8% 居次，Claude Sonnet 5.5 以 41.0% 第三，且沒有任何模型超過 50%。Artificial Analysis 將該基準納入其新的 Intelligence Index v5，權重為 15%，並獨立回報相同的領先者：Claude Opus 5.5 四捨五入後為 46%。

當晚 10 月 27 日 21:10 UTC，@tensorson 發文指出，Cognition 的資料檔中含有一個表格未顯示的模型：「Obsidian 3」，得分 46.8%，「高於第 1 名 Opus 5.5（45.5%）」。該貼文提到 claude-code 測試框架，並猜測是 Fable 5.5。十二小時後，linux.do 上一篇討論串列出該資料列五個獨立的 effort 分數——low 39.19%、medium 39.84%、high 46.77%、xHigh 45.90%、max 45.53%——並附上資料副本。10 月 28 日 09:12 UTC，@teortaxesTex 引用轉發並附上成本數字：Opus 5.5 在 high 下得分 34.5%，每次 rollout 為 $2.42；Opus 5.5 在 max 下得分 45.5%，為 $12.82；而 Obsidian 3 在 high 下得分 46.7%，「據稱只要 $8.62」，即使 max 花到 $47 也沒有再提升。該貼文問道：「FrontierCode 已經壞掉了嗎？」「還是 Fable 5.5 是個失敗之作？」16:18 UTC，@CodexResets1 轉發了相同數字，並詢問該模型究竟是 Fable 5.5 還是 Opus 5.6。

該檔案的 Last-Modified 標頭顯示為 10 月 28 日 17:44 UTC。我們隔天下載的版本大小為 32,055 位元組，列出 24 個模型，且其結構中任何地方都沒有名為 Obsidian 3 的資料列。加上快取破壞參數的請求回傳了相同的檔案雜湊值。官方排行榜表格從未顯示該列，BenchLM 的 20 列鏡像版本也未顯示它，而 Anthropic 尚未發布任何內容。

一行、五種投入程度、三種不同的故事

這項比較中已公開的那一半是可靠的，因為它直接來自 Cognition 的可下載資料。Claude Opus 5.5 的可合併性調整後分數在每個階段都上升：低檔為 14.7%、中檔為 30.1%、高檔為 34.5%、xHigh 為 43.4%、max 為 45.5%。其平均任務成本從高檔的 $2.42 上升到 max 的 $12.82。這正是當你付費讓它思考更久、它就會表現得更好的模型曲線。

所聲稱的 Obsidian 3 曲線並非如此表現：

• 低努力模式——聲稱達 39.19%，已高於 Claude Opus 5.5 高努力模式的 34.5%。

• 中等努力 — 宣稱 39.84%，提升了 0.65 分。

• 高投入 — 聲稱達 46.77%，為最高峰，每項任務聲稱 8.62 美元。

• xHigh 努力 — 宣稱 45.90%，下降 0.87 個百分點。

• 最大努力 — 據稱達 45.53%，再下降 0.37，據稱成本接近 47 美元。

五種努力程度設定，而最佳分數排在第三。花費約 5.5 倍的高努力預算來達到最高設定，換得的分數卻低 1.24 分。Cognition 本身也警告這種情況可能發生：較高的推理設定有時會降低分數，因為模型會寫更多程式碼、動用更多檔案，而該基準測試自身的範例中，就包含一次在修復競爭條件時刪除了某個公開 API 類別的最大努力執行。但分數下降的幅度才是關鍵。一個在最高設定下停滯的模型，遠更常見是早期檢查點或蒸餾產物，而不是完成的旗艦模型。

現在來看這些比較，因為標題完全取決於你選擇的是哪一個：

• 最佳對最佳——Obsidian 3 在 high 設定下的 46.77%，對上 Claude Opus 5.5 在 max 設定下的 45.5%，領先 +1.32 個百分點，成本為 $8.62 對 $12.82，便宜約 33%。照這樣的解讀，隱藏的那一列在兩個軸上都勝出。

• 高對高——46.77% 對 34.5% 是 +12.24 個百分點，價格為 $8.62 對 $2.42，即成本的 3.56 倍。就此解讀而言，這是以高昂價格換取大幅品質提升。

• Max 對 max——45.53% 對 45.45% 是 +0.08 個百分點，約 $47 對 $12.82，或 3.67 倍的成本。照這樣解讀，這是以災難性價格換來的平手。

這三項在算術上都成立。這就是為什麼 X 討論串會各說各話：@tensorson 把 high 拿來跟 max 比，並稱之為以 1.3 分勝出；@teortaxesTex 則把 high 跟 high 比，並質疑該基準測試是否有問題。「相同投入下成本為 3.6 倍」這個數字是準確的，「比 Opus 5.5 最佳執行更便宜」也是準確的——它們描述的是不同的執行組合。

在所有這一切之下，還有一個更大的注意事項。Cognition 的資料每次執行會儲存兩個數字：原始正確率和可合併性調整後分數。已公布的 Claude Opus 5.5 的 45.5% 是調整後數字；它在 max 設定下的原始正確率是 49.7%，在 high 設定下則是 37.9%。這項調整讓公開的 Claude 資料列少了三到四個百分點。我們不知道外洩的 Obsidian 3 數字來自哪一欄。如果 46.77% 是原始正確率，其調整後分數會落在約 43%——低於 Claude Opus 5.5——整個「高於第一名」的說法就消失了。這個單一未知數，比大家爭論不休的 1.3 個百分點差距還要大。

為什麼 claude-code 這個標籤就是 Anthropic 的全部理由

測試框架只是輔助支架，並非指紋。FrontierCode 會讓每個模型在代理迴圈中執行，而資料檔會將模型對應到它們各自使用的迴圈：OpenAI 的資料列在 codex 中執行，Google 的在 devin-cli，xAI 的在 grok-build，Meta 的 Muse Wonder 在 muse，Cognition 自家的 SWE 模型在 devin-cli-swe1，而全部六列 Claude 資料則在 claude-code。一列匿名資料出現在 Claude 測試框架中，強烈暗示其背後的模型是為了與 Anthropic 的工具搭配運作而打造。這不能證明它是 Anthropic 打造的。基準測試操作者可以用任何合適的測試框架測試合作夥伴的預發布模型，而實驗室也可以透過保密名稱測試自家模型。

這個名稱本身幾乎說明不了什麼。對照 Anthropic 自家於 10 月 29 日公布的模型總覽，其公開產品陣容是 Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Haiku 5.5。並沒有 Fable 5.5，沒有 Opus 5.6，也沒有名為 Obsidian 的產品。「Obsidian 3」是實驗室內部會使用的那種寶石風格代號，但沒有公開名錄可供查核，而結尾的「3」也不對應 Anthropic 已推出的任何序列。

這樣一來就剩下三種解讀，而證據無法在其中作出取捨：

• Fable 層級的版本。Claude Fable 5.1 是主打高強度推理的 10 美元／50 美元旗艦方案，於 9 月 1 日推出，而 Fable 系列正是目前產品陣容中明顯的缺口。@tensorson 的猜測，以及該貼文的幾則回覆，都指向這個答案，因為其成本結構看起來像高階方案，而非超值方案。

• 一次週期中的 Opus 更新。@teortaxesTex 的先前看法是「Obsidian 3 就是 Opus 5.6」，理由是 Anthropic 過去曾推出推理能力提升甚微的週期中模型。所稱曲線的平坦頂部符合這種說法，但低努力分數——39.19% 對比 Claude Opus 5.5 的 14.7%——看起來像是另一輪訓練，而非小幅更新。

• 一個蒸餾產物或早期檢查點。@teortaxesTex 的另一個假設，也是曲線形狀最支持的假設：在低與中等努力時表現強勁，在高努力時達到峰值，然後在給予更多空間時反而退化。一個已完成的前沿模型不應該每當你增加其預算時就變得更差。

IPO 時機增添了什麼——以及它沒有增添什麼

這串討論的起點，是一個關於時機的問題：為什麼 Fable 還沒在 IPO 前推出？Anthropic 於 10 月 26 日公開提交 S-1，也就是 FrontierCode 2.0 上線的前一天，預計在 Nasdaq 以代號 ANT 掛牌，估計募資 750 億美元。根據 Renaissance Capital，Roadshow 預計在 11 月 9 日當週進行，定價則在 11 月 16 日當週。若下一代旗艦產品在定價前問世，就能為上市提供產品故事；若在定價後才推出，則提供路線圖故事。

但隱藏的基準測試資料列並不是發布訊號。實驗室經常與基準測試營運方一起測試尚未發布的模型，通常處於保密狀態，而營運方的職責就是讓模型保持匿名，直到供應商另行表態。如果 Cognition 測試了 Anthropic 的某個版本，正確的解讀是 Anthropic 仍在持續迭代，而非再過幾天就會發布。唯一的官方資料點仍是 Anthropic 的文件，其中列出四款現行模型，沒有一款是 Obsidian。IPO 解釋了為何人們如此密切關注 Fable 層級。但這並不會讓那一列資料變成真的。

讀者今天實際能做什麼

Obsidian 3 完全無法呼叫、沒有定價，也沒有任何文件說明，所以它本週不會改變任何決策。如果你需要目前可得的最佳可合併性分數，Claude Opus 5.5 已公開發布：每百萬 token 輸入 $4、輸出 $20，上下文視窗 1M token，最大輸出 128K，API ID 為 claude-opus-5-5，於 9 月 22 日發布。如果限制因素在於成本，GPT-6.1 Sol 在同一份排行榜上以每項任務約 $1.03 的成本拿下 39.0%——這比起兩次 Claude 執行都是划算得多的分數／價格比，而這個數字值得你在假設榜首是唯一有用的一列之前先查核一下。

Claude Opus 5.5 可透過 OrcaRouter 以 Anthropic 的牌價、不加價進行路由，並與同一個 API 上超過 200 個其他模型一起提供，具備自動容錯移轉。這對這次外洩實際上所邀請的那項實驗很重要：在你自己的工作負載上，以 high 與 max 設定執行 Claude Opus 5.5，並衡量每個獲接受修補程式的成本。FrontierCode 自己的曲線顯示，最後兩個 effort 等級每項任務多花 $10.40，換取 11 點；你的儲存庫未必會以同樣方式定價。effort 設定與每 token 價格都是 Anthropic 自己的，原樣傳遞，因此這項比較只是參數變更，而不是第二份合約——而如果 Anthropic 調降牌價，該降價當天就會在路由上生效。

什麼會讓 Obsidian 3 成為事實？

• 該列會以可下載的資料檔案回傳，包含模型鍵與全部五個 effort 項目，因此無須螢幕截圖也能讀取這些數字。

• Cognition 會說明是否曾測試發布前的模型，以及是在什麼安排下測試。若基準測試營運商確認有一場受發布禁令約束的測試運行，便可在不指名廠商的情況下釐清其來源。

• Anthropic 發布模型卡、API ID 或文件條目。唯有這類事件，才能讓某項基準測試成績變成實際產品。

• 價格會出現。沒有標價的模型只是基準項目，不是讀者能選擇的選項。

• 由第二位操作者進行測量。Artificial Analysis 以自身不同的外層設定，執行其自家的 FrontierCode 2.0 測試框架；若 Obsidian 中出現該列，那將是佐證，而非重貼同一張截圖。

這一列是收據，不是發佈。它作為收據所記錄的內容，比標題更有意思：一個在低投入時強勁、在高投入時達到巔峰的模型，接著卻花費五倍的預算讓自己變得更差。如果這條曲線屬於 Anthropic 的下一代旗艦，那麼該公司在推出之前，得先解決一個推理規模化的問題。如果它屬於一個早期檢查點，數字會比名字更早變動。無論如何，46.8 都不是該關注的數字。該關注的數字是：這條曲線究竟會不會變成單調的。

常見問題

Obsidian 3 已經發布了嗎？

沒有。名為 Obsidian 3 的模型並未出現在 Anthropic 的文件中，也未出現在 Cognition 已發布的 FrontierCode 2.0 表格中，而我們也沒有找到任何列出它的 API 目錄。唯一的證據是 10 月 27 日和 28 日 X 貼文中報導的一筆隱藏資料列，以及一個重現了五項 effort 分數的論壇討論串。Anthropic 尚未發表評論，而我們在 10 月 29 日下載的公開資料檔案並不包含該資料列。

Obsidian 3 是 Claude Fable 5.5 還是 Claude Opus 5.6？

未知。兩者都是根據 claude-code 測試框架標籤所做的猜測，並非來自任何識別碼。Fable 5.5 符合 Anthropic 產品陣容中 Claude Fable 5.1 上方的那個空缺；Opus 5.6 則符合 Anthropic 會推出低幅度中期更新版本的說法。這兩個名稱都未出現在 Anthropic 的文件中，而其成本結構更符合高階 Fable 等級，而非平價 Opus 等級。

為什麼 Obsidian 3 現在從 FrontierCode 2.0 中消失了？

我們無法確認原因。原始貼文中連結的檔案最後修改時間為 10 月 28 日 17:44 UTC，而我們在 10 月 29 日下載的副本列出 24 個模型，沒有 Obsidian 3 項目。它可能在貼文流傳後被移除，或者公開版本從未包含它。X 貼文和論壇存檔是我們能找到的唯一紀錄，且兩者都不是第一方資料。

3.6× 成本說法站得住腳嗎？

對照 Cognition 公布的 Claude Opus 5.5 成本，這些算術確實成立：$8.62 是 $2.42 高強度執行費用的 3.56 倍；而約 $47 的最高數字，約為 $12.82 最高強度執行費用的 3.67 倍。無法核查的是帳本中 Obsidian 3 那一側，因為其成本數字只存在於 X 貼文，不在任何可下載檔案中。