Kimi K3.1 Pro 將自身的網路能力削減了 9.5 分。另外兩家實驗室則選擇了不同的做法

Moonshot 在 10 月 24 日做了一件實驗室通常不會做的事：它發布了一個比原本可發布的模型更弱的模型，並公布了確切代價。在 xdev-bench-hard 的 pass@3 上，一個未採用該公司網路風險降低措施訓練的檢查點得分為 90.5%。你可以呼叫的 Kimi K3.1 Pro 得分為 81.0%。這 9.5 分的差距，是從中期訓練與強化學習中移除網路相關資料的代價，也是今年三家前沿實驗室中，對於願意為能力交換什麼所作最清楚的表態。

每個大型實驗室現在都有資安政策。它們的差異在於機制而非意圖，而機制決定你呼叫 API 時實際得到什麼。Moonshot 從權重中減去該能力。Anthropic 將請求重新導向到另一個模型。OpenAI 則以風險評級作為存取門檻。對資安團隊——或任何工作負載會接觸到攻擊性工具的人——這三種做法會產生三種不同類型的意外。

Moonshot 移除了什麼，又保留了什麼

這份發布資料異常具體。網路相關資料已從中期訓練與強化學習階段中移除，而一般程式設計任務則予以保留。該公司表明的原則是，不釋出會拓展網路能力絕對前沿的開放權重；並形容已出貨模型的攻擊能力「依設計低於我們流程所能產出的水準」，且落後於前沿專有模型至少三個月前就已公開提供的水準。

那項政策中有兩個細節，比頭條數字更為重要。

第一點是，這項降幅是相對於 Moonshot 自家的流程，而非相對於市場。一個上限設在 81.0% 的模型，仍以大幅差距高於 Kimi K3 的 33.3%，也高於 GLM-5.3 在同一基準上的 57.1%。這個上限只是把前沿模型往下移，並未把它移出這個類別。

第二點是，Moonshot 表示將「逐步提高」開放權重中可用的網路能力。這是一項時程安排，而非固定界線：假設以今日上限為準的評估，到了下一次發布時可能不再成立；而自行託管的副本則會繼承其發布日期當時存在的任何上限。

基準測試實際要求的是什麼

Moonshot 的文件對這項評估的描述足夠詳細，足以讓人判斷其優劣。xdev-bench-hard 是從 Linux 核心、Node.js、JavaScriptCore、Exim 與 VirGL 等軟體近期揭露的漏洞建構而成，並啟用了緩解措施。每項任務會提供有漏洞的原始碼、簡短的錯誤提示以及編譯後的執行檔；代理必須開發出漏洞利用程式，在另一個沙箱中達成任意程式碼執行，並取出一個祕密字串，以便自動驗證結果。計分方式是在隨機抽取的子集上計算 pass@3，沒有硬性逾時，也沒有輸出權杖上限。

那是一項要求嚴苛、範圍狹窄的測試：它衡量的是模型能否把已知有漏洞的二進位檔變成可運作的漏洞利用程式，而不是能否撰寫掃描器或對警示做初步判讀。因此，未採取緩解措施的檢查點與正式發布模型之間的{{1}}9.5 分差距{{/1}}，是對真實能力差異的真實測量——也提醒我們，這個數字幾乎無法反映大多數團隊實際使用該模型所做的防禦工作。

Anthropic 的替代方案：保留能力，改變答案

Anthropic 在 Claude Opus 5.5 上的做法是伺服器端路由。其文件指出，多數網路安全相關任務可能會被重新路由至 Claude Opus 4.8，而生物學與前沿模型開發工作則可能回退至 Claude Opus 5。呼叫端不會收到錯誤；回應只是來自另一個模型。最高能力層級 Claude Mythos 5.1 僅開放給透過 Cyber Verification Program 等計畫驗證的組織。

這項取捨與 Moonshot 的做法相反。前沿能力確實存在並有提供服務——提供給已驗證的客戶，且以不同的模型 ID 呈現——而未驗證的呼叫者則會默默收到較舊模型的回答。對已驗證組織內部的安全團隊而言，這是三者中能力最強的選項。對任何不在這類組織內的人來說，這是一個在他們最想要前沿能力的任務上，卻悄悄用其他東西回答的模型。

OpenAI 的做法：在推出前先決定

GPT-6 Astra 是首個在公司《準備框架》（Preparedness Framework）下被評為「關鍵級」（critical）的 OpenAI 模型，因為它能獨立找出新型態的安全漏洞。推出過程是分階段進行的——先是早期存取合作夥伴，接著是訂閱層級，最後才是 API——而最高風險的能力是依評級加以限制，而非透過提示過濾。存取權限是在帳戶層級決定的，在任何請求送出之前就已確定。

這比無聲重新導向更俐落，也比另外兩種做法都慢。這也意味著「我能否將這個模型用於我的安全工作」這個問題的答案可以事先得知，這對必須撰寫採購文件的買家來說是有價值的。

這三種策略對評估有什麼作用

如果你在安全任務上對模型進行基準測試，這些機制會以不同方式扭曲測量，而這些扭曲不會相互抵消。

• Moonshot 的上限就在權重裡。在 API 上執行的基準測試，與在自行託管副本上執行的基準測試，應該會一致；而兩者量測的都是同一個刻意在該類別表現較差的模型。這個數字誠實且可重現。

• Anthropic 的路由機制位於服務堆疊內部。同一個請求可能因為是否觸發防護機制而產生不同品質，而供應商公布的基準數字未必反映你的帳號實際收到的路由路徑。我們自己對 Opus 5.5 基準表的報導，則從相反方向指出了同一個問題：獨立機構 Artificial Analysis 測出的 Terminal-Bench 數字為 59.6%，而 Anthropic 為 66.4%，且該配置包含伺服器端的防護路由。

OpenAI 的權限管制在模型之外。一旦取得存取權，模型的行為就與基準測試一致；若沒有權限，你根本無法進行比較。

安全團隊應從中學到什麼

三個實用結論，依確信程度排序。

首先，「網路能力」不再是能從模型卡上讀出的屬性。它取決於你收到的權重、你的帳號所觸發的路由，以及你所屬的驗證計畫。任何未說明這三者的評估，測量的都是別的東西。

其次，如果你的工作是防禦性的——分流、修補程式草擬、偵測工程——能力上限的代價比聽起來要小。這 9.5 分集中在對抗性、與漏洞利用相鄰的行為上；模型的一般程式編寫與工具使用能力，正是防禦性工作最需要的，也是後訓練階段投入改善的重點。Moonshot 報告指出，Kimi Code Bench 3.0 的長時程表現在同一次發布中從 55.95% 升至 61.2%。

第三，這些上限會變動。Moonshot 表示將調高自身的天花板；Anthropic 的驗證計畫正在擴大；OpenAI 的評級則因模型而異。一項在十月指引部署決策的政策，到了隔年一月可能已經過時；這正是為什麼每次模型升級時都應重新閱讀存取文件，而不是把它當成一次性的關卡。

Kimi K3.1 Pro 可透過 OrcaRouter 呼叫，每百萬輸入 token 收費 $2.00，每百萬輸出 token 收費 $10.00，最終狀態與其他所有地方相同：上限存在於權重中，而非某個特定供應商如何處理你的請求。如果你的工作負載取決於知道實際上是哪個模型回答的，那是一項功能。如果你的工作負載取決於前沿的攻擊能力上限，市場上沒有任何 API 能在沒有驗證計畫的情況下提供給你。