Kimi K3.1 Pro 基準測試：每一項分數、由誰產出，以及表格何處仍空白

Kimi K3.1 Pro 發布中最有用的數字，並不在 Moonshot 自家的圖表上。Artificial Analysis 自行執行評測，而非引用廠商提供的表格；它在自家的 Intelligence Index 上測得 Kimi K3.1 Pro 為 55 分，在同級 215 個模型中排名第四，比得分 53 的 GPT-6 Astra 高兩分，比得分 58 的 Claude Opus 5.5 低三分。Moonshot 的發布資料則講述了一個不同且更討喜的故事：在 Terminal-Bench 4.0 上達到 65.7%，領先它歸給 Astra 的 58.2% 達 7.5 個百分點。這兩個數字都是真的，也都是誠實產生的，但對於誰領先卻看法不一。在你把工作負載遷移到這個模型之前，這種分歧正是值得弄懂的地方。

以下是 Kimi K3.1 Pro 所有已公布的數據，每一列都附上來源與設定，並在表格空白處加註說明。本部落格對 Anthropic 與 OpenAI 的模型也採用同樣的處理方式，原因相同：基準測試表既是對模型的宣稱，也同樣是對測試框架的宣稱。

首先，獨立編號

Artificial Analysis 在其指數版本 4.3.2 上評估了該模型，該版本將十項評估整合為單一數字。對買家而言，真正重要的四個數字如下：

• 智慧指數 — 55，在 215 個模型中排名第 4。作為參考，同級別的中位數為 27；而在同一版本的指數上，GPT-6 Astra (Max) 得分為 53，Claude Opus 5.5 則得分為 58。

• 每項任務成本 — 在 Intelligence Index 任務上每項 $2.11，於 113 個模型中成本排名第 85。GPT-6 Astra 的同類數據為 $3.26。這個數字把每 token 價格換算成工作負載成本，而該模型偏低的 token 價格有一部分被其冗長度抵銷掉了。

• 冗長程度——索引執行期間產生了 1.5 億個輸出 token，而中位數為 8,700 萬個。評估方稱此模型「非常冗長」，而這一點直接攸關成本：依照此模型自身的費率表，輸出正是每百萬 token 要價 10 美元的那條昂貴項目。

• 速度 — 在評測者的供應商上，每秒輸出 73.5 個 token，低於 82 的平均值。在我們自己的路由上，首 token 時間中位數為 7.15 秒，而這個數字決定了模型在互動式編碼工作階段中的手感。

那個頁面上有一個標記值得提出來：Artificial Analysis 將 Kimi K3.1 Pro 列為專有模型，因為截至 10 月 24 日，權重雖已承諾釋出但尚未公布。如果 Moonshot 守住所定的日期，這項分類應會在 11 月 4 日前改變。

供應商表格，逐列呈現，並附上設定。

Moonshot 隨發布一併公布了一份涵蓋廣泛的自家評測表，並在多處將 Kimi K3.1 Pro 與 Claude Opus 5.5、GPT-6 Astra 放在同一列比較。以下每個數字除非該列另有說明，否則皆為廠商自行報告。

• Terminal-Bench 4.0 — Kimi K3.1 Pro 為 65.7%，對比 Claude Opus 5.5 的 66.4% 與 GPT-6 Astra 的 58.2%。這是頭條焦點。這也是附註最多的一列：Anthropic 的 66.4% 是在 xhigh 努力等級下產生，比其預設高一級；Kimi 自身的執行則是在模型預設的 max 下。這兩個數字來自不同的測試框架。

• Kimi Code Bench 3.0，長時程 — 61.2%，相較 Kimi K3 的 55.95%。這是本次發布中最乾淨的前代比較，也是最具廠商控制色彩的一項：該基準測試與測試框架皆屬於 Moonshot。

• BenchCAD 搭配工具時——Kimi K3.1 Pro 為 92.7%，相比之下 Claude Opus 5.5 為 96.2%，GPT-6 Astra 為 95.9%。不搭配工具時為 72.8%，Opus 為 73.0%；Astra 未公布無工具數據。這是挑戰者明顯落敗的一項，而它正位於本次發表自身 3D 創作主打的中段。

• Kimi Hallu Bench Hard — 使用工具時，主張層級的幻覺率為 8.3%，不使用工具時為 5.4%。在同一基準測試上，GPT-6 Astra 使用工具時表現更好（5.5 對 8.3），不使用工具時也更好（4.2 對 5.4）；Claude Opus 5.5 在兩者上都較差（15.0 與 6.8）。Moonshot 也報告，該比率已從 Kimi K3 的 23.4% 下降，且含有至少一個事實錯誤的回應，現在是前代比率的 42.4%。

• 財務與商業評估（內部）——Financial Modeling 57.6 對 K3 的 50.4，Financial Research 70.4 對 58.8，Business Operation 37 對 8.9。最後一項是在舊模型幾乎無法運作的任務上提升了四倍。請將這些幅度視為方向性參考；這些是 Moonshot 自家的測試套件。

• OfficeQA Pro v2 — 64.4，Moonshot 稱之為業界頂尖。該列未出現第二家廠商的數字。

• xdev-bench-hard、pass@3——已發布模型為 81.0%，未採用公司網路風險降低措施訓練的檢查點為 90.5%，Kimi K3 則為 33.3%。這 9.5 個百分點的差距，正是 Moonshot 所說為了將攻擊性網路能力維持在門檻以下而付出的代價。

表格仍為空白的地方

有三個缺口值得指出，因為這次發布的報導大多跳過了它們。

第一點在 Moonshot 自家的 API 文件中。發表當天，Kimi K3.1 Pro 快速入門頁面仍帶著字面上的預留位置字串——「[xx.x%]」——那些本應顯示 Terminal-Bench 4.0、Terminal-Bench-Science 0.1 與內部程式設計分數的位置，而行銷貼文則已載有最終數字。這是文件流程比文案更早發布，並非捏造，但這是個理由，讓人應該從部落格頁面而非文件讀取這些數字。

第二個是 Terminal-Bench-Science 0.1，Anthropic 公佈 Claude Opus 5.5 為 58.7%，而 Moonshot 的資料只說 Kimi K3.1 Pro「高於 K3」，沒有給出數字。比較的兩邊都沒有數字的一列，算不上是一列。

第三個是 SWE-bench。這是多數團隊在談論 coding agents 時仍會引用的基準測試；發布貼文在腳註中提及 DeepSWE v1.1 與 SWE-Marathon v1.1，卻未公布分數。無論原因為何，最受詢問的數字就是缺了。

如何讀 65.7

有兩件事比模型本身更能左右 Terminal-Bench 分數：模型外圍的支架，以及推理強度設定。Anthropic 自家的 Opus 5.5 表格顯示，同一個模型內部就同時體現了這兩種效應——CursorBench 4.0 從 xhigh 強度下的 57.8% 降到 medium 的 52.5%，而 FrontierCode 在同樣這兩個設定之間只差 0.2 個百分點。Kimi K3.1 Pro 有三個設定，且預設採用最貴的那一個，因此廠商公布的跑分若未註明推理強度，很可能就是最大強度的那一次，無論它有沒有明講。

這就是為什麼獨立指數與廠商表格對這三款模型的排名不同。在 Moonshot 的 Terminal-Bench 項目中，Kimi 以 7.5 分領先 Astra。在 Artificial Analysis 的十項評估指數中，Kimi 領先 Astra 2 分，落後 Opus 3 分。這兩種排序都沒有錯；它們以不同的測試框架回答不同的問題，而唯一站得住腳的總結是：這三款模型在一般能力上彼此僅相差幾分，而最便宜與最貴之間的價格相差五倍。

該如何處理這些數字？

對於輸出量佔主導的工作負載——長時間的程式碼生成、文件起草、寫入遠多於讀取的代理迴圈——該以冗長度數字作為規劃依據。每次索引執行達 1.5 億個 token，而 Astra 為 6,000 萬個，Kimi K3.1 Pro 為一項任務產生的輸出量約為 2.5 倍，即使輸出價格只有五分之一，仍會大幅縮小成本優勢。每項任務 2.11 美元的數字已將此納入考量，因此它比費率表更適合做為規劃數字。

對於成敗取決於一分準確度的工作負載而言，在獨立指數上與 Claude Opus 5.5 之間三分之差才是關鍵數字，任何廠商提供的表格都不該說服你忽略這點。

Kimi K3.1 Pro 可透過 OrcaRouter 呼叫，每百萬輸入權杖收費 2.00 美元，每百萬輸出權杖收費 10.00 美元；上下文長度為 1,048,576 個權杖，輸出上限為 943,718 個權杖，並支援三種端點格式：Chat Completions、Responses 與 Messages，且與你技術堆疊其餘部分使用同一把金鑰。你支付的價格就是廠商定價，沒有額外加價，因此上面的計算就是你實際得到的計算。本頁唯一無法提供的是你自己的基準測試：在選定預設值之前，請先以低、高與最高推理強度執行一段真實流量樣本，因為這個設定對成本的影響比模型選擇更大。