一張生成的標題卡,標題為「Karpo Decision 31B vs Microsoft-Decision-1」,並寫著「一個有排行榜分數,卻沒有價格。另一個有 Azure 價目表,卻沒有公布的分數。」下方有兩張卡:「Karpo Decision 31B」列出「73.86 完整分數」、「未公布價格」和「Apache-2.0 權重」;以及「Microsoft-Decision-1」列出「在 Artificial Analysis 上為 62.07」、「僅提供 Azure API」和「沒有基準測試表」。
Guides & Insights

Karpo Decision 31B 對比 Microsoft-Decision-1:一個有價格,另一個有評分

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把Karpo Decision 31B與Microsoft-Decision-1並列,你首先會注意到的是,兩家公司都沒有提供你在兩者之間做選擇時所需的東西。Karpo Decision 31B 是 MachinePulse 於 2026 年 11 月 5 日推上 Hugging Face、卻沒有發布貼文的 313 億參數 Gemma 4 微調模型,它有排行榜分數,卻沒有價格。Microsoft-Decision-1 自 2026 年 10 月 8 日起在 Microsoft Foundry 上提供,有價格、有 Azure 合約、有負責任 AI 套件,卻完全沒有公布基準測試表。一個可衡量卻無法販售。另一個可販售,且依其供應商自己的選擇,未被衡量。

那個反轉就是整個比較的核心,而值得克制的是用算術把它化解掉的衝動。Karpo 所帶的 73.86 與 Artificial Analysis 指派給 Microsoft-Decision-1 的 62.07,並不是同一件事的兩種讀數。它們來自不同的評測榜單、不同的任務組合、不同的評分公式,以及對決策模型用途的不同想像。有用的問題不是哪個數字比較大,而是這兩個缺口——缺失的價格或缺失的分數——你的部署實際上能吸收哪一個。

微軟究竟在賣什麼

Microsoft-Decision-1 是一個經後訓練的 Qwen3.5-9B,會以各選項上的分佈作答,而不是以散文作答。其契約範圍很窄:是/否、選擇題、評分量表、分類集合或評分規準,處理最多 32,768 個 token 的文字。不支援圖像、音訊,沒有解釋欄位,也不會生成 token。Microsoft 明確表示,它不適用於開放式問題、翻譯或摘要,並建議不要將其作為信貸、就業、住房、保險、教育或醫療保健相關決策的唯一依據。

它確實帶來的是開放式檢查點無法提供的那一部分:Direct from Azure 產品組合中的 Foundry 部署、無伺服器或統一端點、標準 SKU、Azure 驗證、單一帳單、刻意關閉批次推論,以及沒有權重下載或微調途徑。對銀行或醫院集團而言,最後這組事實往往比排行榜上的二十分還更有價值,因為這正是平台團隊可以核准的模型,與平台團隊必須為其建置推論服務堆疊的模型之間的差別。

價格確實存在,但很難直接報價。模型頁面並未列出每 token 的費率;而是連到 Azure 的定價頁面。Artificial Analysis 為其追蹤到的是:以輸入費率計,每百萬個任務 143 美元;相較之下,Google 的 Gemini Decision 1 為每百萬個任務 345 美元。Karpo 沒有可比較的數字,因為 Karpo 完全沒有任何價目表——沒有代管服務、沒有主控台、沒有試用方案,也沒有公開的每 GPU 成本。

董事會衡量了什麼,又沒有衡量什麼

A generated two-panel diagram titled 'Two numbers, two instruments'. The left panel is headed 'Karpo Decision 31B — Decision Index 0.4.1' and lists 'Full score 73.86 — private tests, board-computed', 'Same-skills 70.94', 'New-domains 61.5' and 'Public index 75.05 — vendor run, all 140,178 requests, 11 refused'. The right panel is headed 'Microsoft-Decision-1 — Artificial Analysis Decision Index v2.1' and lists 'Composite 62.07', 'When2Call 88.0', 'AA-Paperclip 51.8 — 20.9% document pass' and 'HLE-MultiChoice 39.4 — 8.6% raw'. The footer reads 'The two panels are different instruments and are not subtractable.'

Karpo 的分數是社群分數。Decision Index 這個追蹤 TypeSafe 的 Jev 復現結果的開放排行榜,在 0.4.1 版中把它列為 73.86 Full——在該排行榜公開匯出資料的 307 筆資料中並列第一,與 GLiDE 27B 的 73.37 並列,因為排行榜會把與領先者差距在 0.9 分以內的任何結果歸為同一組。那個 Full 分數在重要意義上屬於第三方:排行榜維護者跑了廠商從未看過的私人測試,大致拆分為 60% 同類技能與 40% 新領域。Karpo 的拆分得分在熟悉技能上是 70.94,在不熟悉技能上是 61.5,這對一個針對已知測試套件嚴格調校過的模型來說是常見型態。

模型卡上的 75.05 完全是另一回事,而模型卡對此也很坦誠:那是 MachinePulse 自行以官方評分套件跑出的結果,140,178 筆已評分請求中有 11 筆因超出視窗而被拒;在套件重新評分結果與其聲稱值相同後,獲董事會採納。公開且可重現,但仍屬第一方。董事會自己的資料列確認了這項採納,並指出與提交資料列的私測一致率在 827 列中為 100%。

Microsoft-Decision-1 完全沒有這些。它的目錄頁有一個「基準測試」分頁,裡面只有一段方法論說明,沒有任何數據:公開與社群決策基準、留出的內部資料集、準確度與校準誤差、選項順序經過變換、套用配對統計檢定。Microsoft 表示該模型的表現「與領先的決策模型相當,並優於以相同方法論評估的其他開放決策模型」,然後拒絕展示評估結果。如今對它的每一項效能宣稱,都是廠商自行報告且未經重現。

唯一對它進行評分的工具是 Artificial Analysis,採用 Decision Index v2.1;其各組成部分的資訊量比總分更有意義。Microsoft-Decision-1 在 When2Call 上得分 88.0,接近領先者;在 EvalSafe-O*NET 上得分 86.8。它在 AA-Paperclip 上得分 51.8,全有或全無的文件通過率為 20.9%;在 AA-Omniscience-Decision 上得分 54.9,非幻覺率為 21.7%;在 HLE-MultiChoice 上得分 39.4,原始準確率為 8.6%。這個模式顯示出它是一個稱職的工作場所判斷評分器,但知識行為偏弱;而拒答數字才是值得深思的一項:一個對 78% 的知識問題拒絕作答的模型,是在以有用性為代價來保護其校準。

請求的形態,並排對照

A generated two-column comparison titled 'The request shapes, side by side'. The Karpo Decision 31B column reads '31.3B bf16 plus fp32 readout — about 62.5 GB', 'text, JSON and images', '32,768 tokens, split by question, refuses overflow', 'choice up to 255 options, noul, score', '94 ms median per request' and 'Apache-2.0 weights'. The Microsoft-Decision-1 column reads '9B dense, API only, no weights', 'text only', '32,768 tokens, no way to raise it', 'yes/no, multiple choice, rating, classification, rubric', '274 ms per task' and 'no published rate on the model card'. A footer line reads 'Latency figures are not the same measurement: per request for one, per task over a document set for the other.'

• 參數 — Karpo 31.3B 以 bf16 精度運行,外加一個 255 × 5,376 fp32 讀出層,磁碟上約佔 62.5 GB;Microsoft-Decision-1 是 9B 稠密基礎模型,僅以 API 形式提供。

• 輸入 — Karpo 接受文字、JSON 與圖片,並將螢幕截圖透過 state.viewport_screenshot 傳入;Microsoft-Decision-1 僅接受文字,並序列化為 32,768 個 token。

• 上下文 — 兩者皆為 32,768 個 token,但在失敗模式上有重要差異:Karpo 會依問題拆分長請求,並拒絕任何仍無法容納的內容;而 Microsoft 的上限則是輸入加上選項集,且無法調高。

• 題型 — Karpo 選擇題最多 255 個選項,noul 用於是非題,score 用於有序等級;Microsoft 的是非題、選擇題、評分、分類與評分規準,並於選項組內支援如「無法判斷」的棄答選項。

• 批次處理 — Karpo 會將一個狀態與許多問題編碼進單一序列,因此針對同一張發票的一百個問題,成本大約只需對該發票進行一次處理;Microsoft 公布的合約則是每次呼叫處理一個狀態及其問題集,並透過分組來達成廣度。

• 延遲 — 在追蹤器的參考硬體上,Karpo 每次請求的中位數為 94 毫秒,使用單一 GPU、一次處理一個請求;依 AA 的測量,Microsoft-Decision-1 每項任務為 274 毫秒,這是以一組文件為單位的每項任務數值,而非每次請求的數值。

• 授權與存取 —— Karpo 提供 Apache-2.0 授權的權重,並同時附上 Gemma 4 的條款;Microsoft-Decision-1 則完全不提供權重,僅以 API 形式依 Azure 條款提供。

• 價格 — Karpo 沒有公開費率;在 AA 對 Microsoft-Decision-1 的追蹤資料中,每百萬項任務為 143 美元,而每 token 的輸入費率是列在 Azure 定價頁面上,而非模型卡上。

校準是雙方都有話可說的軸線

對於一個整體輸出就是機率的模型而言,決定是否部署的數字不是準確率,而是這個機率是否名副其實。Karpo 的模型卡回報校準誤差為 4.8 個百分點:在 34,411 筆已評分回應中,其平均信心為 87.96%,而準確率為 83.19%;在最高信心區間——占所有回應的 68.5%——它宣稱 98.7%,但實際有 95.7% 的時候是正確的。這是一個可以設定閾值的模型,且在高信心端有已知的漂移。

Microsoft 並未公布期望校準誤差、Brier 分數或可靠性曲線。AA 的元件分數所暗示的,是一個信心運用得相當保守的模型:其在 Omniscience 與 HLE 上偏高的非幻覺率,意味著它在不確定時會選擇棄答而非作答;這正是護欄想要、而分類器不要的行為。其 0.8 在 Microsoft 自家評估之外是否仍代表 0.8,仍屬未知;Microsoft 的文件也以自己的方式表明了這點,告訴整合者要在具代表性的資料上驗證,並依其錯誤成本來設定閾值。

這種不對稱有一個實際後果。使用 Karpo,你會繼承一條已發表的校準曲線,並可在執行任何作業之前先設定起始閾值。使用 Microsoft-Decision-1,你繼承的是一套方法論與一項承諾,而你的前兩週會是一個量測專案。兩者都不構成淘汰理由;它們只是不同類型的工作。

沒有任何人的標題提及的那個版本

Microsoft-Decision-1 已不再是其自身家族中的現行模型。Microsoft-Decision-1.1 於 2026 年 11 月 17 日在 Ignite 登場,基於 Gemma 4 26B A4B 混合專家架構基礎模型,價格相同、32K 上限也相同,而 Artificial Analysis 給它的評分為 67.78——比版本 1 高 5.7 分,每項任務耗時 123 毫秒而非 274 毫秒,且在 Omniscience 上的非幻覺率從 21.7% 升至 49.4%。它在評分器理應保持穩定的那些方面也變得更差:在 HLE-MultiChoice 上的原始準確率為 6.29%,對比 8.64%;而在 AA-Symmetry 題目家族中有一致作答的比例為 47.5%,對比 51.7%。

因此,任何在十一月下旬把 Karpo 与「Microsoft 的决策模型」进行比较的人,实际上都是在把它与一个已被取代的版本作比较。这并不会让这项对比失去意义——版本 1 仍然是许多 Foundry 部署在规划规模时所依据的基准——但这确实意味着,在 Microsoft 一方需要超越的数字是 67.78,而二阶问题则是:一个以知识准确性换取弃权纪律的模型,究竟是否从一开始就适合你的管线。

每一方無法給你什麼

Karpo 無法給您一份合約。沒有端點、沒有價目表、沒有支援管道、沒有 SLA,也沒有模型卡和 README 之外的廠商聲明。如果您的組織無法在自己的硬體上執行 62.5 GB 的檢查點,那麼無論分數如何,比較都到此為止。將它當作一般聊天模型載入,也無法重現它的回答:分支注意力和 255 代碼讀出兩者都是必需的,而 Python 套件以及 POST /v1/systemone 伺服器之所以存在,正是因為通用推論堆疊無法勝任。

Microsoft-Decision-1 無法給你一個你未經信任就接受的數字,無法用你自己的決策資料進行微調,無法讀取螢幕截圖,也無法離線運行。你也無法用與 Karpo 相同的工具對它進行基準測試,因為 Decision Index 是公開可重現項目的登記冊,而封閉 API 模型沒有可供重現的權重。這兩個模型將一直彼此錯過:某個榜單永遠不會列出 Microsoft 的評分器,而 Artificial Analysis 也沒有 Karpo 的條目。

還有第三種選擇,比上述任一欄都更有用。如果你真正需要的是緊鄰生成式管線的決策層,那麼生成器是你已經可以標準化的那一半。OrcaRouter 並不託管 Karpo Decision 31B 或 Microsoft-Decision-1,而這兩者都不該放在 chat-completions 路由後面。它實際託管的是這場比較不斷圍繞的兩個模型:Gemma 4 31B,也就是 Karpo 微調所依據的基礎模型,以及 TypeSafe 的 Jev 1.14,也就是開放復現排行榜設立所要追趕的模型。兩者都位於同一把 OpenAI 相容金鑰之後,與 200+ 款其他模型並列,依供應商牌價原樣提供、不加價,因此供應商降價當天就會反映在我們這邊,而 自動容錯移轉能讓評分迴圈持續運作,即使單一供應商不穩。

該選哪一個

A generated decision card titled 'Which one to reach for'. The left card is headed 'Microsoft-Decision-1.1' with the subtitle 'when the estate is Azure' and the rows 'approval trail, one invoice', 'text that fits in 32K', 'budget a calibration study first' and '67.78 on Artificial Analysis'. The right card is headed 'Karpo Decision 31B' with the subtitle 'when you own the hardware' and the rows 'screenshots and JSON inputs', 'Apache-2.0 weights', 'published 4.8-point calibration error' and '73.86 Full score, private tests'. A wide strip underneath reads 'Do not choose on 73.86 versus 62.07. Different boards, different suites, no shared grading.'

採用 Microsoft-Decision-1,或更明智地採用 Microsoft-Decision-1.1,前提是決策層必須位於 Azure 環境內、你更需要核准軌跡而非排行榜名次,且你的輸入是能容納於 32K 的文字。請為校準研究編列預算,因為 Microsoft 並未提供你這類研究;並依你的錯誤成本、而非依廠商對這些錯誤的描述,來設定你的棄權閾值。

若你有 GPU、若工作內容包含截圖或 JSON 狀態、若 Apache-2.0 對你打算出貨的產品很重要,且若第三方私測分數加上已公布的校準曲線是你團隊所接受的證據,就採用 Karpo Decision 31B。但交換條件是:你現在就是供應商本身:沒有支援、沒有 SLA、沒有可據以編列預算的價格,而且這是一個才兩週大、其儲存庫在 11 月 16 日還在被編輯的模型。

不要僅憑 73.86 對 62.07 就選擇任一方。這些數字是由從未評閱同一份試卷的組織所產生,且各自使用的測試套件在私有測試占比與評分公式上都不同;誠實的解讀是,兩個模型都具可信度,且彼此都未被證明優於對方。能定奪的測試——Karpo 出現在同時也評分 Microsoft 模型的獨立評測榜上,或 Microsoft 公布其方法論章節所述的結果表——尚未發生。在它發生之前,決策取決於採購、硬體與輸入模態,而這本來就該是決策依據。