一張生成的標題卡,標題為「升級版本中有一個數字倒退」,副標題為「Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1」,並有四張標籤晶片,分別寫著「67.78 vs 62.07」、「123 ms vs 274 ms」、「49.4% vs 21.7% 棄權率」和「6.29% vs 8.64% HLE」,還有一行說明文字「相隔六週,同樣的 token 價格」,以及兩個灰色長條區塊,標示為「速度」與「知識」。OrcaRouter 標誌合成於右下角。
Guides & Insights

Microsoft-Decision-1.1 與 Microsoft Decision 1:數字反而倒退的升級

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Microsoft-Decision-1.1 所有已公布的數據都優於 Microsoft-Decision-1,只有一項例外,而這個例外正是有趣之處。在 Artificial Analysis Decision Index v2.1 上,新模型得分 67.78,對比 62.07;每項任務耗時 123 毫秒,速度是 274 毫秒的 2.2 倍;而且拒答表現可靠得多——在 AA-Omniscience-Decision 上的非幻覺率為 49.4%,對比 21.7%。然而,在舊模型答對的題目上,新模型答對的更少:HLE-MultiChoice v1.1 的原始準確率為 6.29%,對比 8.64%;AA-Symmetry 題目中有一致作答的比例為 47.5%,對比 51.7%。Microsoft-Decision-1.1 並非嚴格意義上更優的 Microsoft-Decision-1。它是經過不同校準的版本,而這項取捨的方向正是遷移決策的關鍵所在。

兩個模型相隔六週。Microsoft-Decision-1 於 2026 年 10 月 8 日正式推出,是從 Qwen3.5-9B 後訓練而成的純文字評分器。Microsoft-Decision-1.1 於 2026 年 11 月 17 日在 Ignite 登場,建構於 Gemma 4 26B A4B,這是一個混合專家(mixture-of-experts)基礎模型;微軟形容其活躍參數足以進行判斷,同時又小到足以在 A100、H100/200 與 GB200/300 硬體上提供服務。價格相同。32K 上限相同。三種問題類型相同。骨幹不同、延遲等級不同,且優勢組合也有可量測的差異。

基礎模型的變更即為本次發佈。

Version 1 是一個密集的 90 億參數模型。Version 1.1 則是 260 億參數的混合專家模型,若你按照 Google 在 Gemma 系列中使用 A4B 後綴的方式來理解,每個 token 約有 40 億活躍參數。這不是增量重新訓練;而是不同的架構、不同的系列,以及一套不同的服務特性。Microsoft 的發布文章明確表示,這次替換是基於成本與智能的決策,並搭配一個專為評分而非逐 token 生成而打造的自訂推論引擎。

這次換裝換來的成果,按買家會注意到的先後順序:

• 延遲 — 每項任務從 274.25 ms 降至 123.25 ms,這是對整個索引進行測量所得。在最快的單一元件 When2Call 上,新模型平均為 94 ms,而舊模型為 230 ms。

• 校準 —— 決策分數(即套用 Brier 懲罰後的準確度)在五個決策組成部分上皆全面上升。Omniscience 從 54.89 升至 60.46,HLE 從 39.42 升至 46.11,Paperclip 從 51.82 升至 58.67,EvalSafe 從 86.82 升至 88.85,When2Call 從 87.95 升至 95.08。

• 拒答行為——在 Omniscience 上的非幻覺率增加超過一倍,從 21.74% 到 49.40%。在 HLE 上則從 15.05% 升至 38.36%。對於一個其全部目的就是要被閾值化的模型而言,這是清單上影響最深遠的變更。

• 模態 — 圖像已加入文字與 JSON 之列,成為可接受的輸入。音訊與視訊仍遭拒絕,而模型仍不產生任何說明、任何理由,也不產生任何輸出 token。

• 上下文 — 維持在 32,768 個 token 不變。這裡沒有任何東西有所變動,而這一點值得明白說出來,因為「1.1」會引人假設一切都改善了。

1.1 在哪些方面更糟,以及為何微軟自身的表述已預示了這一點

這些回歸並非隨機發生。它們集中出現在那兩個要求模型「知道某事」而非「決定某事」的元件上。

在 HLE-MultiChoice v1.1 上,原始準確率從 8.64% 降至 6.29%——正確回答難題的比例相對下降了 27%。Decision Score 仍從 39.42 上升至 46.11,因為模型對其給出答案的信心,與那些答案是否正確的匹配程度大幅提高。換句話說,它變得更不擅長猜測,卻更擅長知道自己是在猜。綜合指標獎勵後者,卻幾乎沒注意到前者。

在 AA-Symmetry 上,情況更微妙,也更不理想。Symmetry 衡量的是:同一個問題在改寫後——選項重新排序、標籤對調、是非題改為否定——是否會以相同機率產生相同答案。版本 1 在全通過層級下,有 51.7% 的改寫通過;版本 1.1 則有 47.5% 通過。它的 Symmetry 分數 卻仍從 70.42 提升到 75.72,因為當它真的發生漂移時,現在漂移的幅度較小。完美執行次數更少,失誤幅度也更小。對評分器而言,這是一種站得住腳的形態,但這卻是決策模型本應保證的那一項特性上的退步:措辭不會改變答案。

Microsoft 的主題演講把不能明說的部分大聲說了出來——這些模型「明確尚未針對更難的問題進行調校,例如基礎科學研究和極長時程的代理式工作」,因為針對這些能力調校會提高每一項例行任務的價格。決策 1.1 就是這項政策付諸實行後的樣子。知識基準測試是故意變差的,或者至少是在無人反對的情況下變差。

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

沒有改變的是:價格卡,以及 32K 高牆

兩個版本都列出:Global Standard 每百萬個輸入 token 為 $0.042,US Data Zone 為 $0.046,EU 與 APAC Data Zone 部署則為 $0.05;輸出則不收費,因為沒有輸出。Microsoft 的說法是「以相同成本提供超過兩倍的速度」,而 token 價格正好完全印證這一點。

每項任務的實測成本則略有不同。在該指數上,第 1 版為每百萬項任務 $142.56;第 1.1 版為 $139.64。這是 2% 的改善,不是翻倍。原因是每項任務成本等於 token 價格乘以消耗的輸入量,而新模型並沒有消耗一半的 token——它是在一半的時間內回答。如果你的限制是實際耗時預算,或請求路徑中的路由步驟,那麼這次升級幅度很大且顯而易見。如果你的限制是支出,1.1 不會改變你的帳單,而微軟從未宣稱它會。

另一個未改變的數字是上限。兩個模型都讀取 32,768 個 token,而 Microsoft 針對 1.1 的文件幾乎逐字重複了 v1 頁面中「輸入最多可達 32K 個 token」的說法。兩者都沒有文件記載支援快取,這意味著一份 200 題的評分量表在每次呼叫時、兩個版本上、每個用量層級中,都必須全額付費。這是此類別經濟效益中最大的單一槓桿,而兩個版本都沒有觸及這一點。

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

如何不靠孤注一擲也能完成遷移

API 形式已足夠穩定,因此遷移主要是設定,但也不全然如此。Microsoft 將 v1.1 呼叫記載為一個 state 加上一組具型別的問題對照表——noul、choice、score——張貼至 Foundry 資源上的 /providers/microsoft/v1/systemone,其中 model 欄位所帶的是您的部署名稱,而不是模型名稱。回應會回傳底層模型,因此以您的工作負載命名的部署仍可告訴您是哪個版本作答。

三個值得依序完成的步驟,而不是只替換部署名稱、然後盯著儀表板看:

1. 重新記錄你標註集的信心分布,而不是它的準確率。從 21.7% 到 49.4% 的非幻覺率變化,意味著在相同閾值下,1.1 會對明顯更大比例的問題給出拒答。如果你的流程把缺少答案視為硬性失敗,而非路由訊號,那麼這次升級在生產環境中會看起來像是一次退步,即使每個基準測試都說它是改善。

2. 重新調整閾值。在版本 1 的信心尺度上選定的截止值,正被套用到一個已經偏移的分布上。Microsoft 自身的指引是:在將把關機制自動化之前,要用已標註的範例來驗證閾值;這一直是同樣的建議,而現在更是關鍵支撐。

3. 用你自己的措辭測試對稱性迴歸。如果你的提示詞是由選項順序可變的範本產生——而且大多數路由提示詞都是如此——那麼該擔心的是 47.5% 的全通過率,而不是綜合分數。複製你的二十個問題並重新排列選項,衡量 argmax 移動的頻率。

第三步之所以成本低,是因為棄權有去處。拒絕作答的決策模型,只有在它拒絕處理的對象能夠回答時才有用,而這正是 OrcaRouter 在流程中承擔的部分:一組金鑰橫跨 200 多個模型,並具備自動容錯移轉,因此低信心的選擇結果可以路由到通用模型,而不是呼叫人工,而且路由 DSL 可以將兩者組成單一呼叫序列。Gemma 4 26B A4B——Decision 1.1 內的基礎模型——在我們目錄中的價格為每百萬輸入 $0.06、每百萬輸出 $0.33,以供應商牌價、0% 加價直接轉嫁,這使得對任何可疑決策最便宜的健全性檢查,就是實際呼叫它自己的骨幹模型。

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

是否該搬遷

確實有理由繼續使用版本 1,這理由雖然範圍有限,但真實存在。如果你的工作負載是困難的知識題,答錯比不答更糟——也就是 HLE 情境——版本 1 能答對更多這類題目。如果你的提示模板會以重排選項的方式呈現,版本 1 在改寫措辭下更穩定。而如果你已經調整過閾值,並用有標註的生產資料驗證過,新的信心分佈會使這項工作失效。

對其他人來說,情況一目了然。在相同 token 價格下,吞吐量提升了一倍;文件通過率從 20.9% 上升到 36.8%;有了過去不存在的影像輸入;而且模型在錯誤承諾代價高昂的情況下,說「我不知道」的頻率高出兩倍。這些正是人們購買決策層時所看重的特性。它放棄的知識基準,並不是任何人購買這個模型想要達成的目的。

一句話總結這次遷移:為了延遲表現與拒答能力,遷移到 1.1;同一週內重新調整你的閾值;並把 version 1 的數字收進抽屜,以備哪天有人問起,為什麼新模型不再回答舊模型以前會接的問題。