一張生成的標題卡,標題為「一項測試,領先大半」,副標題為「Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1」,配有 2×2 網格的四張標籤卡,分別寫著「67.78 對比 65.98」、「95.08 對比 80.50」、「123 ms 對比 211 ms」和「139.64 對比 344.90 美元」,圖說寫著「每百萬項任務,讀取於 2026 年 11 月 19 日」,以及兩個標示為 Microsoft 和 Gemini 的灰色長條區塊。OrcaRouter 標誌合成於右下角。
Guides & Insights

Microsoft-Decision-1.1 對上 Gemini Decision 1:幾乎完全靠單一測試建立的兩分領先

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

將 Microsoft-Decision-1.1 和 Gemini Decision 1 並列放在 Artificial Analysis Decision Index v2.1 上,差距看起來就像是一項判決:67.78 對上 65.98,而微軟的模型還幾乎快上兩倍,每項任務 123 ms 對上 211 ms,且成本不到一半,每百萬項任務 $139.64 對上 $344.90。把綜合指標拆開來看,這個判決就變得更小、也更奇怪。Microsoft-Decision-1.1 的全部優勢來自一個占指數 10% 的組成部分,以及一項關於文件如何計費的流程層級決策。在兩個知識組成部分上,Google 的模型勝出——其中一個還領先超過六個百分點,原始準確率將近兩倍。

那項差異就是整個比較的全部,而它決定的東西比排行榜名次更重要。Gemini Decision 1 可讀取 262,144 個 token,並接受音訊、影片與 PDF;Microsoft-Decision-1.1 可讀取 32,768 個,並接受文字、JSON 與圖像。Google 的模型在 Omniscience 測試中,有 49.6% 的情況會承認自己不知道;Microsoft 的模型則為 49.4%。在路由測試中,Microsoft 的模型領先 12.5 個百分點。如果你的決策是「這個請求需要這五個工具中的哪一個」,答案毫無懸念。如果你的決策是「這份 90 頁合約中的這個條款是否成立」,答案就會翻轉,而它會翻轉是因為上下文視窗,而不是因為模型。

兩者都是得分手,而且他們是同型的得分手。

這兩個 API 最終採用了幾乎相同的基本機制,因此比較起來格外清晰。兩者都接收一份共用的輸入與一組帶型別的問題,並針對每個問題回傳一個帶型別的答案,同時附上機率。兩者都不會生成任何文字。

• 題型 — 兩者都提供相同的三種:是/否機率、從固定選項中選擇且每個選項各有機率,以及在有序量表上的位置。Microsoft 稱第一種為 noul,Google 也稱它為 noul,這與其說是巧合,不如說是一個類別逐漸定下詞彙。

輸出 token — 兩者皆為零,每次呼叫皆然。計費僅按輸入計算,因此你看到的 token 價格就是全部的價格。

• 平行評分 — 兩者都獨立地依據共用輸入評估每一個問題,因此各問題彼此不會互相看見,新增第十個問題也不會改變前九個。

• 請求規模 — Google 的文件說明每次呼叫可包含 1 到 1,000 個問題,選擇題可有 2 到 255 個選項,評分題可有 2 到 255 個等級。Microsoft 的文件則說明「一個或多個具型別的問題」沒有上限,其發布文章描述請求可包含「數百個問題」。

• 圖像輸入——兩者現在都接受。Microsoft 在 1.1 版加入;Google 從推出時就支援,還包括音訊與視訊,而 Microsoft 明確不接受這些。

• 端點 — 這正是兩者在實體層面分歧之處。Gemini Decision 1 只能透過 Gemini Developer API v1beta 上的 Google Decisions API 存取。Microsoft-Decision-1.1 則以 Foundry 資源的形式部署,並在/providers/microsoft/v1/systemone該資源上

複合體,分解

1.8 分的指數領先幅度落在單一權重 10% 的組成項目中,這並非四捨五入造成的假象,但這是一項比「模型更好」狹窄得多的主張。以下是兩個項目完整的分解,依照 Artificial Analysis 公布的內容,讀取日期為 2026 年 11 月 19 日:

• 整體指數 — Microsoft-Decision-1.1 67.78 對比 Gemini Decision 1 65.98

準確度指數(僅以準確度重建、移除信心度的指數)——48.45 對 45.53,所以微軟在正確性上也領先,只是幅度較小

• When2Call,權重 10% — 95.08 對 80.50。14.6 分的差距,也是領先的來源

• AA-Paperclip,權重 30% — 決策分數為 58.67 對 56.83,且有 36.8% 對 33.0% 的文件完全正確

• EvalSafe-O*NET-AA,15% — 88.85 對 87.05,原始準確率為 83.4% 對 82.0%

• AA-Omniscience-Decision v1.1,15% — 60.46 對 66.28,原始準確率 33.2% 對 44.8%,非幻覺率 49.4% 對 49.6%

• HLE-MultiChoice v1.1,15% — 46.11 對 48.71,原始準確率為 6.29% 對 13.16%,非幻覺率為 38.4% 對 35.8%

• AA-Symmetry,15% — 75.72 對 70.47,改寫通過率為 47.5% 對 38.3%

從那份清單可得出兩件事。第一,最大的單一差距出現在權重最小的元件上——When2Call 在 100 分制中貢獻 9.5 分,因此那裡 14.6 分的差距約值 1.5 個指數分,佔 1.8 分總差距的大部分。第二,Gemini Decision 1 的知識優勢確實很大:在 Omniscience 原始準確率上 44.8% 對 33.2% 並非雜訊,這也是為什麼 Google 模型的準確率指數高於其綜合指標所顯示的水準。

換句話說,Microsoft 並非在所有方面都在評測上勝過 Google。它在唯一一項測試上決定性地勝過 Google;這項測試檢驗模型是否知道何時該呼叫工具。而在其他方面,它大致與 Google 持平:輸掉了知識測試,贏得了一致性測試。

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

上下文視窗差異實際上要付出什麼代價

262,144 個 token 的視窗是決定實際工作負載的關鍵數字,而這是 8 倍的差距:Gemini Decision 1 可讀取的量是 Microsoft-Decision-1.1 的八倍。Google 的文件以特定方式運用這筆預算——該視窗涵蓋共用輸入與所有問題,因此單一份長合約加上兩百道評分規準問題,會競逐同一個 262K。

微軟的 32K 上限有一個二階效應,會在成本欄中顯現。AA-Paperclip 對一份文件的所有問題只計費一次,且每份文件可得出 15 個答案。無法在一次呼叫中容納整份文件的模型,必須逐塊套用,呼叫次數因而倍增。在 Paperclip 上,Microsoft-Decision-1.1 每百萬項任務為 386 美元,而 Gemini Decision 1 為 946 美元——但每項任務總成本的排名,早已可由 token 價格解釋,而非文件處理。

還有第三個值得特別指出的機制,因為這正是買家容易忽略的一點:重複輸入在兩邊都會全額計費。Google 的 Decisions API 明確不支援上下文快取、Batch、Flex 或 Priority 推論,因此每次請求都附上的評分規準,每次請求都得付費。Microsoft-Decision-1.1 的文件中也沒有快取方案。兩家廠商都沒有針對「把同樣 200 個問題問上一百萬次」提供折扣,而這正是這個類別所鎖定的工作負載。

定價,以及 SKU 陷阱

Microsoft 的三個輸入費率分別為:Global Standard 每百萬美元 0.042 美元、US Data Zone 0.046 美元、EU 及 APAC Data Zone 0.05 美元,且不收取輸出費率。Google 則只列出一个費率:每百萬輸入 token 0.10 美元。以標題數字計算,Microsoft 便宜 58%。以整個索引的實測成本計算,Microsoft 便宜 60%——每百萬項任務為 139.64 美元對 345.41 美元——因為在大多數元件上,它每項任務所消耗的 token 也較少。

但 $0.042 的費率是全球費率,而位於資料區 SKU 上的歐盟境內工作負載需支付 $0.05,這使差距縮小到 50%。這兩個數字都不包含決策模型周邊呼叫的成本;對多數生產管線而言,這些成本遠大於評分呼叫本身——包括起草候選答案的模型、撰寫評分標準的模型,以及處理評分器棄權項目的模型。這筆支出才是路由真正能省錢的地方,而這正是 OrcaRouter 涵蓋的部分:一組金鑰通行 200 多個模型,以供應商牌價、0% 加成提供,因此生成端一半的供應商價格變動會當天反映,且fusion 或路由 DSL 可將便宜的起草模型置於昂貴的評審模型之後,無需第二套整合。

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

你實際上會部署哪一個

三種工作負載型態,三種不同的答案,而沒有一個是「索引較高」。

• 路由、閘控與工具選擇 — Microsoft-Decision-1.1。在 When2Call 上,95.08 對上 80.50 是榜單上最大的單一元件差距,而路由正是 Microsoft 為此打造該模型的工作負載。123 毫秒的中位數在這裡也很重要:路由器位於請求路徑上,而 123 毫秒與 211 毫秒之間的差異,就是一個無人察覺的步驟與一個必須由延遲預算吸收的步驟之間的差異。

• 長輸入的文件擷取與評分規準評分——Gemini 決策 1。如果單次呼叫必須讀取一份 90 頁合約,以及針對該合約的提問,Microsoft 的 32K 上限根本行不通;而 When2Call 的效能再怎麼好,也救不回一個從未發生的呼叫。Google 的 44.8% Omniscience 準確率與 13.2% HLE 準確率,從另一個方向強化了同樣的結論:它知道得更多,也能讀得更多。

{{1}}以費用為主要考量的大量篩選{{/1}}——{{2}}兩者皆非{{/2}},而這是誠實的答案。{{3}}Celeris-1.1 Decision{{/3}} 以每百萬項任務 14 美元的價格獲得 62.0 分;{{4}}Decider v1.3{{/4}} 以 68 美元獲得 70.4 分。兩者在每項任務成本上都勝過 {{5}}Microsoft-Decision-1.1{{/5}},且其中一個在指數上勝過它。如果你的決策便宜且重複,超大規模雲端業者的選項就是昂貴的那些。

這三者都有一個但書:1.8 個百分點的差距與校準列,來自一個在 2026 年 11 月 8 日修訂自身權重的指數;該指數將 Omniscience 與 HLE 從各占 25% 下調至 15%,並新增一項占 30% 的文件組成部分。重新加權對這項排名的影響,可能比一次模型發布還大。請將這項比較視為當下且具時效性,而非永久不變。

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

這兩個模型接下來將在何處出現分歧

Microsoft-Decision-1.1 是在新基礎模型上的第二次嘗試:改用 Gemma 4 26B A4B,而非 Qwen3.5-9B,並搭配自訂推論引擎與路由賣點。Gemini Decision 1 是 Google 的首個作品,綁定單一 API 介面與單一模型 ID。兩者的發展軌跡指向相反方向:Microsoft 正持續迭代基礎模型與服務堆疊,Google 則在迭代輸入模態與上下文預算。

這件事對本月要做的決定意味著什麼,並不光鮮。在你讀到任何一個基準測試數字之前,先檢查你最長的輸入是否能放進 32K,因為這項限制會直接淘汰這兩個模型中的一個。如果放得進,就把你自己的二十個標註範例分別跑過這兩個模型,並比較信心分佈,而不是比較 top-1 答案——無法設定閾值的評分器,就是無法上線的評分器;而兩者在非幻覺指標上相差不到 0.2 分,該列決定了拒答行為在你的資料上是否與在公開測試集上相同。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新