一張生成的標題卡,標題為「MAI Decision 1 vs Nimble v3」,副標題為「代管評分器對上無法隨產品出貨的授權」,分成兩個圓角面板,圍繞一個「vs」圓盤。左側面板「Microsoft-Decision-1.1」帶有副行「託管,按 token 計費」以及各列「每百萬 token $0.042」、「Foundry 端點」、「AA v2.1 上 67.78」和「使用條款」;右側面板「Bespoke-Nimble-9B-v3」帶有「可下載轉接器」、「CC BY-NC 4.0」、「五檔案 LoRA」、「DI 0.2.1 上 56.88」和「你自己的 GPU」。頁腳寫著「兩個已公布的分數來自不同的評估套件,因此無法相比。」OrcaRouter 標誌合成在圖稿下方的白色條帶中。
Engineering & Research

MAI Decision 1 對上 Nimble v3:託管式評分器,對比無法隨產品出貨的授權

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

首先把 MAI Decision 1——微軟在 Ignite 上以 Microsoft-Decision-1.1 之名推出的模型——與 Nimble v3(在 Hugging Face 上以 Bespoke-Nimble-9B-v3 之名發布)區分開來的,並不是基準測試,而是一條授權條款。Nimble v3 是以 CC BY-NC 4.0 發布的 LoRA 適配器,模型卡將其解釋為「不得用於商業目的」。微軟的模型是按 token 租用的託管端點,因此授權問題從不會出現,自行託管的問題也從不會出現。這兩者之中,一個可以放進產品;另一個只能放進筆記本。這項比較中的其餘一切,都源自這個分岔,包括為何它們公布的成績不應彼此相減。

從機制上來說,每一個實際上究竟是什麼

Microsoft-Decision-1.1 是 Foundry 部署,自 2026 年 11 月 17 日起上線,由 Microsoft 在 Gemma 4 26B-A4B 上進行後訓練。您將狀態與具型別的問答傳送至決策端點,便會收到校準後的機率,並依 Global Standard 每百萬輸入 token 收費 $0.042,或在歐盟與亞太資料區收費 $0.05。模型卡中沒有下載、微調途徑或自架選項。根據 Artificial Analysis 的測量,每項任務延遲為 123 毫秒;上下文為 32,768 個輸入 token;它既能讀取文字,也能讀取影像。

Nimble v3 是專為 Qwen3.5-9B 打造的五檔案 PEFT 轉接器,於 2026 年 9 月 30 日上傳,但 Bespoke Labs 並未附上任何公告、部落格文章或發行說明。該儲存庫包含 README、轉接器設定、轉接器權重、schema 設定與 gitattributes 檔案——這就是完整清單。基礎模型、推論引擎與 GPU 都需由你自備。隨附的資料集儲存庫則包含完整的 Decision Index 執行、引擎與重現說明,這比大多數供應商提供的透明度更高,也比大多數買家預期的更費工。

• 權重 — 僅託管、不提供下載,對比需自行組裝到 Qwen3.5-9B 的 20 GB BF16 適配器

• 授權 — Microsoft 服務條款 vs CC BY-NC 4.0,非商業用途,並以 Apache 2.0 為基礎,且不會放寬轉接器的限制

• 介面 — 一個決策端點,提供具型別的問題與機率,對比你自己嘅推論程式碼,並透過雜湊固定至提示詞檔案與選項代碼權杖

• 上下文 — 32,768 個 token 對 32,768 個 token,過大的請求會被拒絕而非截斷

• 圖片 — 每個問題最多 8 張,每邊 280 至 1,568 像素,相較於純文字

• 價格 — 每百萬個 token 0.042 美元,僅限輸入,相較於硬體、電費和一名工程師

• 已公布分數 — AA Decision Index v2.1 為 67.78,相較於 Decision Index 0.2.1 的 56.88

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

這兩個數字不在同一把尺上

最後那條要點正是在比較貼文中常被濫用的一點,所以值得直說:56.88 和 67.78 不能相比。Nimble v3 的數字來自 Decision Index 0.2.1,這是 Bespoke Labs 自行維護的開放套件,使用它自己的測試框架與自己的參考實作。Microsoft 的 67.78 則來自 Artificial Analysis Decision Index v2.1,其評估組成不同、權重不同、評分函數不同,且納入評測的模型集合也不同。

這兩個評測衡量的其實是同一類行為——你得在有限的選項中做出選擇,並依準確度計分,再按你自陳信心偏離實際的程度打折。但一個由六項評估組成、含對稱項的加權複合分數,跟一次公開套件的施測,並不是同一種工具;把兩者相減所得到的 10.9 分「差距」,大部分其實只是量尺不同。任何人拿這個相減結果給你看,不是粗心,就是在推銷東西。

可以說而不至於過度推論的,是方向性的結論。Nimble v3 自己的模型卡只報告一個數字,沒有細項拆解;而在同一個系列中,較早的檢查點曾公布完整得多的表格:在 324 組留出的對比配對上,與參考標籤的一致率為 90.12%,而 Jev 1.13.0 為 93.21%;在橫跨十三個公開資料集的 3,880 項人工標註決策上,則為 75.7% 對 76.0%。那些是初代 Nimble 的數字,不是 v3 的,而且專案將它們標示為自身的量測結果。相較之下,Decision 1.1 帶有獨立的 67.78,附有六個已公布子分數,以及在同樣會以相同方式排名其競爭者的排行榜上,Brier 分數為 0.160。如果你需要一個能在採購審查中站得住腳的數字,這些之中只有一個能給你。

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

授權就是整個決策,而它比表面上看起來更糟

在適配器上採用 CC BY-NC 4.0 表示不得商業使用。這不是你能靠推理繞過的灰色地帶,而且顯而易見的變通做法也行不通:基礎模型 Qwen3.5-9B 是 Apache 2.0,而 Bespoke 的模型卡也明確如此說明——但寬鬆授權的基礎模型並不會放寬非商業性適配器的限制,而決策行為正是存在於適配器之中。移除適配器後,你得到的是一般 9B 模型,完全不是決策模型。

還有第二個較少被討論的問題。Nimble 專案的 GitHub 儲存庫透過 API 回報完全沒有授權條款,這表示訓練與策展程式碼也未宣告任何條款。如果你的法務團隊詢問你可以如何使用產生這些權重的管線,答案是該專案並未說明。

把這一點與 Microsoft 的模型對照:你無法下載它,所以無法分支它,但你也無法不小心在禁止該產品的授權條款上打造產品。對一個在兩者之間做決定的團隊來說,實務上的框架是:一個是採購,另一個是研究產物。如果工作負載是商業性的,比較到此為止,代管模型預設勝出。如果不是——例如內部評估測試框架、學術研究、你打算之後替換掉的原型——那麼這個適配器就確實有意思,而它 20 GB 的佔用空間意味著它可以在你或許已經擁有的一張 GPU 上運行。

各方的部署現實

正確執行 Nimble v3 並不是載入適配器後跟它聊天那麼簡單。資料集卡片明確指出,引擎會依其結構定義設定以雜湊值釘定的方式建構提示,並以模型訓練時所用的注意力模式讀取每個請求;若將權重當成一般聊天模型載入,或直接生成文字,都無法重現它的回答。如果提示檔案或選項代碼詞元與訓練時不同,引擎會拒絕載入。你需要 CUDA、BF16、torch 2.8、transformers 5.17.0、peft 和兩個注意力核心,而且超過上下文上限的請求會被拒絕,而非被縮短。

這是真正的工程承諾,也換來託管模型無法提供的東西:能在沒有網路對外連線的情況下,在自己的硬體上執行,並可選擇檢查每一個提示詞。對於模型呼叫不能離開建物內的受監管環境而言,它是兩者中唯一甚至能列入考慮的選項——而非商業授權仍可能把它排除在外,這正是陷阱所在。

在 Microsoft 這一邊,成本不同,而且更低。一次 Foundry 部署、一個端點、一個部署名稱、一把金鑰或一個 Entra 權杖。若延遲很重要,就把 Foundry 資源與你的應用程式共置;若推論必須留在區域內,就改用資料區部署,每百萬個權杖 $0.05,而非 $0.042。你的整合方式是一次 HTTPS 呼叫,帶有 JSON 主體,而回應的結構是一組機率,由你設定閾值。

• 首次呼叫所需時間——在 Foundry 上不到一小時,相較於 GPU 環境、固定工具鏈與重現執行

• 故障模式 — 速率限制或區域中斷,對比 CUDA OOM 或核心版本不符

• 升級路徑 — 無;廠商推出的是新版本,而新的 adapter 標籤則可由你固定或忽略

• 退出途徑 — 無,僅限託管 vs 權重留在原處,須受授權條款約束

後繼者讓故事變得複雜的地方

Nimble v3 並非 Bespoke Labs 目前的模型,這點對現在要評估它的人來說很重要。Nimble-v4-max於 2026 年 11 月 3 日上傳,是對 Qwen3.8-27B 進行完整微調,而非使用適配器;發佈時附有標籤歷程與基準測試表:在 Decision Index 0.3 公開版上為 72.74,較 v4.0 的 68.46 提升,涵蓋 43 項基準測試,各項基準測試分數隨 JSON 檔案提供。它在 BF16 下需要約 55 GB,以及一張 80 GB GPU。其授權為 CC BY-NC 4.0。

坦白說,今天對 Nimble v3 的誠實解讀是:它是一條已經推進過兩次的產品線的前一代,而它唯一公開的分數,還是建立在現行型號早已拋在後頭的套件版本上。拿廠商三週前推出的託管旗艦,去比一個悄悄上傳、已舊了兩個修訂版的轉接器,無論從哪個面向來看都不是公平競爭。產品層面的問題確實是 Microsoft-Decision-1.1 對上 Nimble-v4-max,而即便在那裡,授權條款的答案仍未改變。

一鍵,當你還猶豫時

這兩個模型都不在 OrcaRouter 的目錄中,而本文也不會暗示相反的情況:Microsoft-Decision-1.1 僅在 Foundry 提供,而 CC BY-NC 的適配器也不是商業路由器所能提供的。目錄真正收錄的是周邊模型,而大多數評測實際上正是從那裡開始。

這個鄰近比較區間仍然有用,因為這場對決的雙方都以同一個競爭對手來定義自己。Jev 1.14就是那個競爭對手:Microsoft-Decision-1.1 在獨立排行榜上以 1.55 分勝過它,而 Bespoke 較早的檢查點在其自家 README 中,是以 Jev 1.13.0 作為自我衡量的基準。Jev 1.14 以每百萬 token 輸入與輸出 $0.042的價格提供回答。基礎模型Gemma 4 26B A4B——也就是 Microsoft 進行後訓練所基於的模型——可用每百萬輸入 $0.25、輸出 $2.90 的價格路由。把 Jev 和一個通用模型放在你自己有標註的流量上、置於同一個端點之後,並搭配自動容錯移轉,你就能在一個下午內得知決策模型是否值得在路徑中佔有一席之地——在採購週期之前,也在購買 GPU 之前。如果值得,路由器會繼續留在你所部署的任何決策模型前方,因此單一供應商的速率限制只會是一次改道,而不是一場事故。

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

那個測試框架不會告訴你的是,Decision 1.1 本身在你的資料上表現如何。為此,你需要一套 Foundry 部署和你自己的標註,而標註這件事沒有捷徑可走。

如何選擇

如果工作負載屬於商業用途、你想要一個能指向獨立評審委員會的校準分數、你需要影像輸入,或者你寧願租用 123 毫秒,也不想自己擁有 GPU 管線,就採用 Microsoft-Decision-1.1。大多數團隊都屬於這種情況。

只有在以下三項條件全部成立時,才考慮 Nimble v3:用途為非商業性、模型呼叫無法離開你的基礎設施,而且你準備好執行該專案自家的引擎,而非通用載入器。只要其中任一項不成立,授權條款或工程現實早已替你做出決定——而且如果你今天終究要選一款 Nimble,應先看 Nimble-v4-max,因為 v3 唯一已公布的分數是這項比較中最舊的數字。

要抗拒的,是那張整齊的表格。56.88 對上 67.78 看似一項定論,其實不然;那是兩套不同的套件、兩個不同的年代與兩種不同的授權,卻被包裝成一場賽馬。隨產品出貨的模型是託管版,而在你實驗室裡跑的是開放版——這才是真正的分界,任何基準測試都動搖不了它。