一張生成的雙欄計分板卡片,標題為「ScaleDown Classify vs Microsoft-Decision-1 — 計分板」,其中 ScaleDown Classify 的列顯示未描述的方法、廠商宣稱的結果、沒有語言清單、1M token 上下文、一句話的說明與私有權重,對比 Microsoft-Decision-1 詳細記載的方法、未印出的結果、25 種附帶但書的語言、32,768 token 上下文、沒有說明且沒有微調途徑。
Engineering & Research

ScaleDown Classify 對 Microsoft-Decision-1:一個公布數字,另一個公布方法

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

ScaleDown Classify 與 Microsoft-Decision-1 是這份比較中兩個封閉、託管的選項。兩者都不會釋出權重,都不是你能下載的東西,而且兩者都建立在同一個前提上:一項決策——哪個類別、哪個選項、這些當中的哪一個——應該從模型的機率中讀出,而不是由生成迴圈以文字寫出。Microsoft-Decision-1 自 2026 年 10 月 8 日起已在 Microsoft Foundry 正式推出,是一個由 Microsoft 後訓練的 90 億參數稠密解碼器,支援 25 種語言,上下文長度為 32,768 個 token。ScaleDown Classify 則是一個託管的評分標準引擎,每百萬輸入 token 收費 0.05 美元、每百萬輸出 token 收費 0 美元,輸入上限為 100 萬個 token,標籤數量上限為二十個。區隔兩者的並非能力,而是每家公司願意公開多少有關自家模型的資訊,而它們各自選擇了相反的兩半。

揭露倒置

Microsoft-Decision-1 的 Foundry 文件異常詳細地描述了其評估。公開與社群決策基準,加上保留的內部資料集。指標包括準確度與校準誤差。選項順序會變動。配對統計檢定。對每個與其比較的模型都使用相同的測試框架。然後它報告該模型「表現與領先的決策模型相當,並領先其他以相同方法評估的開放決策模型」——卻完全沒有印出任何數字。沒有準確度數字,沒有校準誤差,沒有各基準的表格。

微軟確實有公佈一份限制清單,而且這是一份很好的清單。分數會隨措辭與選項順序而變動。一個框架不佳的問題仍然會回傳分數。在熟悉的任務類型上,校準表現最強。不會產生任何解釋。該模型被列出的優勢是推理、規則應用,以及對提示格式的穩健性;被列出的弱點則是專業領域知識與非英語表現。

ScaleDown Classify 執行的是該政策的鏡像。其文件詳細介紹了如何撰寫請求的操作細節——評分標準被描述為分類請求中最重要的部分,以直接的是/否問題形式表述,避免否定,保持不重疊,以便機率質量不會不可預測地分散——而供應商的行銷則帶有準確性和成本聲明,包括一個約五億參數的模型在一個簡單的分類任務上達到91.7%,而一個720億參數的模型則為88.6%。這些都沒有附有關於所述方法的說明,而且 ScaleDown Classify 在任何公共測試框架上都沒有公佈的預期校準誤差。

所以,選擇介於一個告訴你它如何測量、卻不告訴你它發現了什麼的供應商,以及一個告訴你它發現了什麼、卻不告訴你它如何測量的供應商之間。兩者都不是完整揭露,也都不應被當作完整揭露來看待。

A screenshot of ScaleDown's /classify API reference page, captured 14 October 2026, showing the POST /classify endpoint description, the text, chunks and optional document input fields, and the required labels array of name-and-rubric objects that the documentation describes as the most important part of the request.

語言:一個會公布數量,另一個則什麼都不公布

Microsoft-Decision-1 列出 25 種支援的語言,並直言涵蓋範圍、品質與校準「可能因語言而異」,點名非英語、尤其是低資源語言是表現不佳的領域。這是一項可用的揭露:它告訴你該模型具多語言能力,大致說明其多語程度,也告訴你哪些地方不該信任它。

ScaleDown 的 Classify 文件並未公布語言清單。API 參考文件中沒有任何內容說明評分標準評分能處理哪些語言,或非英語的評分標準措辭是否會有相同的行為,而評分標準的指引——把它寫成直接的 yes/no 問句、避免使用否定句——的寫法隱含假設了呼叫端是以英語撰寫英語評分標準的人。對於一個實際上會被拿來處理國際支援工單的分類器而言,這正是你在投入之前必須填補的落差,而這個落差只有你自己的評估才能填補。

如果你需要有文件記載的語言涵蓋範圍,這項比較就到此為止,Microsoft 預設勝出。如果你只使用英文,數量不是考量因素,其餘決策取決於輸入長度與閾值。

上下文:32,768 個 token,對比一百萬

Microsoft 記載單次叫用最多可處理 32,768 個 token。ScaleDown 則記載 1M token 的輸入上限,並表示無論區塊是單獨送出,還是作為五十個區塊批次的一部分送出,逐區塊校準都完全相同,且共用的設定檔每次請求只計費一次。就原始數字來看,這是三十倍的差距,也是這兩項產品之間最大的單一落差。

它換來的不是吞吐量——而是你是否需要一個分塊層。一個支援討論串、一張帶有歷史紀錄的工單、一段簡短的檢索段落:這些全都塞得進 32k,還留有空間容納問題結構描述,而兩個模型在那樣的大小下大致旗鼓相當。一份完整合約、一份多頁政策文件、一段冗長的檢索上下文,或是一張掃描表單:這些全都塞不進 32k,而 Classify 的文件路徑——base64 JPEG、PNG、TIFF 或 PDF,單頁或多頁,並將擷取出的文字回傳到 ocr_text 欄位——意味著文件可以用位元組形式送入,而不是以預先處理過的文字形式送入。

這兩個數字都是供應商自己提供的。ScaleDown 的百萬 token 宣稱尚未經過獨立佐證,而第三方目錄對該模型的刊載資訊顯示上下文長度為不適用,並未重述該數字;這是目錄本身的限制,而不是矛盾。

解釋:一個拒絕,一個收雙倍費用

Microsoft-Decision-1 不會產生任何說明,而模型頁面將此列為一項限制,而非設計選擇。ScaleDown Classify 會回傳其最高標籤的一句話說明,而文件對於那句話究竟是什麼相當謹慎:它是在最高標籤固定之後才生成的,因此它是在解釋該決策,而不是對其提出質疑;它是自由形式的,而且會以 2 倍計費輸入 token 重新傳送標籤與評分準則。它僅適用於具有單一文字或文件輸入的單標籤請求——多標籤與批次請求永遠不會回傳它。

對於人工審核佇列來說,這句話往往決定了審核人員是接受某項分類,還是重新再做一次;這也讓針對實際進入人工處理的那一小部分流量收取 2 倍附加費,顯得容易站得住腳。至於自動化流程,它只是帳單上白白增加的負擔,應該關掉。

兩者都是封閉的,而這會改變你可以測試的內容

• 權重 — 兩者皆不提供;ScaleDown 可應要求提供企業自架與授權,微軟的頁面則完全未記載任何微調途徑

• 選項上限 — ScaleDown 每個請求 20 個標籤,多標籤模式下為 16 個,獨立評分;Microsoft-Decision-1 的選項集上限並未在模型頁面上說明

• 批次推論 — ScaleDown 記載每個要求最多可處理 50 個區塊,並對照共用的標籤設定檔;Microsoft 的頁面將批次推論列為已停用

• 計費資訊揭露 — Classify 的費率有明確列出,為每百萬個輸入 token 收費 0.05 美元、每百萬個輸出 token 收費 0 美元;Foundry 的每 token 費率則未列於模型頁面上

• 價格結構 — Classify 在多標籤模式下會隨你的標籤數量倍增,啟用推理功能時則加倍;Foundry 的費率是按 token 計算,並無公佈的標籤乘數

• 空白答案 — Classify 會傳回一個優勝者,即使沒有任何項目符合也一樣,因此閾值由你撰寫;Microsoft 所述的運作方式是,即使問題的框架不佳,仍會傳回分數

兩者都封閉的後果在兩種情況下都相同:你無法檢視產物,因此你唯一的驗證方式是行為驗證。這使得一組你自己標註資料的留出集成為不可或缺,也使得切換供應商的成本是重新執行該評估,而非修改程式碼。

A screenshot of the OrcaRouter models catalogue, captured 14 October 2026, showing the header '210 models, 16 providers, one API key, one bill' and the filter row for input modalities, context length, input price, status, access tier, series and supported parameters.

OrcaRouter 在一個建構於任一者之上的管線中位於何處

這兩款模型都不在我們的型錄中,而且這裡沒有任何內容是在宣稱可用性——兩者都是結構化評分端點,而非 chat-completions 目標,而路由層也不是它們任何一方所需要的。我們提供的是它們上層的那一層:超過 200 個生成式模型,全藏在單一 OpenAI 相容金鑰之後,負責產出分類器所評判的草稿,以供應商定價原價轉嫁、0% 加價,並具備路由 DSL,可將多個模型組合成單一次呼叫,還能在服務路徑效能下降時自動容錯切換。如果決策模型把關著你的生成層被允許交付什麼,那麼生成層就是你停機風險的所在,而這正是一把金鑰能整合起來的那一半。

該選哪一個

若你需要有文件記載的語言涵蓋範圍、如果你已經身在 Azure 之中,或者對你的採購作業來說,大型供應商的合規態勢比公開的準確率數字更重要,就選擇 Microsoft-Decision-1。請接受:你將完全用自己的資料來評估它,因為 Microsoft 選擇不提供任何其他東西。

如果你的輸入超過 32k 個 token,如果你想把抽取步驟併入分類呼叫,或者如果你想要一套可逐標籤重寫、且無需重新訓練任何東西的評分規準,就選擇 ScaleDown Classify。接受這一點:準確度的論點是供應商自己的說法且未經重現,沒有公布任何校準數字,而且你得自己撰寫置信閾值與一個無所不包的標籤。

能決定這件事的衡量結果——兩個模型在相同輸入、相同選項排序、相同閾值掃描下,由不涉及利害關係的人執行——兩家供應商都尚未公布。在他們其中一方進行之前,誠實的解讀是:Microsoft 是較安全的預設選擇,而 ScaleDown 是能力更強的工具。

A generated two-column scoreboard comparing ScaleDown Classify and Microsoft-Decision-1 across published methodology, published results, supported languages, context length, explanation output and weight access, with a footer reading that both vendors self-report and neither publishes independently audited results.

像這樣的比較,也正是失效模式會浮現的地方:這一類模型背後有紀錄的 AI 事故與代理失效,都彙集在OrcaRouter AI 事故檔案庫,其中每一筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。