一張生成的英雄卡片,標題為「SubQ Snap 1.1」,副標題為「學會說我不知道的決策模型」;卡片上有一個文件圖示,分支成兩條「路由」路徑與一條琥珀色的「拒答」路徑,以及三個指標圖磚,分別顯示 AADI 65 並列第一、384K 上下文,以及每 100 萬輸入 $0.04。
Engineering & Research

SubQ Snap 1.1 透過學習棄權,在決策指數上並列第一

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

登上 Artificial Analysis Decision Index v1.0 榜首的最新模型,並不是答對最多題的那一個。SubQ Snap 1.1由 Subquadratic 於 2026 年 10 月 22 日發布,得分 65,並與 d1-ultra 和 Elephant 9B 並列第一。Jev 1.14則為 57 分。細讀指數下方的細則,會發現並列第一的原因完全不在原始準確率:Artificial Analysis 的報告指出,Snap 1.1 的準確率為 20%,d1-ultra 為 32%,Elephant 9B 為 12%。Snap 1.1 勝過兩者之處,在於它更願意拒答。

這是真正的工程成果,不是基準測試的花招,但它改變了誰該在意。決策模型不是聊天模型。它接收一份文件和一組固定的允許答案——轉到這個佇列或那個佇列、呼叫這個工具或拒絕、是或否或升級——並回傳一個附有校準機率的選擇。Subquadratic 自十天前預覽版推出以來的說法是,這類工作負載值得擁有自己的架構,而不是讓通用 LLM 耗費輸出 token 來產生「退款」這個詞。1.1 版是第一個讓校準主張具體到足以查核的版本。

Snap 1.0 與 1.1 之間究竟有什麼改變?

這是訓練後發布的版本,而非新模型。Subquadratic Sparse Attention 主幹、384K token 視窗,以及文字加影像的輸入路徑,全都與 Snap 1.0 相同;Snap 1.0 於 10 月 12 日上線,每百萬輸入 token 收費 0.05 美元。真正改變的是模型在不確定時的行為方式:廠商表示 1.1 版加入了明確的不確定性校準,並將多步推理蒸餾進單次前向傳遞中,而不是先產生思維鏈、再給出答案。

Subquadratic 針對該變更所報告的數字異常具體,這既是好事,也值得仔細檢視。在留出機率基準上,期望校準誤差從 0.108 降至 0.014。在無法回答的問題上,高信心錯誤從 600 題中的 294 題降至 600 題中的 57 題——也就是發布報導不斷引用的 81% 降幅。在分布外輸入上,過度自信幻覺從 99.3% 降至 12.5%。與貝氏最佳決策規則的一致性從 83% 升至 90%。在供應商的 16 項基準企業套件上,1.1 平均比 Jev 1.14 高 7.2 分,95% 信賴區間為 6.5 至 7.8,勝 12、平 3、負 1,並平均比 Snap 1.0 高 5.5 分。

這些全都是廠商自行報告的。目前 Subquadratic 以外尚無人發表 1.1 的執行結果;現有的獨立儲存庫測試的是預覽模型,相關討論見下文。

A screenshot of Subquadratic's SubQ Snap 1.1 announcement page, captured October 23 2026, showing the headline 'Introducing SubQ Snap 1.1: The Smartest, Enterprise-Ready Decision Model', the date October 22 2026, and bullet points for tying first on the Artificial Analysis Decision Index at 65, a 7.2-point lead over Jev 1.14 across 16 enterprise benchmarks, calibration error falling from 0.108 to about 0.014, native 384K context and a 20% price cut to $0.04 per 1M tokens.

一個準確率只有 20% 的模型如何並列第一

Decision Index 並非孤立地評估準確度。它評估的是在不確定性下決策的結果,這意味著模型對無法回答的問題選擇棄答,價值高於自信的猜測,也遠高於自信但錯誤的猜測。Artificial Analysis 報告 Snap 1.1 的非幻覺率為 86%,也就是它在無法正確回答的問題上說「我不知道」的頻率。Elephant 9B 較高,為 93%,d1-ultra 則略低,為 85%。Snap 1.1 的 20% 準確率是三者中的中間值,而其指數分數與兩者相同。

A generated scoreboard titled 'SubQ Snap 1.1 — the scoreboard' listing six rows: AA Decision Index 65 tied first, Accuracy 20%, Non-hallucination 86%, Context 384K tokens, Price $0.04 per 1M input, Enterprise vs Jev 1.14 +7.2 points, with a footer reading 'Vendor and Artificial Analysis figures; no independent run of 1.1 yet.'

這是否為正確的取捨,完全取決於錯誤答案在下游讓你付出什麼代價。在支援工單路由器中,有把握的誤路由會把帳務客訴送進工程佇列,讓客戶等上兩天;而棄答則會把它送到人工分流步驟,代價是三十秒。在沒有真人介入的大量內容分類工作中,棄答不過是一列未標註的資料,真正重要的是準確率數字。這個指數是在告訴你,Snap 1.1 是為第一種情況打造的。它並不是在告訴你,這是你買得到的最準確分類器,因為它並不是。

A screenshot of the same Subquadratic page showing the Artificial Analysis Decision Index bar chart, captured October 23 2026, with SubQ Snap 1.1, d1-ultra and Elephant 9B all at 65, Jev 1.14 at 57 and the remaining decision models ranging down to 44, followed by the start of a 'Dual Uncertainty Calibration' section.

降價,以及沒有人引用的分母

1.1 的另一項變動是價格:每百萬輸入 token 為 $0.04,較預覽版的 $0.05 降低 20%,而輸出 token 免費。後半段才是重塑帳單的部分。以生成式模型打造的分類器會為答案付費——答案通常很短,但推理模型可能花上數百個 token 來決定要輸出什麼。Snap 沒有輸出需要付費,因此一次讀取 100K token 的呼叫成本約為 0.4 美分,且沒有其他費用。

{{1}}Artificial Analysis{{/1}} 以每項任務而非每 token 的方式呈現同一數字:{{2}}Snap 1.1{{/2}} 約為每百萬項任務 30 美元,相較之下 {{3}}d1-ultra{{/3}} 為 32 美元,{{4}}Elephant 9B{{/4}} 則為 8.4 美元。每項任務的數字才是有用的,它也提醒我們,每 token 的標價並不是拿決策模型與其他任何東西相比的好方法。帳單會隨輸入長度而增加,因此一次 4K token 的路由呼叫和一次 300K token 的合約審查,即使費率相同,也會落在完全不同的成本區間。

廠商數據無法釐清的事

有兩件事值得與發布文章分開來看。第一是懷疑。社群對 Subquadratic 各次發布的報導——包括以「AI 萬事通」流傳的 BlockBeats 報導——質疑其整套主張有多少能獨立重現,而且該模型沒有開放權重,因此外部人士沒有可執行的檢查點。第二是,確實存在的獨立測試是針對預覽版、而非 1.1 版進行。jcarlosrodicio 的可重現比較發現,Snap 在 30K token 以下略遜於 Jev(93.9% 對 94.7%),在 360K token 日誌上則大幅落後(58.8% 對 Jev 分塊處理時的 77.1%)。另一項軟體工程基準 snap-vs-jev-swe 發現,Snap 在 SWE-bench Verified 檔案定位上達 87.5%,隨機基準為 10.6%,並在選項順序反轉時測得 5.0% 項目的答案翻轉。

那些結果並未與 1.1 相矛盾——校準工作正是那種會改變這些結果的變動——但它們也不是支持它的證據。已公布的數據中還有一處小小的內部不一致:發布報導引用 When2Call 分數 96.2,而 Subquadratic 自己對同一基準所做的機率校正選擇題版本則顯示 91.0。兩者對不同任務格式而言都可能為真;買家在將 96.2 與競爭對手的數字相比時,應該知道自己手上拿的是哪個版本。

它會在哪裡中斷

廠商自家 16 項基準測試套件中的失利欄很具啟發性。釣魚偵測資料集 PhishNChips 落後 Jev 1.14 達 22 分,而 Subquadratic 將其歸因於閾值校準,而非排序品質——ROC-AUC 大致持平,為 0.91 對 0.92。對於願意調整閾值的團隊,這是可解決的問題;對於想要開箱即用的團隊,則是無解的問題。知識與推理子領域是五個子領域中唯一由 Jev 明確領先的一項,55.1 對 50.9。Snap 1.1 在答案集明確且證據就在文件中的情況下最強:工具與自動化(85.3 對 74.6)、檢索與分類(67.0 對 63.1)、語言理解(71.6 對 63.3)。

誰應該移動,誰應該等待

如果你的決策是針對長篇文件所做的路由、工具選擇、升級或相關性判斷,而自信的錯誤答案代價高於升級處理,那就移轉過來。384K 視窗是營運層面的理由:一次就能處理完整的合約、工單討論串或日誌包,不必建置分塊層,也不必維護檢索管道使其保持同步。已在執行預覽版的團隊理由最充分,因為價格下降了、校準改善了,而且不需變更 API。

如果你需要生成文字、如果基準測試題目組合上的 20% 準確率低於你的門檻,或如果你需要在熱路徑中達到低於 100 毫秒的延遲,那就再等等——Subquadratic 並未公布 1.1 的延遲數據,而對預覽版的第三方測量顯示,一次 8K token 呼叫約需 0.75 秒。如果你需要自行託管,也請再等等:目前沒有權重。

關於它在技術堆疊中的定位,有一點實務說明。SubQ Snap 1.1 是透過 Subquadratic 自家的 API 與主控台提供;它並不在 OrcaRouter 的目錄中,我們也不會假裝它在。我們真正提供的是決策背後的那一層:當 Snap 判定某次呼叫要「使用某個模型」時,那個模型是 可透過 OrcaRouter 的單一金鑰觸及的 200 多個模型之一,以供應商牌價提供、0% 加價,並且能在供應商之間自動容錯移轉。決策層與執行層會各自獨立失效,所以不讓兩者都放在同一個供應商背後,是值得的。

真正的未解問題,不在於 1.1 的校準數字是否真實——它們具體到一定會被查核——而在於它們換到不同的測試框架後是否仍然成立。在公開的 Snap 基準測試中,光是提示詞的措辭就讓準確率變動了 11 到 14 個百分點,這比排行榜上任意兩個模型之間的差距還大。若一項校準改善只在廠商自家的提示模板下才成立,那它的意義會遠比這次發布所暗示的小得多。