一張生成的標題卡,標題為「第一名、最後一名,同一塊榜單」,副標題為「Liquid AI d1.2-ultra - Decision Index v2.1,2026 年 11 月 16 日」。兩張圓角卡片並排:左邊上方寫著「24 個中的第 1 名」,下方是「Decision Index 75」;右邊上方寫著「24 個中的第 24 名」,下方是「HLE 準確率 2.36%」;下方一行說明文字寫著「一個模型,六項評測」,三個外框標籤分別寫著「由 Artificial Analysis 測量」、「66k 上下文」和「每 100 萬輸入 token 0.042 美元」。OrcaRouter 標誌合成於右下角。
Guides & Insights

Liquid AI d1.2-ultra 以 75 分登上決策指數榜首——卻在六項測試中的一項敬陪末座

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Liquid AI d1.2-ultra 是同類別中首個由開發公司以外的機構評為第一名的模型。Artificial Analysis 在 Decision Index v2.1 上給它 75 分,並將這個分數印在該模型專屬的榜單頁面上,使其在 24 個決策模型中排名第一——領先 Nace.AI 的 Drex Max v1.1(73 分)2.2 分。同批發布中較小的 Liquid AI d1.2 則以 69 分名列第九。兩者皆於 2026 年 11 月 16 日推出,這使本次成為 Liquid AI 首度在發布時,排行榜說法已有獨立榜單收錄該模型,而非僅以廠商數字指向早於該模型存在的榜單。

同一份榜單也把 d1.2-ultra 在 HLE-MultiChoice 上排在該 24 個模型中的最後一名,原始準確率為 2.36%。這兩項陳述同時成立,它們是由同一個組織在同一天、用同一套工具測得的,而兩者之間的落差,正是這次發布中最有價值的部分。

為什麼這個排行榜宣稱是不同類型的主張

十月時,Liquid AI 發布 d1-ultra,並宣稱其根據 Decision Index v1.0 拿下第一名;然而那份排行榜是在該模型問世前兩天發布的。沒有人能查核,因為該模型不在排行榜上。這裡的情況並非如此。Artificial Analysis 親自在其自有硬體上、透過自有測試框架運行 d1.2-ultra,結果是一列排名資料,附有六項組成部分分數與一條校準曲線。當 Liquid 表示「在該指數上最高,且比先前最佳決策模型領先兩分」時,該指數與先前最佳模型都是公開的,且兩者一致。

版本 2.1 是六項評估的加權平均,且權重並非平均分配。AA-Paperclip 佔 30%:1,500 份私人文件——履歷、收據、發票、研究論文——每份包含五項決策與十項事實,並以一份文件計分,只有當全部十五個答案都正確時才計分。EvalSafe-O*NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1 與 AA-Symmetry v1.1 各佔 15%。NVIDIA 的工具呼叫集 When2Call 佔 10%。每題以 50 × (1 + c − (p − c)²) 計分,其中 c 表示所選答案是否正確,p 是模型賦予該答案的機率,彙總後為 50 × (1 + 準確率 − Brier 分數)。自信的錯誤代價高於猶豫的錯誤,而一個給出 0.6 且答對的模型,分數高於給出 0.99 且答對的模型。

75 是從哪裡來的

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

拆開來看,第一名是由兩項評測撐起,並由第三項評測守住。其餘的則平平無奇,甚至更糟;在有人把綜合評分當成對模型的描述之前,這點值得知道。

• AA-Paperclip,佔指數 30% — d1.2-ultra 在決策分數上得分 75.81,67.7% 的文件完全正確,兩者皆在 24 個中排名第一。Drex Max v1.1 以 72.82 與 63.0% 位居第二,SubQ Snap 1.2 以 71.58 排名第三。它所取代的模型 Liquid AI d1-ultra,則為 64.69 與 51.3%。

• When2Call,10% — d1.2-ultra 以 96.49 位居第一,領先 96.10 的 SubQ Snap 1.2 與 96.09 的 d1.2。工具呼叫原本就是這個領域最強的一環;前十名之間的分差為 1.5 分。

• AA-Symmetry,15% —— 以 86.34 位居第二,落後於 Mammoth 27B 的 88.25。在更嚴格的「全部通過」衡量標準下,情況有所改變:Mammoth 在 68.3% 的問題上於不同改寫版本間維持相同答案,Elephant 9B 為 65.8%,d1.2-ultra 則為 56.7%。得分排名第二,並不代表一致性排名第二。

• EvalSafe-O*NET-AA,15% — 以 89.53 排名第三,落後於 Jev 1.14 的 91.14。這是唯一一個競爭對手的模型仍領先的元件,而且差距不足以稱作雜訊。

• AA-Omniscience-Decision v1.1,15% — 60.80,屬於中游,且低於 d1-ultra 所獲得的 64.39。

• HLE-MultiChoice v1.1,15%——決策分數為 46.36,但原始準確率僅 2.36%,是全部 24 個中最低的。這個落差並不矛盾;這正是校準良好的模型在幾乎拒絕回答所有問題時會呈現的樣子。它在同一組題目上的非幻覺率為 76.1%,意思是每四次中有三次它正確表示自己不知道,而非猜測。

在這六項指標之下作為頭條指標的 AA 獨立準確度指數分數,把 d1.2-ultra 以 61.6 分排在首位,領先 GLiDE v1.2 的 59.4 分與 Drex Max v1.1 的 58.2 分。其 Brier 分數 0.150 是 24 個模型中最優的。這款模型勝出並非僅因為校準良好、別無其他;而是在文件與校準兩方面同時取勝,而這正是該指數設計時所要獎勵的組合。

往相反方向發展的配樂

這個發布版本有一種解讀是全面橫掃,而 HLE-MultiChoice 那一列正是反駁它的地方。在 Humanity's Last Exam 選擇題上,2.33% 的原始準確率不是捨入誤差,也不能用拒答選項來解釋掉:模型有權選擇不作答,而它確實選擇了不作答,且這種不作答被計為誠實,而非知識。Decider v1.3 在同一批題目中正確回答了 15.32%。Drex Max v1.1 回答了 8.25%。同一發布版本中的便宜模型 Liquid AI d1.2 回答了 5.30%。

最後那項比較才奇怪。在知識密集的評測上,較小、較便宜的模型並不是較弱的那一個。d1.2 在 AA-Omniscience-Decision 題目上答對 30.0%,而 d1.2-ultra 是 23.6%;在 HLE 上則是 5.30% 對 2.36%。d1.2-ultra 用每百萬 tokens 多兩美分買到的不是知識;而是文件處理、對稱性與校準——也就是任務中營運面的那一半。如果你的工作負載是從掃描發票中擷取資料,這種取捨顯然正確。如果是回答關於世界的難題,同一家族中較便宜的模型可量測地更好,而發布文章裡完全沒這麼說。

沒有寫在標題裡的計費變更

Liquid 那篇文章中最具影響力的一句話是一條計費規則,而不是基準測試。在 d1-ultra 下,每個問題都作為各自的提示詞計費,包含所有附加圖片,因此針對同一張照片問十個問題,就要為那張照片付費十次。在 d1.2 和 d1.2-ultra 下,請求中的文字和圖片只計費一次,而每個額外問題只增加其自身的文字。

以一份 2,000 token 的文件為例,其中包含一張 1024×1024 的圖片;按每 32×32 像素區塊 1.5 token 的標示費率計算,這張圖片要價 1,536 token;再加上十個簡短問題,每個約 30 token。依舊規則,該請求約計 35,700 token。依新規則,則約計 3,840 token。以每百萬輸入 token 0.042 美元計算,相當於每次請求約 0.0015 美元,對比 0.00016 美元——在相同工作、相同標價下便宜略超過九倍。每月 100,000 次請求時,差額約為 150 美元對比 16 美元。這兩個數字都是根據供應商自己的計費說明算出來的算術結果,而非實測。

第二項有所變動的規格是上下文視窗。Artificial Analysis 為兩款 d1.2 模型列出 66k token,而 d1-ultra 則是 33k。Liquid 的文章完全沒有說明視窗大小,因此 66k 這個數字是該排行榜的判讀,而非廠商規格,而且仍是前一代的兩倍。對於一個職責就是接收狀態的模型而言,這在實務上是比四個指數點更大的變化。

五種新的答案類型,以及音訊

這些能力新增是疊加式的,而非重構:相同的端點、相同的請求形式、五種新的答案類型,以及一種新的輸入模態。問題現在可以要求讀取頁面上的值——數字、日期、名稱——並回傳其讀取來源的字元,若不存在則回傳「找不到」。它可以要求取得某一種類型的每個跨度及其位置,這就是 PII 情境。它可以要求圍繞單一物件的方框,或圍繞每個實例的方框再加上計數。它可以要求附帶範圍的估計值。而且它可以要求每個適用的選項,每個選項都帶有自己的機率。

音訊是另一項新增功能,可雙向運作:錄音可以是問題所談論的內容,也可以是問題本身。Liquid 報告指出,在留出的錄音上,兩個模型對「聽到哪種聲音」(來自 ESC-50)或「說的是哪種語言」(來自涵蓋 43 種語言的 FLEURS)的問題,答對率達 95% 到 97%,每題有三到六個選項,且混有西班牙語和葡萄牙語等容易混淆的項目。

五項新任務的準確率數字來自內部測試集,而這些測試集是用公開資料集的留出切分建構而成;廠商也直言不諱,因為目前還沒有公開基準涵蓋這些任務。請把這些數字視為廠商自行做的評估:在 CORD 和 SROIE 上從收據讀取一個數值分別為 98% 和 96%;在 Nemotron PII 的 PII 片段上,精確率/召回率為 94%/93%,相較之下為 92%/88%;在 RefCOCO 系列上的物件定位,兩者皆為 94%;在 COCO 上計數誤差在一以內的分別為 93% 和 92%;而在挑出所有存在的物件上為 87% 對 90%——這是較便宜模型唯一勝出的一列。

核對金錢索賠

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

Liquid 的定價說法異常可查證:「沒有模型的得分高於 d1.2 且價格更低,也沒有模型在任何價格下得分高於 d1.2-ultra。」這兩半在排行榜面前都站得住腳。24 個模型的指數中,根本沒有任何模型得分高於 74.85,因此後半句顯然成立。至於前半句,d1.2 的得分為 68.69,每百萬項任務收費 $63;每個得分高於它的模型都更貴,其中最接近的便宜挑戰者是 Decider v1.3,得分 70.41、收費 $68。這項說法成立,而且依據的是別人的數據,而非 Liquid 自己的數據;這種情況比應有的更罕見。

成本數字本身來自 Artificial Analysis,該機構以當前牌價執行每項評估並取平均值:d1.2-ultra 每百萬項任務為 133 美元,在 24 個模型中排名第 11,同類中位數為 135 美元;d1.2 則為 63 美元,是第三便宜的。大型模型的每項任務時間為 218 毫秒,小型模型為 150 毫秒,而同類中位數為 209 毫秒——旗艦模型略慢於平均,便宜模型則明顯更快,且兩者都比同一榜單上每項任務分別為 11 秒和 32 秒的生成式模型快上一個數量級。

你可以在哪裡呼叫它,以及要對什麼執行它

這兩款模型目前都已在 Liquid 自家的 API 上線,網址是 api.liquid.ai/decisions/v1/systemone,呼叫名稱分別為 d1.2-ultra 與 d1.2,金鑰可從 Liquid 控制台取得,且兩者也都可在 Liquid playground 中使用。Liquid 的公告表示,還會有其他第三方平台推出;截至本文撰寫時,現有的途徑就是供應商自家的 API。這兩款模型都未收錄於我們的目錄,本文也不構成對任一模型可用性的聲明。

我們型錄上的是 Jev 1.14,這是在 d1.2-ultra 未能領先的那一項元件上取得領先的模型——EvalSafe-O*NET-AA,以 91.14 對 89.53——並透過相同的 systemone 端點形式提供,輸入為文字、輸出為結構化 JSON,每百萬輸入 token 為 $0.042。這個巧合很有用:評估此版本的團隊可以把新模型與現有模型放在相同狀態上,而無須第二份合約或第二個用戶端程式庫,因為 一個 API 支援 200+ 模型 已經同時支援這兩種形式。列表價格以 0% 加價直接傳遞,因此如果 Liquid 調整 $0.042,這裡的數字會跟著它變動,而不是在其後才變動,而 自動容錯移轉 意味著一個才推出一天的模型可以承接真實工作負載的一部分,而不必被信任承擔全部。

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

從資料而非定價頁得出的建議是:對它進行影子運行。d1.2-ultra 在文件處理上排名第一,在校準上也排名第一,這對抽取管線來說是真正強勁的組合;而它在困難知識題上排名墊底,這是實實在在的限制,而非可有可無的註腳。把管線實際會看到的狀態送給它,比較機率而不是只比 top-1 選擇,並留意它給出 0.8 卻答錯的情況,因為那條尾端正是該模型十月的上一代表現糟糕的地方,也是改進究竟有無顯現的地方。

未解的問題不是 75 是否真實——Artificial Analysis 已測量並公布各組成部分。問題在於,一項在 1,500 份私有文件上進行、權重 30% 的文件評估,是否能推廣到你的文件。這只有你自己標註的樣本才能回答,而且值得在計費變更誘使你每份文件問十個問題而不是一個之前先回答。