一張生成的標題卡,標題為「Karpo Decision 31B vs Drex Max 1.1」,副標題為「兩塊板,各有一個數字——而且沒有正面對決」;兩個並排的圓角面板分別標示為「Decision Index」,顯示「Karpo Decision 31B 73.9」,以及「Artificial Analysis v2.1」,顯示「Drex Max 1.1 72.62」;兩者間隙中還有一個小型垂直標籤,寫著「no shared instrument」。
Guides & Insights

Karpo Decision 31B 對 Drex Max 1.1:兩塊板,各一個數字

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

{{1}}Karpo Decision 31B{{/1}} 與 {{2}}Drex Max 1.1{{/2}} 在尺寸、外形與功能描述上足夠接近,一份規格表就會讓它們看起來像是兩家公司推出的同一款產品。兩者都是稠密、約 30B 的模型,經過微調,能在一次前向傳遞中回答關於某個狀態的鍵入問題,而不生成文字。兩者都配備 255 路讀出頭,都接受影像,遇到過大的問題時都會拒答,而不是加以截斷。分歧不在架構,而在於每家廠商願意讓其他人測量什麼,以及事後允許你對權重做什麼。來自 MachinePulse 的 Karpo 有第三方 Full 分數,且未公布價格。來自 Nace.AI 的 Drex Max 1.1 則有獨立的 Artificial Analysis 數值、已公布的費率,以及限制商業使用的授權條款。

那兩筆交易顯然都不是正確的選擇。以下是這筆交易雙方各自實際付出的代價。

這些數字從何而來,因為它們並非來自同一個地方

先從令人不舒服的部分說起:今天沒有任何一個排行榜上,兩個模型都有分數。

Karpo Decision 31B 出現在 Decision Index 上,這是追蹤 TypeSafe 的 Je​v 公開重現的社群看板。其 Full 分數為 73.9,由該看板的維護者在私有測試上計算得出,目前與 GLiDE 27B 以 73.4 並列第一。其 75.05 的公開指數來自 MachinePulse 自行執行官方套件的結果,並獲該看板採用,140,178 筆請求的結果檔案已公開,任何人都能重新執行。Artificial Analysis 完全沒有 Karpo 的資料列。

Drex Max 1.1 是鏡像版本。Artificial Analysis 在 Decision Index v2.1 上給它 72.62 分——在 25 個決策模型中排名第二,落後於 74.85 分的 Liquid AI d1.2-ultra,領先於 72.58 分的 SubQ Snap 1.2。那個數字是 AA 的,是在 AA 的硬體上、以 AA 的私有文件集測得。Karpo 有而 Drex Max 1.1 沒有的東西:Je​v 追蹤器有一列是給Drex Max v1,分數為 66.60 Full,而完全沒有 v1.1 的列。

因此,唯一可用的同儀器比較,是 Karpo Decision 31B 的 73.9 對上 Drex Max v1 的 66.6——在同一份排行榜上相差 7.3 分,而且橫跨 Nace 模型的兩個不同版本,這正是那種會討好你恰好偏袒哪一方的比較。換個方式劃線,Drex Max 1.1 有 72.62 的成績,而 Karpo 那邊則沒有印出任何數字。這兩句話都是真的。但兩者都不是正面對決。

規格,逐一維度來看

A generated two-column scoreboard titled 'Karpo Decision 31B vs Drex Max 1.1 — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB bf16', 'Context: 32,768 tokens', 'Score: 73.9, Decision Index', 'Price: none published', 'Licence: Apache-2.0' and 'Hosting: self-host only'; the Drex Max 1.1 column reads 'Params: dense 27B, 49 GB bf16', 'Context: 16,384 default, up to 131,072', 'Score: 72.62, Artificial Analysis', 'Price: $0.03 per million input', 'Licence: Nace.AI Open RAIL-M' and 'Hosting: served by Nace.AI'. The footer reads 'Karpo figures per the Decision Index and its model card; Drex figures per Artificial Analysis and Nace.AI.'

• 參數 — Karpo 31.3B 採用 bf16,加上 255 × 5,376 的 fp32 讀出層,磁碟上約 62.5 GB;Drex Max 1.1 是稠密 27B 模型,bf16 約 49 GB,主幹採用 8-bit 時約 26 GB。

• 基礎模型 — Gemma 4 31B針對 Karpo 進行指令微調,Qwen3.8-27B則用於 Drex Max 1.1。不同的預訓練語料、不同的分詞器,下游的一切也都不相同。

• 背景 — Karpo 每個序列可處理 32,768 個 token,並依問題將較長的請求拆分,每個部分都攜帶完整狀態;Drex Max 1.1 每次請求預設為 16,384 個 token,而廠商文件則將其提高到每個問題 131,072 個。

• 多模態——兩者皆可原生讀取影像,且兩者都會讓截圖對請求中的每一個問題都可見,而非僅限於其中一個問題。

• 題型 — 相同呈現方式:choice 最多 255 個選項,noul 用於是非題,score 用於有序等級。

• 介面 — Karpo 以其自有的 Python 套件,於POST /v1/systemone 提供 System One;Drex Max 1.1 的形態相同,另針對 Apple 晶片與 CPU 提供 llama.cpp 與 Ollama 分支版本。

• 授權 — Karpo 的權重與程式碼採用 Apache-2.0;Drex Max 1.1 採用 Nace.AI Open RAIL-M,這是附有使用限制的開放權重。

託管——Karpo 沒有。Drex Max 1.1 由 Nace.AI 提供服務,每百萬輸入 token 收費 0.03 美元,並在 AA 看板上標示為臨時上線價格。

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

上下文那一行是人們常快速略過的地方。32,768 個 token 的硬性上限並會明確拒絕,和可透過環境變數把 16,384 個 token 的預設值提高到 131,072 個 token,是兩種不同的工程限制。如果你的狀態是發票和支援工單,這兩個數字都無關緊要。如果你的狀態是合約,Nace 模型可以一次交給它十份,而 Karpo 連一份都不能交給它。

11 個百分點的校準差異在管線中會是什麼樣子

準確率是人們常引用的數字,也是對這類模型而言最不重要的數字。決策模型的重點在於,它的輸出是一個能讓閾值據以採取行動的機率,所以問題在於這個機率是否誠實。

Karpo 的卡片回報校準誤差為 4.8 分:當模型說 0.9 時,它正確的機率略低於 90%,平均大約低五個百分點。Drex Max 1.1 的 AA 概況在完整題組上的 Brier 分數為 0.16,這是不同的統計量,無法直接比較,但同一張看板也顯示它的信心階梯:在 0.98 信心區間,模型正確的機率是 97.5%。這是一個其最高信心答案可以直接採信的模型。

Drex Max 1.1 有趣的分野在於知識評估。在 AA-Omniscience 上,它的決策分數為 60.3——但這個綜合分數來自 28% 的原始準確率,對上 65.3% 的非幻覺率。把這兩者放在一起看,你得到的是一個能正確回答約四分之一知識問題、並對其餘很大一部分拒絕回答的模型。這個指數獎勵它拒絕回答而非憑空捏造,這對決策層而言是預期行為,對任何需要實際答案的用途則很不合適。

對 Karpo 而言,同樣的直覺出現在不同的地方:140,178 個請求中有九個被直接拒絕,因為一個問題加上它的狀態超出了視窗。寧可拒絕也不默默截斷,是正確的預設做法。這也是你必須設法繞過的故障模式,而 32,768 個 token 的上限讓它變得更常發生。

延遲與部署的形態

Karpo 在該追蹤器的參考硬體上記錄到的中位數為每次請求 94 毫秒,使用一張 GPU,一次處理一個請求。AA 測得 Drex Max 1.1 為每個任務 283 毫秒,並以目前上市價格計算,每百萬個任務的成本為 102.7 美元。這兩個數字並非相同的量測——一個是每次請求,另一個是每個任務,而 AA 文件集上的一個任務是對一份長文件做出數個判定——因此應將此差距視為方向性而非精確值。

從方向上看,它指出了某個真實的重點:一個 31B Gemma 衍生的讀出結果,只靠單一共享狀態傳遞,是比一個非因果注意力層會改寫整個序列的 27B 模型更精簡的物件。至於更精簡是否重要,取決於這個呼叫位於何處。每次工具呼叫前都要觸發的閘門,必須納入回合預算之內。每晚對一千張工單重新評分,則不在乎 200 毫秒。

那個直到採購部門開口才有人問的授權問題

Karpo Decision 31B 採用 Apache-2.0,權重與程式碼皆然,並在儲存庫中一併附上 Gemma 4 自身的授權條款。這屬於開放光譜中偏寬鬆的一端。

Drex Max 1.1 採用 Nace.AI Open RAIL-M 授權。Open RAIL-M 確實是開放的——你可以下載、執行、修改與再散布——但它附帶的使用限制會傳遞給下游使用者,並且要求你把相同的限制繼續傳遞下去。對研究用筆記本而言,這項區別是看不出來的。對模型位於面向客戶流程內的產品而言,這是一項法務審查,而審查會問:當你對它進行微調並發布衍生作品時會發生什麼事。答案是「限制會隨之而來」。

如果決策層是內部工具,授權條款只是腳註。如果它嵌入在你販售的產品中,Apache-2.0 就能讓關鍵路徑上少一場會議。

哪一個才真正合適?

如果你想要一個不必自己計算的數字、一個能編進預算的價格,以及能長時間運行的狀態,就選 Drex Max 1.1。它今天就能量測、今天就有託管服務,而且它頂端的信心階梯正是讓自動化閾值站得住腳的特性。代價是授權限制,以及 AA 明確標示為暫時性的首發價格。

如果沒有託管端點不是問題——你有 GPU,或有批次作業——且 Apache-2.0 的寬鬆性很重要,而該榜單的 Full 分數是你信任的證據,那就採用 Karpo Decision 31B。代價是 62.5 GB 的權重、32,768 個 token 的上限,以及一家尚未公布價格、產品頁面或公告的廠商。

還有第三種立場,而對多數團隊來說,這才是本月正確的選擇:兩者皆非。Karpo 才推出兩週,領先幅度並列,且沒有獨立評分;Drex Max 1.1 的定價建立在一項即將到期的折扣上。請在你自行標註的樣本上分別測試兩者,並比較「自信卻錯誤」的比率,而不是只看頭條數字。在那項影子測試中,作為現任基準,最便宜的可用參照是 TypeSafe 自家的模型——Jev 1.14 已在我們的目錄中,因此可以用每個開放復現都在追趕的對象來驗證閾值策略,而且使用與 Qwen3.8-27B 或 Gemma 4 31B 相同的金鑰;這兩個基礎模型正是這些檢查點的建構基礎。這兩個基礎模型都透過 單一 API 提供 200+ 個模型,依供應商定價、不加價,這之所以有用,正是因為決策層正是你想更換模型並保留程式碼的地方。

唯一能了結這場對決的,就是一個數字:Karpo Decision 31B 出現在 AA board 上。在那之前,這項比較不過是有完整記錄的 73.9 對上有完整記錄的 72.62,而這兩個分數出自兩個從未評審過同一篇論文的組織。

A capture of the Artificial Analysis Decision Index v2.1 page showing the six weighted evaluations — AA-Paperclip at 30%, EvalSafe-O*NET-AA at 15%, When2Call at 10%, AA-Omniscience-Decision at 15%, HLE-MultiChoice at 15% and AA-Symmetry at 15% — the methodology note that all evaluations are conducted independently by Artificial Analysis, the 'Update Oct 30, 2026' stamp, and the worked example of a support-ticket state scored by a decision model.