一張生成的標題卡,標題為「Karpo Decision 31B vs Kev 27B」,副標題為「同一排行榜,相差十四分——而且輸家反而有更好的校準」,四個標籤寫著「Karpo 73.9 完整」、「Kev 59.6 完整」、「校準誤差 4.8 對 2.18」和「相同的私有測試」,另有兩張描邊卡片標示為「Kev 27B」和「Karpo Decision 31B」,並由一行文字連接,寫著「兩者皆由 Decision Index 評分」。
Guides & Insights

Karpo Decision 31B 對 Kev 27B:文件記錄更完善的模型以 14 分之差落敗

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

這是罕見的對決:兩個模型都由同一批人使用同一套工具評分。Karpo Decision 31B 和 Kev 27B 都名列 Decision Index,這個社群排行榜專門為 TypeSafe 的 Jev 的公開復刻版評分,而兩者之間的差距並不小:MachinePulse 模型拿下 73.9 Full,Jared Palmer 的 Kev 27B 則是 59.6,在相同的私人測試上相差十四分。Karpo 位居榜首。Kev 在 307 個中排名第 74。

這個結果很尷尬,因為 Kev 27B 是嚴謹記錄程度大幅更高的模型,而且在決策模型真正被採用時最看重的一項特性上——其機率的誠實度——它可測量地優於那個擊敗它的模型。這兩項說法都出自同樣兩個來源,而理解它們為何並不矛盾,是這項比較中最有用的部分。

在分數之前,各模型是什麼

Kev 27B 是Qwen3.8-27B的全權重微調版本,由 Jared Palmer 以 Apache-2.0 授權發布。其第二版於 2026 年 9 月 30 日發布,採用加權平均:每個主幹張量為 0.85 × 微調權重加上 0.15 × 上一版本的權重,而指標頭則保留自新一輪訓練。所服務的檢查點為主幹 25.6B 加上 2.6M 參數的頭,bf16 下為 51.3 GB,並將單一校準溫度 1.32 烘焙進頭檔案。狀態可達 65,536 個 token,每個問題至少 8,192 個,且該數字經過驗證而非名義值——模型卡公布了從 8k 到 64k 每個桶相對於 8k 基線的配對準確率差異,並附有信賴區間。

Karpo Decision 31B 是 Gemma 4 31B 指令微調版本的微調模型,由 MachinePulse 於 2026 年 11 月 5 日發布,同樣採用 Apache-2.0 授權。它以 bf16 保留 31.3B 參數,另加一個 255 × 5,376 的 fp32 讀出層——磁碟上佔 62.5 GB——並且是透過選項代碼上的線性頭來產生答案,而非透過詞元上的指標頭。每個序列的上下文為 32,768 個詞元;當請求超出上限時,會依問題拆分,而若單一問題無法容納,則會直接拒絕而非截斷。

同樣的工作,不同的工程設計。Kev 讀取一份長文件並產生一個分佈。Karpo 讀取一份稍短的文件,並更快地產生一個分佈。

十四點原則,以及它們的由來

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

這兩列都來自同一塊板子,所以這個區段是少數可以直接相減的地方之一。

• 總分 — Karpo 73.9,Kev 59.6。

• 公開指數 — Karpo 75.05,Kev 56.69。

• 依 Full score 排名 — Karpo 第 1(與 GLiDE 27B 同為 73.4 並列),Kev 在 307 個中排名第 74。

• 知識與推理 — Karpo 65.5 機率校正技能,Kev 45.7。

• 工具與自動化 — Karpo 88.4,Kev 72.7。

• 藝術與人類品味 — Karpo 68.2,Kev 42.7。

• 中位數延遲,單一 GPU、一次處理一個請求 — Karpo 94 ms、Kev 135 ms。

損失的形態在每個類別中都一致,而最大的絕對差距落在知識,接近二十分。這正是任何打算用 Kev 做文件決策的人都該擔心的地方:該模型大量接受文件與開發者工具工作的訓練——其 145,840 筆訓練紀錄中有 24,000 筆來自授權任務家族,另有 7,617 筆是組裝而成的長文件——而它仍只達到 Karpo 知識技能的三分之二。

Kev 自家的評分卡對發展方向相當坦率。以其自家廣度測試套件對上 TypeSafe 的 Jev 來衡量,它回報的指數是 52.3,信賴區間為 [49.2, 55.4],而 Jev 是 54.0 [51.2, 57.0]——這是一場它如實說明、毫不粉飾的敗仗。一支願意公布自身落敗區間的團隊,其其他數字值得在存疑時先獲得信任。這正是讓 59.6 顯得可信、而非難堪的原因。

朝相反方向跑的數字

轉折來了。校準誤差——所稱機率與實際觀察命中率偏離多遠——對 Kev 有利,而且差距不小。

追蹤器記錄 Kev 27B 的期望校準誤差為 2.18 點,而 Karpo Decision 31B 為 4.77。用白話來說:當 Kev 說 0.8 時,它大約有 80% 的時間是對的,平均偏差為兩點。當 Karpo 說 0.8 時,平均偏差更接近五點。Kev 的模型卡從自身角度印證了這一點,公布了各面板的 ECE 數值介於 0.014 與 0.053 之間,以及一項五折交叉驗證,將擬合誤差從 4.8% 降至 3.8%。

所以,回答能力較差的模型反而更清楚自己的答案有多好。這不是悖論,而是準確度與校準之間的區別,而這也決定了哪個模型該放在哪裡:

• 如果決策是依閾值自動化,校準就是關鍵性質。設在 0.9 的閘門若對 Karpo 的 0.9 答案觸發,出錯頻率約為對 Kev 的答案套用同一閘門的兩倍。Kev 較低的準確率會犧牲你的吞吐量——更多案例低於閾值並轉入審查——而它更好的校準意味著通過門檻的案例更安全。

• 如果這項決策會經過審查或評分,準確度就佔了上風。無論是人還是下游流程,看到的都是排名最高的答案與其機率,而十四個百分點的準確度,就代表多了十四個百分點的工作被正確完成。當根本沒有人在做門檻判定時,Kev 的校準優勢一點用處也沒有。

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

這兩個模型都提供相同的三種題型——choice 最多可達 255 個選項、用於真/假的 noul、用於有序評分規準的 score——而且兩者都提供 System One 形式的 HTTP 端點,因此在程式碼中要切換回來是可行的。好消息是:你可以在一個下午內用自己的資料實測這件事,而不必為此爭論。

文件長度正是規格實際出現分歧的地方

Karpo 的 32,768 個權杖上限是針對每個序列而言,而分割規則是「按問題拆分,每個部分都攜帶完整狀態」。對於一份 20k 權杖的合約上的 100 個問題,這只需一次處理,毫無波瀾。對於一份 40k 權杖的合約上的單一問題,請求會被拒絕——MachinePulse 自身執行中的 140,178 個請求裡,有 9 個正是以這種方式失敗。

Kev 提供 65,536 個 token 的狀態,並以分桶方式驗證;對任何擁有真實合約的人來說,它的長文件面板是卡片上最實用的東西。在 CUAD 商業合約上,它在 2,194 個問題中回報 0.874 的準確率,而各分桶數字從低於 8k 一路到 32k–64k 個 token,都維持在 0.867 到 0.880 之間。準確率不會隨長度崩塌。真正改變的是校準:該長文件面板上的誤差為 0.053,大約是它短文件數值的三倍。長狀態正是 Kev 的信心變得鬆散的地方。

關於長度的誠實取捨是這樣:Kev 會接受 Karpo 拒收的文件,而它回答這份文件的可靠度,會比回答短文件時略低一些。兩個模型都不會默默截斷,而這比任何一個數字都更重要——一個會悄悄漏掉你詢問條款的決策模型,比一個直接說不的模型更糟。

部署、權重與授權條款兩者共享

兩個模型的權重與輸出頭皆採用 Apache-2.0,兩者都需要專屬的載入器,而且若把它們當成聊天模型來處理,都會嚴重失敗。Kev 需要 80 GB 等級的 GPU——64k token 狀態在 H200 上峰值達 87.1 GB——或約 96 GB 的 Mac。Karpo 需要能容納 62.5 GB bf16 權重的 GPU。兩者的發行商都沒有提供託管端點;Kev 由其自身儲存庫的伺服器提供服務,Karpo 則由其自身套件提供。兩者都吸引了社群量化版本,這通常是人們真的在執行它們、而非只是閱讀相關資訊的常見訊號。

135 毫秒與 94 毫秒的差異,是在並非完全相同的硬體上按每次請求測得,因此應視為方向性參考。並非方向性的是運作形態:Kev 對完整序列進行非因果注意力,隨著狀態變長,每個 token 的成本更高;而 Karpo 會為每次請求計算一個共享狀態,並讓各個問題從此狀態分支出去。若你的工作負載是針對短狀態提出許多問題,Karpo 正是為此打造。若是針對長文件提出一個問題,則適合用 Kev。

要執行哪一個?

如果你需要把一份 64k token 的協議交給模型處理,如果你想依機率設閾值,並且在意這個閾值是否真的名符其實,如果你重視一位會公布自身損失置信區間的廠商,就選 Kev 27B。你是在一個兩個模型都競爭過的排行榜上,接受大約十四個百分點的準確率落差,而你能得到的是該領域關於這個準確率涵蓋什麼、不涵蓋什麼的最佳證據。

若狀態是螢幕截圖、工單或頁面——簡短、大量問題、對延遲敏感——且若看板的 Full 分數是你重視的證據,就選 Karpo Decision 31B。你接受五點校準誤差與 32k 上限,並以 94 毫秒取得當前領先者。

兩者都沒給你的,是生產環境端點。如果決策層必須位於每次工具呼叫前都會觸發的閘門之後,你要嘛得自己跑其中一個,要嘛得呼叫某個託管服務。TypeSafe 的 Jev 1.14 就在我們的目錄中,正是為了這個角色,而且它正是兩個檢查點都被打造來追趕的模型——很適合作為影子測試中的對照組,因為一個在第三方排行榜上勝過其目標的開放復現版本,也應該能在你的流量上勝過它。目錄也收錄了兩個基礎模型 Gemma 4 31B 和 Qwen3.8-27B,並可透過單一 API 以供應商定價提供 200+ 個模型,且不加價,這是在你購買 GPU 之前,確認決策層是否值得擁有的最便宜方式。

這場對決留下的未解問題,正是排行榜無法回答的那個問題:Karpo 的 14 分領先,在接觸真實工作負載後是否仍能維持,還是說這種領先來自它調校所用的分布比競爭對手更接近私有測試集。Kev 的模型卡把訓練資料組成記錄到紀錄筆數的層級;Karpo 的則沒有。這種不對稱本身不構成任何證據,而這正是應該實際測量、而非信任任一個數字的原因。

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.