一張生成的標題卡,標題為「Karpo Decision 31B vs Nimble v3」,副標題為「授權條款比排行榜更早給出答案」。下方有兩張卡片:「Nimble v3」列出「9B LoRA 適配器」、「CC BY-NC 4.0 — 不得商業使用」和「51.06 總分」,旁邊是一個閉鎖的掛鎖;以及「Karpo Decision 31B」列出「31.3B 完整檢查點」、「Apache-2.0 權重」和「73.86 總分」,旁邊是一個開啟的掛鎖。
Guides & Insights

Karpo Decision 31B 對上 Nimble v3:授權條款比排行榜更早揭曉答案

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gem​ma 4 fine-tune under Apache-2.0 with Gem​ma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.

所以先看授權,因為它是這項比較中唯一既已確定又具決定性的部分。然後再看數字能告訴你什麼、不能告訴你什麼,因為在數字那一邊,幾乎沒有任何事情是確定下來的。

每個儲存庫實際上包含什麼

Nimble v3 包含五個檔案:一個 README、adapter_config.json、adapter_model.safetensors、一個 schema_config.json以及 .gitattributes。它是 PEFT 適配器,並非獨立模型,且預期以 Qwen/Qwen3.5-9B 作為其基礎模型,而該儲存庫並未重複包含此基礎模型。模型卡描述了一個上下文與具型別的問題——從選項中擇一,或是是/否——並為每個選項回傳一個機率。Bespoke Labs 尚未針對 v3 公布上下文長度、選項上限、溫度或變更說明;此系列較早的檢查點曾記載其中部分資訊,但這一個沒有。

Karpo Decision 31B 是完整檢查點,包含 bf16 格式、31.3B 參數的 62.5 GB 權重,外加一個 255 × 5,376 的 fp32 讀出頭。它能讀取文字、JSON 與圖像,每個問題最多接受 255 個選項,序列上限為 32,768 個 token,並依問題拆分較長的請求;對於仍無法容納的內容,會予以拒絕,而不是將其截斷。它以 System One 形式提供 Python 套件與 HTTP 伺服器,POST /v1/systemone,因為通用的 chat-completions 技術堆疊無法執行它:分支注意力與讀出頭都是不可或缺的關鍵,而將該檢查點當作一般聊天模型載入,將無法重現其答案。

儲存庫的差異有其實際優勢。Nimble v3 的 README 沒有告訴你如何正確地提供服務;Karpo 卡片則有。一個是附有使用者手冊的檢查點,另一個是附有授權條款一行的檢查點。

那個差距,以及你必須信任才能相信它的那些儀器

On the Decision Index — the community board tracking open reproductions of TypeSafe's Je​v, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.

每張卡片上的公開數字,都是廠商自行以官方套件跑出的結果,應分開解讀:Karpo 在 140,178 筆已計分請求中為 75.05,Nimble v3 則為 56.88——這是其卡片在較舊的 0.2.1 套件上印出的數字,而該委員會重新執行後,以目前量表計為 57.19。兩者都獲該委員會採用,這是實質的審查步驟,並不等同於由獨立實驗室將模型放在自家硬體上執行。兩款模型都未出現在 Artificial Analysis 上。這兩個儲存庫之外,沒有任何一方對其中任一款進行過評分。

實務上,這意味著這 22.8 點比大多數廠商比較更可信,但不如用同一台儀器分別讀取兩個模型來得可信。這些分數是由同一個組織、在同一個測試套件上、用同一套公式產生的,而這對開放決策模型而言確實是現有最佳情況——但該套件並非官方,同分帶為 0.9 點,而且你無法檢查其中的私有那一半。請把方向視為真實,把幅度視為約略值。

9B 模型在哪些方面比規模差距所暗示的更接近

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

拆開看排行榜的五項類別分數,情勢就不再是一面倒的輕鬆勝利。在工具與自動化類別,Nimble v3 拿下 84.24 分,Karpo 則是 88.39 分——相差四分,而且還是來自規模只有三分之一的模型,涵蓋的正是工具選擇與代理閘控。那正是 Bespoke Labs 打造這個系列所鎖定的使用情境,而它在規模差異下大致仍完好成立。如果你的決策層存在,是為了回答「這個代理是否該呼叫工具,以及該呼叫哪一個」,那麼 9B 適配器就和 31B 檢查點具有同等討論分量。

在其他所有地方,差距都正如你所預期。語言理解為 60.68 對 76.78,檢索為 55.48 對 76.42,知識為 40.96 對 65.46,藝術與開放式判斷為 44.05 對 68.21。Karpo 的優勢正好集中在 31B 模型額外容量本應發揮作用的地方:更長的上下文、更多的世界知識、更善於讀取密集狀態。

延遲同樣不隨規模差距而變。在追蹤工具的參考硬體上——單一 GPU、一次處理一個請求——Nimble v3 的中位數為 73.9 毫秒,Karpo 則為 94.3 毫秒。二十毫秒並不是選擇模型的理由,但它提醒我們,合併後的 9B 適配器是另一種操作對象:它在 Q4 下能裝進筆記型電腦,幾秒內即可載入,而且可以放在逐步代理迴圈中,無需討論 GPU 預算。

校準,其中較小的模型不僅更弱,而且更不誠實

準確率告訴你最高票答案有多常是對的。校準則告訴你附在它上面的機率能不能撐起一個門檻值,而對決策模型來說,那才是營運上唯一要緊的數字。

Karpo 的卡片顯示,涵蓋 34,411 則回應的預期校準誤差為 4.8 個百分點:平均信心為 87.96%,實際準確率則為 83.19%。在涵蓋全部回應 68.5% 的最高區間中,正確率為 95.7%,卻宣稱 98.7%。高端存在約三個百分點的過度自信,其餘曲線則大致吻合。

Nimble v3 的數值為 12.29 點,涵蓋 34,833 個回應:信心度 87.26%,對應準確率 74.97%。最高信心區間涵蓋 67% 的回應,聲稱 98.6%,實際正確率為 89.1%——在閾值真正所在的區間,誇大了 9.5 點。在此之下,中段區間更糟:當聲稱信心為 0.85 時,模型大約只有 59% 的時候是正確的。這不是一個只有輕微校準漂移的模型;這是一個若不重新縮放,其信心度就無法當作閘門使用的模型,而該模型家族自身的文件也從未承諾過其他做法。

把這兩段放在一起讀,誠實的結論比排行榜所暗示的更狹窄。Karpo 在決策上更好,也更清楚自己的決策有多好。Nimble v3 的執行成本更低,而在對代理工作最重要的那個類別上,它也很接近——但如果你打算在 0.9 以上自動接受、以下升級處理,你第一週就會花時間替 Nimble 調整校正,而這正是 Karpo 在其卡片中直接給你的。

授權分叉,毫不含糊地說明

Nimble v3 採用 CC BY-NC 4.0。這點並不模糊:模型卡明確表示不得用於商業用途。先前每一個 Nimble checkpoint 都是 Apache-2.0,而基礎模型也是 Apache-2.0,但這不會改變任何事——寬鬆授權的基礎模型並不會放寬非商業性的 adapter,而行為正是存在於 adapter 之中。存放該專案訓練與資料策劃程式碼的 GitHub 儲存庫,透過 GitHub API 完全沒有回報任何授權條款,對任何打算在其上建構的人來說,這是另一個、而且可說更嚴重的問題。

Karpo Decision 31B is Apache-2.0 for weights and code, with Gem​ma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.

對於研究筆記、內部評估或論文而言,這項區別並不可見,而 Nimble v3 是更便宜的入門選擇。對於任何涉及營收的用途——商業產品內部的路由閘門、付費管線中的分診模型,甚至是營利公司的內部工具——授權條款會在 22.8 分的差距被納入考量之前就決定這場對決。Bespoke Labs 有一條託管 API 途徑,以及一個 27B 變體的佔位項目,該變體在較舊的公開測試套件上回報 65.33,而這兩者都不會改變 9B 轉接器的條款。

提供其中任何一個,先是路由問題,然後才是建模問題。

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

決策模型在構造上就是狹隘的:它們只回答你交給它們的問題,無法寫作、解釋,也無法回傳你未提供的選項。這使它們成為雙模型模式中較小的一半,也是最容易留在自家內部的那一半。而生成的那一半,才是單一端點真正發揮價值所在。

OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Je​v 1.14, the target the whole board exists to reproduce, and the Gem​ma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.

三件會改變這個解讀的事

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

第一項是授權變更。以 Qwen3.5-9B 為基礎、可商用的 Nimble 適配器,若能搭配上下文契約與明確標示的溫度設定,將使 9B 選項在 agent 閘控上真正具備競爭力——84.24 的工具分數說明能力已經到位。Bespoke Labs 的公開資料中沒有任何跡象顯示這即將發生;從 Apache-2.0 改為 CC BY-NC 反而是往反方向走。

第二點是上下文與提示詞規格。Nimble v3 的模型卡兩者皆未記載,這意味著任何執行它的人都在猜測早期版本過去隨附的提示詞格式。使用者自行重建輸入的模型,就是數字難以重現的模型;而 12.3 個百分點的校準誤差,正是那種會隨著你如何表述問題而變好或變差的數字。

第三個是任何能同時讀取兩者的獨立量測工具。Decision Index 很謹慎,對其方法透明,也誠實面對其平手區間,而且它仍然是一個社群看板。一旦任一模型出現在 Artificial Analysis 上,與超大規模雲端業者的評分器並列,比較就不再是兩張廠商規格卡之間的算術,而是開始成為一種量測。這兩者都還沒發生,而在發生之前,站得住腳的立場就是那個無聊的立場:若能跑得動,就選 Apache-2.0、在 31B 校正得更好;若跑不動,就選非商業且便宜的 9B;而且沒有理由只憑分數結果來挑。