一张生成的标题卡,主标题为“Karpo Decision 31B vs Nimble v3”,副标题为“许可证比排行榜更早给出答案。”下方有两张卡片:“Nimble v3”列出“9B LoRA 适配器”、“CC BY-NC 4.0——禁止商业使用”和“51.06 总分”,旁边是一个闭合的挂锁;“Karpo Decision 31B”列出“31.3B 完整检查点”、“Apache-2.0 权重”和“73.86 总分”,旁边是一个打开的挂锁。
Guides & Insights

Karpo Decision 31B 与 Nimble v3:许可证比排行榜更早给出答案

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gem​ma 4 fine-tune under Apache-2.0 with Gem​ma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.

所以先看许可证,因为这是这项比较中唯一既已确定又具决定性的部分。然后再看数字能告诉你什么、不能告诉你什么,因为在这方面几乎没有任何定论。

每个仓库实际包含的内容

Nimble v3 包含五个文件:一份 README、adapter_config.json、adapter_model.safetensors、一份 schema_config.json以及 .gitattributes。它是一个 PEFT 适配器,而非独立模型,并且要求以 Qwen/Qwen3.5-9B 作为其基础模型,而该仓库并未重复提供这一基础模型。模型卡描述了一个上下文以及带类型的问题——在若干选项中择一,或回答是或否——并针对每个选项返回一个概率。对于 v3,Bespoke Labs 未公布上下文长度、选项数量上限、温度参数,也未提供变更说明;该系列更早的检查点曾记录其中部分信息,而这一版则没有。

Karpo Decision 31B 是一个完整检查点:bf16 下 31.3B 参数的 62.5 GB 权重,外加一个 255 × 5,376 的 fp32 读出头。它可读取文本、JSON 和图像,每个问题最多接受 255 个选项,序列上限为 32,768 个 token,按问题拆分较长的请求,并对仍然无法容纳的内容拒绝处理,而不是将其截断。它以 System One 形态提供 Python 包和 HTTP 服务器,POST /v1/systemone,因为通用的聊天补全技术栈无法运行它:分支注意力和读出部分都是承重组件,而将该检查点作为普通聊天模型加载也无法复现其回答。

仓库之间的差异具有实际优势。Nimble v3 的 README 没有告诉你如何正确地提供它;Karpo 卡片则告诉了。一个是附带用户手册的检查点,另一个是附带一行许可证说明的检查点。

这个差距,以及你必须信任才能相信它的那些工具

On the Decision Index — the community board tracking open reproductions of TypeSafe's Je​v, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.

每张卡片上的公开数字都是厂商自行使用官方工具包跑出的结果,应当分开解读:Karpo 在 140,178 个已评分请求上为 75.05,Nimble v3 为 56.88——这是其卡片在较旧的 0.2.1 套件上给出的数字,而委员会的重跑按当前量表将其定为 57.19。两者均被委员会采纳,这是一个真实的评审步骤,并不等同于由独立实验室在自有硬件上运行该模型。两款模型均未出现在 Artificial Analysis 上。除了这两个代码仓库之外,没有任何人对其中任何一个模型进行过评分。

在实践中,这意味着 22.8 分比大多数供应商对比更可信,但不如用同一台仪器同时读取两个模型所得的结果可信。这些分数由同一组织在同一套测试集上、用同一公式生成,对开放决策模型来说,这确实是可获得的最佳情况——但该测试集是非官方的,并列区间为 0.9 分,而且私有那一半你无法检查。请把方向视为真实,把幅度视为近似。

9B 模型在哪些方面比规模差距所暗示的更接近

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

把榜单的五个类别得分拆开来看,故事就不再是一边倒了。在工具与自动化类别中,Nimble v3 得分 84.24,而 Karpo 得分 88.39——相差四分,且 Nimble v3 的模型体积只有后者的三分之一;该类别涵盖工具选择与智能体门控。这正是 Bespoke Labs 打造这个模型系列所针对的用例,而且它在体积差异下大体上依然成立。如果你的决策层存在的目的就是回答“这个智能体该不该调用工具,以及该调用哪一个”,那么 9B 适配器与 31B 检查点就处在同一水平线上。

在其他所有方面,差距都如你所预料。语言理解得分为 60.68,对比 76.78;检索为 55.48,对比 76.42;知识为 40.96,对比 65.46;艺术与开放式判断为 44.05,对比 68.21。Karpo 的优势恰恰集中在 31B 模型的额外容量本应发挥作用的地方:更长的上下文、更多的世界知识、更好地读取密集状态。

延迟也并不随规模差距变化。在追踪器的参考硬件上——单块 GPU、一次一个请求——Nimble v3 的中位延迟为 73.9 毫秒,而 Karpo 为 94.3 毫秒。二十毫秒并不是选择模型的理由,但它提醒我们:合并后的 9B 适配器是另一种需要运行的对象:在 Q4 下它能装进笔记本电脑,几秒内即可加载,并且可以置于每步智能体循环中,而无需讨论 GPU 预算。

校准:较小模型不仅更弱,而且更不诚实

准确率告诉你排名第一的答案有多经常是正确的。校准度告诉你附加于其上的概率能否承载一个阈值;而对决策模型来说,这是运营层面唯一重要的数字。

Karpo 的卡片报告显示,在 34,411 条回答中,期望校准误差为 4.8 个百分点:平均置信度为 87.96%,而实际准确率为 83.19%。在包含全部回答 68.5% 的最高置信度区间中,它有 95.7% 的时候是正确的,却声称达到 98.7%。在最高端过度自信约三个百分点,除此之外曲线基本吻合。

Nimble v3 的数值为 12.29 个百分点,覆盖 34,833 条回复:置信度 87.26%,准确率 74.97%。最高置信区间包含 67% 的回复,声称置信度为 98.6%,实际正确率为 89.1%——在阈值真正所在的区间内高估了 9.5 个百分点。在此之下,中间区间更糟:当声称置信度为 0.85 时,模型大约只有 59% 的时候是对的。这不是一个只有轻微校准漂移的模型;而是一个若不重新缩放,其置信度就不能用作门控的模型,而且该系列自身的文档也从未承诺过别的情况。

把这两段放在一起读,诚实的结论比排行榜所暗示的更窄。Karpo 在决策上更胜一筹,也更擅长判断自己的决策有多好。Nimble v3 的运行成本更低,而在对智能体工作最重要的那一个类别上,它已经很接近——但如果你打算在高于 0.9 时自动接受、低于就升级,你将花第一周时间给 Nimble 拟合一个修正,而 Karpo 在其卡片中就会直接给你。

直言不讳地陈述许可证分叉

Nimble v3 采用 CC BY-NC 4.0 许可。这一点并不含糊:模型卡上写明不得用于商业用途。此前每一个 Nimble checkpoint 都是 Apache-2.0,而基础模型也是 Apache-2.0,但这并不能改变什么——宽松的基础模型许可并不会放宽非商业适配器的限制,而行为恰恰存在于适配器中。存放该项目训练与数据整理代码的 GitHub 仓库通过 GitHub API 显示完全没有许可证,这对任何计划在此基础上构建的人来说,是一个单独且可以说更严重的问题。

Karpo Decision 31B is Apache-2.0 for weights and code, with Gem​ma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.

对于研究笔记本、内部评估或论文来说,这种区别是看不见的,而 Nimble v3 是更便宜的入门选择。对于任何涉及收入的东西——商业产品内部的路由网关、付费流水线中的分诊模型,甚至营利性公司的内部工具——许可证在 22.8 分获得申辩机会之前就已决定了这场较量。Bespoke Labs 有一条托管 API 路径,以及一个 27B 变体的占位项,该变体在较旧的公开测试套件上报告 65.33 分,而这两者都不会改变 9B 适配器的条款。

提供其中任何一个,首先都是路由问题,然后才是建模问题。

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

决策模型从构造上就是范围狭窄的:它们只回答你交给它们的问题,不能编写、解释或返回你未提供的选项。这使它们成为双模型模式中较小的一半,也是最容易留在内部自建的一半。生成式的那一半,才是单个端点能够体现其价值的地方。

OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Je​v 1.14, the target the whole board exists to reproduce, and the Gem​ma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.

会改变这一解读的三件事

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

首先是许可证变更。一个可在商业上使用的、基于 Qwen3.5-9B 的 Nimble 适配器,配合上下文契约和明确规定的温度,将使 9B 选项在智能体门控方面真正具有竞争力——84.24 的工具得分说明能力已经具备。Bespoke Labs 的公开材料中没有任何迹象表明这即将到来;从 Apache-2.0 转向 CC BY-NC 是反其道而行之。

第二项是上下文和提示词规范。Nimble v3 的模型卡对两者都未作说明,这意味着任何运行它的人都在猜测早期版本曾随附的提示格式。一个输入由用户重建的模型,就是一个指标难以复现的模型,而 12.3 个百分点的校准误差,正是那种会因你如何表述问题而变好或变差的数字。

第三个是任何能同时读取两者的独立工具。Decision Index 方法严谨、透明,对其并列区间保持诚实,而且它仍然是一个社区榜单。哪一天任一模型出现在 Artificial Analysis 上,与超大规模厂商的评分器并列,这种比较就不再是跨两张厂商卡片的算术,而开始成为一种测量。两者都还没有出现这种情况;在那之前,站得住脚的立场就是那个无聊的立场:如果你能运行,就选 Apache-2.0 且校准更好的 31B;如果你不能运行,就选非商业且便宜的 9B;并且没有理由仅凭分数做选择。