一张生成的标题卡,主标题为“Karpo 抉择:31B 对 Laya”,副标题为“一个 31B 领军模型,对阵一个可在笔记本电脑上运行的 421M 编码器”,三个标签分别写着“Karpo:31.3B、62.5 GB、32,768 个 token”“Laya:421M、808 MB、512 个 token”和“总分 73.9 对 9.2”,还有一对扁平图标——一个标注为“需要 GPU”的数据中心 GPU 机架,以及一台标注为“可在笔记本电脑上运行”的笔记本电脑。
Guides & Insights

Karpo Decision 31B 对比 Laya:31B 领跑者对阵可在笔记本电脑上运行的 421M 编码器

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

把 Karpo Decision 31B 与 Laya 放在一起,最真实的第一反应就是:有人把单位搞错了。Karpo 是 Gemma 4 的 31.3 亿参数微调模型,需要 62.5 GB 权重和一块数据中心 GPU。Laya 则是来自 Convai Innovations 的 4.21 亿参数 ModernBERT 编码器,采用 Apache-2.0 许可,磁盘占用 808 MB,能在笔记本电脑上运行,约 33 毫秒即可返回结果。在两者都上榜的社区榜单 Decision Index 上,Full 得分的差距是 73.9 对 9.2——这是整批比较中最大的分差。

然而,Laya 才是那个提供持续维护的 pip 包、MCP 服务器、ONNX 与 Core ML 构建版本,以及一条微调路径的模型——在真实工作流集合上,其准确率有据可查地从 0.362 提升到 0.766。Karpo 提供的则是一个 README 和一个代码仓库。真正有意思的问题并不是哪个模型更好,而是它们各自究竟是为了什么而存在,因为分数差距与可用性差距指向相反的方向,而在任一时刻,只有其中一个是真正重要的。

这两个数字分别意味着什么,以及为什么这种比较在设计上就是不平衡的

Laya 在追踪器上的 9.21 Full 分数是一个经过机会校正的技能指标,而它在同一套件上的原始准确率为 37.7%,覆盖率为 0.76——这意味着该套件中大约四分之一的请求完全未被回答。追踪器记录了原因:320 个请求被标记为不支持,绝大多数是因为指令长度超过了 Laya 的原生预算,而模型选择拒绝而不是截断。在一个为接受 32k token 状态的模型而构建的套件上,512 token 的编码器不是在竞争,而是在默认降级。

Karpo 在同一测试套件上的覆盖率达到 99.87%,原始准确率为 83.2%。共有九个请求被拒绝,原因全部是问题加上其状态超过了 32,768 个 token。

因此,直接比较分数会告诉你:一个为 512 个 token 窗口内的短文本分类而设计的模型,在面向长文档决策模型设计的基准上表现很差。这并不是对 Laya 的批评;这是关于该测试套件的陈述。有用的比较是按任务进行的,而 Laya 的模型卡就有这样的比较:在 MASSIVE 意图分类上,它在适合其窗口的输入上英语得分为 0.783,在 XNLI 上得分为 0.860。Karpo 没有针对短文本单分类任务的同等已发布数值,因为它的模型卡根本没有发布任务级结果。

规格,以及每一项所意味着的内容

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• 参数量——Karpo 31.3B,外加一个 255 × 5,376 的读出层,bf16 格式下为 62.5 GB;Laya 421M,下载量约 808 MB。

架构——一个仅以预填充方式运行的因果语言模型主干,配合线性读出,对比一个双向编码器,后者在每个选项各自的 [MASK]标记处进行打分。

• 上下文——Karpo 每个序列 32,768 个 token,按问题拆分并重复状态;Laya 在交付配置中共 512 个 token,其中 192 个预留给选项提示,状态约剩 320 个。

• 多模态——Karpo 可读取图像和文本;Laya 仅读取文本。英文检查点中没有视觉路径。

• 延迟 — Karpo 在参考 GPU 上的中位数为 94 ms;Laya 在其自身显卡上测得 39.5 ms,而追踪器在其硬件上记录的中位数为 5.8 ms。

• 许可证 — 权重和代码均采用 Apache-2.0,无使用限制。

• 托管 — 两者都不在其发布者提供的托管端点上。Laya 只需执行 pip install laya。

上下文行就是整个决定。状态可用的 320 个 token 是一条支持工单、一封电子邮件、一条聊天消息、一个产品标题、一行日志。它不是带行项目的发票,也不是四十页的政策。如果你的状态超过一段,就无法向 Laya 提出这个问题——不是问得不好,不是问得慢,而是根本无法问。

在小型模型确实是正确答案的情况下

有一类决策会让 Karpo 显得荒唐,而 Laya 的设计正是直指这类决策。设想一个智能体,它在每一步都需要判断:某个工具结果看起来是否满足意图,是/否;或者一个查询应该走向六个检索源中的哪一个;或者一条用户消息是否包含流失信号。这些都是在单句上下文上的微秒级问题,而在一段对话中可能就有五十个这样的问题。

在 94 毫秒、模型常驻占用 62.5 GB 的情况下,五十次调用每次对话要耗费近五秒的 GPU 时间,而这套硬件的成本已超出流量所能支撑的范围。在中位数为 5.8 毫秒、800 MB 模型与你的应用运行在同一台机器上的情况下,同样的五十次调用只需三分之一秒,而且没有数据中心支出项。在逐步循环中,这不是边际差异;这是功能能否上线的差别。

Laya 的模型卡还如实记录了失败模式,这比一份干净漂亮的规格表更有价值。英语检查点在非拉丁文字上会彻底失效——高棉语准确率为 0.000,却声称置信度为 0.952——这正是决策层绝不能有的那种“自信地犯错”的失败。已发布的 Router能在纯 Python 中于不到半毫秒内检测文字系统,并在前向传播之前路由到多语言检查点。高基数问题也会退化:在 256 token 的预算中放入 77 个选项,每个标签只能分到三到四个 token,Banking77 的准确率降至 0.425,而 Jev 的为 0.870。模型卡建议你提高 head 预算,而不是假装默认设置就能奏效。

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

这种组合——一个小模型,配有已公开的失效模式以及针对每一种失效模式都有文档化修复方案——在运维上比一个分数更高但没有任务级细分的模型更有用。

31B 模型如何配得上它的 62 GB

Karpo 的优势源自其内部拥有真正的语言模型。它能读取截图。它把一份政策文件和一条客户记录放在同一个 32,768 个 token 的状态中,并在一轮内回答关于两者的上百个问题,因为该状态只计算一次,而每个问题都从共享块分支出去,且看不到其他问题的选项。它能处理 255 路选择而不会出现 token 饥饿,因为读出端是对编码进行打分,而不是把选项文本嵌入到固定预算中。

类别概况印证了这一点,而且其对应方式与大型模型所能带来的价值清晰吻合。Karpo 的知识与推理技能得分为 65.5,而 Laya 为 2.9——这一数字主要反映该测试套件中的长上下文知识问题,而 Laya 无法被问到这些问题。其工具与自动化技能为 88.4,对比之下为 5.8。这些并非两个可比模型之间的细微差别;它们属于两类不同的工具。

Karpo 缺少的是任何工程化配套:没有 ONNX 导出,没有 Core ML 构建,没有 MCP 服务器,也没有那种可通过 pip 安装、能指向一份工作流描述并在一个下午内完成微调的智能体。社区已经开始对它进行量化——一个 IQ3_M GGUF 和一个 NVFP4 构建在两周内就出现了——但截至本文撰写时,还没有官方的小体积方案,也没有公布价格。

微调差距:它比排行榜更能决定部署

Laya 卡片上最重要的那个数字不是基准分数,而是 0.766 对 0.362:在四个工作流的 2,000 个决策上,微调后的检查点相较于基础英文模型的准确率。微调使关键工作负载的准确率提高了一倍以上。

这就是用一句话概括的、支持 421M 模型的论据。一个小模型,你可以在一个小时内用自己标注的决策对它重新训练,它会在你的流量上、按你的 schema 运行,击败一个你根本无法重新训练的 31B 模型。Karpo 的 73.9 是一个私有测试套件上的平均值;你的数据分布并不是那个套件。Laya 的 0.362 基础分数同样是在别人的决策上的平均值,而一旦数据变成你自己的,这两个模型都会发生变化——但其中只有一个附带了实现这种变化的有据可查的路径。

Karpo 是对一个 31B 检查点的完整微调,没有公开的训练配方,也没有适配器。原则上可以对它进行微调,但这并非该模型卡所支持、记录或预期的事情。

同时运行两者,这比只运行其中任何一个更常是答案。

这两个模型更多是互补关系,而非替代关系,而且这种划分是机械性的。将短状态路由到编码器,将长状态路由到 31B。Router 模式在 Laya 侧已经是发布默认;在 Karpo 侧,等价做法是在分派前对状态做大小检查。

路由层真正发挥价值的地方是第三种情况:两者之间的层级。如果你的状态介于 512 个 token 和 32,768 个 token 之间,那这两者都不太匹配——Laya 会拒绝,而 Karpo 则属于杀鸡用牛刀且成本高昂。这个中间区间正是托管式决策模型能派上用场的地方,而Jev 1.14 已收录在我们的目录中,正是为此准备,并且可以像其他所有模型一样用同一把密钥调用。在单个路由端点前设置阈值策略——短状态交给你自己托管的编码器,长状态交给托管模型,不确定的输出交给审核队列——是一项比运维 62.5 GB 检查点更小的工程工作,而且它能让模型替换不进入你的应用代码。目录中的200+ 个模型按提供商标价计费、无加价,其中还包括Gemma 4 31B,也就是 Karpo 微调所基于的基础模型,这是在为它投入 GPU 之前,低成本检验这次微调究竟带来了什么的好办法。

如果非要只给一个建议:从 Laya 开始。它不花一分钱,一分钟就能装好,而且在智能体每一步都要做出的那些简短、高频的决策上,它就是正确的工具——而不是一种妥协。当一个状态已经无法用一段话容纳时,再转向 Karpo Decision 31B,同时要接受:你那时买的是 GPU、62 GB 的下载量,以及一个没有标价、没有发布公告、也没有独立评分的模型。排行榜上那 64 分的差距是真实存在的,它衡量的东西只有在你的输入长到确实需要它时才会变得重要。

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.