一张生成的标题卡,标题为“Karpo Decision 31B”,副标题为“在 307 个模型榜单中位居榜首的 31B Gemma 4 微调模型,名下却没有任何发布帖”,三个标签分别写着“权重:2026 年 11 月 5 日”“总分:73.9”和“公告:无”,一条四点的横向时间线写着“11 月 5 日 仓库”“11 月 6 日 评分运行”“11 月 12 日 六模型系列”和“11 月 16 日 README 编辑”,还有一张描边卡片写着“无价格”“无端点”和“无 Artificial Analysis 行”。
Guides & Insights

Karpo Decision 31B 在 307 个模型的榜单中登顶,却没有任何发布帖。

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2026年11月12日,Decision Index——追踪 TypeSafe 的 Je​v 开放复现的社区排行榜——将Karpo Decision 31B以 73.9 的 Full 评分排在榜首,这是 307 个条目中的最高分。同周,开始流传一种说法:这个模型,即 Goog​le 开源 Gemma 4 31B 的微调版,击败了 Goog​le 自家的 Gem​ini Decision 1。这两个说法中,只有一个能让读者在今天核实,而它们之间的差别正是整个故事的关键。把 Karpo 排在首位的榜单是公开的、有日期的,并且可通过该实验室发布的一个 45 MB 结果文件复现。与 Gem​ini Decision 1 的正面对决从未进行过:这两个模型没有共用一个排行榜,而且它们评分所用的工具也不是同一套工具。

让前半部分显得奇怪的并不是分数,而是围绕分数的沉默。Karpo 背后的新加坡公司 MachinePulse Pte. Ltd. 于 2026 年 11 月 5 日创建了 Hugging Face 仓库,同日在 GitHub 上发布了一个推理仓库,并于 11 月 12 日推出了五个更小的同系列模型——12B、9B、4B、2B 和 0.8B。截至本文撰写时,没有产品页面,没有博客文章,没有定价,没有模型发布公告,也没有 API。公司自己的网站,在所有本应承载这些内容的路径上都返回 404。Karpo 仅以权重、一份 README、一个 Python 包和排行榜上的一行形式存在。本文要讨论的,就是这四样东西能告诉你什么、不能告诉你什么。

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

这些日期,以及它们为何比往常更重要

仓库创建时间戳为2026年11月5日15:33 UTC。GitHub 推理代码在二十二分钟后创建。Decision Index 运行数据集——使 73.9 可审计的关键——于11月6日05:18 UTC上传。README 在11月16日仍在编辑,最后两次提交只更改了一行版权信息和一项许可证声明。

那是一个两周前出现的模型,仓库很活跃,却没有任何发布宣传。它不是泄露,也不是某个更早模型的改名:权重是新的,许可证文件是新的,而且这个六模型系列是在一个下午内推送完成的。实际情况是,一个实验室决定先发布产物,再做市场宣传。

73.9 究竟衡量的是什么

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

目前的 Decision Index 是 0.4.1 版。其 Full 得分由该榜单的维护者在私有测试集上计算:大约 60% 的任务取自与公开测试套件相同的技能,40% 取自公开测试套件未覆盖的领域。Karpo 这一行显示为 73.9 Full,其中同技能部分为 70.7,新领域部分为 78.6。最后两个数字的顺序并不寻常——模型在不熟悉的领域通常比在其针对训练过的技能上表现更差——而卡片对此未作任何说明。

该榜单将与领先者相差 0.9 分以内的模型列为同一名次,因此 Karpo 并未独自占据第一名。GLiDE 27B 以 73.4 分共享第 1 名。紧随其后的是 72.6 分的 REAX 1.3、72.3 分的 Logits Sigma-1 Duo、72.1 分的 Copernicus-31B 和 71.9 分的 KnowLine 31B Gen1.5。这是一个拥挤的头部阵营,而非一骑绝尘。

卡片上的第二个数字 75.05 来源不同,值得以不同方式解读。那是公开指数,来自 MachinePulse 自己对官方评分工具包的一次运行——140,178 个已评分请求,其中九个被拒绝,因为单个问题加上其状态超过了 32,768 token 的窗口。委员会采纳了那次运行结果。之所以它比典型的供应商数字更值得信任,是因为运行目录是公开的:results.jsonl.gz、逐请求评分文件、环境清单。任何人都可以重新运行该工具包并进行比较。委员会自身采纳该结果就是审查环节。这比大多数发布声明所达到的标准更严格,但它仍然不同于由独立实验室在自己的硬件上对模型进行评分。

那么,是两个标签,而且不应把它们合并:Full score 由第三方根据私有测试计算得出;public index 由第一方基于公开套件计算,并被采用。两者都不是通常意义上的厂商基准。两者也都不是 Artificial Analysis。

为什么“击败 Gem​ini Decision 1”还不是一个有实测依据的陈述

Gem​ini Decision 1 有了一个分数。Artificial Analysis 在 Decision Index v2.1 上给它打了 65.98 分,该指数由六项评估综合而成,权重分布在文档决策、工具调用、知识、推理和不变性上。在该榜单上,它在 AA 排名的决策模型中位列第十一,低于得分 74.85 的 d1.2-ultra、72.62 的 Drex Max v1.1 和 72.58 的 SubQ Snap 1.2,高于 62.07 的 Microsoft-Decision-1。评分由 AA 给出,基于 AA 的硬件,运行成本为每百万项任务 345 美元。

Karpo 根本没有出现在那个榜单上。Artificial Analysis 没有它的页面,也没有它的条目。Gemini Decision 1 也没有出现在收录 Karpo 的 Decision Index 追踪器中——那个榜单是一份开放复现的登记册,而 Google 的模型是一个封闭的、仅提供 API 的产品,没有可供复现的权重。

所以,大家正在做的这个比较,是根据两家机构在两套测试集上给出的两个数字推断出来的,而这两套测试集的任务组合、私有测试集占比和评分公式都不同。在任何经得起方法论检验的意义上,73.9 都不比 65.98 更大。如果明天用同一套测试工具把两者都跑一遍,Karpo 很可能胜出——它按类别划分的表现很强——但没人跑过,而当前的这个头条结论不过是一个披着结果外衣的假设。

还有一个值得了解的细节,因为它削弱而非支持这一说法。在该追踪器的五个类别细分中,Karpo 最弱的领域是知识与推理,机会校正技能分为 65.5。其最强的是工具与自动化,为 88.4。在 AA 的榜单上,Gemini Decision 1 几乎胜过所有对手的唯一单项是知识项:在 AA-Omniscience 上为 66.3,是此处核查的四个模型中最高的。Google 模型表现最好的领域,正是 Gemma 微调模型相对最弱的领域。在那里进行正面对决将是一场真正的较量,而非一边倒,而这恰恰是为什么不应把未进行的比较报告为胜利。

卡片中比排名更有趣的部分

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo 不是带有 JSON 模式的聊天模型,而是一个读出装置。一个问题中的每个选项都会分配到一个选项代码,一个线性头会在固定槽位上对 255 个代码进行打分,然后针对该问题实际提供的选项做 softmax。它不生成任何内容,因此答案始终是你提供的选项之一,且输出成本在结构上为零。

这套架构值得用一段话说明,因为它解释了延迟。一个请求由一个状态加上任意数量的问题组成,并编码为单个序列:先放问题,再放状态,然后每个问题对应一个分支。分支注意力允许一个分支读取共享块和自身,绝不能读取另一个分支。状态只计算一次。因此,针对同一张发票的一百个问题,成本大约相当于对这张发票做一次遍历,而不是一百次。

• 参数 — bf16 下 31.3B,外加 fp32 的 255 × 5,376 读出层;磁盘占用约 62.5 GB。

• 上下文 — 每个序列 32,768 个 token;较长的请求会按问题拆分,每个部分都携带完整状态;如果某个问题仍然无法容纳,就会被拒绝,而不是被截断。

• 输入 — 文本、JSON 和图像;截图可以作为state.viewport_screenshot或数据 URL 传入。

• 题型 — 选择题,最多 255 个选项,noul用于真/假,评分用于有序等级。

• 接口 —— 一个 Python API 和一个 System One 形态的 HTTP 服务器,POST /v1/systemone。

• 许可证 — 权重和代码采用 Apache-2.0,仓库中同时附带 Gemma 4 自身的许可证。

在 tracker 的参考硬件上测得的中位延迟为 94 毫秒,测试条件为单块 GPU、一次一个请求。这还不足以在每步执行、每轮发起二十次小调用的 agent 循环中做到无感,但足以支撑一个在每次对话中只触发少数几次的工具调用门控。该模型卡还报告了 4.8 个百分点的校准误差,而这正是部署实际所依赖的数字:准确率告诉你最高答案正确的频率,校准则告诉你附加在其上的概率能否用于阈值判定。

尚未确认的内容,直白地说

没有价格。不是“尚未公布、待发布”——没有价目表,没有托管端点,没有控制台,没有试用。如果你想今天就用 Karpo Decision 31B,你需要下载 62.5 GB,并用仓库自带的加载器在你自己的 GPU 上运行。将检查点当作普通聊天模型加载不会复现它的回答;分支注意力和读出模块二者都必不可少。

没有独立的评分。Decision Index 是非官方的,由社区维护。它严谨、文档完备,并且在方法上异常透明;它不是 Artificial Analysis,也没有被要求在其自己的硬件上为这个模型评分。最强的第三方因素是,其维护者是在厂商从未见过的测试上计算出的 Full score。

除了 README 自身的描述之外,没有任何供应商声明说明该模型是为哪些用途而构建的:智能体在每一步做出的那些小判断——是调用工具还是先询问、点击页面上的哪个元素、某笔退货是否符合某项政策条件。这一描述是实验室自己的表述框架,并非经过独立验证的范围。

而且没有任何公告。没有低调的公告,也没有更新日志条目。权重上线两周后,该公司对外公开的门面就是一个招聘页面和另一条产品线。

这让一个想要尝试它的团队处于什么境地

诚实的总结是:Karpo Decision 31B 是过去两周最有趣的开放决策模型,也是支持最少的那个。它的领先是真实的,但只是并列;其公开指数可复现;其私有测试得分确实来自第三方;而其核心营销主张——即一个 Gem​ma 微调模型如今在 Goog​le 自家的决策模型上击败了 Goog​le——并未经过测量。

对于已经在运行决策层的团队来说,实际可行的路径是影子部署,而不是迁移。保留承载生产流量的模型,离线地对相同请求运行 Karpo,并比较概率而非标签:4.8 个百分点的校准误差意味着大约每二十个答案中就有一个比其标称概率所暗示的更自信地出错,而你的阈值策略正是决定这会变成人工审核队列还是事故的关键。如果你要为技术栈的其余部分统一采用一个端点,那么本周你实际能调用的模型就是目录里的这些——Gemma 4 31B 本身,即 Karpo 的基座,并通过 one API 以供应商标价、无加价提供 200+ 个模型,以及 TypeSafe 的 Jev 1.14,也就是整个开放复现榜单一直想要追赶的模型。Karpo 也必须像其他模型那样赢得自己的席位:靠能够被调用。

真正值得关注的不是73.9这个数字,而是MachinePulse是否会在下个月内推出产品页面、公布价格,并向AA提交评测。一个在网站上线之前就发布权重的实验室,通常是有原因的,而这个原因往往会以托管端点或战略转型的形式显现出来。无论哪种情况,AA榜单上的第一个独立数字,都将在一周之内解决两周的排行榜推算都未能解决的问题。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新