pplx-decider-flash 与 Laya：两类决策模型，一种错误的比较

流传的数字整齐却毫无用处。一个对比指数给 Laya 打了 69.5 分，给 pplx-decider-flash-v1.2 打了 68 分，几乎不相上下。另一个指数给 Flash 打了 73.7 分，并在 48 个模型中将其排在第一。第三个指数给 Flash 504 分中的 451 分，而 Laya multilingual 为 240 分。三个来源，三种结论，因为每个来源都在不同的任务集上衡量不同的模型——而且三者中至少有两个在衡量某个 Laya 变体，却没有说明是哪一个。这才是真正重要的比较，而第一句实话是：还没有人真正正确地跑过这项比较。

能够比较的是这两个系统的形态：它们被设计用来做什么、运行成本是多少，以及每一个系统在产出一个可用的概率之前会对你提出什么要求。在这些维度上，它们并非势均力敌的对手。它们是恰好共享同一个岗位名称的不同产品。

每项各一段。

pplx-decider-flash-v1.2 是 Perplexity 推出的 4B 级多模态决策模型，基于 Qwen3.5-4B 主干构建，并配有独立的 255 类读出头。你向它提供一个状态（文本、JSON 或最高 1.6 百万像素的图像）以及带类型的问题，它便能在一次前向传播中返回校准后的概率。它专为零样本工作而设计：保存的温度为 1.554，模型卡报告称，在包含 1,497 个问题的开发集上，准确率为 88.8%，预期校准误差为 0.021。它采用 Apache-2.0 许可，BF16 下约为 9 GiB，在 Perplexity 的 API 上每百万输入 token 收费 $0.01，输出免费。

Laya 是 Convai Innovations 推出的一系列非自回归决策编码器，于 2026 年 9 月 18 日发布，同样采用 Apache-2.0 许可证。其英文检查点是基于 ModernBERT-large 微调的 421M 参数模型，上下文长度为 512 个 token；多语言模型则是 322M 参数的 mmBERT-base，支持 1,024 个 token；第三个检查点 laya-typed-decisions 正是拿下头条分数的那个。它通过逐选项掩码 token，在一次前向传播中回答通话中的所有问题，无需生成步骤，也不接受图像输入。

为什么对比表不一致

不匹配始于每家厂商各自构建的基准测试。Perplexity 在 Decision Index 0.3 上为其模型评分，这是一个综合了知识、语言、检索、工具和艺术的复合指标。Convai 在一个包含 400 个案例、2,000 项决策的类型化决策基准测试上为 Laya 评分，该基准测试也由 Convai 发布。两个模型都没有在对方的测试框架上公开运行过。

第三方指数对这个缺口的填补很差。Anchor Terminal 的综合评分将 Laya 排在第四，得分为 69.5，将 Flash 排在第六，得分为 68；1.5 分的差距完全落在一个无人能审计的综合评分的噪声范围内。Ollaya Bench 报告 Flash 总分为 73.7，在 48 个中排名第一，宏观准确率为 82.4%，但没有公布测试框架。由 Jev 编写的任务套件给 Flash 评分为 451/504，给 Laya multilingual 为 240——这是一场碾压，而且这套测试是由竞争模型的维护者编写的。PublicAI 的页面居然记录 Flash 击败了 Laya 322M 和 Laya multilingual，同时又以 3–0 输给一个未具名的“Laya”。

最后那条记录正是整个问题的缩影。“Laya”并不是一个模型。把 Flash 和 421M 英语编码器、322M 多语言编码器以及一个微调过的基准测试专用模型放在一起比较，会得出三种不同的答案，而其中只有一个是真正会部署上线的那个。

我们可以捍卫的记分牌

这些正是两套系统真正存在分歧的维度，并附有各自公布的数值以及所注明的来源。

• 参数 — pplx-decider-flash-v1.2 属于 4B 级别（API 文档写的是 4B，卡片标题标注 BF16 下为 5B），而 Laya 为 421M 英文和 322M 多语言。

• 上下文 — Flash 上为 262,144 个 token，训练至约 32,000 个，而 Laya English 上为 512 个 token，多语言上为 1,024 个。

• 模态 — Flash 接受文本、JSON 和最高 1.6 MP 的图像，而 Laya 仅接受文本。

• 零样本使用——Flash 出厂即已校准，带有保存的温度参数以及与 Laya 基础检查点对比的公开误差指标，而卡片本身称其为“一个用于专业化的快速基础，而非零样本决策引擎”。

• 延迟 — Laya 在 T4 上单个问题为 32.8 ms，十个问题为 72.3 ms，批处理时每秒可处理 103–332 个问题，在 CPU 上为 193–464 ms，相比之下 Flash 没有 Perplexity 公布的服务级别数据；供应商公布的唯一数字是一项文档测试，其中约 248,000 个输入 token 耗时 16 秒。

• 价格 — Flash 在 Perplexity 的 API 上每百万输入 token 收费 0.01 美元，输出免费；而 Laya 没有托管价格，因为它是需要你自己运行的权重发布版本。

延迟与硬件：Laya 仍有差距之处

Laya 的核心主张是，决策不需要生成式模型，而延迟数据也支持这一点。对于多语言检查点，在 T4 上单个问题耗时 32.8 毫秒，英语为 39.5 毫秒；十个问题耗时 72.3 毫秒；批处理时每秒可处理 103 到 332 个问题。在 CPU 上预加载后，运行耗时为 193 到 464 毫秒。一个 322M 的编码器足够小，可以放入无法承担 GPU 的请求路径中。

Flash 属于不同的部署档位。9 GB 的 BF16 权重可装入一张 16 GB 消费级显卡，而一项第三方基准测试报告称，在 RTX 5090 上约占用 10.4 GB 显存，每次决策耗时 90–127 毫秒。对于 4B 模型而言，这相当可观；而且其延迟大约是 Laya 在 T4 上的三倍，而 RTX 5090 的硬件成本要高出许多倍。如果你的约束是在廉价硬件上追求毫秒级延迟，那么在准确性还没被纳入考虑之前，争论就已经结束了。

微调问题

这正是对比表格所隐藏的部分，而它恰恰是决定性的。

Laya 的头条指标 0.766 准确率属于 laya-typed-decisions，这是一个在该基准自身训练划分上微调过的检查点。基础英语检查点在同一基准上的得分为 0.362，而多数类基线为 0.461，随机猜测为 0.318。换句话说，你直接下载的冷启动模型还不如始终用最常见的标签作答。Convai 在模型卡上直接说明了这一点。arXiv 上一项独立复现研究还报告称，有一项头条指标——软准确率 0.509，而公布值为 0.471——未能复现，并认为校准数据从构造上就受到了污染。

Flash 的说法则相反：厂商报告的 Decision Index 得分为 60.05，每次请求只问一个问题，且来自一个你应当按出厂状态直接使用的模型。这一说法未经验证——Perplexity 构建了该基准，其模型卡称训练工作包含多个 Decision Index 任务的官方训练集划分，并已针对测试集进行去污染处理。这是一种被明确说明且站得住脚的做法，但这也意味着该模型已经见过其所获评分基准的领域内数据，而且去污染是 Perplexity 自己的说法，并非经过审计的事实。但这里的负担不同。使用 Laya 时，你必须先进行微调并重新校准，已公布的数字才有意义；模型卡建议进行温度拟合，因为原始概率过于自信，重新拟合后 ECE 从 0.466 降至 0.081。使用 Flash 时，你是在信任厂商对你未曾见过的数据所做的校准。

两者都有代价。一个耗费工程时间，另一个耗费验证时间。

语言和基数

Laya 多语言原则上支持 100 多种语言，按该模型卡自身设定的“可用”阈值——即随机水平的三倍——在实际测试的 51 种语言中有 45 种可用。其在英语之外的 XNLI 分数为 0.731，而仅英语检查点为 0.521；在另外 13 种语言上的 MASSIVE 意图准确率为 0.451。这些数字不算高，但它们确实存在，而 Flash 完全没有已发布的多语言评测。如果你的流量不是英语流量，那么有多语言评测的厂商就是更稳妥的起点，即使其分数偏低。

基数方面则相反。Laya 在高基数选择题上表现严重下降：在 Banking77 的 72 个标签上得分为 0.425，而 Jev 为 0.870，因为在默认设置下，77 个选项每个大约只能分到三到四个 token。说明卡建议提高选项预算，或按由粗到细的方式拆分。Flash 最多接受 255 个选项，且没有已发布的高基数基准测试，因此稳妥的解读是：Flash 正是为 Laya 记录为弱项的那种情况而设计，但尚未展示其实际表现。

一千个决定要付出什么代价

Laya 没有按决策计费的价格，因为它是你自己托管的。在 T4 上，每秒可处理 103–332 个问题，因此一百万次决策大约需要 50 分钟到 3 小时的 GPU 时间。按通用云服务费率计算，这只需几美分到几美元，此外还需投入部署和监控的工程成本。

API 上的 Flash 很容易计算。一个 400 token 的状态，一个问题：1,000 次决策就是 400,000 个输入 token，按每百万 $0.01 计算，即 $0.004。一百万次决策约为 $4。自托管权重消除了按 token 计费的成本，但会让你重新回到 GPU 上，权重约占 9 GiB，并且具有非因果注意力模式，而现成的因果服务器无法复现这种模式。

陷阱在于批处理。Flash 会针对每个问题再次对状态计费，因此每个状态问三个问题会让费用变成三倍。如果你的门控一次询问多件事，便宜模型就不便宜了。

这也是路由问题出现的层面。决策模型是生成之前的闸门，而大部分开销都在生成侧。OrcaRouter 将200 多个模型置于一个密钥之后，且不对标价加价，因此更便宜的生成器或供应商降价能在当天生效，自动故障转移还能避免被错误路由的请求直接失败。我们不托管 pplx-decider-flash 或 Laya。我们确实提供的一个决策模型是 TypeSafe 的 Jev，即 jev-1.13 和 jev-1.14；如果你想拥有一个托管的决策器而不必搭建 GPU，这一点值得了解。

如何按顺序选择

• 非英语流量——先从 Laya 多语言版入手，然后再进行衡量。它是唯一公布了跨语言数据的一方。

• 在普通商用硬件上低于 100 毫秒 — Laya。在 T4 上，它能在 33 毫秒内作答；Flash 需要现代 GPU，据称在 T4 上需要 90–127 毫秒。

• 该状态下的图像——Flash，没有真正的竞争。Laya 没有视觉路径。

• 长状态 — Flash。512 个 token 的窗口使 Laya 无法胜任任何类似文档的任务。

• 没有标注数据，也没有时间进行微调——Flash，至少可以作为一个起点。Laya 的基础检查点低于多数类基线。

• 每个问题超过 20 个选项 — Flash，或采用更高选项预算并进行由粗到细拆分的 Laya。

坦率的总结是：这些模型竞争的是同一份岗位描述，而几乎从不是同一个部署。Laya 是一个快速、小巧、可微调的编码器，面向你能测试的语言中的大批量分类任务。Flash 是一个通用、经过校准的多模态评判模型，拥有大上下文，背后还有厂商评分榜。那些把它们拉开 1.5 分的对比表，与其说是错的，不如说是毫无意义：它们恰恰把决定选择的关键属性平均掉了。