pplx-decider-flash：Perplexity 低调的 4B 评判器，从代码仓库中读取

Perplexity 于 2026 年 10 月 15 日 16:57 UTC 将pplx-decider-flash-v1.2上传至 Hugging Face，距其上传pplx-decider-v1.2约九小时后；后者是大型决策模型，营销材料称其为 27B，模型卡则称其为 26B。我们在公司博客上找不到任何发布文章。随后出现的是 X 上开发者账号的一个推文串、Decisions API 文档中的一节，以及三天后的一个 GGUF 转换。这就是全部公开记录；它足以精确描述该模型，却不足以告诉你它在你的数据上表现如何。

下文将区分人们通常混为一谈的三件事：代码仓库能证明什么、厂商文档声称什么，以及除 Perplexity 内部人员之外无人核实过什么。最后一类比前两类都多。

实际发布的是什么，以及是在哪一天

仓库的时间线是明确无歧义的。Perplexity 创建了 pplx-decider-v1-27b于 2026 年 10 月 1 日，pplx-decider-v1.1-27b于 10 月 5 日，两个 v1.2 检查点于 10 月 15 日，以及pplx-decider-flash-gguf-v1.2于 10 月 18 日。Flash 检查点是当天的第二次上传，这正是成对发布的常见形态：旗舰版本先行，蒸馏出的小型兄弟版本紧随其后，好让两者都落在同一则公告之下。

这个先后顺序对叙述框架很重要。这不是一个泄露的模型，也不是一个抢在文书手续之前流出的零散仓库。它是一次协调发布的成果，并刻意保持了低调的公开足迹——是一则开发者讨论串，而非一篇发布长文；是文档，而非基准测试中心。Hugging Face API 显示，截至 11 月 4 日，基础 checkpoint 的下载量为 4,667 次，GGUF 转换版本为 9,428 次，并获得 63 个点赞。Hugging Face 上的下载量是弱信号：它们统计的是请求数，而非独立用户数，而且镜像流量会将其抬高。这些数字与一个真实但规模不大的开放权重受众相符，而不符合病毒式传播的发布。

仓库告诉你什么

这份模型卡对于厂商发布来说技术性异常强，而可知的大部分信息都来自它。

• 主干 — Qwen3.5-4B，配备一个形状为 [255, 2560] 的独立 BF16 读出头，而非完整的词表语言模型头。这是一个决策检查点，而不是带有分类封装层的聊天模型。

• 大小 — 共 25 个文件，BF16 下总计约 9 GiB，这是容纳权重所需的空间；工作内存还需在此基础上另计。

• 参数量——API 文档写的是 4B，模型卡标题写的是 BF16 下 5B，而某个第三方索引列的是 4.5B。主干是一个 4B 模型。把“4B 级”当作诚实的描述，不要引用单一数字，仿佛它是实测值一样。

• 注意力 — 全注意力层在整个请求上以非因果方式运行，而线性注意力层保持因果性。这正是会让你踩坑的细节：标准因果推理服务栈会产生不同的数值，而为 v1.1 编写的提示词无法沿用。

• 读出位置 — 该头会在每个 <|fim_suffix|> 标记处触发，而不是在最终 token 处触发，这正是单次前向传播能够基于同一个状态对多个问题进行评分的方式。

• 上下文 — max_length默认值为 262,144 个 token，与主干模型一致。训练时使用的序列最长约为 32,000 个 token，而模型卡中明确指出：支持更长的输入，但验证较少。

• 图像 — 上限为 160 万像素（1,638,400 像素），最低 65,536 像素，一张 1.6 MP 图像大约占用 1,600 个位置。

• 校准 — 保存的温度值为 1.554。在包含 1,497 个问题的开发集上，模型卡报告准确率为 88.8%、预期校准误差为 0.021、Brier 分数为 0.163；若不使用该温度，误差会升至 0.057。一个公布自身校准数值以及跳过这些数值所需代价的厂商，是在就预期用途向你传达真实的信息。

卡片里有一行经不起 API 的检验。它声称该仓库是私有的，需要一个有访问权限的 token。Hugging Face API 返回 gated: false 和 private: false，并且权重文件无需访问申请即可下载。卡片里一处过时的表述是小事，但这种小事恰恰说明卡片是在发布前写的，发布后没有重新读过。

API 文档补充了什么

定价正是 Flash 论证的起点。在 Decisions API 上，pplx-decider-flash-v1.2 的费用为每百万输入 token 0.01 美元。输出 token 免费，且不收取按请求费用，因为通常意义上并不存在输出 token——模型返回的是概率和一个预期分数，而文档在计费时将每个问题计为一个输出 token。

同一页面设定了运行包线：

• 别名 — pplx-decider-flash-latest会跟随最新版本，因此你上周调好的阈值在更新后可能会悄悄指向另一个模型。在任何重要的地方都要固定使用带版本号的 ID。

• 速率限制 — 每分钟 4,000,000 个 token、每小时 240,000,000 个 token，并且在组织层级上，两个决策模型共享每秒 10 个请求的上限。

• 问题类型 — noul 返回 0 到 1 的 P(yes)，choice 返回最多 255 个选项上的概率，而 score 返回评分标准各等级上的分布。

• 提问预算——文档建议每次请求只提一个问题。这不是风格说明；而是你获得的报价与你实际支付价格之间的差别。

使推荐结果反转的计费规则

27B 模型会在一次分组处理中回答请求中的所有问题，并且只对状态计费一次。Flash 会独立回答每个问题，看不到其他问题，并且每回答一个问题都会再次对状态计费。文档给出了一个示例：针对 10,000 个 token 的状态提出三个问题，在 Flash 上大约会消耗 30,000 个输入 token。

算一算。在 10,000 个 token 的状态上，一个问题在 Flash 上花费 $0.0001，在 27B 上花费 $0.0002。两个问题在 Flash 上花费 $0.0002，在更大的模型上也是 $0.0002——打成平手。三个问题在 Flash 上花费 $0.0003，在 27B 上花费 $0.0002。临界点是 每个状态两个问题。Perplexity 自己的文档称，在三个或更多问题时，更大的模型“通常比 Flash 便宜”；确切的临界点要早一个问题，而且在 Flash 恰好是 27B 费率一半的任何标价下都成立。

这是本次发布中最有用的一点，也很容易被忽略，因为最抢眼的是五折优惠。一个半价的 4B 模型，只有在你一次只问它一件事时，才会更划算。

不可轻信的数字

Perplexity 报告了两个模型的 Decision Index 0.3 得分。Flash 得分为 60.05（每次请求一个问题）和 58.88（联合请求）；27B 模型得分为 68.09（联合请求），而 67.75（每次请求一个）。在 Vision Decision Index 上，Flash 为 72.53，对比 77.43。

分类拆分比总体数字更有信息量，因为它显示了 4B 在哪些地方失守。就 Flash 的联合运行数据与 27B 的联合运行数据相比：

• 知识——42.0 对 56.3。这是差距最大的一项，达 14.3 个百分点，也正是它决定了模型究竟能否处理开放式的世界知识。

• 语言 — 63.3 对 72.8。

• 检索 — 64.8 对 68.4。差距最窄，为 3.6 个百分点，这符合预期任务：判断一段文字是否回答了一个问题，比知道答案要轻松。

• 工具 — 76.7 对 84.4。

• 文科 — 46.8 对 56.2。

• 总体 — 58.88 对比 68.09。

这些数字中的每一个都来自 Perplexity 维护的一项基准测试。27B 模型卡——本次蒸馏中的教师模型——对训练侧异常坦率：它表示，部分工作通过纳入若干基准测试自带的官方训练划分，使模型在部分 Decision Index 任务上“进入领域内”，而这些划分“已对照测试集进行去污染”，以确保比较保持公平。这比发布前后相关报道所暗示的立场更为谨慎，但它仍然把记分牌交在厂商手中。没有第三方审计过这种划分纪律，也没有人复现这些数字。

在供应商自己的数字中有一个较小的反常之处，与营销宣传相矛盾。Flash 一次回答一个问题时得分更高——60.05 对 58.88。分组会损害 4B 的整体表现，尽管它在紧密耦合的全选适用任务上有帮助，而这正是文档所说的。该模型以联合请求速度被推销，但在不采用它时测得表现更好。

什么是尚不可知的

这些空白很具体，也正是它们让本文成了一篇“已知信息”梳理，而不是一篇评测。

• 无独立基准。除 Perplexity 外，没有任何一方发布过 Decision Index 的复现结果，也没有在中立测试框架上进行过正面对比。

• 无延迟服务等级。供应商公布的唯一速度数据是日期为 10 月 19 日的一项文档测试，其中约 248,000 个输入 token 在 Flash 上耗时 16 秒，而在 27B 上耗时 53 秒。这是供应商侧测量，未说明硬件或百分位数。

• 没有多语言评估。 卡片和文档介绍了文本和图像；两者均未报告英语以外的准确率。

• 未公布训练数据量。卡片称，Flash 是在更大模型的训练请求上从 27B 蒸馏而来，学生模型学习的是教师模型的完整概率分布，而不只是其答案，并且多次运行通过权重平均进行了合并。它没有说明这涉及多少数据、数据来自哪里，或截止点位于何处。

• 没有已发表的误差分析。对于一个输出为概率、且你会据此设定阈值的模型而言，目前没有对其失败之处进行细分拆解——无论是按题型、按选项数量、按语言，还是按图像内容。

这样的模型在堆栈中处于什么位置

有必要说清楚 Flash 的用途，因为这个名称容易让人产生错误的预期。它本身不生成任何内容。你交给它一个状态——文本、JSON、图像——以及一个或多个带类型的问题，它会返回一个概率或分布，由你的代码据此设定阈值。自然的架构是在昂贵操作前设置一道低成本的门控：先对请求分类，再决定是否检索、选择工具，然后生成。

那道关卡并不取代生成层，而这正是路由的关键所在。OrcaRouter 提供通过一个 API 密钥即可访问的 200 多种生成模型，且不对提供商的标价加价，因此任何上游供应商的降价当天就会生效，而无需等待经销商的电子表格。如果该关卡分类错误，自动故障转移可避免请求在下一跳失败。我们不托管 pplx-decider-flash：它不在我们的目录中，如今运行它的诚实方式是使用供应商自己的 API，或在你自己的 GPU 上运行 Apache-2.0 权重。

如果你已经有了硬件，自托管的账算起来是合理的。约 9 GiB 的 BF16 权重可以放进一张 16 GB 的消费级显卡，而对此次发布的报道重复了 Perplexity 首席执行官的一项说法：Flash 能在配备 16 GB 内存的 M4 Mac 上运行。没有任何已公布的吞吐量数据能支持这一说法，而且非因果注意力意味着你不能直接把它放进现成的因果推理服务器，还指望得到那张显卡上的分数。

什么会改变这一评估？

四件事，按有用性排序。对 Decision Index 0.3 的中立复现，要么确认 60.05，要么解释差距。来自 API 的已发布延迟分布，而不是单次文档测试。关于多语言输入的证据，因为 4B 分类器正是团队会不加检查就用于非英语流量的那类模型。以及一篇第一方技术文章，描述该蒸馏背后的训练数据。

在那之前，站得住脚的立场范围很窄，但很有用：pplx-decider-flash-v1.2 是一个真实、可下载、Apache-2.0、4B 级的决策模型，有已公布的价格、有文档记录的校准温度，以及一条计费规则——一旦你批量提问，它就会比它更大的同门模型更贵。除此之外的一切都是 Perplexity 自己的记分板，你应当把它当作一个要在你有标注的数据上检验的假设，而不是结果。