Bonsai 2 对比 Ternary Bonsai 2 27B：家族名号身兼两职

搜索 Bonsai 2，你会找到大约五个不同的制品，其体量跨度达一个数量级，而且仅凭名称并不容易看出某篇文章说的是哪一个。Ternary Bonsai 2 27B 才是特指的那一个——一个基于 Qwen3.8-27B 构建的单一 27B 级三进制模型，于 2026 年 9 月 17 日发布，并以 5.95 GB 的稠密三进制包或 7.21 GB 的 2 位槽包形式提供。不带限定词的 Bonsai 2 是总括名称：同一个名称还涵盖 Ternary Bonsai 2 2B、Ternary Bonsai 2 4B 和 Ternary Bonsai 2 9B，这三个小得多的模型基于 Qwen3.5 构建，于 2026 年 10 月 15 日发布；如今它还涵盖一个 Ollama 库条目，在同一标签族下提供全部四种规模。

所以这并不是通常那种正面对决。一方是另一方的子集，而真正有用的疑问并不是哪一个更好，而是在搜索框里输入“Bonsai 2”的读者实际想要的究竟是哪一个。答案取决于命名所掩盖的一件事：这个家族其实是两个家族，按基础模型来划分，而这种划分并不落在尺寸数字所暗示的位置。

两个家族共用一个名号

读取已发布文件的 GGUF 头，接缝就明明白白地摆在某个元数据字段里。每一个 Bonsai 2 制品——无论是 2B、4B、9B 还是 27B——都报告 general.architecture = qwen35。该字符串对应的是 Qwen3.5 混合注意力主干，而对于三个小模型来说，这完全正确：模型卡将 Qwen3.5-2B、Qwen3.5-4B 和 Qwen3.5-9B 列为基础模型，且架构保持不变。27B 则是另一种情况。它的基础模型是 Qwen3.8-27B，一个更新、更强的 27B 混合注意力模型，而它恰好共享同一架构字符串，因为 Qwen3.8 保留了同一系列的主干。

厂商自己的发布说明，如果并排对照阅读，就会让这种割裂显露出来；如果单独读任何一份，则看不出来。10月15日关于这些小模型的帖子称它们“基于 Qwen3.5”，并将它们描述为加入 Bonsai 2 27B——而后者被准确地表述为另一种东西。9月17日关于 27B 的帖子说的是 Qwen3.8-27B。两则公告，两个基础模型，一个家族名称，而一篇称“Bonsai 2 基于 Qwen3.5”的第三方文章，在 27B 上说错了，却看起来来源十分可靠。

这很重要，因为在这里，基座模型的代际并非细枝末节。它决定了能力上限，也决定了那些留存百分比究竟是什么的百分比，还意味着小模型的基准分数与 27B 的基准分数并不是同一条曲线上的两个点——它们是针对两个不同基线得出的两份独立报告。凡是把它们并排放进同一列的表格，都该以怀疑的眼光看待。

这些数字，并排

所有数据均为 Prism ML 自报；均未经独立复现。

• 基础模型 — Ternary Bonsai 2 2B / 4B / 9B：分别为 Qwen3.5-2B、-4B、-9B；Ternary Bonsai 2 27B：Qwen3.8-27B

已公布 — 三款小尺寸机型为 2026 年 10 月 15 日；27B 为 2026 年 9 月 17 日

• 最小的语言模型包 — 2B 下为 0.429 GB PTQ1_0；9B 下为 1.997 GB PTQ1_0；27B 下为 5.947 GB PTQ1_0

• 默认包 — 所有项均为 PQ2_0：分别为 0.517 GB、1.146 GB、2.417 GB 和 7.206 GB

• 每权重比特数 — 2B 时约 1.83，4B 时约 1.81，9B 时约 1.78，27B 时理想 1.72 / 打包 1.75

• 上下文 — 整个系列均为 262,144 个 token，继承自 Q​wen 主干

• 视觉 — 每个尺寸都有单独的 mmproj 包，仅在图像到达时加载

• 许可证 — 全程采用 Apache 2.0

• 如报告所述的保留率——27B：在 14 项基准测试中达到 Qwen3.8-27B FP16 的 98.2%；小模型：覆盖六大技能领域的 19 项基准测试，按类别报告相对于其自身 Qwen3.5 基线的保留率

那个列表中的一行，就是 27B 耗用 5.95 GB、而 9B 耗用 2.00 GB 的原因，而且这不仅仅是参数数量的问题。27B 被描述为在嵌入、注意力投影、MLP 投影和 LM head 上“端到端三值”，但有一个决定性细节：一小部分张量——线性注意力层的循环状态路径加上归一化权重，约 2620 万个参数，占语言模型的 0.0976%——保持更高精度，而正是这部分余量把标志性数字从每权重 1.71 比特推到了 1.72 比特。在 9B 上，同样的机制给出约 1.78。更大的模型每权重效率更高，而不是更低，因为固定的高精度开销被分摊到十倍之多的参数上。如果你正根据每权重比特数表来推断该选哪个规模，那就是这张表指向的唯一方向。

小模型真正胜出的地方

不在于质量——而在于主张的形态。小模型发布是这一系列中唯一发布冗长性主张的，而且它是两份公告中最可核查的内容：Prism ML 报告称，9B 在标准指令遵循和日常数学任务上使用的 token 大约少 40%。这是关于输出长度的陈述，而非能力，你可以在一个下午内用自己的提示词加以验证。同一篇文章将避免重复循环和控制冗长程度列为明确的开发优先事项，而这正是当上一代出现问题时你会写的那种东西。

它也是唯一一个在多个类别上报告保留率超过 100% 的发布版本——2B 的指令遵循为 121.5%，数学为 107.8%，编码为 115.0%，均相对于全精度 Qwen3.5 基线。这些是厂商自家套件上的自家数字，而压缩模型在精心挑选的基准上得分超过其源模型，这至少既是在讲三值算术，也同样是在讲训练和评测框架。27B 的报告则呈现出更保守的形态——84.78 对 86.32，数学为 96.57 对 97.06，编码水平为 89.42 对 89.07，且损失集中在知识/推理和视觉上——这正是 1.7 比特表示应当产生的表现轮廓。当一份报告的损失正好落在理论预测之处，而另一份报告的增益落在厂商选择作为头条宣传的类别上时，这种不对称本身就是信息。

封装：27B 的低调优势

自 2026 年 10 月 17 日起，所有四种规模都可以从 Ollama 以 bonsai-2:2b、:4b、:9b 和 :27b 拉取——总共九个标签，每种规模还带有一个 -q2_0 别名。这件事很新，厂商并未宣布，而且值得了解它实际提供的是什么。Ollama 的标签解析到 Q2_0 打包格式，这是上游 llama.cpp 唯一能加载的格式。dense-trit PTQ1_0 包——该系列中体积最小的文件——根本不在注册表中。因此，便捷路径和小体积路径是不同的路径，对全部四种规模而言都是如此。

27B 的不同之处在于它不随附什么。4B 和 9B 各自都配有两个可选的推测解码草稿模型：一个内置于 2-bit-slot 包中的 MTP 头，以及一个 DFlash2 块级草稿模型，后者在复制密集型任务中很有帮助，但在通用聊天中比普通解码更慢。2B 则有意不随附其中一种——厂商说明是，在那种规模下，一个解码步骤本就已经很便宜，而且扫描深度草拟在日常提示词上实测比普通解码更慢。27B 这一代取消了其第一代前身所搭载的等效草稿模型。

这是不同规模之间真实存在的能力差异，而这一点在Ollama页面上完全没有体现。

做决定，以及如何处理答案

如果工作负载是长时程推理，27B 就是该选用的型号：代码、数学、智能体工具链，以及在 262K 上下文中容纳的长文档。它是该系列中唯一一个基础模型来自 Qwen3.8 代的规模，而厂商的分类细项显示，压缩让它在数学和编程方面几乎毫无损失，却在知识回忆和视觉方面付出了代价。

如果限制因素在于内存而非难度，那么 9B 就是该选的那一个：常驻笔记本电脑的助手、手机端部署，以及任何 2 GB 与 6 GB 之差决定能否交付的场景。它公开的性能画像，恰恰在 27B 相对基线最弱的地方最强——指令遵循与冗长度控制——而这正是小型本地助手实际消耗 token 的地方。2B 和 4B 则面向更紧张的预算，而在这些规模下，保留率数字会变得足够嘈杂，以至于你自己的提示词比厂商的表格更具参考价值。

关于大多数读者实际上会做的比较——也就是与托管模型相比，而不是彼此相比——的一点说明。Bonsai 2 的两个尺寸都不通过 OrcaRouter 提供，本文也无意暗示相反的情况——它们是供你下载的权重。但“2 GB 的本地模型对这项任务是否足够好”这个问题，总得通过跟某个东西对比才能回答，而 OrcaRouter 把一个 API 统管 200 多个托管模型，加价 0%，按提供商标价透传，并提供提供商之间的自动故障转移，以及用于将多个模型组合为单次调用的路由 DSL。先用一个托管模型确立门槛，然后测试本地模型能否在你的硬件上越过它。这样的顺序能省下人们浪费在调校一个永远不可能足够好的下载模型上的数周时间。

从这篇内容中要带走的一点提醒：两个版本都报告了留存率百分比，两者都是厂商在自己的测试工具上测得的，而且截至今天，没有任何第三方复现过其中任何一个。你唯一能亲自验证的东西是产物——文件大小、打包方式、GGUF 元数据、许可证，以及你自己机器上的吞吐量。这才是起点，也正是两份公告不再彼此相似的地方：27B 的独立打包大小已在 Hugging Face 上按文件逐个公布，而小模型口口相传的 0.43 GB、0.95 GB 和 2 GB 占用，指的只是语言模型本身，不含视觉塔。要在同一基准上比较它们，否则 9B 会显得像是输掉了一场它从未参与过的争论。

这一切都并非假设：像本次这样的发布背后那些有据可查的 AI 故障与智能体事件，均收录于 OrcaRouter AI 事件档案库中，其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。