Bonsai 2 與 Bonsai 27B：其中一款你可以拉取，另一款則不能

最具體的差異在於 Bonsai 2 與 Bonsai 27B之間，而這與基準測試毫無關係。2026 年 10 月 17 日，Ollama 模型庫上出現了一筆涵蓋整個 Bonsai 2 系列的上架項目——Ternary Bonsai 2 2B、Ternary Bonsai 2 4B、Ternary Bonsai 2 9B 以及 Bonsai 2 27B——而第一代並沒有對應的項目。查詢 bonsai-27b、ternary-bonsai-27b 或該註冊表上的任何變體名稱，都會得到 404。Bonsai 27B 由 Prism ML 於 2026 年 7 月 14 日發布，必須從該廠商的 Hugging Face 儲存庫下載，並搭配 Prism ML 的 llama.cpp 分支執行。Bonsai 2 只要一行指令即可安裝。

那種不對稱，正是這個選擇在實務上的全貌，而且很容易被忽略，因為這兩個名稱看起來就像是同一條產品線的一次版本升級。它們其實是兩個世代、兩個基礎型號、兩套不同的包裝，而且——截至本週——是兩種不同的交付機制。接下來要說明的是：它們之間實際上改變了什麼、較舊的那一款仍在哪些地方勝出，以及唯一一個答案是兩者皆非的配置。

每一項是什麼

兩者都是 Qwen 混合注意力模型的三元壓縮。兩者都不是新訓練的模型——架構、權重與量化感知訓練皆來自 Qwen 基礎，而 Prism ML 所貢獻的是三元表示法，以及取用它的核心。

• 世代 — Bonsai 2（2026年9月，延長至2026年10月）對比 Bonsai 27B（2026年7月14日）

• 27B 規模的基礎模型 — Qwen3.8-27B 對比 Qwen3.6-27B

• 全系列的基礎模型——Bonsai 2 之下的 Qwen3.5-2B、-4B、-9B 與 Qwen3.8-27B；第一代則只有一個 Qwen3.6-27B

• 提供的尺寸 — 四種（2B、4B、9B、27B）對比一種（27B）

• 27B 有兩個運作點——不，只有一個：Bonsai 2 27B 僅推出三元版本，而 Bonsai 27B 則同時推出三元與二元版本

• 最小的 27B 級佔用空間 — Bonsai 2 中的 5.95 GB PTQ1_0，對比第一代 1 位元版本的 3.9 GB

• 上下文 — 兩者皆從 Q​wen 骨幹繼承了 262,144 個詞元

• 授權 — 兩者皆為 Apache 2.0

• 交付 — Bonsai 2 的 Ollama 標籤與 Hugging Face；Bonsai 27B 的 Hugging Face 加上 Prism ML 的 llama.cpp 分支

在所有列之中，決定最多部署選擇的是第五列。Bonsai 27B 推出兩種耗用記憶體的方式：約 7.2 GB 的三元版本，以及 3.9 GB 的二值版本。Bonsai 2 27B 只推出一種——採用密集 trit 封裝時為 5.95 GB，或採用 2 位元槽封裝時為 7.21 GB 的三元版本——而且這一代並沒有二值版本與之搭配。如果你原本執行的是第一代的 3.9 GB 版本，並期待有個規格對等的後繼版本，那麼在 27B 這個級別並沒有這樣的版本。

這世代實際上買到了什麼

Prism ML 自家公布的數字，採用 Prism ML 自家的測試框架，且沒有可用的獨立重現結果：第一代三值 Bonsai 27B 在其 Qwen3.6-27B FP16 參考基準上，回報思考模式平均為 80.49，對比 85.07——在 15 項基準測試中保留 94.6%。Bonsai 2 27B 回報 84.78，對比 Qwen3.8-27B FP16 的 86.32——在 14 項基準測試中達 98.2%。以絕對值而言，這個壓縮模型在廠商評分標準上提升約 4.3 分。

有兩點但書必須一併說明，因為標題所引導的解讀比數據所能支持得更乾淨。首先，基準測試套件並非同一組——一個是 15 項，另一個是 14 項——而基線從 Qwen3.6-27B 移到 Qwen3.8-27B，後者本身是更強的模型。供應商自家的 27B 模型卡把第二點講得很明白：它在新 14 項基準測試套件上重新計算前一版，以做出同基準的一列：在這個共同基礎上，前一版得分 80.98，而 Bonsai 2 27B 得分 84.78。因此，對這項變化的誠實解讀是：在相同基準測試集上大約進步 3.8 分，其中一部分來自基礎模型，一部分來自三元訓練。留存率從 94.6% 上升到 98.2%，部分原因是分母變了。

第二，損失的形狀比總體數字更具資訊量。在同一套 14 項基準測試中，凡是考驗持續推理的地方，Bonsai 2 27B 幾乎沒有讓步：數學 96.57 對 97.06，程式設計 89.42 對 89.07——持平，略微領先——而指令遵循 82.66 對 81.25，領先。知識與推理從 85.55 掉到 79.86，視覺則從 71.36 掉到 66.19。這正是每權重 1.72 位元表示法會呈現的特徵：推理核心存活下來，事實回憶與圖像理解則受到打擊。如果你的工作負載是程式設計與數學，這種壓縮幾乎是免費的；如果是對語料庫進行檢索式問答，那就不是了。

3.9 GB 這個插槽正是有趣之處。

這就是「兩代框架」所掩蓋的部分。第一代最具代表性的產物是二進位建置：一個 3.9 GB 的 27B 模型，在 15 項基準測試平均為 76.11 的情況下，保留了廠商回報的 FP16 89.5%。Bonsai 2 沒有二進位 27B。但 Bonsai 2 確實有 9B 模型：在密集三值封裝下為 1.997 GB，在 2 位元槽封裝下為 2.42 GB——約為二進位 27B 佔用空間的一半，且來自更新的世代與更新的基礎模型。

9B 比 1 位元 27B 更好嗎？廠商並未公布能回答這個問題的數字，你也不應自行拼湊出一個。這兩個模型是在不同的評測套件上受評——小型 Bonsai 2 模型涵蓋六個技能領域共 19 項基準，第一代 27B 則有 15 項——而且對照的是不同的基線；此外，小型模型的發布報告是相對於其自身全精度 Qwen3.5 對應版本來回報類別保留度，而不是給出一個可與 27B 的 76.11 相比的單一絕對平均值。現有的比較都是逐項基準的，而且互有高低。就廠商的數字而言，9B 在 BFCLv3 上得分 71.81，在 Tau2Bench 上得分 73.02，而二值化 27B 在 BFCL v3 上則取得 74.41——差距小到足以被套件差異吞沒。

在不逾矩的前提下，能說的話更狹隘，卻依然有用：過去由 binary 27B 獨自佔據的那個資源佔用級別，如今有了來自下一代、更便宜的競爭者，而兩者差距之小，不該有人只憑供應商的規格表就在它們之間做選擇。 這表示該用自己的提示詞去實測，而不是去相信一個數字。這也是這篇比較中唯一一處，答案真的不是標題裡的這兩個模型。

執行它們：數字與陷阱

傳輸量數字是由供應商自行測量，並非在同一台機器上取得，因此請把它們視為數量級的參考，而非排名。

• Bonsai 2 27B 在 Apple M5 Max 上——在較早的旋轉前版本上約為 47 tok/s，尚待於目前堆疊上重新測量

• Bonsai 2 27B 在 M5 Pro 上 — 於 2-bit 槽封裝下達到 28.1 tok/s，GPU 電源軌功耗約 27.5 W

• Bonsai 2 27B 在 RTX 5090 上 — 2-bit-slot 封裝下達 129.9 tok/s，dense-trit 封裝下為 120.5

• 第一代三值 Bonsai 27B 在 M5 Max 上——44.0 tok/s；在 H100 上為 98.0 tok/s，搭配其 DSpark 草稿模型可提升至約 131.8

• 第一代二進位 Bonsai 27B 在 iPhone 17 Pro Max 上——約 11 tok/s，受散熱限制

問題出在封裝上，而這對兩代模型而言都是同樣的困境。兩代的 ternary 核心都沒有進入上游 llama.cpp。第一代每個檔案都得靠 Prism ML 分支。Bonsai 2 把同一組權重打包成三種格式，而上游 llama.cpp 只跑得動其中一種——近期 master 裡的 Q2_0——至於較小的 PTQ1_0 和較快的 PQ2_0 則都被當成未知型別而拒於門外。因此，最接近理論上每權重 1.72 位元的那個 dense-trit 封裝，也正是得靠分支版本才能建置的那一個。

那值得好好想一想，因為它解釋了 Ollama 的清單。Bonsai 2 的 Ollama 標籤供應的是 Q2_0：9B 標籤的模型層量測為 2.557 GB，與 Hugging Face 上 Q2_0 的檔案大小逐位元組完全一致，而最小的 PTQ1_0 封裝則完全不在登錄庫中。無論那份清單還有什麼別的意義，它都不是通往最小產物的途徑。這裡正在取捨便利性與佔用空間，而除非你去讀檔案大小，否則這個取捨是看不見的。

到達其中任何一個

如果你使用的是 Ollama，選擇就已經替你決定好了：Bonsai 2，四種尺寸，ollama pull bonsai-2:27b 或 :9b，包含視覺投影器在內，磁碟上約佔 8.3 GB 與 3.2 GB。如果你需要 dense-trit 封裝、推測解碼草稿模型，或任何第一代的東西，那就得從 Hugging Face 下載並自行建置分支版本，而廠商的示範儲存庫是該途徑經過實測的參考依據。

路由層在這裡真正能幫上忙的地方，在於問題的另一面。你無法將請求路由到這二者中的任何一個——它們是本機權重，而 OrcaRouter 目前並未提供任何 Bonsai 尺寸。OrcaRouter 能帶給你的是比較基準：一個 API 置於 200 多個代管模型之前，且零加成，供應商定價原樣轉嫁，並在供應商之間自動容錯移轉。對多數團隊來說，合理的順序是先在代管模型上確認某項任務實際需要什麼，再判斷 2 GB、3.9 GB 或 6 GB 的本機模型是否能達到那個門檻——而不是憑一個保留百分比來猜測。

具體來說，是哪一個？

• 你想要最新的 27B 三元世代，以及一行指令就能安裝——透過 Ollama 使用 Bonsai 2 27B，接受 Q2_0 封裝與較大的磁碟佔用空間。

• 你想要盡可能最小的 27B 等級成品，或者你依賴 DSpark 草擬器——來自 Hugging Face 的第一代 Bonsai 27B，並使用分支版本。Bonsai 2 中沒有任何內容能在 27B 規模取代它。

• 你之前執行的是 3.9 GB 的二進位版本，而且需要維持那樣的資源佔用——不要假設 Bonsai 2 有後繼版本。要嘛繼續沿用，要嘛用你自己的提示詞來實測 Bonsai 2 9B；它的大小只有一半，而且還新了一個世代，而供應商尚未發布足以定論的比較。

• 你需要從單一執行階段取得四種尺寸類別——Bonsai 2 是唯一提供此功能的世代。

有一件事值得留意，這麼一來就能簡化這一切：ptq1_0標籤出現在 Ollama 的清單上。那將意味著稠密三元核心已進入 Ollama 所搭載的引擎，最小封包不再需要分支版本，而便利性與佔用空間之間的取捨也不再是取捨。

這些都不是假設：像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件，全都收錄在OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。