Ternary Bonsai 2 27B vs Bonsai 27B：2か月、2つのベースモデル、1つの欠落したバリアント

Ternary Bonsai 2 27Bは2026年9月17日に登場した。Bonsai 27Bが2026年7月14日に登場してから2か月後のことだ。両者の注目すべき比較は、たった1組の数値に集約される。第1世代はフル精度のベースモデルのベンチマーク平均の約95%を維持し、第2世代は98.2%を維持している。これは一見、世代間の素直な改善のように読めるし、実際ほぼそうだ。だが、この2つの数値は同じものを測っているわけではない。なぜなら、その土台となるベースモデルが変わったからだ。7月のリリースはQwen3.6-27Bを圧縮した。9月のリリースはQwen3.8-27Bを圧縮している。品質向上の一部は圧縮レシピによるもので、一部は新しいQwen3.8-27Bによるものであり、この2つを切り分ける公表数値は存在しない。

世代間にはもう一つ、ほとんど注目されてこなかったものの、特定のユーザー層にとってはより重要な違いがある。初代 Bonsai は2つのバリエーションで提供され、第2世代は1つだけだ。27Bクラスのモデルを iPhone 17 Pro に収めた 3.9 GB ビルドには、今回のリリースで後継が存在しない。そのフットプリントこそが Bonsai に興味を持った理由なら、新しい世代はアップグレードではない——あなたのケースをカバーしない別製品である。

初代が実際に出荷したもの

Bonsai 27Bは2026年7月14日、Apache 2.0の下で、同一のベースモデル上に構築された2つの成果物としてリリースされた。そして、両者を分けたことこそが、このリリースの狙いだった。

• Ternary Bonsai 27B — 三値 {−1, 0, +1} の重みと FP16 によるグループ単位スケーリング、実効 1.71 ビット/重み、フットプリント 5.9 GB。品質重視のビルドで、完全な推論・ツール呼び出し・エージェント機能を備え、日常使いのノート PC をターゲットとしています。

• 1-bit Bonsai 27B — 同じグループ単位のスケーリングを備えたバイナリ {−1, +1} 重み、重みあたり1.125実効ビット、3.9 GBのフットプリント。フットプリント指向のビルドで、iPhone 17 Proのメモリ予算に収まるサイズ。

どちらも262Kトークンのコンテキストを備え、どちらもコンパクトな4ビットのビジョンタワーを維持してモデルがマルチモーダルのままでいられるようにし、どちらもDSparkドラフターによる投機的デコーディングをサポートしていた。当時のPrism MLの説明では、低ビット表現がエンドツーエンドで——埋め込み、アテンション、MLP、LMヘッドに至るまで——動作し、より高精度な逃げ道は一切なく、1ビット版はスマートフォン上で動作する初の27Bクラスのモデルだった。報告された1ビット版のスループットは、iPhone 17 Proで毎秒約11トークン、Apple M5 Maxで87トークン/秒、RTX 5090で163トークン/秒だった。三値版はM5 Maxで58トークン/秒、5090で134トークン/秒とされていた。

品質コストは、埋もれることなく、それらの数値と並べて報告された。15ベンチマークの思考モードスイートでは、フル精度のベースが85.0、三値ビルドが80.5——約95%——、1ビットビルドが76.1で、約90%だった。性能劣化はエージェント型ツール呼び出しに集中しており、1ビットビルドでは80.0から66.0に低下し、視覚でも72.6から59.6に低下した。数学とコーディングは、どちらのバリアントでもかなり良好に維持された。

第二世代が変えたもの

Ternary Bonsai 2 27B はレシピを維持しつつ、入力を変更しています。三値表現は依然として {−1, 0, +1} で、128 個の重みごとに 1 つの FP16 スケールを持ち、今回は重みあたり 1.76 ビットで 5.93 GB のファイルにパックされ、262K コンテキストと同じ分離型ビジョンタワーを備えています — 今回のリリースでは 4 ビットで 0.63 GB で、画像が届いたときのみロードされます。

本当に新しいのは2つの点であり、そのどちらもが継続率の数値が動いた理由として説明されている。

第一は選択的精度です。ほぼすべてを三値化した7月のビルドとは異なり、Bonsai 2は26,238,464個のパラメータを完全精度で保持しています。これは言語モデルの0.0976%に当たり、bf16で約52MBで、線形注意層の再帰状態経路と正規化重みに集中しています。これはバイト数では小さな譲歩であり、挙動ではどうやら大きな譲歩のようです。

2つ目は、回転された重み基底である。重み行列はブロックサイズ1,024でブロック単位のWalsh–Hadamard回転を施した後に保存され、実行時にはアクティベーションに同じ変換が適用される。これは、外れ値を座標間に分散させることで3レベル近似の損失を小さくできるという理論に基づいている。回転は重みに織り込まれるため追加ストレージは不要だが、計算経路上には確かに存在する。

次に、テクニックですらない変更がある。それがベースモデルだ。Qwen3.8-27Bはハイブリッドアテンション設計であり、およそ75%が線形アテンション、25%がフルアテンションだが、その前身はそうではなかった。Prism MLが報告したカテゴリ別スコアは、その移行が何をもたらしたかを示している。指示追従はBonsai 2で82.66、第1世代が圧縮したベースであるQwen3.6-27Bでは74.53だ。推論と知識は83.95で、旧ベースでは84.71、コーディングは81.58で、82.57だ。新しいベースは指示追従で大差をつけて優れており、ほかの2カテゴリではわずかに劣っている。これはまさに、世代間の保持率パーセントを単独で見ても役に立たなくするようなプロファイルだ。

なぜ2つのリテンション数値は比較できないのか

95%と98.2%は、一つの尺度上の二つの測定値のように見える。だがそうではない。レシピが3.2ポイント改善したと結論づける前に、きちんと区別しておく価値のある三つの理由があるからだ。

• 分母が異なります。第1世代の95%は、Qwen3.6-27Bに対する15ベンチマークのスイートで測定されました。第2世代の98.2%は、Qwen3.8-27Bに対する20ベンチマークのスイートから得られたものです。スイートが異なれば、ベースラインも異なり、難易度の構成も異なります。

• ベースラインはそれぞれ独立に動いていた。保持率の向上の一部は、圧縮モデルが圧縮をより上手く行えるようになったことによるもので、別の一部は、ベースモデルが三値重みにとって都合のよい形で変化したことによるものだ。これらの寄与を切り分けたものは公表されていない。

• 保持率は相対的なものであるため、あるカテゴリで絶対的な能力が低下していても、保持率は上昇しうる。弱い親モデルの99%を保持するモデルでも、より強い親モデルの96%を保持するモデルには及ばないことがある。

絶対比較のほうが相対比較より情報量が多く、その前提に立てば話はより明快だ。Bonsai 2 の総合値 83.9 は、旧スイートでフル精度の Qwen3.6-27B が記録した 83.6 を上回っている。つまり、圧縮された後継モデルは、一世代前に自らが置き換えた非圧縮モデルより今や先行している。第一世代の三値ビルドは、独自スイートで 80.5 を記録した。これらの数値はどちらも Prism ML によるもので、スイートも異なるため、小数ではなく順序を読むべきだ。

戻ってこなかったバリアント

これは、ベンチマークのグラフではなく、購入判断を左右する比較の部分です。

1ビットのBonsai 2は存在しない。9月リリースは三値ビルドを出荷しており、2つのパッキング — 重みあたり1.76ビットで5.93 GBのPTQ1_0、重みあたり2.16ビットで7.25 GBのPQ2_0 — に加え、Apple Silicon向けのMLXコンテナがある。3.9 GBのバイナリ版は存在せず、その発表もない。現在の報道に登場する3.9 GBというスマホクラスの数値は、依然として7月のモデルを指している。

実用的な帰結は明白です。対象が iPhone や iPad、あるいは 5.9 GB の言語モデルに 0.63 GB のビジョンタワー、さらにコンテキスト用の予算を加えたものが収まらないデバイスであるなら、このファミリーで第1世代の 1 ビットビルドが唯一の選択肢であり続け、1 ビットの Bonsai 2 が存在するまでそうあり続けます。三値パスをアップグレードしても、そのパスはアップグレードされません。「Bonsai 2 のほうが良い」と読んでスマートフォンに再ダウンロードする人は、ファイルが収まらないことに気づくでしょう。

ノートパソコンまたはデスクトップを使っている場合、判断は逆になります。9月版のほうが品質あたりのサイズが小さく、重要なベンチマークで優れ、同じ262Kコンテキストを備えているなら、7月の三値ビルドを実行する理由はありません。

スピード。そこでは世代をランク付けするのが本当に難しい

スループットはこの比較の一部で、正直に言えば、公表されている数値は明確な順位付けを裏付けておらず、都合よく見える組み合わせを選ぶよりも、そう正直に言ってしまう価値がある。

第2世代の標準化された測定値は、バッチサイズ1、ビジョンタワーを除外した条件で、PQ2_0パッキングでのRTX 5090上におけるデコードが142.5 tok/s、Apple M5 Maxが46.8 tok/s、M5 Proが27.7、M4 Proが18.0です。第1世代は、その三値ビルドについて、RTX 5090で134 tok/s、M5 Maxで58 tok/sを公表していました。5090の数値は予想された方向へ小幅に動いています。M5 Maxの数値は逆方向に動いています——58から46.8へ——これは、2か月の世代交代のステップが示すべき姿ではありません。

2つの注意点があるため、それは発見にはならない。リリース間で測定基準が異なり、新しいモデルについて公表されたM5 Maxの数値の少なくとも1つは、回転最適化以前のビルドによるものとされている。それでも、未解決の疑問として指摘する価値はある。なぜなら、それを説明しうるメカニズムがリリースノートに載っているからだ。回転基底は、バッチサイズ1ですべての投影のクリティカルパス上に変換を置く。そして、Apple Siliconのデコードは、それが最も大きな打撃を与える領域である。品質を得る技術がデコードスループットを犠牲にする可能性があり、統合メモリハードウェアではそのトレードオフが最も先鋭化する。

MLXコンテナは、Appleユーザーにとってさらに別の厄介事をもたらします。これはアフィン2ビット形式で、そのブロックは128個の重みのグループごとにスケールとバイアスの両方を保存しますが、三値重みにはスケールだけが必要なので、バイアスは無駄な重りになります。ブロックは128重みあたり34バイトではなく36バイトを要し、パック後のレートは重みあたり2.25ビットとなり、実測ファイルサイズは8.005 GiBです。これは同じ値を運ぶ別のコンテナであり、デモンストレーション設定がデフォルトでダウンロードするパックです。

いずれかの世代を実行中

どちらの世代にも、このモデルのどのバージョンも逃れてきたことのない運用上の制約が一つ共通している。どちらも素の llama.cpp では動作しない。このアーキテクチャ向けの三値カーネルは Prism ML 自身のフォークに存在し、素の llama.cpp は現在のパッキングを未知のものとして拒否し、さらに悪いことに、古い三値フォーマットは何の文句もなく読み込んで流暢なゴミを生成する。なぜなら、重みが前提としている回転を適用しないからだ。MLX ビルドには Metal と CPU のカーネルが含まれるが、CUDA パスはない。どちらの世代を選んでも、ランタイムの問題に答えるのは Prism ML 自身のディストリビューションか、そのカーネルを採用したランタイムであり、ggml エコシステム全体ではない。

このような意思決定においてOrcaRouterがどこに位置づけられるかといえば、それは一段上のレイヤーです。どちらのBonsaiの世代もここでホストされているわけではなく、ご自身のハードウェアで実行するダウンロード版です。ルーティングレイヤーが役立つのは、その境界の部分です。つまり、ローカルモデルが応答すべきではないリクエストです。エスカレーションの方針は、ルーティング設定で一度定義するようにし、アプリケーションコードではなくそこで定義することで、ローカルで提供されるティアが、長いコンテキスト、画像重視、あるいはその他の範囲外のリクエストを失敗させるのではなくホスト型モデルへと引き上げるようにし、また、たまたまインストールしているBonsaiの世代がどれであってもフォールバックが機能し続けるようにします。すると、ローカルティアとホスト型ティアの両方が単一のキーの背後に置かれ、次のBonsaiの世代が登場してティアの境界が再び動くときにも、方針は一か所にとどまります。

これをどうすればいいですか

• ラップトップまたはデスクトップで7月の三値ビルドを実行しているなら、Ternary Bonsai 2 27B に移行してください。ほぼ同じフットプリントでより優れたモデルであり、それが勝っているカテゴリのスコアは、エージェント型の作業と指示追従の作業にとって重要なものです。

• スマートフォンで7月の1ビットビルドを実行しているなら、そのままにしてください。後継版はなく、5.93 GBの三値ビルドは3.9 GBのものとそのまま置き換えられるものではありません。

• このファミリーを初めて評価する場合は、まずフットプリントを決め、次に世代を決めます。必要なバリアントによって、どのリリースを検討すべきかが決まり、この順序は、このアップグレードが通常説明される順序とは逆です。

• ベンチマークで選んでいるなら、95%と98.2%は同じ線上の2点ではなく、別々の測定値として扱い、9月モデルの独立した評価が出るまでは、両方のあらゆる数値をベンダー自身によるものとして扱うべきだ。注目すべきはその評価だ。なぜなら、2つの世代を共通の基準で比較できるようになる最初の評価だからだ。