Granite Switch 4.1 8B：チャットも判断も文字起こしもこなす単一の8Bチェックポイント

83億8000万のパラメータが入力され、87億7600万が出てくる。その4.72%が、IBMのベースモデルとGranite Switch 4.1 8Bとの間の違いのすべてであり、このリリースで最も興味深い数字だ。なぜなら、そのわずかな部分には安全性分類器、意思決定エンジン、音声認識器が詰め込まれており、すべてが1つのエンドポイントから応答し、すべてがベースモデルがどのみち構築していたはずの同じKVキャッシュを読み書きしているからだ。

重みは2026年10月14日にHugging Faceで公開された。IBM自身のローンチブログ、Granite Switch 4.1：ひとつのエンドポイントからチャット、意思決定、音声は10月15日に続いた。これは最初に率直に言っておく価値がある。誰かがミラーで見つけたような静かな公開ではないのだ。執筆時点で約2日前の発表済みリリースであり、重要なのは「IBMが何を主張したか」ではなく「いまHub上にあるチェックポイントから実際に何を検証できるか」という話のほうだ。この二つは同じではなく、本稿はそれらを区別して扱う。

チェックポイントが実際に含んでいる内容

Granite Switch は新しいアーキテクチャではない。それはある種の構成である。凍結されたベースモデル、トークンごとにオンとオフを切り替えられる低ランクアダプタの集合、そして——この特定のビルドでは——音声用に取り付けられたエンコーダ。コンポーザーは granite-switchリポジトリにあり、このチェックポイントのビルドマニフェストは重みの隣にチェックインされている。つまり、以下に述べる構造に関するすべての主張はプレスリリースから取られたものではなく、Hub から直接読める。

ベースは Granite 4.1 8B です — デコーダ専用の dense モデルで、32 個のクエリヘッドに対して 8 個のキー/バリューヘッドを持つ grouped-query attention、SwiGLU、RMSNorm、131,072 トークンのウィンドウ、100,352 トークンの語彙を備えています。合成されたチェックポイントはそのすべてを継承し、2 つの activated-LoRA アダプターを追加します：

• guardian-core — ランク16、アルファ64、アテンション投影のみ（k_proj、o_proj、q_proj、v_proj）に接続され、Guardian Library リリースから抽出されたもので、有害性、ジェイルブレイク、冒とく、暴力、性的コンテンツ、社会的バイアス、非倫理的行動を検出すると説明されている。

• 決定 — ランク64、アルファ128、MLP（down_proj、gate_proj、up_proj）を含む7つすべての射影に取り付けられ、より狭く、より奇妙なことを行うよう訓練されている。すなわち、状態とラベル付き選択肢を伴う質問が与えられたとき、それらの選択肢ラベルに対する較正済みの確率分布を単一の順伝播で返すことである。

どちらも制御トークンによって有効化されます — <|guardian-core|> と <|decision|> — これらの制御トークンは、adapter_name 引数を渡すとチャットテンプレートが自動的に挿入してくれます。トークンは自分で書くものではありません。そしてこの細部は見た目以上に重要です。つまり、アダプターの選択は、デプロイする2つ目のモデルではなく、リクエストパラメーターだということです。

なぜパラメータのデルタはこんなに小さいのか

算術こそが物語だ。ベースモデルは8,380,551,168パラメータです。合成モデルは8,776,400,896です。これは2つのアダプタで+3億9580万、つまり+4.72%です。この数字がこれほど低く抑えられている理由は、KVキャッシュ正規化と呼ばれる設計上の決定にあります。各アダプタは独自のキー/バリューキャッシュを維持するのではなく、ベースモデルのキー/バリューキャッシュを参照します。従来のマルチアダプタ構成では、追加のアダプタごとに第2のアテンション状態のセットが必要になり、切り替えるアダプタの数に応じてメモリコストが増大します。ここではそうなりません。IBMのローンチ記事での主張は、合成モデルが「GPU上でベースモデルが単体で使用するのとほぼ同じ量のVRAMを消費する」というものです。そして、IBMの外部ではまだ誰もそれを測定していませんが、4.72%の重み差分はそれと整合しています。— そして、VRAMの主張とは異なり、重み差分はマニフェストに記載された、読むことのできる単なる数値です。

決定アダプターのほうが面白い半分だ

言語モデルから確率分布を読み取ること自体は新しいことではない。固定された選択肢ラベルの語彙を使い、1回のフォワードパスでそれを行い、行動に移せるほど十分に校正された数値を得ること——ここが理解する価値のある部分だ。呼び出し手順はカードに記載されている：固定の意思決定エンジン用システムプロンプト、State: ターンが凍結されたベースで評価され、次に ### DECISION ターンで質問と単一トークンでラベル付けされた選択肢を提示する。次に、まさにそれらのラベルトークン ID の logprob をサーバーに要求する——vLLM はこれを logprob_token_ids を通じて公開している——そして指数化する。記載された例では A: 0.982、B: 0.0035、C: 0.014 のような値が返る。

このリリースのマーケティング版が飛ばしている、実際のエンジニアリング上の厄介な点がここにある。vLLM はlogprob_token_idsを1リクエストあたり128個のIDに制限している。意思決定の問いが128個を超える選択肢を持つ場合、HTTP 400が返る。修正方法は、ラベルIDを128個ずつのチャンクに分割し、同一のプロンプトでチャンクごとに1つのリクエストを発行して連結することだ。返されるlogprobsは語彙全体にわたるため、各ラベルの値はどのチャンクがそれを要求したかとは無関係であり、したがって完全なラベル集合に対する単一のsoftmaxは、上限なしの呼び出しと数学的に同一になる。つまり、128個の選択肢ごとに1回余分なリクエストが必要になる。これは本当に役立つ詳細であり、まさにリポジトリにしか存在しない類のものだ。

このアダプターに付随して公表されている数値はひとつだけで、それは Decision Index（JEV）第 v0.3 版、1,068 行からなる公開ファストサブセットです。総合 42.9、知識 29.1、言語 48.9、検索 49.8、ツール 59.8、芸術 18.0。これはベンダー報告値として扱うべきです。実際そのとおりで、IBM が実施して公表したものであり、第三者による再現は行われていません。また、見出しの数字ではなくプロファイルの形を読む価値があります。ツールの 59.8 の隣に芸術の 18.0 というのは非常に偏ったプロファイルであり、カード自体も、このアダプターが訓練されていないドメインにおいては、選択肢の確率は「意思決定の参考にする事前情報であり、認定された分類ではない」と警告しています。

音声テキスト化は現実であり、見出しより狭い

音声パスには、Granite Speech 5.0 TurboCTC（4億7,000万パラメータの非自己回帰型conformer CTCエンコーダ）が組み込まれており、受信した音声を文字起こししてから、その文字起こしを音声コンテンツパートの代わりにチャットコンテキストへ差し込みます。これを呼び出してもリクエストの形は変わりません。通常のチャット補完におけるinput_audioコンテンツパートであり、文字起こしはチャットや意思決定と同じエンドポイントで実行されるため、別途立ち上げる音声サーバーはありません。

注意点はすべて、批評家ではなくIBM自身のカードに由来する。エンコーダは英語のみ、その出力は小文字で句読点なし、デコード時の誘導はなく、そして——あなたを止めるべきもの——音声エンコーダとLLMは共同で学習されていない。それらを結びつける学習済みの射影は存在しない。したがって、誤転写はモデルやアダプターが何に反応するかを無言で変え得る。転写エラーが結果を左右する何かを構築しているなら、その一文がセキュリティレビューのすべてだ。

確認済みのこと、ベンダーが報告していること、誰も確認していないこと

• リポジトリから確認済み — ベースモデルの同一性とレイヤー数、2つのアダプターのランクと対象モジュール、制御トークンID、合成後のパラメータ数、131,072トークンのコンテキストウィンドウ、Apache-2.0ライセンス、そしてカードが要求するvLLMとTransformersの記載バージョン。

• ベンダー報告、未再現 — Decision Indexのスコア、Granite Speech 5.0 TurboCTCがOpenASRリーダーボード上で最速のASRモデルであるという主張、ベースモデルと同じVRAMという主張、そしてローンチ投稿の余談で、カスタム3B Granite Switchモデルが、クローズドな意思決定モデルについて報告されている毎秒10回に対して、毎秒60～100回の意思決定でDoomをプレイするという点。IBMは「今後数週間で」より多くのデータを公開すると述べており、これは現在の証拠が薄いことの告白である。

• 誰も確認していない — その他すべてについても同様だ。独立した評価も、サードパーティのリーダーボードへの登録も、IBMによるホスト型APIも、IBM以外の誰かが公表したレイテンシやスループットの測定値も存在しない。Hubのリポジトリを見ると、ダウンロード数は数十回、いいねもわずか数件だ。このモデルは登場から2日しか経っておらず、ほとんど読まれていない。

運用にかかるコストと、OrcaRouter の位置づけ

Granite Switch 4.1 8B は今のところセルフホストの話だ。カードにはバックエンドとして HuggingFace Transformers と vLLM が記載され、かなり狭いサポート範囲（Transformers 5.16–5.17、vLLM 0.26–0.28）が明記されており、チェックポイントはコード変更なしで両方で動作する。指し示す先のマネージドエンドポイントは存在しないため、ほとんどのチームにとっては最初のリクエストまでに GPU 1台とコンテナ1つが必要になる。

残りについては率直に言います。Granite Switch は現在 OrcaRouter のカタログにはありませんし、他の Granite モデルも同様です。つまり、このチェックポイントが欲しいのであれば、その入手経路はベンダー自身のリリースと自前のハードウェアであり、当社ではありません。OrcaRouter が提供するのは、その周辺の意思決定です。このプラットフォームは、単一のキーの背後で自動フェイルオーバーを伴って200以上のモデルをルーティングし、またプロバイダーの定価を0%のマークアップでそのまま通すため、ベンチマーク中のモデルにホスト型エンドポイントが用意されたとき、既存のモデルと自社トラフィックで比較するのは、二つ目の契約ではなく設定変更で済みます。これが最も効いてくるのはまさにこの状況です。独立した評価のない公開から二日目のチェックポイントは現行の定番ではなく候補にすぎず、候補に対して安上がりなのは、本番経路をそれに合わせて配線し直すのではなく、サイドバイサイドで維持することです。

未解決の問題

Granite Switch 4.1 8Bは、特定の種類の作業——回答し、判断し、文字起こしする必要があるアプリケーションで、3つのモデルを動かすことが3つのデプロイ、3つのレイテンシー、3つの請求を意味するような作業——では、規模よりも構成が勝るという賭けだ。その賭けを安上がりにするためのエンジニアリング、すなわち共有KVキャッシュ、トークンごとのアダプター切り替え、チャットテンプレート内で解決される制御トークンは、本当に異例であり、1年後もなお重要であり続けるこのリリースの部分だ。

まだ確定していないのは、合成された回答が良いかどうかだ。意思決定アダプターの公開プロファイルはむらがあり、音声経路は英語のみで、共同訓練もされておらず、全体はできてから2日しか経っておらず、独立した実行による裏付けもない。ビルドマニフェストを読み、composeコマンドを自分で実行し、誰かの42.9を信じる前に、自分のラベルセットで意思決定アダプターをベンチマークせよ。