ZwZ2-9B、静かに出荷：ラボが何も語らないとき、94億の重みが教えてくれること

2026年10月16日 03:42 UTCに、Hugging Faceリポジトリが次の名前で現れた：inclusionAI/ZwZ2-9B。4分後、それは唯一のコミット「Add ZwZ2-9B model weights」を受け取り、その後は何もなかった。READMEも、ライセンス欄も、論文リンクも、ベンチマーク表も、inclusionAI組織が維持する10の公開コレクションのいずれにもエントリがない。重み自体はbfloat16の9,409,813,744パラメータであり、それらはハイブリッドアテンションの視覚言語モデルを記述しており、その構成は、行単位でQwen3.5-9Bの構成から予測ヘッドを1つ取り除いたものである。確認されているのはこれだけである。この記事の他のすべては推論としてラベル付けされている。というのも、モデルカードのないリポジトリは、誰にもそれ以上のことを許さないからである。

ちなみに、これは普通のことで、注意書きが積み上がる前に言っておく価値がある。inclusionAIは、Ling、Ring、LLaDA、Ming各ファミリーを手がけるオープンウェイトのラボで、説明文が現れるより数日、あるいは数週間も早くチェックポイントを公開する癖がある。10月13日——今回の3日前——にも、短いカードとともにLing-3.1-flashを投稿し、告知もなかった。沈黙したリポジトリは危険信号ではない。マーケティングではなくファイルを読むべき理由なのだ。

リポジトリには実際に何が含まれているのか

8つのファイル、そしてそのリストが物語を語る。あるのは.gitattributes、chat_template.jinja、config.json、generation_config.json、単一の18.8 GBのmodel.safetensors、processor_config.json、tokenizer.json、そしてtokenizer_config.json。はない。README.mdもない。LICENSEリポジトリにはちょうど3つのタグがある — safetensors、qwen3_5そしてregion:us — つまり、Hub にはこのモデルのパイプラインタグがまったくない。image-text-to-text、text-generation、その他のいずれにも分類されていない。執筆時点ではダウンロード数は0、いいねは2つ。

• 総パラメータ数 — 760個のテンソル全体で9,409,813,744、bfloat16。

• アーキテクチャ — Qwen3_5ForConditionalGeneration、モデルタイプ qwen3_5.

• テキストスタック — 32層、隠れサイズ4,096、クエリヘッド16 対 KVヘッド4、ヘッド次元256、中間サイズ12,288、語彙数248,320。

• アテンションパターン — 3つの線形アテンション層の後に1つのフルアテンション層、これを繰り返す構成：24の線形層と8つのフルアテンション層。

• コンテキスト — 262,144 ポジション、ロータリベース 10,000,000、セクション [11, 11, 10] のインターリーブ M-RoPE。

• ビジョンタワー — 深さ27、隠れサイズ1,152、パッチサイズ16、空間マージ2、時間パッチ2、4,096に射影。

• ライセンス — 宣言なし。apache-2.0 でもなく、カスタムライセンスでもなく、何もありません。

この構成は Qwen3.5-9B の構成です

2つのconfig.jsonファイルをdiffすると、アーキテクチャ上の値はほぼすべて一致する。hidden size、レイヤー数、ヘッド数、ヘッド次元、intermediate size、語彙サイズ、3:1のlinear-to-full attentionスケジュール、M-RoPEセクション、rotary base、262,144ポジションの上限、そして2,304個の位置埋め込みに至るまでのビジョンタワー全体が、Qwen3.5-9Bと同一である。実質的な違いは1行だけ：mtp_num_hidden_layersがQwen3.5-9Bでは1、ここでは0であり、したがってZwZ2-9Bはマルチトークン予測ヘッドを備えていない。残りのdiffはシリアライゼーションによるものだ——より新しいtransformersバージョンが、古いファイルでは暗黙のままだったフィールドを書き出していること、そしてビジョン設定のモデルタイプがqwen3_5からqwen3_5_visionに改名されていることである。

そこから分かるのは、限定的だが確かなことだ。これは新しいアーキテクチャではない。Qwen3.5-9Bスタック上のチェックポイントであり、誰かによって事後学習され、投機的デコーディング用のヘッドが取り除かれている。それが教えてくれないのは、その事後学習が何だったかだ。パラメータは動いたが、形は変わらなかった。

モデルが自分自身について何か言及する唯一の場所

チャットテンプレートは、ここで唯一の視点を持つファイルであり、読者がおよそ1分で確認できる3つの点でQwen3.5-9Bとは異なっている。

1つ目はデフォルトのシステムプロンプトです。システムメッセージなしでリクエストが届くと、ZwZ2-9B のテンプレートは次のものを挿入します：「ユーザーとアシスタントの会話。ユーザーが質問し、アシスタントがそれを解決します…回答は <answer> </answer> タグで囲まれます。」Qwen3.5-9B のテンプレートにはそのような分岐はなく、単に何も出力しません。出力形式を名指しする組み込み済みのシステムプロンプトは、特定の学習実行の特徴であり、ベースモデルのものではありません。

The second is the thinking default, and it is inverted. In Qwen3.5-9B the template emits an empty <think></think> block only when the caller explicitly passes enable_thinking: false, which means reasoning is on unless you turn it off. In ZwZ2-9B the condition is not defined or false — the empty block appears by default and the open <think> tag only when a caller explicitly asks for thinking. Same tags, opposite default. Qwen3.8-27B, for the record, kept the Qwen3.5 behaviour, so this is not simply inherited from a newer generation.

第三はマルチターン推論のための帳簿付けである。テンプレートはpreserve_thinkingフラグを理解し、すでに<think>ブロックを含むアシスタントのターンからそのブロックを除去する方法を知っている。Qwen3.5-9B のテンプレートにはどちらも存在しない。ちなみに、トークナイザーは依然として音声特殊トークンを予約している — <|audio_start|>、<|audio_end|>、<|audio_pad|> — しかし、config のどこにも音声タワーは存在しないため、これは能力ではなく共有トークナイザー語彙として扱うこと。

名前が示すものと、示さないもの

「ZwZ2」という名前は何かの第2世代のように読めるし、指し示すべき第1世代も存在する。ZwZ-2Bは2026年3月4日に投稿された、Qwen3-VL-2B-InstructをRegion-to-Image Distillationと強化学習でファインチューニングしたモデルで、論文Zooming without Zooming（arXiv 2602.11858）およびZoomBench評価セットとともに公開された。Apache-2.0で、完全なモデルカードがあり、7か月で159ダウンロードされている。

ただし、その系統の手がかりは名前が示唆するよりも薄い。ZwZ-2B はqwen3_vlアーキテクチャ上に構築されている。ZwZ2-9B はqwen3_5上に構築されている。inclusionAI が適用した唯一のタグはqwen3_5であり、このモデルは ZwZ コレクションにも、その他のどのコレクションにも含まれていない。領域から画像へのレシピが引き継がれたかどうかは、まさにモデルカードなら答えるであろう類の問いであり、このリポジトリは答えていない。

指摘しておく価値のある罠が一つあります。検索エンジンが人々をそこへ導くからです。より古い、無関係なZwZ_32Bという、第三者による2025年3月付のGGUF変換ファミリーが存在します。共通するのは3文字だけで、それ以外に何の関係もありません。これを初期のZwZ2-9Bと解釈しないでください。

未文書化のチェックポイントを扱う方法

実用的なスタンスは、モデルカードなしで届いた重みに対して取るのと同じです。まず config と safetensors ヘッダーを取得しましょう。それは低コストで、検証可能です。パラメータ数とテンソル名が config の約束と一致していることを確認してください。次に、そのアーキテクチャをサポートするフレームワーク上で提供し、存在しない数値を借りてくるのではなく、自分のトラフィックで既に実施している評価を実行してください。

ライセンスは、週末だけの利用以外では重要になる部分です。ライセンス欄のないチェックポイントは、オープンなものと同じではありません。宣言がなければ、既定では発行者が権利を留保していることになり、それはこれが本番環境に近づく前に話し合うべきことであり、後ではありません。また、これを実行するのはあなた自身になる点にも注意してください — Hub によれば、このモデルはどのプロバイダーによっても提供されておらず、ベンダーはエンドポイントを公開していません。

まさにその状況のために、自動フェイルオーバーは存在します。実績のないチェックポイントを、本番経路をそれに賭けることなく現行モデルと比較評価したいのであれば、候補をすでに信頼しているモデルと同じインターフェースの背後に置き、新しいモデルが不調をきたしたらトラフィックを戻せばよいのです — 後から巻き戻さなければならない二つ目の統合ではなく、一つのAPIキーと一つのOpenAI互換エンドポイントで。 OrcaRouterは200を超えるモデルをそのようにルーティングし、プロバイダの定価を0%のマークアップでそのまま通し、ZwZ2-9Bはホストしていません — それについてカタログ項目が存在するかのように装うつもりはありません。本日ご提供できるのは、それが基盤としたファミリーと、それが置き換えるファミリーです。Qwen3.5ラインはここでルーティング可能で、qwen/qwen3.5-35b-a3b および qwen/qwen3.5-flash、そして qwen/qwen3-vl-8b-instructが、入力100万トークンあたり$0.18、出力100万トークンあたり$0.70の、文書化されたホスト型モデルとして8Bビジョン枠をカバーします。

これをリリースにするには何が必要ですか？

三つだ。そのどれか一つでも、この記事を書き直す理由になる。リポジトリにライセンス欄が現れること──それはこれを単なる珍品から、企業が使えるものへと変える。評価数値の入ったモデルカード──それはこれをアーキテクチャから主張へと変える。あるいは論文──最もありそうな形は、最初のZwZを面白くした領域から画像への取り組みを、三倍の規模のビジョンタワーに適用したものだ。

それらのどれかが実現するまでは、ZwZ2-9Bをファイル一覧が示すとおりのものとして扱え。すなわち、カスタマイズされたチャットテンプレートを備えた94億パラメータのQwen3.5-9B派生モデルであり、まだ誰にも理由を明かしていないラボによって公開されたものだ。重みは本物だ。物語はまだ書かれていない。そして誠実な立場とは、inclusionAIの外部にはそれを書ける者はいないということだ。

そうした話は決して仮定ではない。このようなリリースの背景にある、記録に残されたAIの障害やエージェントのインシデントはOrcaRouter AIインシデントアーカイブに集められており、各項目には独自の情報源、深刻度、信頼度グレード、係争中フラグが付されています。