Inkling 2 Smallのウェイトがダウンロード可能に：394 GB、Apache 2.0、そしてノード規模の請求書

Inkling 2 Smallリポジトリの最初の重みコミットには、2026年11月12日19:53 UTCという刻印がある。これはこの文章が書かれる9時間前のことだ。それまで、このモデルは料金表とベンチマーク表にすぎなかった。Thinking Machines Labは11月5日に、非公開の重み、Tinkerエンドポイント、そしてチェックポイントをApache 2.0の下で「来週」公開するという明言された意向とともにこれをローンチした。したがって、モデル自体は8日しか経っていない。新しいのは、ダウンロードできるようになったことであり、しかもそのダウンロードは小さなファイルではない。

2つのリポジトリが公開されています。主要なチェックポイントは36ファイルにわたり合計393.5 GBで、そのうち24ファイルがsafetensorsシャードです。MXFP8版は622.8 GBです。両方ともモデルカードのメタデータでApache 2.0と宣言されています。現時点の発表はこれで全部です——モデルカード、リポジトリ、そしてローンチ投稿に追記された1段落の更新です。以下はすべて、それらの一次資料と、同時に提供された2つのサービング用クックブックから読み取ったものであり、まだ欠けている点については率直に言う価値があります。すなわち、これらの重みを公開する前提条件として明言されていた外部の安全性テストは公表されていません。

ダウンロードには実際に何が含まれていますか

まずサイズから始めます。というのも、このモデルをそもそも利用できるかどうかを最初に決めるのはサイズだからです。混合精度のレイアウトはその数値をほぼ正確に説明しており、これは公開されている数値がマーケティング用の文句ではなく互いに整合していることを示す良い兆候です。

• チェックポイント分割 — SGLang のクックブックに従い、レイヤー0～39のエキスパートはNVFP4、レイヤー40～47のエキスパートはMXFP8。

• 予測サイズ — その40/48と8/48の分割で1パラメータあたり平均5.33ビットとすると、594Bパラメータで396 GBになります。

• 実測サイズ — プライマリリポジトリで393.5 GB（トークナイザーと設定ファイルを含む）。

• MXFP8 リポジトリ — 622.8 GB。safetensors インデックスでは保存パラメータ数が 612.4B とカウントされていますが、これはプライマリリポジトリの 383.1B と対比した数値で、エキスパートの重みを 4 ビットにパックすると、モデル自体ではなくカウントされる要素数が減るためです。

基盤となるアーキテクチャは、スパースな mixture-of-experts フィードフォワードブロックを備えた48層のデコーダ専用トランスフォーマーです。384個のルーティング済みエキスパートがあり、トークンあたり8個がアクティブで、隠れ幅は4,608、8個のキー・バリューヘッド（各128次元）上に48個のアテンションヘッドがあり、語彙は201,024トークンです。アテンションは均一ではなくハイブリッドで、48層のうち40層は1,024トークンのスライディングウィンドウを使用し、グローバルなのは8層だけです。長コンテキストの予算はここから来ています。ビジョンタワーは別個の23層トランスフォーマーで、隠れ幅は1,024、16個のヘッドを持ち、2×2マージで20×20ピクセルのパッチを読み取るため、各画像トークンは40×40ピクセルの領域をカバーします。カードは一辺40～4,096ピクセルの画像を要求しています。

また、投機的デコーディング用にマルチトークン予測ヘッドも組み込まれています。5層、ブロックサイズ8、マルコフランク256で、ターゲット層は5、11、17、23、29、35、41および最終ブロックです。これらはまさに8つのグローバルアテンション層であり、この詳細から、ドラフトヘッドが後から追加されたのではなくハイブリッドスタックを前提に設計されたことがわかります。Thinking Machinesは、その結果得られるデコーダーを「DSpark」と呼んでいます。

法務レビューで書類の提出を求められる方に向けた事務的な確認事項が1つあります。ライセンスはモデルカードのメタデータで Apache 2.0 として宣言されており、カードから標準のライセンス証書へリンクしていますが、リポジトリツリーには LICENSE、LICENSE.md、LICENSE.txt、NOTICE ファイルがありません。4つとも何も返しません。この宣言は実在しており、曖昧さはありませんが、法務チームが通常見つけることを期待する成果物はそこにありません。

ハードウェア一覧と、ベンダーとクックブックの記述が食い違う箇所

モデルカードにはVRAMの下限が示されています。サービングレシピにはトポロジーが示されています。両者は同じ数値ではなく、その差こそがこのページで最も実用的な情報です。

• NVFP4プライマリ — 集約VRAMが少なくとも500 GB。カードの例は2×B300または4×H200です。

• MXFP8 バリアント — 少なくとも 800 GB。例として 4× B300 または 8× H200。

• SGLang、GPUごとのトポロジ — GB200、GB300、B300はTP 4 / EP 4。B200はTP 4 / EP 4で、KVヘッドルーム確保のためTP 8を推奨。NVFP4のH200はTP 8 / EP 8。MI350XとMI355XはTP 8 / EP 8。Vera RubinはTP 4 / EP 4。TPU7xは4チップホスト上で8 / 8。

• B200 または GB200 での MXFP8 — TP 8 / EP 8、GPU あたり約 151 GB の重み。

• そのすべての背景にある制約 — エキスパート並列はテンソル並列と等しくなければならない。なぜなら、NVFP4 のエキスパート活性化スケールは各エキスパートの入力幅全体にまたがるため、テンソル並列でシャーディングすることができないからだ。

カードの4× H200の例は500 GBの下限を満たしますが、クックブックが検証するトポロジーではありません。H200は8-wayで記載されています。ストレージとメモリの下限は、収まるかどうかを示します。しかし、動くかどうかは示しません。そしてこのチェックポイントでは、多くの人が使うハードウェア上で、2番目の数値は最初の数値の2倍です。プロビジョニングする場合は、下限ではなくレシピに合わせて計画してください。

AMD パスは2日前のもので、まだマージされていません

この記事を拾い上げたレーダーが捉えたのは、重みのリリースではなくAMDサポートのプルリクエストだった。そして、そのPRを単体で正直に位置づけるなら、それはエンジン側の作業——ニュースにはならない類のもの——である。ここで重要なのは、それがチェックポイントが登場したのと同じ週に着地したからであり、またコンテナイメージを提供する2社目のシリコンベンダーだからにすぎない。

このプルリクエストは、ベースの Inkling 2 Small ポートの上に積み重ねて、MI350X および MI355X 向けの gfx950 サポートを追加します。変更内容は次のとおりです。ROCm カーネルは別々の *_hip.py モジュールにあり、HIP の下でのみ到達されます。CUDA と NPU のパスは変更されていません。統合 KV プールとフルグラフプリフィルが起動時のデフォルトになります。MegaMoE は試行されるのではなく拒否されます。また、quick-reduce 量子化は、環境フラグが許可しない限り無視されます。2 つ目の環境変数で上書きされない限り gfx950 が必要です。つまり、MI300 クラスのカードは起動時に拒否され、PR の作者は gfx942 は「実行されていない」と述べています。

PR内の測定値は著者自身によるもので未レビューです。1台のMI350Xで426件のユニットテストが合格し、balanced effortでGSM8K-200の98.0%、DSparkでは受理長4.04で97.5%、入力2,048・出力512における出力トークンあたりの時間はbalancedで5.15 ms、DSparkで2.10 msです。これらは8基のアクセラレータにまたがる単一ストリームで約194および476出力トークン/秒に換算されます。AITerを有効にすると、精度の数値は97.5%と96.5%になります。

PR の状態はドラフトです。CI はまだ実行されていません — ベースジョブはラベル不足でブロックされており、レビュー対象のコミットに対して記録された AMD の実行もありません — また、記載されているコードオーナーは全員まだレビュー待ちです。MI350X サポートは、今週ソースからビルドできるものとして扱い、購入できるものとしては扱わないでください。

それを提供するということは、リリース版ではなく開発用イメージを意味します

両主要スタックは提供開始時点からのサポートをうたっているが、どちらもまだそれをリリースしていない。SGLang は、サポートがまだどのリリースにも含まれていないと明言し、dev-inkling-2-small ビルドを指し示している。Hopper と Blackwell、Vera Rubin、MI35x、TPU7x 向けには個別のイメージがある。vLLM は nightly 以降、または vllm/vllm-openai:inkling-2-small イメージを要求する。これはこの規模で新しいモデルとしては普通のことだが、「サポート」の意味が変わる。つまりブランチを追跡している状態で、リベースによってデプロイが壊れる可能性がある。

実際に問題を引き起こす運用上の詳細：

• コンテキスト — vLLM の TP 4 レシピは 1 トレイあたり 262,144 トークンが上限です。完全な 1,048,576 トークンウィンドウには、2 ノードにまたがる TP 8 が必要です。TP 4 では、単一の 1M トークンリクエストに 64.47 GiB の KV キャッシュが必要であり、これは 1 トレイに残された容量を超えています。

• 投機的デコーディング — SGLangは同梱のDSparkヘッドを使用して1ステップにつき8トークンを検証します。vLLMの同等機能は、確率的ドラフトで7個の投機トークンを設定します。このレシピは、貪欲にドラフトすると温度1.0で受け入れ率が15～25%低下すると警告しています。

• パーサー — 推論には inkling、ツール呼び出しには inkling2 が使用され、未設定の場合は SGLang が両方を自動的に選択します。vLLM のツール呼び出しパーサーはオプトインであり、レシピによるとツール呼び出しはユニットテストのみで、エンドツーエンドのベンチマークは実施されていません。

• プリフィル/デコード分離 — 4基のGPUを搭載したGB300トレイ上で、NVFP4、MegaMoEなし、1P1Dとしてのみ検証済み。自動設定の0.963ではメモリ不足になったため、静的メモリ比率を0.86まで強制的に下げた。この分割はMXFP8チェックポイントには収まらない。

• エンコーダーの分離 — まだイメージには含まれておらず、正常なエンコーダーに到達できない場合、言語サーバーは停止します。

• メモリ余裕度 — 192 GB の B200 または GB200 パーツを TP 4 で使用する場合、KV 容量は GB300 トレイで得られる量の約3分の1であり、長コンテキストの同時処理における実際の制約は、カードに記載されたウィンドウサイズではなくこの点です。

モデルカード自体にも、アップロード直後の数時間以内に「Hopperカードは現在vllmイメージと互換性がありません」というタイトルのコミュニティ報告が1件あります。メンテナーからの返信は見当たらず、私も再現できなかったため、確定した知見ではなく注意フラグとして扱い、Hopperノードを確定する前に確認してください。SGLang側ではH200が8-wayで記載されているので、Hopperの経路が閉ざされているわけではありません — ただ、vLLMのレシピが説明する経路ではないだけです。

セルフホスティングのコストとは何か、そしてなぜその答えが価格になることはめったにないのか

394 GBをダウンロードする理由はユニットエコノミクスではなくコントロールにあり、そのことは計算すればすぐに明らかになる。

Tinker でのこのモデルの価格は、入力 100 万トークンあたり $0.30、キャッシュ済み入力 100 万トークンあたり $0.03、出力 100 万トークンあたり $1.00（コンテキスト 256K）です。Artificial Analysis の測定では、毎秒 84 出力トークン、最初の回答トークンまで 67.71 秒、インデックスタスクあたり $1.18、タスクあたり 29.6 分で、スイート全体で 154M 出力トークン、ピア中央値は 89.8M です。そのトークン数が示唆的なのは、これは答える前に長く考えるモデルであり、リスト出力価格では、1 本のストリームを 1 時間フル稼働させると約 302,000 トークン、つまり出力コストはおよそ 30 セントになるからです。1 時間あたり 1 ドルのノードに勝つには、約 4 本のストリームを稼働させ続ける必要があり、1 時間あたり 20 ドルのノードに勝つには 66 本必要です。最初のトークンまでの時間が 67 秒のモデルに対して、そのような同時実行数を維持できる評価ワークロードはごくわずかで、エージェント型のものはさらに少ないです。

重みを所有することで代わりに手に入るもの：Tinkerの256Kサービングティアではなく、自分の条件で使えるフル1Mウィンドウ、本番投入前のベータ順番待ちリストがないこと、自社スタックでのファインチューニング、自社ネットワークの外に出ないデータ、トークン単位で課金されない評価スイープ。失うもの：動作するリリースビルド、レンタルではなく購入しなければならない8-wayトポロジー、そして自分で保守することになるサービングスタック。

それがこの判断の正直な姿であり、ルーティング層が、ホストしていないものをホストしているふりを求められずに収まるのもまさにここです。Inkling 2 Small は OrcaRouter のカタログにはありません — 今週ライブのモデル一覧を確認しましたが、215 の中に inkling の項目はありません — したがってこのモデルの API 経路は Thinking Machines 自身の Tinker プラットフォームと、ローンチ更新によれば複数のサードパーティ推論プロバイダーのままです。1つのキーで200以上のモデルを利用できることが実際に与えてくれるのはフォールバックです。セルフホストの実験を単一ノードで実行し、本番環境は私たちがルーティングするモデルに載せたままにできます。実験が失敗した場合の自動フェイルオーバーもあり、私たちがルーティングするモデルではプロバイダーの定価がそのまま適用されます。2番目、3番目のホストがこれらのチェックポイントを扱うようになれば、フェイルオーバー経路は理論上の話ではなくなります — そして、そもそも394 GBをダウンロードする主な論拠であるベンダーロックインは弱まります。

開いた今、それがどこにあるか

ウェイトが公開されてもスコアは変わらなかった。変わったのは、これまで対象外だったリーダーボードに今回から掲載されるようになったことだ。Artificial Analysisのオープンウェイトランキングでは、Inkling 2 SmallはIntelligence Index 31で28件中4位、比較セットの中央値は24となっている。

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017、最大エフォート時 — 33。

• GLM-5.3（最大エフォート）— 32。

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro と Ling 3.1 Flash 1019 — 各30。

• Mistral Large 4（高エフォート）— 26。

• Qwen3.8 27B（xhigh設定）— 20。

そのリストで興味深いのは最上位の列ではない。Inkling 2 Small より上のモデルはすべて中国のラボのもので、非中国のラボによるオープンウェイトモデルの最良は26のMistral Large 4だった。この重みを公開すれば、その特定の差は20ポイントから15ポイントに縮まり、非中国勢の列の頂点が入れ替わる。だがフロンティアには届かない。最高のオープンモデルでも15ポイントの差があり、クローズドモデルはさらにその先にある。

{{1}}ベンダー自身の評価表はより長く、より好意的で、そこに載るすべての数値はThinking Machinesが自社ハーネス上で高エフォートで実行したものだ — 再現されておらず、したがって期待値ではなく上限値である。エージェント作業で重要な行は：SWE-bench Pro v2 Hard 86.3%、DeepSWE v1.1 72.1%、Vibe Code Bench v1.1 81.6%、BrowseComp 90.2%とDeepSearchQA 90.9%はいずれもcompactionあり、MCP Atlas 85.4% fullおよび85.0% public、HLE 44.1% text-only、FrontierCode v2.0 25.4%。逆方向に働く行はTerminal Bench Scienceの5.7%で、これは絶対値として低く、広範な能力主張というより長いホライズンと長い熟考を要するプロファイルと整合する。ベンダーはIntelligence Indexについて30.6と記載しているが、ライブボードでは31を示す — スナップショットの違いであり、論争ではない。{{/1}}

何がこの評価を変えるでしょうか

大事な順に3つ。

このリリースの可否を判断するはずだった安全プロセスは公開されていない。Thinking Machinesの7月の投稿「オープンウェイトへの安全な道筋」では、第一世代Inklingに対して展開前テストを行う4つの外部組織について説明されており、11月5日のローンチ投稿はこのリリースを「外部安全テストとレッドチーミング」に結び付けていた。ウェイトを発表する11月12日の更新には、一文とHugging Faceリポジトリへのリンクが一つあるだけで、評価結果も、レッドチームの調査結果も、以前の条件への改訂もない。それはテストが行われなかったという意味ではない。読者が確認できないということであり、証拠を求める調達ポリシーを持つ組織はここではそれを見つけられない。

リリース品質のサポートがあれば、誰が導入できるかが変わる。現時点の選択肢は、SGLangのdevブランチ、vLLMのナイトリー、あるいは未マージのドラフトからAMDパスをソースからビルドするかだ。サポートがタグ付きリリースに載った瞬間、このモデルはエンジニアリングプロジェクトではなくデプロイの判断事項になり、8-wayトポロジーは研究用のセットアップではなくなる。

デフォルト設定での独立再現は、31が実践でどれほどの価値を持つかを教えてくれるだろう。注目すべきはエージェント系の行だ——SWE-bench Proの86.3とDeepSWEの72.1は、17Bのアクティブパラメータを持つモデルとしては強い主張であり、それらは最大エフォートで生成された。デフォルトのエフォートでの第三者による実行は、常により低い結果になる。問題はどれだけ低いかであり、Thinking Machinesの外部ではまだ誰もそれに答えていない。

少なくともそれらのうち一つが実現するまでは、Inkling 2 Small についての正確な説明は異例なほど的確だ。今日ダウンロードできる Apache 2.0 チェックポイントであり、リリース済みのサービングスタックはどれもサポートしておらず、その最も強い主張は開発した研究所によるもので、ライセンスのゲートは本来その前に来るはずだった書類なしに開いた。それは実際のリリースであり実際のギャップであり、注目すべきはそのギャップのほうだ。