「17B active, frontier coding」を掲げた Inkling 2 Small 向けの生成タイトルカード。3枚の統計カードには、594B total / 17B active、FrontierCode 25.4% 対 Kimi K3 17.3%、1Mあたり $0.30 in / $1.00 out と記載され、ベンチマーク数値はベンダー申告によるもので、価格は Artificial Analysis によるものとの脚注が付く。OrcaRouter のロゴはアートワーク下の白い帯に配置されている。
Guides & Insights

Inkling 2 Small、17Bアクティブパラメータでコーディングでも追随——分散を見るまでは

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Thinking Machinesのローンチチャート上では、2本の線が同じ数字で交わっている。Inkling 2 Smallは、69のPMPP-Hardタスクのうち54.25を1回の試行で解き、4回の試行では64を解く。Claude Opus 5.5は1回の試行で60、4回で64を解く。2026年11月5日にリリースされたInkling 2 Smallは、総パラメータ594B、アクティブ17Bのmixture-of-expertsモデルであり、このチャートは、このアーキテクチャが何をもたらし、何をもたらさないかを最も明快に物語っている。すなわち、困難なエンジニアリング作業におけるフロンティアモデルの天井を、1回あたりの信頼性を伴うことなく実現している、ということだ。

出回っている主張はより限定的で、より好意的なものだ。つまり、コーディングベンチマークでは、大幅に大きなモデルとも楽に肩を並べるというものだ。この主張は、ベンダー自身の表と行ごとに突き合わせて検証でき、一部では持ちこたえ、別の箇所では崩れ、最も興味深いのは、自身よりはるかに小さいモデルに対して崩れる点だ。本稿では行ごとに読み解いたうえで、表からは答えられない問いを投げかける。実際にそのモデルが自分の請求書に載る段階で、この肩並べはタスクあたりいくらのコストになるのか。

コーディング行が6行、注釈なしで読む

以下はすべて、Thinking Machines が発表とともに公開した評価表からのものです。これはベンダーが運営するハーネスであり、同社もそう認めていて、コーディングの行では非公開のユニットテストとプログラムによるチェックを使っていると述べています。ここにある内容はどれも独立に再現されていません。それが重要なのは、同じ表では Inkling 2 Small の Artificial Analysis Intelligence Index が 30.6 と表示されている一方で、Artificial Analysis 自身のライブページでは 31 と表示されているからです。これは丸めの違いであって論争ではありませんが、この表がライブのボードではなくラボが撮ったスナップショットであることを示しています。

比較対象の中で最大のオープンウェイトモデルであるKimi K3に対しては、ペースに関する主張は引き分けに持ち込めます:

• FrontierCode v2.0 — Inkling 2 Small 25.4% 対 Kimi K3 17.3%。

• DeepSWE v1.1 — 72.1% 対 68.5%。

• SWE-bench Pro v2 (Hard) — 86.3% 対 88.2%。

• Vibe Code Bench v1.1 — 81.6% 対 85.0%。

• PostTrainBench v1.2 — 31.9% 対 31.5%。

• Terminal Bench Science v0.1 — 5.7% 対 8.1%。

それぞれ3行ずつです。トークンあたり17Bパラメータを実行するモデルが、消費する計算量で1桁大きいモデルと互角に並び、しかも通常は分かれるコーディングスペクトルの両端——FrontierCodeのゼロからのパッチベンチマークと、DeepSWEのリポジトリ規模のエージェント型ベンチマーク——でそれをやってのけます。重視すべきはDeepSWEのほうです。なぜなら、それはモデルが1つの優れた差分を生み出すのではなく、多くのツール呼び出しにまたがって計画を一貫して維持しなければならない行だからです。

DeepSeek V4.1 Flash 1017 に対しては状況が一変する。そしてこれは、アーキテクチャ上というよりも商業的に重要な比較である。なぜなら、DeepSeek の flash ティアは安価だからだ。Inkling 2 Small は、両モデルが実行した5行のうち4行で後れを取っている——FrontierCode 25.4% 対 28.5%、DeepSWE 72.1% 対 77.0%、Vibe Code Bench 81.6% 対 87.7%、Terminal Bench Science 5.7% 対 12.9%——そして PostTrainBench でのみ、31.9% 対 30.5% で先行している。DeepSeek には SWE-bench Pro のエントリがない。これは Thinking Machines にとって不運である。なぜなら 86.3% は Inkling 2 Small の最高のコーディング数値であり、勝利を示す最も説得力のある単一の行になったはずだからだ。

A three-column scoreboard titled 'Inkling 2 Small vs Kimi K3 vs Claude Haiku 5.5 — coding rows', listing the same six benchmarks for each column: FrontierCode v2.0 at 25.4, 17.3 and 34.9; DeepSWE v1.1 at 72.1, 68.5 and 59.9; SWE-bench Pro v2 Hard at 86.3, 88.2 and 52.9; Vibe Code Bench v1.1 at 81.6, 85.0 and 90.4; PostTrainBench v1.2 at 31.9, 31.5 and not reported; and Terminal Bench Science v0.1 at 5.7, 8.1 and 20.0, with the highest value in each row set in green. The footer reads that all figures are vendor-reported by Thinking Machines Lab, 5 November 2026, and not independently reproduced.

小型モデルのほうが、それが追いつけないモデルである。

発表資料が先頭に持ってこない比較対象こそ Claude Haiku 5.5 であり、これこそ購入者をためらわせるべきものだ。Haiku は Anthropic のラインナップにおける小型で安価な階層で、594B モデルとはまったく違うが、両者に共通する5つのコーディング項目のうち3つで勝っている。FrontierCode は34.9%対25.4%、Vibe Code Bench は90.4%対81.6%、Terminal Bench Science は20.0%対5.7%で、その差は3倍超に達する。

Inkling 2 Smallは残る2項目を明確に制している。DeepSWEでは72.1%対59.9%、SWE-bench Proでは86.3%対52.9%だ。両方を合わせて見ると、この傾向はサイズとはまったく関係がない。Haikuが勝つのは、単一の生成物——diff、UI、完了まで実行されたターミナルセッション——を採点する行だ。Inkling 2 Smallが勝つのは、モデルが多くのステップにわたって問題に取り組み続け、自らの答えを改善する必要がある行だ。Gemini 3.8 Flash相手ではさらに接戦となる。InklingはFrontierCode、SWE-bench Pro、Vibe Code Benchを制し、DeepSWEでは72.1%対73.8%で僅差に敗れ、Terminal Bench Scienceでは5.7%対10.0%で大差で敗れる。

{{1}}発表{{/1}}の中の一つの詳細は、{{2}}リーダーボードを見る人{{/2}}なら覚えておく価値がある。{{3}}Thinking Machines{{/3}}によれば、{{4}}Inkling 2 Smallの初期チェックポイント{{/4}}を{{5}}OpenCode{{/5}}上で{{6}}Fledge-Alpha{{/6}}という名前でテストしたという。ローンチ前にコーディングボードで見た{{7}}Fledge-Alphaのスコア{{/7}}はどれも、偽名で出された{{8}}このモデル{{/8}}であり、{{9}}完成版{{/9}}ではなかった。

4回の試行がもたらすもの、18.5分が犠牲にするもの

PMPP-Hardは69タスク、独立した4回の試行、10時間の予算で、解決したタスクの平均として採点されます。Inkling 2 Smallの54.25は良好ですが目覚ましいものではありません — GPT-6 Astraの63、Kimi K3.1 Proの60.5、Opus 5.5の60の後ろに位置し、Kimi K3の55.75、DeepSeek V4.1 Flashの55.25、GLM 5.3の52.5、Mistral Large 4の50.25を上回っています。

そのPass@4が64である点で、この数値は平凡ではなくなる。この数字はOpus 5.5の64と並び、Astraの63、Kimi K3.1 Proの63を上回る。4回の試行を与えれば、チャート内の最高モデルと同じ上限に到達する。1回だけなら、6タスク近くの差がつく。ワークフローがすでに複数回サンプリングし、テストを実行して勝者を選ぶなら、問題になる差は小さい。1回だけサンプリングしてそのまま出荷するなら、その差がすべてだ。

同じ非対称性はカーネル自動リサーチのチャートにも現れており、そこでは Inkling 2 Small に有利には働いていない。ベースラインに対する最高カーネル高速化倍率は、Claude Opus 5.5 が 18.80×、GPT-6 Astra が 10.26×、Inkling 2 Small が 6.02×、DeepSeek V4.1 Flash が 5.66×、GLM 5.3 が 5.03×、Mistral Large 4 が 3.43×。同じタスクにおけるフロンティアの高速化のおよそ3分の1で、追随できているとはとても言えない。

次に、実時間(ウォールクロック)の問題がある。公開されているすべての評価は、effort 0.99——Thinking Machines が xhigh と呼ぶ設定——で、temperature 1.0 で実行された。Artificial Analysis は、開発用ハーネスではなくライブエンドポイントをテストしており、Intelligence Index タスクあたり 18.5 分(同業中央値 7.0 分)、出力トークン 154M(中央値 89.8M)と測定している。インデックスタスクあたりのコストは $1.18 で、そのランキング表では 29 モデル中 27 位である。出力速度は毎秒 135 トークン、最初の回答トークンまでの時間は 34.15 秒で、中央値は 11.57 秒である。このモデルはトークンあたりでは遅くない。遅いのは、長時間考え、その間に大量の文章を書くからである。

17Bのアクティブ数が実際に活きるのはどこか

Mixture-of-expertsモデルはアクティブパラメータで課金され、それがこのアーキテクチャの商業的根拠のすべてだ。Inkling 2 Smallは100万入力トークンあたり$0.30、100万出力トークンあたり$1.00で、キャッシュ済み入力は90%割引の$0.03になる。Artificial Analysisによると、キャッシュヒット対入力対出力が7:2:1の比率で blended $0.18 per million だ。同ボードの中央値モデルは入力$0.24、出力$0.87を請求するため、Inkling 2 Smallは594Bモデルではなく中位モデルのような価格設定になっている。

学習ミックスの構成が、その重点を説明している。コーディングは強化学習のロールアウトの38.5%、トークンの65%を占めていた。単一最大のブロックであり、RL中にモデルが生成したすべてのものの3分の2超に当たる。ビジョンはロールアウトの13.9%だったが、トークンの3%だった。このモデルが他に何であれ、長文のコードを書き、修正するようポストトレーニングされている。

A screenshot of the Artificial Analysis model page for Inkling 2 Small showing an Intelligence Index of 31 ranked 4 of 29 against a median of 23, 154M output tokens against a median of 89.8M, pricing of $0.30 per million input and $1.00 per million output with a 90% cache discount, $1.18 cost per index task ranked 27 of 29, 21.5 minutes per task against a 7.3-minute median, and a 1M-token context window with text and image input.

つまり正直な計算は、トークン単位ではなく、成功した試行あたりです。Inkling 2 Small がインデックスタスク1件あたり$1.18で、その上限に達するまでに4回試行するのは、2倍の価格で1回でそこに到達するモデルとは別の買い物です。どちらの構成も間違いではありません。それらはあなたのレイテンシ予算に対する異なる契約なのです。

本日お電話いただける内容と、いただけない内容

Inkling 2 Smallは、推論とファインチューニングのためにTinkerを通じて利用可能で、ウェイトはクローズドであり、第二のプロバイダーは存在しない。Thinking Machinesは、外部の安全性テストとレッドチーミングの後、「来週」Apache 2.0の下で完全なウェイトを公開する意向を表明しているが、2026年11月6日時点ではそれは実現していない。サーバーレスエンドポイントは256Kコンテキストで提供されており、これはモデルが処理できるよう訓練された1Mウィンドウよりも狭い。

それはOrcaRouter上にはなく、本記事はそうでないふりをするつもりはありません。OrcaRouter上にあるのは、本記事がここまで見てきた比較セットのほとんどです——Kimi K3、DeepSeek V4.1 Flash 1017、GLM-5.3 Flash、Gemini 3.8 Flash、MiMo V2.6 Pro——これらは1つのキーで200以上のモデルにわたり利用でき、プロバイダーの定価をそのまま反映し、マークアップは加えません。これはまさに本記事が示唆する用途にとって重要です。17BアクティブのMoEが自分のリポジトリに十分かどうかを知りたいなら、最も安い実験は、4つの契約を結ぶのではなく、その両側にあるモデルに対して自分の評価を1つの請求で実行することです。

A screenshot of the OrcaRouter models catalogue showing the header 228 models, 17 providers, one API key, one bill, the modality and price filters, the how-to-call panel with an OpenAI-compatible chat completions request, and model cards including a cyber model with a 1M context and tools, reasoning and JSON mode tags.

自動フェイルオーバーは、そのもう半分です。ベンチマークの表は、長時間のエージェント実行が14分の時点でプロバイダーの一時的な不具合を乗り越えられるかどうかについては何も語りません。そしてDeepSWEで最も近い成績に見えるモデルこそ、実際に切り替えることになるモデルです。

この解釈を変えるものが3つある。{{1}}FrontierCode{{/1}}またはDeepSWEの独立した再実行だ。というのも、これらの数値はラボ自身のものであり、SWE-bench Proの行が説得力の大きな部分を担っているからだ。重みの公開だ。Apache 2.0なら594Bモデルをセルフホスト可能にし、タスクあたり1.18ドルの数値を自分の管理下に置けるからだ。そして{{2}}xhigh{{/2}}未満の公開ティアだ。本稿のすべての数値は最大エフォートで生成されており、より低い設定で154Mトークンのごく一部で精度の大部分が得られるなら、コスト面の主張は改善するが、まだ誰もそれを示していない。

1つのキーに設定された比較セット

上の行で Inkling 2 Small が比較対象としているモデルは、2つを除いて、現在単一のエンドポイントから呼び出せるモデルです。その2つの例外は、Tinker専用の Inkling 2 Small 自身と、OrcaRouter のカタログにない Claude Haiku 5.5 です。表の残りは次のとおりです。Inkling 2 Small が引き分けるオープンウェイトモデル Kimi K3、5行中4行で後れを取る低価格モデル DeepSeek V4.1 Flash 1017、余裕で上回る小型モデル GLM-5.3 Flash、そして互角に勝負を分ける中型モデル Gemini 3.8 Flash です。

そのセットこそ実行する価値があります。なぜなら、チームにとって興味深い問いは、17BアクティブのMixture-of-Expertsモデルが抽象論として印象的かどうか——それは上の表がすでに答えています——ではなく、自分たちが重視する特定のリポジトリ、テストスイート、カーネル上で、すでに本番環境にあるモデルを上回るかどうかだからです。それは自社の評価でしか答えられない問いであり、1つのAPIキーで4つのモデルを横断して答えるほうが、4つのベンダーをまたいで答えるよりずっと安く済みます。

今回のリリースが明らかにした範囲は、それに対する反応が示唆するよりも限定的だ。594Bモデルで17Bのアクティブパラメータを持つものは、コーディングにおいて最大のオープンウェイトモデルと互角に渡り合い、継続的な作業が評価される2項目で勝ち、単一の成果物を採点する3項目では小規模なクローズドモデルに負ける。これは確かな成果ではあるが、フロンティアの成果ではない。あなたのワークロードが線のどちら側にあるかを見極めるコストは、100万トークンあたり$0.30と$1.00、難しいタスク1件あたり18.5分、そして複数回サンプリングする意欲である。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新