Cognition SWE-2：64%オフで実現するフロンティア隣接コーディング、そしてその裏に潜むベンチマークの罠

Cognition SWE-2は今週、広く知れ渡るように作られた数字を引っさげてリリースされた。FrontierCode 1.1 Mainで50.0%——Claude Fable 5.1の50.9%と1ポイント以内で、費用は64%少ない。このモデルは、Moonshot AIのKimi K3（2.8兆パラメータのオープンウェイト基盤）をポストトレインしたもので、Cognitionによれば、強化学習によって複数のベンチマークで5～6ポイント向上したという。どちらの数字もベンダー自身によるもので、どちらも独立に再現されたものではない。だが、2つ目の主張こそ、1つ目の数字の読み方を変えるはずのものだ。というのも、「プラス5か6」は、SWE-2のほぼすべてを説明してしまうことが分かるからだ——それがひどく負けている場面も含めて。

それはけなしているわけではない。これこそが今回のリリースで最も役に立つ点であり、ローンチを報じるほとんどどの記事も声に出して言わない部分なのだ。

Cognitionが実際に出荷したもの

SWE-2はDevinのコーディングモデルであり、価格表を備えた汎用APIモデルではありません。Cognition自身の言葉によれば本日よりDevin DesktopとCLIで利用可能として提供が開始され、Devin WebとFusionでも順次展開が進んでいます。第三者による報道では発表日は2026年9月10日とされており、Cognition自身のブログ記事の署名は09.11.26となっています。いずれにせよ、登場からまだ数日しか経っていません。重みはプロプライエタリであり、公開されたトークン単価表はありません。SWE-2を使いたい場合は、Devinの中で使うことになります。

ベースとなっているのはKimi K3で、2.8兆パラメータのMixture-of-Expertsモデルであり、トークンあたり約104Bのパラメータが有効になる。これはSWE-1.7のベースの約3倍の規模だ。Cognitionは、K3がそこに至る前にすでにエージェント型コーディング向けに徹底的にRLトレーニングされていたこと、そして自社のRLが「依然として相当な伸びしろを見出している」と指摘している。これは、同じくKimiのベース上でポストトレーニングされたSWE-1.7のパターンと符合する。

ここに、どんな単一のベンチマークスコアよりも重要な詳細があります：FrontierCodeはCognitionのベンチマークです。同社はタスクを作成し — 20人以上のオープンソースメンテナーが関わり、タスク1件につき40時間以上を費やし、各メンテナーが自身のリポジトリで「マージ可能」とは何かを定義する — リーダーボードを運営し、提出物を採点します。これは真剣な評価設計であり、同時に自社の計測器でもあります。Cognitionは各モデルの最高スコアを推論エフォート設定全体にわたって報告しており、自社の方法論付録によれば、Kimi K3を含むオープンウェイトの比較モデルはCognitionのDevin CLI内で実行されました。そのいずれも数字を誤りにするものではありません。それらはすべて、その数字を繰り返す文の中に入れるべきものです。

ベンチマーク表を正直に読む

4つのベンチマークはいずれもベンダーによる報告です。それぞれが実際に述べている内容を、行ごとに1行で示します。

• FrontierCode 1.1 メイン — SWE-2 50.0%、Kimi K3 44.2%、Grok 4.6 48.0%、GPT-5.6 Sol 47.5%、Claude Fable 5.1 50.9%、GPT-6 Astra 53.3%、SWE-1.7 42.0% に対して。フロンティアまで1ポイント以内で、表内の他のすべてを上回っている。

• DeepSWE 1.1 — SWE-2 73.0%。67.4%のClaude Fable 5.1と67.5%のGrok 4.6を上回り、74.1%のGPT-6 Astraには及ばない。これは、SWE-2がフロンティアモデルを完全に打ち負かしていることが最も確実に示されている行だ。

• Terminal-Bench 2.1 — SWE-2 は 92.8% で、Cognition の表で最高スコアとなり、91.4% の Claude Fable 5.1 と 89.9% の GPT-6 Astra を上回っています。これがローンチ時の多くの見出しに載った数字です。

• Terminal-Bench 4 — SWE-2 は 27.3%、Claude Fable 5.1 の 55.8%、GPT-6 Astra の 57.9% に対して。およそ28ポイントの差であり、しかも最も引用されることの少ない行。

明白な反論は、Terminal-Bench 4 では誰もがスコアを落とすというものだ — より難しく、より長い時間軸を扱う後継ベンチマークなのだから、スコアが下がるのは当然である。興味深いのはその度合いであり、その下落は比例していない。Terminal-Bench 2.1 から 4 に移ると、Claude Fable 5.1 は約35.6ポイント、GPT-6 Astra は約32.0ポイントを失う。SWE-2 は約65.5ポイント、そのベースである Kimi K3 は約66.8ポイントを失う。したがって、長い時間軸のエージェント作業では、SWE-2 はフロンティアモデルより単に下に位置するだけではない — タスクが長時間に及ぶと、それらよりおよそ2倍の速さで劣化するのである。

Terminal-Bench 4 が「ライブ」版かどうかは、はっきり言っておく価値がある。それは現行版であり、2.1 は取って代わられた旧版だ。SWE-2 がリードしている行は、廃止されたベンチマークのものだ。SWE-2 が後れを取っている行は、現行版のものだ。どちらも事実であり、ローンチ時の報道は一方だけを取り上げがちだった。

「Kimi K3プラス5」——誰も公表しなかったスコアを予測するヒューリスティック

4つのベンチマークをSWE-2自身のベースモデルと並べると、ほとんど機械的な何かが浮かび上がる。Kimi K3と比べて、SWE-2はFrontierCode 1.1 Mainで5.8ポイント、DeepSWE 1.1で4.5、Terminal-Bench 2.1で4.5、Terminal-Bench 4で5.8ポイント伸びている。

4つのベンチマーク、4つのギャップ、そのすべてが4.5から5.8の間にある。ポストトレーニングが動かしたのはレベルであり、形ではなかった。K3が強いところではどこでも、SWE-2は強く、およそ5ポイント上乗せされている。K3が弱いところではどこでも — Terminal-Bench 4が明らかな例だが — SWE-2は弱く、およそ5ポイント上乗せされている。

これにより、Cognitionがベンチマークしていないあらゆるタスク、つまりほとんどのタスクについて、実用的な予測が得られる。Kimi K3が自分のワークロードでどれだけ性能を発揮するかを調べ、そこに5ポイントを足せば、見出しの数字から得られるどれよりも正確なSWE-2の推定値が手に入る。これは、このリリースの実際の主張も説明している。Cognitionはフロンティアを打ち負かしたと主張しているのではない。測定する軸が何であれ、最良のモデルに一定の距離を保ちながら、コスト性能曲線全体を外側へ押し広げたと主張しているのだ。

その64%は本物だが、それで買い物はできない

「Claude Fable 5.1より64%安い」は、特定の測定値についての真実の記述です——そしてその測定値は、FrontierCodeにおけるロールアウトあたりの平均米ドル支出であり、トークン価格ではありません。SWE-2にはトークンあたりの料金はありません。SWE-2 APIが存在しないからです。このコスト主張は、Devin内部でタスクにいくらかかるかを説明しており、それはモデル、ハーネス、スキャフォールディング、Cognitionのサービングスタックを1つの請求書にまとめたものです。

その区別には効力がある。SWE-2のコストを他社のトークン価格と比較することはできない。同じ単位ではないからだ。そしてSWE-2を他所へ持ち出すこともできない。独自の重み、単一ベンダー、単一のエージェント製品だからだ。一部の報道にある「最大70%低コスト」という数字は、Cognitionがベンチマーク全体で示す範囲の上限であり、FrontierCode 1.1 Mainの数字は64%だ。

効率の数値は、どちらかと言えば、より実用的な話であり、しかもこれらもベンダーによる報告です。SWE-2はmedium effortで、SWE-1.7のFrontierCodeスコアを上回りながら、使用ターン数は58%少なく、平均コストは81%低くなっています。実行あたりの平均ステップ数は、SWE-1.7の127からmedium effortで53に減り（highで80、maxで98）、最初の実際のコード編集の中央値はステップ48からステップ18へ移ります。これは、SWE-1.7が単純なタスクを過剰に探索したという不満への直接的な答えであり、1ポイントのベンチマーク差があなたの請求書に表れるよりずっと早く、請求書に表れる種類の改善です。

トレーニングのコツこそが本当のニュースだ

リーダーボードでの順位づけを取り払ってしまえば、ここには真に目新しいエンジニアリングが1つある。だからこそ、たとえDevinを一度も開かなくても、このリリースは読む価値がある。

Cognitionは、3つすべての推論努力レベル — medium、high、max — を訓練した単一のRL実行で。このメカニズムは、努力レベルごとの線形のコストペナルティであり、それぞれがその時点でのベースモデル自身のコスト性能パレート曲線の傾きに一致するように調整されている。ペナルティが線形でなければならない理由についてのCognitionの主張が興味深い点である：線形のペナルティだけが、訓練目的関数を平均コストと解決率のみの関数に保ち、分布の形状に依存するものにしない。

通常のアプローチでは、エフォートレベルを別々に訓練するか、後からより安価なチェックポイントを追加する。それらを1回の実行内でまとめて訓練することが、同社がフロンティアの1点ではなく全体を前進させたと主張できる理由である。それを支える変更点：長さで重み付けした報酬ベースライン、RL環境数の3倍化、指示追従のオーバーレイ、そして以前の SWE-2 チェックポイントを使って検証器を報酬ハッキングに対して強固にするフライホイール。サービング側では、量子化を意識した訓練を伴う NVFP4 および FP8 カーネル、15%長い受理長のために再訓練された DSpark 投機的デコーディングのドラフトモデル、そして初回トークンまでの時間の悪化と引き換えに GPU あたりのスループットで 10～20% の価値があるプリフィル遅延器。

ポストトレーニングを実行するなら、そのレシピこそがこのリリースの移植可能な部分だ。実行しないなら、得られる結論はもっとシンプルだ。SWE-2が安い理由は、より小さなモデルだからではない。その実行コストが報酬関数に書き込まれているからだ。

Devin の外で Kimi K3 の機能を使いたいなら

SWE-2はOrcaRouterにはなく、今後も搭載されません — プロプライエタリな重み、APIなし、Devin限定配布です。そのベースモデルは別の話です。Kimi K3はOrcaRouterで提供されており、そのモデルIDはkimi/kimi-k3、100万入力トークンあたり$3.00、100万出力トークンあたり$15.00で、プロバイダー料金への上乗せはなく、100万トークンのコンテキストウィンドウ、ネイティブのツール呼び出し、画像入力を備え、推論の深さはトップレベルのreasoning_effortパラメータで、サンプリング設定ではなく制御されます。

これが、今回のリリースの実用的な要点を正直に述べたものです。SWE-2 は、K3 の上で適切に実行された RL パスが、その性能範囲の上限でどのようなものかを示しています。すなわち、真に 4.5～5.8 ポイントの向上に加え、大きな効率改善を、相応のコストを払って実現する姿です。ただし、それが与えてくれないのは、あなたが呼び出せるモデルです。基盤となる能力を自分のコード、自分のハーネス、自分のパイプラインに向けたいなら、K3 はこのスタックの中で実際に手が届く部分であり、1 つの OpenAI 互換エンドポイントを通じて利用できます。

数字が未監査であるうちは、これが賭けのより安全な側でもある。SWE-2のベンチマークはCognition自身のもので、社外で再現した者はいない。この比較が実際に依拠しているのはKimi K3のベンチマークだ——そしてOrcaRouter経由でルーティングすれば、その背後にフォールバックチェーンを組むことができるので、試用中のモデルが期待を裏切ったその日に本番依存になってしまうことはない。

誰が行動すべきか、そして何がそれを解決するのか

すでにDevinに支払っているなら、SWE-2は率直に言って朗報です。あなたの製品にも展開されつつあり、置き換えるものよりタスクあたりのコストが安く、効率の数値は簡単な作業で無駄なターンが減ることを示唆しています。まずはキューの簡単な方から試してください — エフォートレベルの設計では、コスト面での利点が生きるのはmediumです。

外部からコーディングモデルを選ぶのであれば、独立した評価を待つべきだ。まだそれは存在しない。Artificial Analysis には SWE-2 の項目がなく、FrontierCode リーダーボードは Cognition 自身の計測器だ。決着をつけるものは3つある。Terminal-Bench 4 における SWE-2 の第三者による実行。これが、このモデルがフロンティア隣接モデルなのか、それとも高速なだけのモデルなのかを決める行だ。FrontierCode のギャップに関する独立した再現。そしてトークンあたりの価格。これには Cognition がこのモデルを Devin の外で販売することが必要で、それこそが、64% を、あなたが他で提示されるあらゆるものと比較可能にする唯一の変更だ。

それまでは、公正な要約とはベースモデルの差がすでに示してくれているものだ。SWE-2 は Kimi K3 に5点を上乗せしたもので、そのコストは Cognition が報酬関数に織り込むように設計したものだ。それはトレーニングにおける本物の成果であり、Devin の中では実に良い取引だ。ただし、まだフロンティアモデルではない。そして、それがすべてに勝っているように見える唯一のベンチマークは、もはや数えられなくなったベンチマークなのだ。