SWE-2 Flash 対 SWE-2：0.2ポイント差の勝利に実際どれほどの価値があるのか

Cognition自身の比較表では、SWE-2 FlashがSWE-2に対してただ1勝だけを挙げている：FrontierCode 2.0で24.0対23.8だ。Cognition自身のベンチマークで、より小さいモデルの最良の姿を示すためにCognitionが作った表における0.2ポイント差である。これはまた、このリリースで最も有用な数字でもある。その下の行が示す内容と、真っ先に目に入る1行が静かに省いているもののためでもある。

最後まで読まずにデスクで判断する人向けに短く言うと、Flashは小型化したSWE-2ではない。別のベースから生まれた別モデルであり、作業の範囲が限られた領域向けに調整され、同じ製品内で5分の1の価格に設定されている。0.2ポイントの勝ちは事実だが、見た目ほど意味は大きくない。

同じベンチマークの2つの版は一致せず、それが最初の発見である

FrontierCodeの2つの行を並べてみると、その表は小型モデルが追いつくという話ではなくなる。

• FrontierCode 2.0 — SWE-2 Flash 24.0 対 SWE-2 23.8

• FrontierCode 1.1 Main — 45.5 対 50.0

同じ測定器、2つのエディション、正反対の判定。新しいエディションではFlashがわずかに上回り、古いエディションでは4.5ポイント劣っている。そのどちらかの行は発表スライドに載り、もう一方は載らない。どちらが選ばれるかは、モデルよりも発表者について多くを物語る。

擁護可能な解釈はあり、それによれば両方の行は真で矛盾もしない。2.0版はより難しく、絶対スコアは圧縮され、より新しいタスクセットはFlashが事後訓練された対象を評価する可能性がある。あまり好ましくない解釈もある。あるベンチマークの2つの版の間で4.5ポイントの変動があることは、その測定器がどれほど敏感かを示す尺度であり、0.2ポイントの差はその感度の範囲内にある。Cognitionは信頼区間も反復実行も公表していないため、与えられた情報だけでは24.0と23.8の差をノイズと区別できない。言えることはより限定的だが、それでも有用だ — Cognitionの最新ベンチマークでは、2つのモデルは同水準であり、優劣はついていない。

13のポイントはどこに置くか

表の残りの部分は接戦ではなく、その差の形こそが有益な情報となる部分だ。

• DeepSWE 1.1 — SWE-2 Flash 60.1 対 SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 対 27.3

• SWE-Atlas QA — 50.0 対 56.3

• Terminal-Bench 2.1 — 89.2 対 92.8

• SWE-Bench Pro v2 Hard — 89.9 対 90.6

• ExploitBench — 34.8 対 36.1

これらを、タスクがエージェントに与える自由度の大きさ順に並べると、パターンが見えてくる。修正内容が明確に定義された、十分に仕様化された issue である SWE-Bench Pro v2 Hard では、Flash は 0.7 ポイント遅れている。Terminal-Bench 2.1 では 3.6 遅れている。Terminal-Bench 4.0 では差は 7.3、長期的視野の行である DeepSWE 1.1 では 12.9 だ。モデルが次に何をすべきかを決定する必要が高いほど、差は広がる。

それはもっともらしい機序ではあるが、証明されたものではない。有効パラメータ数が10分の1のモデルは、長い計画を一貫して保持する容量が小さく、長期的なベンチマークではそれが最初に顕在化する。しかしCognitionは、SWE-2の場合のようにFlashについてターン数、トークン数、タスク別の内訳を公開していない——SWE-2では中程度のエフォートで平均ステップ数が127から53に低下したと報告していた——ため、この機序は表の形から推測されたものであって、実証されたものではない。自分の経験と合うなら仮説として扱い、合わないならそう扱わなければよい。

価格と速度を、Cognitionが示す唯一の通貨で

どちらのモデルにもトークンあたりの価格はない。どちらにもエンドポイントがないからだ。Cognitionが公表しているのは比率だ。SWE-2 FlashのコストはSWE-2の5分の1で、速度は3倍、200 tok/s 対 60 tok/s である。両方の数値は同じリプレイ手法に基づいている——各モデルをTerminal-Bench 4.0のgsea-proteomicsタスクで実行し、シミュレートされたレートで、トランスクリプトを同じ長さに短縮してリプレイしたもの——つまり、どちらも実測されたものではなく、意図された提供プロファイルを表している。

その比率は、次のステップを実行することを前提にすれば、今回のリリースで依然として意思決定に最も直結する数字だ。作業単位あたりの価格は、解決済みタスクあたりのコストと同じではない。そしてチームが実際に支払うのは後者だ。もし5番目がタスク1件のコストの5分の1なら——それが、サブスクリプション製品の中でその主張を意味のあるものにする唯一の読み方だが——算数は単純だ。

• DeepSWE 1.1 では — Flash は5分の1のコストで82%のタスクを解き、最も劣っている行でも解いたタスクあたり約4.1倍安くなります。

• FrontierCode 2.0 では — 5分の1のコストでわずかに多くのタスクを解決しており、解決したタスクあたりでは約5倍安価です。

• Terminal-Bench 4.0 では — 5分の1のコストで73%のタスク数を解決し、解決タスクあたりでは約3.7倍安くなります。

これらの数値はすべて、5番目がトークンではなくタスクのコストに適用され、解決率があなたのキューにも当てはまることを前提としている。Cognitionはどちらとは明言しておらず、その前提が大きな役割を果たしている。もし5番目が、タスクあたりより多くのトークンを出力するモデルのトークン価格であれば、優位性は縮まり、長期的な行では逆転する可能性もある。この算術は感度チェックであり、実測ではない。自分のログに対して再度実行すべきだ。

疑いようがないのはプロモーション期間だ。SWE-2 Flashは2026年11月30日までDevin DesktopとCLIで無料。SWE-2自体の無料期間は10月10日に終了した。今後数週間、Devin内での価格比較は5分の1対ゼロであり、これはまったく比較にならない——期限付きの評価期間にすぎない。

それらは同じ系統ではなく、パラメータの差はそれらについて最も興味深い点ではない

SWE-2はKimi K3からポストトレーニングされている。2.8兆パラメータ、トークンあたり104Bがアクティブで、エージェント型コーディング向けの広範なRLをすでに経たベースモデルだ。SWE-2 FlashはThinking MachinesのInkling-Smallからポストトレーニングされている。総パラメータ276B、アクティブ12B、Apache 2.0。Cognition自身のサイズチャートでは、Flashが1x、SWE-2が10.1xとされている。アクティブパラメータでは、その比率は9対1に近い。

これをスコアと照らし合わせてみましょう。アクティブパラメータの8.5倍の差は、FrontierCode 1.1 Mainでは4.5ポイントを生み出しますが、FrontierCode 2.0ではまったく何も生み出しません。一方、ポストトレーニングのステップ自体は、パラメータ差よりもはるかに大きな価値があります。Cognitionの表では、Inkling-SmallがFrontierCode 1.1 Mainで21.5、Flashが45.5であり、同じベースに対するミッドトレーニングとRLによって24ポイント向上しています。ポストトレーニングに起因する分散は、2つのモデル間のパラメータ差全体に起因する分散の約5倍です。

それがこの2つのモデルが協働して生み出す発見であり、どちらか一方のモデルよりも大きなものだ。また、Cognitionが小さい方を5分の1の価格で販売する用意がある理由も説明している。SWE-2の高コストな部分は決してベースモデルではなかった。高コストだったのはデータ、検証器、RL環境であり、Flashはその投資をより安価なベース上で再利用している。

ここには2つの注意点がある。この比較は、あるベンダーが管理するベンチマークに関するそのベンダー自身の表であり、その内容のうち独立に再現されたものは何もない。また、ベースモデルは同等の入力ではない——Kimi K3は100万トークンのコンテキストとネイティブな視覚機能を備えて登場する一方、Inkling-Smallはマルチモーダル対応も異なる別アーキテクチャである——したがって「同じポストトレーニングで、より安価なベース」というのは、分離された変数ではなくCognitionによる枠付けである。

エフォート設定の非対称性

SWE-2は、medium、high、maxという3つの文書化された推論エフォートレベルを搭載してリリースされ、Cognitionの9月の発表ではそれぞれの目的が説明された。mediumはより早く行動に移る一方、highとmaxはより多く計画し、コードベースをより広く探索し、検証により多くの時間を費やす。また、エフォート設定全体で各モデルの最高スコアが報告されたとも述べていた。

SWE-2 Flashはエフォート制御について一切記載していない。ローンチ記事にも言及はなく、ベンチマーク表にも設定列はない。したがって公表された比較は、最良設定のSWE-2と、設定が明示されていないFlashとの比較であり、Flashに設定が1つしかない場合にのみ条件の揃った比較となり、複数ある場合にはどちらに偏っているか不明な不公平な比較となる。

Flashに本当にエフォート制御がないのであれば、それはドキュメントの不足ではなく、明示すべき製品上の違いだ。エフォートとは、タスクごとにコストと深さをトレードオフする手段であり、それが備わっていないモデルでは、些細な作業と難しい作業が混在するキューに対して設定が1つしか与えられない。まさにそれが、この比率によって可能になるはずのトレードオフだ。

それぞれがどのキューに属するか

ここでは、Cognition自身の説明こそが最も正直な指針となる。同社は、小型モデルが「自動化、コードレビュー、機能開発、ドキュメントの更新など、ソフトウェアエージェントが担う作業のかなりの部分を処理できるようになりつつある」と述べ、SWE-2 Flashはその作業のために開発されたとしている。そのリストをベンチマークの形と照らし合わせると、両者は一致する。範囲が限定されたタスク、明確な完了条件、大量の処理、レイテンシへの低い許容度だ。

• タスクが1つのプロンプトに収まり、「完了」の定義が曖昧さなく明確な場合——レビューの一巡、ドキュメントの更新、小さな機能、定期的な自動化——には、Flash が適切なデフォルトであり、前述の「解決済みタスクあたりのコスト」の計算が示すとおり、解決できるタスクが少なくても数倍安く済む。

• エージェントが次に何をすべきかを何度も判断しなければならない場合——マイグレーション、リポジトリをまたぐリファクタリング、最初の仮説がたいてい間違っているデバッグセッション——まさにそのとき、SWE-2 で購入しているのは 13 ポイントの DeepSWE ギャップであり、その比率がそれを補うことはない。

• タスクがそのどれに当たるか判断できない場合は、Flashで開始してエスカレーションする。それがCognitionがSWE-2でエフォートレベルを組み込んだ判断であり、Flashにエフォート制御がないことで、エスカレーションはパラメータではなくルーティング上の判断になる。

避けるべき誤りは、0.2ポイントの勝ちを、ハードキューを動かす口実にすることだ。それは1つのベンチマーク、1つのエディション、1つのベンダーにすぎず、その測定器自体の感度の範囲内に収まっている。

Devinの外では、どちらも候補ではない

どちらのモデルにもAPIはない。公開された重みもない。ハーネスが自前なら、その組み合わせは選べる選択肢ではなく、無料枠も役に立たない——それは購入が必要な製品内での試用にすぎない。

このスタックの到達可能な半分がベースです。 Kimi K3 は OrcaRouter 上でルーティングされます（kimi/kimi-k3 として、100万入力トークンあたり $3.00、100万出力トークンあたり $15.00、100万トークンのコンテキストウィンドウとネイティブのツール呼び出しを備える）、プロバイダーの定価で、マークアップは追加されません。1つの API で 200 を超えるモデルをカバーできるため、上記のキュー分割は Devin の外でも実装可能です。ルーティングルールによって、範囲を限定した作業を安価なモデルに送り、長期にわたるジョブをより強力なモデルへエスカレーションできます。しかも、クライアントはどちらが応答したかを知らずに済みます。自動フェイルオーバーはエスカレーション経路の背後に置くべきです。なぜなら、エスカレーション先のモデルこそ、利用不能になっては困るモデルだからです。

それはSWE-2 Flashとは別の製品であり、その代替品ではありません。評価したい対象にエンドポイントがない場合に行うものです。

何がそれを決着させるのか

3つの開示があれば、この比較はベンダーの表から証拠になるだろう。両モデルでDeepSWE 1.1とTerminal-Bench 4.0を、Cognitionではない人物がCognitionのハーネスを使わずに独立して実行すること。Flash表の各行の背後にあるエフォート設定とスキャフォールドについて、SWE-2のローンチ時に提供されたものと同等の説明を示すこと。そして、0.2ポイントの差を実行ごとのばらつきと区別できるようにするための反復実行だ。

それまでは、擁護可能な解釈は狭い方の読み方である。SWE-2 Flashは、はるかに小さなベース上に構築されたコスト最適化された兄弟製品であり、最新のベンチマークではSWE-2と同等で、長期的な作業では明らかに後れを取っており、入手可能な証拠に基づけば、解決済みタスクあたり数倍安くなる比率で販売されている。それは良い製品判断であり、控えめな技術的主張である。0.2ポイントの勝利は、それが何かを置き換えた証拠ではない。それは、ある計器上で、ある日に、差がノイズに紛れるほど縮まったという証拠である。