SWE-2 Flash vs Flint v1.0：正直なベンチマーク1行と大量のノイズ

15日違いでリリースされた、アクティブパラメータの小さいMixture-of-Experts型コーディングモデル2つ。どちらもフラッグシップの数分の一のコストで同じ性能階層を主張している。CognitionのSWE-2 Flashは2026年11月4日リリースで、総パラメータ276B、アクティブ12B。RecursiveのFlint v1.0は2026年10月21日リリースで、総パラメータ39.8B、アクティブ約2.5B。両者は同じアーキテクチャ上の賭けを大きく異なるスケールで行ったものであり、正直に比較するなら、まず最初に認めるべきは、公開されている表がたった1行しか重なっていないということだ。

その行は Terminal-Bench 2.1 です。SWE-2 Flash が 89.2 であるのに対し、Flint v1.0 は 54.9 です。34ポイントの差であり、両社がこの対戦で出した中で単一の最も強い数値ですが、それをどう読むかを変えるほど大きな2つの注意点があります。比較したくなる他のすべては、異なるベンチマークバージョンか、同じベンチマークの異なるサブセットのいずれかです。

同じ賭け、正反対の許認可

共通するテーゼは、推論コストを左右するのは総パラメータではなくアクティブパラメータだというもので、それゆえ大規模な疎モデルを構築し、発火する部分にだけコストを払えばよい。Flintはトークンごとに、256個のルーティングエキスパートのうち6個と共有エキスパート1個を稼働させ、49層のうち35層は513トークンウィンドウのスライディングウィンドウ、14層はフルアテンションで構成している。SWE-2 Flashはその構造をベースであるInkling-Smallから継承しており、総パラメータ276B、アクティブ12Bで、Cognitionがそれまで用いたことのないミッドトレーニング段階を経てポストトレーニングされている。

アーキテクチャのどの詳細よりも重要となる違いは、その出力に対して何をすることが許されているかです：

• 重み — Flint v1.0 は Hugging Face 上で Apache 2.0 の下、BF16、FP8、および量子化形式で提供されています。SWE-2 Flash は完全に非公開で、パートナー共有プログラムは約束されているものの、まだ具体的な内容は明示されていません。

• 配布 — Flint は、自身が所有するハードウェア上で llama.cpp、Ollama、LM Studio、vLLM、SGLang で動作します。SWE-2 Flash は Devin Desktop と Devin CLI の内部でのみ動作し、それ以外では動作しません。

• 価格 — Flint の限界費用は、あなたの GPU です。SWE-2 Flash は 2026年11月30日まで無料で、それ以降のトークン単位の料金は公表されていません。

• コンテキスト — Flintは262,144トークンを公開しており、約512Kまで設定可能。SWE-2 Flashは何も公開していない。

それは姿勢の小さな違いではない。一方は、検査し、量子化し、微調整し、ラップトップで実行できるアーティファクトだ。もう一方は、1か月無料の製品だ。

比較できる唯一の行

Terminal-Bench 2.1は、両社が同じバージョンで数値を報告している唯一のベンチマークです。Flintの54.9はTerminus 2を通じて生成され、pass@1は少なくとも5回の試行で平均されました。SWE-2 Flashの89.2は、Cognitionが名前を明かさないハーネス上で、開示していないエフォート設定で、9月の前身モデルが載せていた方法論の付録を省略したローンチ記事から生成されました。

34ポイントの差は、両方の数値が同じタスクセットで報告されたという意味では本物であり、一方はそこに至る方法を明かし、他方は明かさなかったという意味ではソフトなものだ。共同設計されたエージェント・スキャフォールド（Devinがまさにそれだ）の中で採点されたモデルは、通常、汎用ハーネスで採点された同じモデルを上回る。Flintの数値が保守的なのは、まさにRecursiveが手法を公開したからだ。

一文で言うなら、唯一共通する項目ではSWE-2 Flashが大きくリードしており、どちらの企業も第三者に検証する手段を与えていない。

同じに見えて実は違う2つのProスコア

これはこの対決に潜む罠であり、立ち止まって考える価値がある。RecursiveはFlint v1.0がSWE-bench Pro v2で89.7だと報告している。CognitionはSWE-2 FlashがSWE-Bench Pro v2 Hardで89.9だと報告している。0.2ポイントしか違わない2つの数字が、目にするあらゆる集計で隣り合って並んでいる。

それらは同じ測定ではありません。「Hard」はサブセットであり、タスクセット全体ではなく、フィルタリングされた一部分にすぎません。Flintの数値は、mini-swe-agent下でのPro v2の完全な実行結果であり、ウェブから取得した解答を失敗として数えています。これは、ほとんどのベンダーが採用するよりも厳しい採点基準です。89.9を89.7の隣に置いて引き分けと呼ぶのは、自信に満ちた誤った結論を生み出す類の比較です。

同じ注意点は、どちらの表にも共通して含まれていない行にも当てはまります。Flint は SWE-bench Verified を 74.2 と報告しています。SWE-2 Flash は Verified を一切報告しておらず、代わりに Pro v2 Hard、DeepSWE 1.1、SWE-Atlas QA を報告しています。したがって、ほとんどのチームが直感を持っているベンチマークは新しいモデルでは利用できないため、「Flint は SWE-bench で遅れている」は知見ではなく根拠のない主張になります。

文脈こそが決定を下す仕様である

エージェント型コーディングにおいて、コンテキストウィンドウは脚注ではない。モデルがリポジトリの関連する範囲を一回の計画ステップで保持できるか、それとも分割して少しずつ与えなければならないかを左右するのだ。Flintは262,144トークンを公表している。SWE-2 Flashは何も公表しておらず、3日間にわたる報道の後も、それを裏付けたメディアは一社もない。

Flintのコンテキストには、それ自体の注意点がある。コミュニティによる測定では、長いコンテキストでスループットが崩壊し、短いプロンプトでは毎秒約110トークンだったものが、115,000トークン付近では毎秒9トークンまで低下する。9 tok/sで動作する262Kウィンドウは、1回の大きな読み込みのために意図的に使うウィンドウであり、長いセッションにわたって開きっぱなしにするものではない。量子化は計算コストを和らげるが、その曲線は和らげない。

SWE-2 Flashの未公開のウィンドウは、より大きな未知数だ。なぜならDevinは長時間セッション向けの製品だからだ。クローズドモデルのほうがより大きなリポジトリをうまく扱えるという想定で両者を選ぼうとしているなら、あなたは誰も公表していない数値に基づいて選んでいることになる。

検証できる速度 対 検証できない速度

Cognitionによると、SWE-2 Flashは毎秒約200トークンで動作し、SWE-2の毎秒60トークンと対比される。この数値は、短縮されたセッションのトランスクリプトをシミュレートされたレートで再生したものから得られたものであり、実際のエンドポイントの時間を計測したものではない。これはデモンストレーションであって計測ではなく、現時点ではCognitionの外部の誰もそれを検証する方法はない。

Flintのスループットに関する主張は、それと比べると控えめで、はるかに反証しやすい。M4 Pro MacBook Proで毎秒約125～131トークン、64 GBのRTX Sparkでは150超だ。これらは購入可能なハードウェア上で、設定を公開した人々によって測定されたものだ。NVFP4量子化ビルドは、ベンチマークでBF16と比べて約0.7ポイント以内に収まると報告されており、これはコミュニティが検証でき、実際に検証するだろう類の主張だ。

知っておくべき実際の欠点が一つあります。GGUF の経路には llama.cpp でチャットテンプレートのバグが発生したことがあり、またこのモデルは主要ラボのものと比べてコミュニティでの実績が薄いです。初期導入者がデバッグを進めているところです。

それぞれの選択肢が実際にあなたにいくらかかるのか

Flint v1.0は無料でダウンロードでき、コストは推論にかかるコスト次第です。総パラメータ39.8B・アクティブ2.5Bのモデルは、十分なスペックのラップトップで実用速度で動作します。これこそがこのアーキテクチャの狙いそのものです。導入コストは運用面にあります。サービングスタック、量子化の選択、障害モードへの対応はすべて利用者側の責任になります。

SWE-2 Flashは2026年11月30日まで無料で、その後は不明な金額がかかります。Cognitionが料率ではなく比率、すなわちSWE-2の価格の5分の1を公開したためです。もしあなたのチームの計画プロセスがスプレッドシートに入力する数値を必要としているなら、問題となるのはベンチマークの差ではなく、そこです。

現時点でどちらのモデルもOrcaRouterのカタログには掲載されておらず、そうでないかのように示唆するつもりもありません。この対決で有用なのは、この2モデル間のルーティングではなく、その周辺の選択肢をベンチマークすることです：200以上のモデルが1つのOrcaRouterキーの背後にあり、プロバイダーの定価に対して0%のマークアップで利用できます。そのため、同じリポジトリタスクを12ほどの候補で実行するのは、1つの文字列を変えるだけのことです。片方がハーネスを公開し、もう片方が公開していない2モデルを比較する場合、独自の評価はどちらのベンダーの表よりも価値があります。

誰がどれを選ぶべきか

Flint v1.0 の重みが必要なら、Flint v1.0 を選んでください。あなたの制約がデータレジデンシー、オフライン運用、ファインチューニング、または他社の価格設定判断に依存しないトークンあたりのコストにあるなら、34ポイントの Terminal-Bench ギャップは、十分に支払う価値のある代償かもしれません。さらに Flint の 262K コンテキストと公開されているハーネスによって、ブラックボックスではなく、筋道立てて理解できるモデルが手に入ります。

すでに{{2}}Devin{{/2}}内にいて、無料期間が質問に答えるのに十分なら、{{1}}SWE-2 Flash{{/1}}を選んでください。両社が測定した唯一の項目において、それは大差で性能の高いモデルであり、11月末まで無料で試せます。

誰もすべきでないのは、SWE-bench Proの数値の強さだけを頼りにどちらかを選ぶことだ。89.7と89.9は同じテストではなく、両者の差は、どちらの数値とあなたのリポジトリが実際に出す結果との差よりも小さい。