SWE-2 Flash vs North Mini Code：ベンチマークの中にあるベンチマーク

ここに、居心地の悪い組み合わせがある。SWE-2 Flashは2026年11月4日にリリースされた276Bパラメータのポストトレインで、8つのベンチマーク行を持つが、呼び出す手段がない。North Mini CodeはCohereが2026年6月にApache 2.0で出荷した30Bパラメータのモデルで、そのベンチマーク表はSWE-2 Flashとちょうど0行しか重ならず、さらにSWE-2 Flashにはまったくない独立スコアを持つ。紙の上では、より新しく大きいモデルがあらゆる点で勝つ。証拠の上では、古く小さい方だけが、二者のうち第三者によって測定されている唯一のモデルである。

その逆転こそがこの記事のすべてであり、スコア比較よりも有用です。というのも、スコア比較は実際には不可能だからです。

正反対のパラメータ予算を持つ2つのMoEs

{{1}}どちらも、同じコスト論理に基づいて構築されたスパースなMixture-of-Expertsモデルです。つまり、総パラメータ数ではなく、アクティブなパラメータ数に対してコストを支払うという考え方です。{{/1}} 両者は、その範囲のほぼ両端に位置しています。

• 総パラメータ数 — SWE-2 Flash 276B 対 North Mini Code 30B

• トークンあたりのアクティブ — SWE-2 Flash 12B 対 North Mini Code 3B

• エキスパート配置 — SWE-2 Flash は Inkling-Small の構造を継承。North Mini Code は 128 エキスパートのうち 8 にルーティング

• コンテキスト — 未公開の SWE-2 Flash と North Mini Code 256K の比較、最大出力 64K

• 最大出力 — SWE-2 Flash 未公開 対 North Mini Code 64K

• ライセンス — SWE-2 Flash は非公開、North Mini Code は Apache 2.0（BF16、FP8、W4A16）

アクティブパラメータの9倍の差が、ほかのすべてを説明する数字だ。SWE-2 Flashは、12Bしか発火しないため、トークンあたり安価に動作する、より大きくトレーニングに時間がかかるモデルでいられる。North Mini Codeはそのごく一部で動作する。だからこそCohereはそれをラップトップクラスの展開に置けるし、ベンチマークの上限も低いのだ。

なぜ89.2を36.0の隣に置けないのですか

広く出回る比較は Terminal-Bench だ。SWE-2 Flash が 89.2、North Mini Code が 36.0。53ポイントの差があり、これでは記事にならない。しかしそれは有効な引き算ではない。理由は見落としやすい。

North Mini Codeは「Terminal-Bench v2」を36.0、「Terminal-Bench Hard」を31.1と報告している。SWE-2 Flashは「Terminal-Bench 2.1」を89.2、「Terminal-Bench 4.0」を20.0と報告している。「v2」と「2.1」は、同一のタスクセットであるかどうか不明なものにつけられた隣接するラベルであり、どちらのベンダーも、比較対象の資料の中で、タスク数、ハーネス、採点方式を明示していない。

内部的な証拠が示すのは、これらのバージョンがまったく異なる計測器だということだ。SWE-2 Flash自身のTerminal-Benchの2つの行は69ポイント離れている——4.0では20.0、2.1では89.2。同じ名前で異なる番号の2つのベンチマークで、1つのモデルが20と89を出したとき、バージョンこそが測定そのものだ。2.xのスコアをv2のスコアと並べて、その差を能力差と呼ぶのは、この比較領域で最もよくある誤りだ。

他の行は共通に見えますが、実際には共通していません。North Mini CodeはSWE-bench Proを40.2と報告していますが、SWE-2 FlashはSWE-Bench Pro v2 Hardを89.9と報告しています。ベンチマークの世代が異なり、さらにフィルタリングされたサブセットです。NorthはSWE-bench Verifiedを67.6と報告していますが、SWE-2 FlashはVerifiedをまったく報告していません。NorthはSciCode 38.2とLiveCodeBench v6 70.3を報告していますが、SWE-2 Flashはどちらも報告していません。

残るのは DeepSWE 1.1 で、SWE-2 Flash は 60.1 を報告しているが、North Mini Code は何も報告していない。

独立した番号は、それらのうちの1つだけが持っています。

North Mini Codeは、Artificial Analysis Intelligence Indexが27.6、Coding Indexが33.4です。これらは第三者が一貫した方法論に基づいて測定した数値であり、誰でもダウンロードして再実行できるモデルで取得されたものです。

SWE-2 FlashにはArtificial Analysisの項目がない。Artificial AnalysisはAPIを通じてモデルを測定しており、SWE-2 FlashにはAPIがないからだ。それに付随するあらゆる数値——60.1、89.2、20.0、FrontierCode 2.0での24.0——はCognition自身のもので、非公開のハーネス上で算出されており、FrontierCodeはCognition自身のベンチマークだ。ここで述べているのは、これらの数値が間違っているということではない。読者には、実際の能力と寛大なスキャフォールドを区別する手段がない、ということだ。

6月の30Bオープンウェイトモデルとしては、AA Coding Index 33.4は控えめなスコアだ——GLM-4.7-Flashの25.9を上回り、Qwen3.6 35B-A3Bの35.2を下回る。しかもこれは検証可能なスコアであり、検証できないベンダー公表の行よりも価値がある。

スピード、そしてどの主張が検証可能か

Cohereは自社API上で毎秒約199出力トークンと報告しており、これはDevstral Small 2のスループットの約2.8倍です。これは提供エンドポイントでの測定値です。リクエストを送ればトークンが返ってくるというもので、アクセス権があれば誰でも再現できます。

Cognitionは、SWE-2 Flashについて毎秒約200トークン、SWE-2の60トークンに対して報告している。これは、短縮されたセッショントランスクリプトをシミュレートされたレートで再生することによって生成されたものだ。この2つの数字は互いに毎秒1トークン以内の差しかないが、意味はまったく異なる。一方はスループットの測定値であり、もう一方はその速度でモデルがどのように見えるかのデモンストレーションである。

これが比較全体を通して見られるパターンだ。古いモデルは、より多くの方法論を添えた、それほど印象的ではない主張を発表している。新しいモデルは、方法論を一切添えずに、より見栄えのする主張を発表している。

North Mini Code が本当に弱いところ

すべてがCohereに有利というわけではない。North Mini Codeはコーディング特化モデルであり、そのように振る舞う。GDPval-AAで14%、τ²-Bench Telecomで37%を記録するが、これらはいずれも非コーディングのエージェント型評価であり、汎用モデルの方がはるかに良い成績を出すはずだ。エージェントがコードを書いてテストする以外のこと、たとえば顧客ワークフローの処理やビジネスプロセスに関する推論を行う必要があるなら、North Mini Codeは適切なツールではなく、SWE-2 Flashのより広範な基盤の方がおそらくより良い選択肢だ。

そのコンテキストウィンドウは公開されており、大きく、256,000トークンで出力上限は64,000トークンだ。ただし、実際に使えるウィンドウはサービングスタックに依存する。また、3Bがアクティブな30Bモデルは、12Bがアクティブな276Bモデルよりも上限が低い。どれほど方法論の透明性を高めても、その差は埋まらない。

コストと、ルーティングレイヤーを導入する理由

North Mini CodeはApache 2.0の下で無料でダウンロードでき、Cohere自身のAPIではホスト型の料金が設定されており、複数のサードパーティプラットフォームを通じて利用できます。SWE-2 Flashは2026年11月30日までDevin内で無料で、それ以降は価格未定であり、いかなる時点でもダウンロード可能な形態はありません。

どちらもOrcaRouterのカタログには含まれていません。Cohereのモデルは必要なハードウェアさえあれば誰でもセルフホストできますし、Cognitionのモデルにはルーティング先となるエンドポイント自体がありません。ですから正直に言えば、この判断はどちらにせよ当社のカタログの外で下されるものです。ルーティングレイヤーが変えるのは、判断を誤ったときのコストです。OrcaRouterはプロバイダーの定価をマークアップ0%でそのまま通し、自動的にフェイルオーバーするため、1つのモデルIDに対して書かれたアプリケーションは、1つのベンダーの稼働率に対して書かれたアプリケーションではありません。片方が12月1日に価格改定され、もう片方が決して呼び出せないかもしれない、そうした一対においては、このポータビリティこそがエンジニアリングする価値のある部分です。

どうやって決めるか

自分で実行し、検査し、量子化し、ベンチマークできるモデルを求めるなら、この2つのうち North Mini Code が唯一の選択肢であり、公表されているコンテキストウィンドウと 3B のアクティブ予算によって、控えめなハードウェアでも実用的に使えます。能力の上限が低いことと、コーディングに特化していることを受け入れてください。

Devinの中で無料期間がポイントなら、SWE-2 Flashは自身の数値上で大差をつけてより強力なモデルであり、11月30日まで試すコストはゼロです。

すべきでないのは、89.2 を 36.0 の隣に置いて何かを結論づけることだ。これらの数値は異なる測定器から得られ、異なる企業によって報告されたもので、そのバージョン番号自体が測定値であるベンチマークファミリーに属している。このペアについて擁護できる唯一の陈述は、判定のように最も聞こえないもの、つまり、一方は独立に採点されており、他方はそうではない、というものだ。そしてそれは、どちらの表のどの行よりも大きな違いである。