
MAI Code 2 vs SWE-2:同じ2つのベンチマークを公開しているのは片方だけ
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100万トークンあたり · 180 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100万トークンあたり · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 89 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 98 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100万トークンあたり · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100万トークンあたり · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100万トークンあたり · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
MAI Code 2とSWE-2は、発表資料でほぼ同じベンチマークを挙げているのに、スコアを明かしているのはそのうち一方だけだ。Microsoftの2026年11月17日の投稿は、DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas、FrontierCode v1.1を列挙したうえで、比率を報告している。Claude Opus 5.5の性能の96%を、コストの5%で実現するというものだ。CognitionのSWE-2の投稿は2026年9月10日に公開され、同じ最初の2つのベンチマークを挙げて、それぞれの数値を示している。DeepSWE 1.1で73.0%、Terminal-Bench 2.1で92.8%、Terminal-Bench 4.0で27.3%だ。注目すべきはこの3つ目の数値である。なぜなら、それはMicrosoftが報告しなかった版であり、ターミナルベンチマークが難しくなったときにコーディングモデルに何が起きるかを示しているからだ。
両モデルには、この区分では異例となる配布上の制約も共通している。どちらも公開されたトークン単位のAPIを持たない。MAI Code 2 は GitHub Copilot クライアントで選択すれば利用できる。SWE-2 は Devin 内部で動作する。自分のコードから呼び出せないモデルが2つあり、そのうち1つは数値を公開している。
誰も最初に取り上げないベンチマーク版
Cognitionの表は、両ベンダーが公開した中で最も有用な成果物だ。SWE-2がそこで何かに勝っているからではない。同じモデルが同一ベンチマークの2つの版で測定されていることを示しているから有用なのだ。
• Terminal-Bench 2.1 — SWE-2 が 92.8%、これに対して Claude Fable 5.1 が 91.4%、GPT-6 Astra が 89.9%、Kimi K3 が 88.3%
• Terminal-Bench 4.0 — SWE-2 は 27.3%、それに対して Claude Fable 5.1 は 55.8%、GPT-6 Astra は 57.9%、Kimi K3 は 21.5%
• DeepSWE 1.1 — SWE-2 では 73.0% で、GPT-6 Astra の 74.1%、GPT-5.6 Sol の 72.7%、Claude Fable 5.1 の 67.4% に対する結果です
• FrontierCode 1.1 Main — SWE-2は50.0%、GPT-6 Astraは53.3%、Claude Fable 5.1は50.9%
最初の2行を合わせて読んでください。SWE-2は2.1では2番目、4.0では後ろから2番目で、約65ポイントの下落であり、それだけではありません。Kimi K3も同じ2版間で67ポイント下落します。持ちこたえるモデルは、長期的な作業向けに調整されたものです。これはある研究室のハーネスの癖ではなく、ベンチマークの版が難しくなっているということであり、「Terminal Bench 2.1を実行した」という主張が2026年9月よりも2026年11月に弱い主張になるのは、まさにこのためです。
MicrosoftはTerminal Bench 2.1を実行した。Microsoftはそれについてスコアを公表しなかった。Microsoftは4.0について何も公表しなかった。これら3つの事実を合わせると、購入者はMAI Code 2がどの種類のコーディングモデルなのか判断できない。ターミナルタスクが長くなっても持ちこたえる種類なのか、そうでない種類なのか。
各ベンダーが実際に開示した内容
情報開示の格差はモデルの価格差よりも大きい。だからこそ、はっきりと述べておく価値がある。
Cognitionは、7モデルの表と4つのベンチマーク、明示された比較対象セット、競合モデルはCognition自身のCLIで各モデルの最高の推論努力設定で実行したという注記、そして除外したものについての正直な開示を公表した。最大努力設定のClaude Fable 5.1はFrontierCodeで50.3%を記録し、タスクあたり12.83ドルだったが、それ自体の中程度努力の結果を下回ったため、チャートから外された。ベンダーがどのデータポイントを削除したかを教えてくれるなら、それはその表を割り引いて見るための道具をあなたに与えているベンダーだ。
マイクロソフトは、ベンチマーク名、ハーネス(同社の内部評価プラットフォームであるMSBench。サブエージェントを無効にし、すべてのモデルを最大推論努力に設定したGitHub Copilot CLI経由で実行)、およびそれらのベンチマークが平均して示す比率を公開した。同社は、MAI Code 2について、その4つのいずれにおける合格率も、パラメータ数も、出力上限も、また2つの比率以外に名前を挙げた競合他社との比較表も公開していない。Artificial Analysisには2026年11月18日時点でこのモデルの行がなく、代わりに使える第三者による測定値も存在しない。
これらの開示のうち一方は、あなたが推論を再現することを可能にします。もう一方は、結論を受け入れることを求めます。
どちらのモデルもエンドポイントではなく、その点が購入判断を変える。
SWE-2には公開されたトークン単位の価格も、公開APIもありません。Cognitionの投稿によれば、Devin DesktopとCLIで利用可能で、Devin WebとFusionにも展開中です。そしてその投稿に含まれるコスト数値は、タスクあたりのベンチマークコストのみです。それはライバルが高価だと示すために引き合いに出す類の数字であり、課金の根拠にする類のものではありません。
MAI Code 2には価格カードがあり、GitHubで公開されています:$0.50/100万入力トークン、キャッシュ$0.025、出力$2.50、2027年5月17日までプロモーション、その後は$1.00/$0.05/$5.00。独自のAPIサーフェスは持っていません。小型版のMAI Code 2 Flashは、このファミリーで唯一APIサーフェスを持つモデルです。Microsoft Foundryにおける限定アクセスのプレビューで、OpenAI互換のResponses APIを通じて提供されます。
• 価格 — MAI Code 2 は100万トークンあたり $0.50 / $0.025 / $2.50、2027年5月17日までプロモーション価格となっているのに対し、SWE-2 にはトークンあたりの公開価格はない
• アクセス — Pro、Pro+、Max、Business、EnterpriseにわたるGitHub Copilotシートを、DesktopおよびCLIでのDevinサブスクリプションと比較
• ウェイト — どちら側にも分散されていません
• コンテキスト — SWE-2については公開されたコンテキスト数値はなく、Visual Studio CodeとCopilot CLIでのみ利用可能なMAI Code 2の100万トークンと対比される
• 公開されているベンチマークスコア — MAI Code 2 はゼロ、SWE-2 は4件
• 独立したインデックス行 — どちらのモデルにも存在しません
実用的な結論としては、どちらの購入もトークン購入ではなくシート購入であり、モデル化できるメーターが付いてくるのはそのうち一方だけです。財務チームが単価を必要としているなら、MAI Code 2 はそれを提供しますが、SWE-2 は提供しません。エンジニアリングチームが、そのモデルが自社のリポジトリで改善をもたらすかどうかを知る必要があるなら、SWE-2 は比較表を提供し、MAI Code 2 は比率を提供します。

各モデルが何をするために作られたか
MicrosoftがMAI Code 2に課している役割は、日常的なエンタープライズ業務です。コードの本番投入、深いデバッグ、複数ファイルにまたがる実装、リポジトリ全体にわたる推論、UIやダッシュボードなどです。発表記事は、これらのモデルが「基礎科学研究や非常に長いホライズンのエージェント作業のような、より難しい問題向けには明示的にまだ調整されていない」と率直に認めています。しかしこの一文は、Terminal Bench 2.1に関する主張の隣に置かれるとぎこちなく感じられます。Terminal-Benchは長いホライズンを要するエージェント型ベンチマークだからです。Microsoft自身の位置づけによれば、同社はそのベンチマークが測っているものに合わせた調整を行っていません。
CognitionによるSWE-2向けの概要は逆方向に進んでいる。ステップ数はより少なく、ロールアウトはより安価で、モデルはそれを実行するエージェントと共同設計されている。投稿によると、1回の実行あたりの平均ステップ数はSWE-2 mediumで53に下がり、SWE-1.7では127だった。mediumのコストはSWE-1.7より81%少なく、最初の実質的な編集までの中央値は18ステップで、比較対象は48ステップだ。これらはエージェント効率に関するエンジニアリング上の主張であり、Devinの購読者にとってはどのベンチマークの行よりも重要だ。なぜなら、それらが1つのタスクで月間の利用枠をどれだけ消費するかを決めるからだ。
つまり、この2つのモデルは再び異なる目的に合わせて調整されています。一方はIDE内での日常的なタスクのため、もう一方は自律型エージェント内でのステップ数のためです。どちらももう一方の上位版ではありません。
どちらのモデルもルーティングできない場合に、ルーターがその存在価値を発揮する場面
MAI Code 2もSWE-2もOrcaRouterのカタログにはありません。そして、そうでないと示唆する誠実な方法はありません。一方はCopilotのモデルピッカー内の項目で、もう一方はDevinの内部にあります。ルーティングレイヤーが変えるのは、その2つへのアクセスではなく、比較を構築するコストです。それらを評価する際の対照は、呼び出して測定できるモデルでなければなりません — Claude Opus 5.5、Kimi K3.1 Pro、Qwen3.8-Max、Gemini 4 Carbon — そしてそれらはプロバイダーの定価、マークアップ0%で1つのキーの背後にあり、したがってそれらに対するベンチマーク実行はベンダーの料金とまったく同じ額で請求されます。
ここでは、ほとんどの比較以上にこれが重要です。というのも、両モデルについて興味深い問いは比較に関わるものだからです。つまり、普段使いのコーダーは、あなたのコード上で、マージあたりのコストでフロンティアモデルを上回るのか、という問いです。これは、2つの異なるハーネスで作成されたベンダー表を2つ読んでも答えられません。答えを出すには、測定可能なモデルを、チームが実際に利用できるこれら2つのうちのどちらかと並行して実行し、トークンではなく完了したタスクを数えることです。プロバイダーのレート制限が実行途中でかかってもその比較を継続させるのが自動フェイルオーバーであり、料金はリスト価格でパススルーされるため、測定に使っているレイヤーによってコントロールのタスクあたりコストが水増しされることはありません。
検証できることを踏まえると、どちらを選ぶべきか
• あなたのチームがDevinを使っていて、ロールアウトあたりのステップ数を減らしたいなら — SWE-2です。そしてCognitionの投稿にあるステップ数とコスト削減の数値が、それを決める要素です。
• チームがCopilotを使っていて、定型的な修正には安価なトークンが欲しいという場合——MAI Code 2は$0.50と$2.50で、2027年5月の倍額レートとプロモーションレートの両方で試算されています。
• その選択は数字で弁護する必要があります — SWE-2、なぜならそれは4つを公開し、他のモデルは何も公開していないからです。
• 長期的なエージェント型作業が必要な場合、入手可能な証拠から見る限り、どちらも適していません。Microsoftはそのために調整していないと述べており、SWE-2自身の表は、ベンチマークが難しくなると65ポイントも急落することを示しています。
• トークン単位のコストモデルが必要です — MAI Code 2 を使うしかありません。SWE-2 にはモデル化できる公開レートがないためです。

注目すべきは、Microsoftがこの比較を現実のものにする数字をいつか公表するかどうかだ。Terminal Bench 2.1の合格率ならそれで足りる。Terminal Bench 4.0の合格率なら決着がつく。タスクが長くなったときにコーディングモデルがどう見えるかをSWE-2自身の表が示しているのは、その版だからだ。それらのどちらかが存在するまでは、MAI Code 2は約束が添えられた料金表であり、SWE-2はステップ数が添えられた表であって、ベンダーの外から確認できるのはそのうち一方だけだ。

この記事で比較したモデル1
この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新
