Титульная карточка для MAI Code 2 против SWE-2. MAI Code 2 показана как модель Microsoft внутри GitHub Copilot без API, по цене $0,50 за вход и $2,50 за выход за миллион токенов, без опубликованного процента прохождения и без весов. SWE-2 показана как модель Cognition внутри Devin без цены за токен, с результатом 73,0 процента на DeepSWE 1.1, 92,8 процента на Terminal-Bench 2.1 и 27,3 процента на Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 против SWE-2: одни и те же два бенчмарка, опубликованные только одним из них

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

MAI Code 2 и SWE-2 в своих материалах к запуску называют почти в точности одни и те же бенчмарки, и лишь один из них сообщает, какой результат он получил. В публикации Microsoft от 17 ноября 2026 г. перечислены DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas и FrontierCode v1.1, а затем приводятся соотношения: 96% производительности Claude Opus 5.5 при 5% стоимости. В публикации Cognition о SWE-2, вышедшей 10 сентября 2026 г., перечислены те же первые два бенчмарка и для каждого указана цифра: 73.0% на DeepSWE 1.1, 92.8% на Terminal-Bench 2.1, 27.3% на Terminal-Bench 4.0. Именно третью цифру стоит запомнить, потому что это та редакция, которую Microsoft не указала, — и она показывает, что происходит с моделью для кодирования, когда терминальный бенчмарк становится сложнее.

Обе модели также объединяет ограничение распространения, которое делает их необычными в этой категории: ни у одной из них нет публичного API с оплатой за токен. До MAI Code 2 можно добраться, выбрав её в клиенте GitHub Copilot. SWE-2 работает внутри Devin. Две модели, которые нельзя вызвать из собственного кода, причём одна из них публикует свои показатели.

Эталонная версия, которую никто не выносит на первый план

Таблица Cognition — самый полезный артефакт, опубликованный кем-либо из этих двух вендоров, и не потому, что SWE-2 что-то на ней выигрывает. Она полезна потому, что показывает одну и ту же модель, измеренную на двух редакциях одного и того же бенчмарка.

• Terminal-Bench 2.1 — SWE-2 с результатом 92,8% против 91,4% у Claude Fable 5.1, 89,9% у GPT-6 Astra и 88,3% у Kimi K3

• Terminal-Bench 4.0 — SWE-2: 27,3% против 55,8% у Claude Fable 5.1, 57,9% у GPT-6 Astra и 21,5% у Kimi K3

• DeepSWE 1.1 — SWE-2 с результатом 73,0% против 74,1% у GPT-6 Astra, 72,7% у GPT-5.6 Sol и 67,4% у Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 на уровне 50,0% против 53,3% у GPT-6 Astra и 50,9% у Claude Fable 5.1

Прочитайте первые две строки вместе. SWE-2 занимает второе место на 2.1 и предпоследнее на 4.0 — падение примерно на 65 баллов, и он не один: Kimi K3 теряет 67 баллов на той же паре. Держатся те модели, которые настроены на длительную работу. Это не причуда тестового стенда одной лаборатории — это усложнение редакции бенчмарка, и именно поэтому «мы прогнали Terminal Bench 2.1» — более слабое утверждение в ноябре 2026 года, чем в сентябре.

Microsoft провела тестирование Terminal Bench 2.1. Microsoft не опубликовала по нему ни одного результата. Microsoft ничего не опубликовала по 4.0. Эти три факта вместе означают, что покупатель не может определить, к какому типу модели для программирования относится MAI Code 2: к тому, который держится, когда терминальные задачи становятся длиннее, или к тому, который нет.

Что каждый поставщик фактически раскрыл

Разрыв в раскрытии информации шире, чем цены моделей, поэтому об этом стоит сказать прямо.

Cognition опубликовала таблицу из семи моделей с четырьмя бенчмарками, заявленным набором для сравнения, примечанием о том, что конкурирующие модели запускались в собственном CLI Cognition при их наивысшем уровне усилий рассуждения, и честным раскрытием того, что она исключила: Claude Fable 5.1 при максимальном усилии набрала 50,3% на FrontierCode при $12,83 за задачу — ниже собственного результата при среднем усилии, поэтому была убрана из графика. Производитель, сообщающий вам, какую точку данных он удалил, даёт вам инструменты, чтобы дисконтировать его таблицу.

Microsoft опубликовала названия бенчмарков, испытательный стенд — MSBench, свою внутреннюю платформу оценки, — задействованный через GitHub Copilot CLI при отключённых субагентах и максимальном уровне рассуждений у каждой модели, — а также соотношения, к которым эти бенчмарки в среднем приводят. Она не опубликовала ни показателя прохождения для MAI Code 2 ни по одному из этих четырёх бенчмарков, ни число параметров, ни ограничение на объём выходных данных, ни таблицу сравнения с названными конкурентами помимо двух соотношений. По состоянию на 18 ноября 2026 года в Artificial Analysis нет строки для этой модели, поэтому нет сторонней оценки, которую можно было бы подставить.

Одно из этих раскрытий позволяет воспроизвести рассуждение. Другое предлагает принять вывод на веру.

Ни одна из моделей не является конечной точкой, и это меняет решение о покупке.

У SWE-2 нет опубликованной цены за токен и нет публичного API. В публикации Cognition говорится, что она доступна в Devin Desktop и CLI, с последующим развёртыванием в Devin Web и Fusion, а единственные цифры затрат в ней — это стоимость бенчмарков на задачу: такие цифры приводят, чтобы показать дороговизну конкурента, а не те, по которым выставляют счёт.

У MAI Code 2 есть тарифная карточка, опубликованная GitHub: $0,50 за миллион входных токенов, $0,025 за кэшированные, $2,50 за выходные; промо-цена действует до 17 мая 2027 года, затем — $1,00 / $0,05 / $5,00. Собственного API у модели нет. MAI Code 2 Flash, её меньший собрат, — единственная модель в семействе, у которой он есть: предварительная версия с ограниченным доступом в Microsoft Foundry через совместимый с OpenAI Responses API.

• Цена — MAI Code 2: $0.50 / $0.025 / $2.50 за миллион токенов, промо-цена действует до 17 мая 2027 года, тогда как для SWE-2 опубликованная цена за токен отсутствует.

• Доступ — лицензия GitHub Copilot в тарифах Pro, Pro+, Max, Business и Enterprise, против подписки Devin в Desktop и CLI

• Веса — не распределены ни на одной из сторон

• Контекст — для SWE-2 не опубликовано значение размера контекста, тогда как у MAI Code 2 — 1 млн токенов, доступных только в Visual Studio Code и Copilot CLI

• Опубликованные результаты бенчмарков — ни одного у MAI Code 2 против четырёх у SWE-2

• Независимая строка индекса — ни у одной из моделей её нет

Практический вывод: обе покупки — это покупка мест, а не токенов, и только одна из них сопровождается счётчиком, который можно смоделировать. Если вашей финансовой команде нужна стоимость за единицу, MAI Code 2 её даёт, а SWE-2 — нет. Если вашей инженерной команде нужно понять, улучшает ли модель ваши репозитории, SWE-2 даёт таблицу сравнения, а MAI Code 2 — соотношение.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Для чего была создана каждая модель

Бриф Microsoft для MAI Code 2 — это повседневная корпоративная работа: доведение кода до продакшена, глубокая отладка, реализация с изменениями в нескольких файлах, рассуждения в масштабе всего репозитория, UI и дашборды. В посте о запуске откровенно признаётся, что модели «явно ещё не настроены для более сложных задач, таких как фундаментальные научные исследования и агентная работа с очень длинным горизонтом», — фраза, которая неловко соседствует с утверждением о Terminal Bench 2.1, ведь Terminal-Bench — это агентный бенчмарк с длинным горизонтом. Собственное позиционирование Microsoft говорит, что компания не настраивала модели под то, что измеряет этот бенчмарк.

Бриф Cognition для SWE-2 устроен наоборот: меньше шагов, дешевле роллауты, модель, совместно спроектированная с агентом, который её запускает. В посте сообщается, что среднее число шагов за прогон снижается до 53 на SWE-2 medium против 127 у SWE-1.7, medium обходится на 81% дешевле SWE-1.7, а медиана составляет 18 шагов до первой реальной правки против 48. Это инженерные утверждения об эффективности агента, и для подписчика Devin они важнее любой строки бенчмарка, потому что определяют, какую долю месячного лимита потребляет задача.

Итак, две модели снова настроены на разные цели: одна — для повседневной задачи внутри IDE, другая — для количества шагов внутри автономного агента. Ни одна из них не является улучшенной версией другой.

Где маршрутизатор оправдывает своё место, когда ни одна из моделей не подлежит маршрутизации

Ни MAI Code 2, ни SWE-2 нет в каталоге OrcaRouter, и нет честного способа утверждать обратное: один — это пункт в списке выбора моделей Copilot, другой находится внутри Devin. Что меняет слой маршрутизации — не доступ к этим двум, а стоимость построения сравнения. Контролем в любой их оценке должна быть модель, которую можно вызвать и измерить, — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon, — и они доступны по одному ключу по прайс-листовой цене провайдера с наценкой 0%, поэтому прогон бенчмарка против них тарифицируется ровно по ставке вендора.

Здесь это важнее, чем в большинстве сравнений, потому что интересный вопрос об обеих моделях — сравнительный: превосходит ли повседневный кодер передовую модель по стоимости одного слияния на вашем коде? На него нельзя ответить, прочитав две таблицы от поставщиков, полученные на двух разных стендах. На него можно ответить, запустив измеримую модель вместе с той из этих двух, до которой ваша команда действительно может добраться, и подсчитывая завершённые задачи, а не токены. Автоматическое аварийное переключение — это то, что поддерживает это сравнение работающим, когда ограничение частоты запросов у провайдера срабатывает посреди выполнения, и поскольку цены передаются по прайс-листу, стоимость одной задачи в контрольном варианте не завышается слоем, который вы используете для её измерения.

Какой выбрать, учитывая то, что вы можете проверить

• Ваша команда использует Devin, и вы хотите меньше шагов на каждый rollout — SWE-2, и именно цифры по количеству шагов и сокращению затрат в посте Cognition определяют выбор.

• Ваша команда использует Copilot, и вам нужны дешёвые токены для рутинных исправлений — MAI Code 2 по цене $0.50 и $2.50, с расчётом как по удвоенной ставке мая 2027 года, так и по промо-ставке.

• Вам нужно обосновать выбор числом — SWE-2, потому что он публикует четыре, а другая модель не публикует ни одного.

• Вам нужна агентная работа с длинным горизонтом — судя по имеющимся данным, ни то ни другое. Microsoft заявляет, что не настраивала это под неё; собственная таблица SWE-2 показывает обвал на 65 пунктов, когда бенчмарк усложняется.

• Вам нужна модель стоимости за токен — MAI Code 2, поскольку у SWE-2 нет опубликованного тарифа для расчёта.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

Главное, за чем стоит следить, — опубликует ли Microsoft когда-нибудь цифру, которая сделает это сравнение реальным. Доля прохождения Terminal Bench 2.1 подошла бы; показатель Terminal Bench 4.0 окончательно решил бы вопрос, потому что именно в этой редакции собственная таблица SWE-2 показывает, как выглядит модель для программирования, когда задачи становятся длиннее. Пока ничего из этого не существует, MAI Code 2 — это тарифная карта с приложенным обещанием, а SWE-2 — таблица с приложенным числом шагов, и только одну из них можно проверить извне, за пределами компании-поставщика.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Сравнение в этой статье1

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно