AlphaProof Code против SWE-2: две агентные системы, два совершенно разных представления о доказательстве

И AlphaProof Code, и Cognition SWE-2 — это агентные системы, которые автоматически пишут программное обеспечение, и обе были представлены публике под словом «агент». За этим исключением два этих релиза едва ли обитают в одной вселенной. Cognition SWE-2, анонсированная в сентябре 2026 года и доступная только внутри Devin Desktop и CLI, пишет патчи: согласно собственным данным Cognition, она набрала 50,0% на FrontierCode 1.1 Main — в пределах одного пункта от Claude Fable 5.1 с 50,9% — при затратах на 64% меньше. AlphaProof Code, анонсированная Google DeepMind 10 ноября 2026 года, пишет доказательства: примерно 6,5 млн строк на Lean, устанавливающих, что скомпилированный AArch64-бинарник Signal удовлетворяет десяти теоремам безопасности, причём проверка выполняется ядром Lean, а не по оценочной рубрике. Результат одной системы может быть ошибочным так, что это способен заметить человек-рецензент. Результат другой не может быть ошибочным в принципе — либо ядро его отвергает, и работа продолжается.

«Correct» означает две разные вещи.

Начнём со слова, потому что именно в нём сравнение этих двух идёт не так. Когда Cognition сообщает, что SWE-2 решил 50,0% задач FrontierCode 1.1 Main, «resolved» означает, что был создан патч, который процесс оценки принял как mergeable. Задачи FrontierCode писались при участии более чем 20 мейнтейнеров open-source, на каждую задачу уходило более 40 часов, и каждый мейнтейнер определял, что значит «mergeable» в его собственном репозитории. Это серьёзный дизайн оценки, и всё же это человеческое суждение о диффе.

Когда DeepMind сообщает, что теорема доказана для libsignal v0.105.4, «доказана» означает, что ядро Lean приняло вывод из спецификации. Нет рецензента с субъективным мнением. Агент-привратник проверяет каждую заявку с помощью компаратора на соответствие отложенной копии спецификации, а остальное проверяет Lean — именно так команда из пяти исследователей могла оставить 99% кодовой базы непроверенными людьми и всё же делать утверждение обо всей кодовой базе.

Эта разница определяет, для чего хороша каждая система. SWE-2 умеет писать код. AlphaProof Code не может писать production-код и не пытается; он демонстрирует, что написанный кем-то другим код делает то, что было задано, а также может продемонстрировать, что намеренно сломанная версия этого не делает — две повторно внесённые ошибки Signal, ошибка слабого состояния и ошибка малой подгруппы, обе дали машинно-проверенные доказательства небезопасности.

Где эти двое действительно похожи

Больше, чем можно было бы ожидать, и самое интересное — это параллели. Оба решения дороги в эксплуатации. В AlphaProof Code использовались команды из 40–80 агентов, работавших по 24–72 часа на одной машине на команду на протяжении четырех недель, с надзорным агентом над оркестратором команды, а агенты проверяли собственные результаты, помечая около 1% для проверки человеком. Стоимость SWE-2 не публикуется в расчете на токен, поскольку Cognition не продает токены; цена — это подписка на Devin, а утверждение о снижении цены на 64% представляет собой сравнение с Claude Fable 5.1 по прейскурантным ценам.

Обе системы опираются на один и тот же класс базовых моделей. SWE-2 — это дообученная версия Kimi K3 от Moonshot AI, смеси экспертов с 2,8 трлн параметров, из которых примерно 104 млрд активны на токен; Cognition утверждает, что её обучение с подкреплением добавило от 5 до 6 баллов в нескольких бенчмарках. Агенты для доказательств AlphaProof Code работали на Gemini 4 Carbon, а Claude Opus 5.5 входил в число моделей, использовавшихся для составления и проверки Lean-спецификаций Signal. Ни одна из лабораторий не создавала своих агентов с нуля.

Обе зависят от верификатора, чтобы понимать, выполнена ли работа. Верификаторами Cognition служат тестовые наборы и суждения мейнтейнеров, закодированные в FrontierCode. Верификатор DeepMind — это ядро доказательств. Верификатор определяет потолок каждой системы, и именно эту фразу стоит запомнить из любой из этих двух статей.

Проблема честности бенчмарков — наглядное сравнение

У AlphaProof Code нет таблицы бенчмарков, поэтому обычные оговорки о цифрах поставщика к нему не применимы — вместо этого у него есть теорема, а теорема бинарна. Что у него есть, так это набор структурных исключений. Нет постквантовой гарантии для свойства заживления SPQR, потому что теоремы о храповике предполагают, что атакующий выбирает ключи SPQR. Нет конфиденциальности полезной нагрузки. Нет аутентификации отвечающей стороны для первого сообщения рукопожатия, которое так и не повышается. Одна сессия на повышение, фиксированные длины сообщений, отсутствие состояния для нескольких устройств, идентификационные ключи с доверием при первом использовании. Слагаемое подделки MAC размером 8 байт, которое растёт квадратично и становится бессодержательным примерно на 25 000 сообщений в одной сессии. Тридцать семь процедур, охваченных контрактами, а не верифицированных, включая AES-256-CBC, X25519, Kyber1024 и ML-KEM-768. И рассматривается командная сборка libsignal-cli как новый процесс, а не приложение Signal.

Оговорки SWE-2 носят статистический, а не структурный характер, и самая острая из них — масштабируемость при увеличении длины задачи. При переходе с Terminal-Bench 2.1 на Terminal-Bench 4 Claude Fable 5.1 теряет около 35,6 балла, а GPT-6 Astra — около 32,0. SWE-2 теряет около 65,5, а её база Kimi K3 — около 66,8, то есть на длинногorizontной работе она деградирует примерно вдвое быстрее, чем фронтирные модели, с которыми её сравнивают. Terminal-Bench 4 — текущая редакция, а 2.1 — устаревшая, а значит, строка, где SWE-2 лидирует, относится к выведенному из эксплуатации бенчмарку, а строка, где она отстаёт, — к действующему.

Оба отчёта необычно откровенны по меркам постов о запуске. Разница в том, чего стоит откровенность. Исключения DeepMind сужают утверждение, но оставляют его верным. Исключения Cognition ограничивают применимость утверждения, и читателю приходится решать, имеет ли результат 27,3% на текущем бенчмарке для длинных горизонтов значение для его рабочей нагрузки.

Обслуживание, цена и то, чего ни один из них вам не продаёт

• AlphaProof Code — исследовательский фреймворк. Нет эндпоинта, нет весов, нет цены, нет листа ожидания. Артефакты представляют собой разработку на Lean по адресу github.com/google-deepmind/code-verification без указания лицензии на целевой странице.

• Cognition SWE-2 — проприетарная, доступна только в Devin. Нет опубликованного тарифа за токены, нет ID модели для вызова, нет весов. Если вам нужна SWE-2, вы покупаете Devin.

• Базовые модели — Kimi K3 присутствует в каталоге OrcaRouter по цене $3 за миллион входных и $15 за миллион выходных токенов, цена из прайс-листа провайдера передаётся без наценки — 0 %. Claude Opus 5.5, одна из моделей, использовавшихся при составлении спецификаций Signal, стоит $4 и $20. Gemini 4 Carbon, на которой работали агенты доказательств AlphaProof Code, мы не предоставляем, и ничто здесь не указывает на то, что мы размещаем у себя сам AlphaProof Code.

Эта третья строка — единственная часть данного сравнения, к которой прилагается счёт, который вы можете оплатить сегодня. Если вы строите агентный рабочий процесс для кодинга, практический выбор не между этими двумя системами — он между моделями, лежащими в их основе, и и Kimi K3, и Claude Opus 5.5 отделены одним ключом, с автоматическим переключением при сбое, если у провайдера выдался плохой день. DSL маршрутизации позволяет отправить одну и ту же задачу двум из них и сравнить диффы до того, как какая-либо из них коснётся репозитория.

С каким режимом отказа вы можете смириться?

SWE-2 терпит неудачу, создавая патч, который не компилируется, либо компилируется, но неверен, либо корректен, но не может быть слит. Каждая из этих неудач обнаруживается чтением диффа или запуском тестов, и каждая из них стоит вам цикла ревью. Система спроектирована вокруг этого: Cognition сообщает best-of-N по настройкам усилий рассуждения, что и делают, когда вывод вероятностен.

AlphaProof Code терпит неудачу, не создавая доказательство, после чего агенты продолжают работать — часами, иногда днями, со сборкой с нуля, которая может занимать несколько часов, и исправлениями доказательств, запускаемыми изменением исходного кода в одну строку. В статье говорится, что «есть значительный простор для оптимизации» как в сгенерированных доказательствах, так и в самих методах, что является вежливым способом сказать, что процесс медленный и хрупкий. Но когда это удаётся, цикла проверки нет вообще, потому что проверять нечего. Lean уже согласился.

Для команды, которая выпускает функцию в четверг, этот компромисс очевиден, и SWE-2 его выигрывает. Для команды, выпускающей криптографический протокол, который будет защищать разговоры на протяжении десяти лет, вся категория SWE-2 — неподходящий инструмент, а то, что она набрала 92,8% на Terminal-Bench 2.1, не имеет значения.

Что сделало бы их действительно сопоставимыми?

Одно замечание: бенчмарк, который измеряет, правильный ли вывод агента, а не является ли он принятым. FrontierCode приближается к этому с помощью определяемой мейнтейнерами возможности слияния — это самое близкое, к чему подошла генерация кода. AlphaProof Code полностью обходит это, выбирая область, где ядро может выносить решение. Если бы кто-то создал набор задач, в котором правильный ответ можно механически проверить на соответствие спецификации — не набору тестов, а спецификации — обе системы можно было бы оценить по одной оси, и сравнение имело бы смысл.

До тех пор полезный вывод будет более узким. AlphaProof Code говорит о том, что команда из пяти человек с агентными инструментами может создать корпус доказательств, на который раньше уходили годы, а это утверждение о том, сколько стоит верификация. SWE-2 говорит о том, что прошедшая посттренировку базовая модель с открытыми весами может отставать от фронтира менее чем на один пункт на бенчмарке по программированию при затратах на 64% меньше, а это утверждение о том, сколько стоит программирование. Обе эти стоимости падают. Они падают с разной скоростью, по разным причинам, и таблица лидеров, которая ставит их в одну таблицу, будет вас обманывать.

Если нужен практический вывод: используйте системы в форме SWE-2 для кода, который можно проверять тестовым набором, и начинайте изучать репозиторий артефактов AlphaProof Code, если у вас есть код, который тестовым набором проверить нельзя. Вторая категория меньше, чем думает большинство команд, и важнее, чем любая из них готова признать.