AlphaProof Code против MathForm-8B: две стадии одного и того же Lean-конвейера, а не два соперника

Прочитайте статью AlphaProof Code внимательно — и сразу бросается в глаза цифра, которую анонс не подчёркивает: из четырёх недель, которые пять исследователей DeepMind потратили на верификацию Signal, неавтоматизируемой частью был начальный этап. Специалисты-люди работали с комбинацией моделей, чтобы перевести цели безопасности Signal в формальные спецификации Lean, и эксперт проверил каждую из них до начала любых работ по доказательству. Вот где узкое место. MathForm-8B — модель автоформализации с 8 млрд параметров от OpenBMB, выпущенная на Hugging Face 14 августа 2026 года, — представляет собой прямую попытку автоматизировать именно этот шаг: брать математическое утверждение на естественном языке и выдавать формулировку теоремы Lean 4, готовую к тому, чтобы кто-то другой её доказал. Поставьте их рядом — и вы сравниваете не два продукта. Перед вами два последовательных этапа одного конвейера, разделённых разницей между математикой и безопасностью протоколов.

Пайплайн, в порядке выполнения работы

Формальная верификация реального программного обеспечения включает три задачи. Во-первых, определить, что должно быть истинным, и записать это на формальном языке. Во-вторых, доказать, что реализация удовлетворяет этому. В-третьих, проверить доказательства механически, потому что неверное доказательство хуже, чем отсутствие доказательства.

MathForm-8B выполняет первую задачу для узкого класса входных данных: математических утверждений в стиле учебника. Дайте ей «для любого вещественного числа x, x² неотрицательно» — и она вернёт импорты, типы и заголовок теоремы на Lean 4. Чего она не возвращает, так это доказательство, и её авторы прямо говорят, что поиск доказательств — чужая задача. Её заявленные показатели, все со слов производителя и не воспроизведённые независимо, — 88,06% среднего Pass@8 при проверке синтаксиса и 72,37% при более строгой проверке согласованности по шести бенчмаркам; разрыв между этими двумя цифрами — честная мера того, как часто синтаксически корректное утверждение означает не то, о чём просили.

AlphaProof Code выполняет задачи 2 и 3, а также этап спецификации, который был не по силам MathForm-8B. Цели безопасности Signal не относятся к математическим утверждениям того типа, на которых обучалась MathForm; это утверждения о протоколе — что сообщения остаются защищёнными до и после временной компрометации устройства, что инициатор и отвечающая сторона — те, за кого они себя выдают. Чтобы перевести их в Lean, требовалась экспертиза в протоколах, которой не обладает ни один 8B-автоформализатор. Когда спецификация появилась, работу над доказательством полностью передали агентам, а проверку — ядру Lean и агенту-привратнику, использующему компаратор для сверки с контрольной копией спецификации.

Во что вам на самом деле обходится использование каждого из них

• Веса — MathForm-8B: доступны для скачивания, лицензия Apache 2.0, четыре шарда safetensors в BF16, дообучена на основе Qwen3-8B. AlphaProof Code: нет. Релиз представляет собой разработку на Lean, семантику AArch64 и привязку libsignal по адресу github.com/google-deepmind/code-verification.

• Запуск — MathForm-8B: Transformers, vLLM или SGLang, все предоставляют OpenAI-совместимый эндпоинт на вашем собственном оборудовании. AlphaProof Code: ни эндпоинта, ни API, ни листа ожидания, ни цены; это исследовательский фреймворк, который, по словам DeepMind, требует «продолжения исследований», прежде чем масштабироваться.

• Входные данные — MathForm-8B: математическое утверждение на естественном языке. AlphaProof Code: формальная спецификация плюс бинарный файл, который требуется доказать на соответствие ей.

• Вывод — MathForm-8B: формулировка теоремы на Lean 4 без доказательства. AlphaProof Code: проверенное машиной доказательство или опровержение, если код сломан.

• Проверка человеком — MathForm-8B: вы проверяете сгенерированное утверждение, и при согласованности 72,37% вам придётся проверять многие из них. AlphaProof Code: эксперты проверяют каждую спецификацию до начала работы над доказательством, затем агенты помечают около 1% кодовой базы для повторного просмотра.

• Известные ограничения — MathForm-8B: только математические утверждения, без генерации доказательств; репозиторий кода, указанный в его README, на момент выпуска всё ещё был заглушкой. AlphaProof Code: нет постквантовой гарантии для восстановления SPQR, нет конфиденциальности полезной нагрузки, одна сессия на одно повышение, а оценка подделки MAC теряет смысл вблизи 25 000 сообщений в одной сессии.

Разрыв, который MathForm-8B должна была бы сократить

Соблазнительно сказать, что автоформализатор мог бы написать спецификации Signal и сэкономить исследователям недели предварительной работы. Сама статья утверждает иное, и причина конкретна. Спецификация протокола — это не пересказ утверждения; это выбор модели противника. В работе по Signal есть символический трек в модели Долева–Яо с квантовым атакующим, который взламывает Diffie–Hellman после рукопожатия, и вычислительный трек с классическими противниками и конкретной оценкой. Эти два трека формулируют разные теоремы об одном и том же коде, и выбор между ними — инженерное решение с последствиями для безопасности. Никакая модель, обученная превращать «докажите, что x² ≥ 0» в Lean, такое решение не примет.

Что автоформализатор, вероятно, мог бы делать, — это механическую часть этой работы: получив цель безопасности, изложенную прозой, и библиотеку существующих определений Lean, выдавать первый черновик утверждения в идиоме самого проекта, чтобы эксперт мог его исправить. Это реальная экономия, но гораздо меньшая, чем намекает заголовок. В статье сообщается о каталоге отклонений от спецификации, содержащем более 200 вычислительных записей и около 35 символических — пятнадцать из них являются пробелами или ошибками в анализе Double Ratchet, — и именно это обнаружил этап человеческой проверки. Модель, которая составляет черновики утверждений, должна оцениваться по этому каталогу, а не по показателю Pass@8 на математических бенчмарках.

Где эти два числа вообще несопоставимы

88,06% у MathForm-8B и 6,5 млн строк у AlphaProof Code измеряют разные вещи, и их ни в коем случае нельзя ставить в один столбец. Одно — это доля попаданий в набор бенчмарков, созданный авторами; другое — объём доказательств, произведённых для одной цели. Поставщик честно признаёт, что 88,06% опирается на синтаксическую проверку, а это слабый критерий — утверждение может скомпилироваться и при этом формализовать неверное утверждение, поэтому показатель согласованности на 16 пунктов ниже.

Близкий по духу пример — это валидационная работа в AlphaProof Code: два ранее исправленных бага Signal — баг слабого состояния и баг малой подгруппы — были повторно внесены в изолированную копию, и в обоих случаях система выдала проверенное машиной доказательство того, что версия с багами не соответствует теореме безопасности. Это негативный тест, а негативного теста как раз совершенно не хватает бенчмарку автоформализатора. MathForm-8B не сообщает ни о каком результате вида «при заведомо неверном утверждении модель указала на это».

Как бы вы на самом деле использовали их вместе

Конкретно, и это единственная часть сравнения, у которой есть путь в ближайшей перспективе: используйте автоформализатор для составления черновика, мощную универсальную модель для критики черновика и агента-доказателя, чтобы попытаться доказать. У каждого этапа свой тип отказа, и маршрутизация всех трёх через один ключ — это практическое удобство. На OrcaRouter, более 200 моделей доступны через единый API по прайс-листовой цене провайдера с наценкой 0%, поэтому цикл составления спецификации, который отправляет одно и то же утверждение двум моделям и сравнивает их Lean, — это вызов в routing-DSL, а не три контракта и три SDK. Автоматическое переключение при сбое покрывает случай, когда выбранная вами модель переживает не лучший день.

То, чего ничего из этого не даёт, — это гарантии. MathForm-8B даёт вам утверждение, модели дают критику, и всё ещё что-то должно это доказать. В настоящее время единственная опубликованная система, которая замыкает этот цикл на реально развёрнутом коде, — это AlphaProof Code, и она не продаётся.

Почему стоит прочитать обе статьи, а не выбирать победителя

{{1}}MathForm-8B{{/1}} — полезный артефакт с узкой задачей и реальным, измеренным потолком точности. {{2}}AlphaProof Code{{/2}} — демонстрация рабочего процесса, наиболее переносимый вывод из которой состоит не в объёме доказательств, а в разделении: работа над спецификацией требует людей и сильной универсальной модели, работа над доказательствами требует команд агентов и ядра, и вся сложность сосредоточена именно на границе между ними. Всем, кто строит конвейер верификации, следует серьёзно отнестись к этому разделению и рассматривать автоформализацию как компонент, снижающий стоимость первого этапа, — а не как компонент, который его заменяет.

Честное резюме для команды, которая решает, что скачать в этом месяце: MathForm-8B — да, если вы работаете с Lean и хотите помощника для черновой работы. AlphaProof Code — прочитайте репозиторий артефактов и каталог отклонений от спецификации, потому что этот каталог расскажет вам больше о том, чего формальная верификация production-кода всё ещё не может достичь, чем любое объявление.