Сгенерированная титульная карточка с надписью «AREX-2 против MathForm-8B — два способа проверки», с двумя панелями. Левая панель под заголовком MathForm-8B перечисляет: 8B dense, релиз — август 2026 г.; пишет формулировки теорем на Lean 4; проверяется компилятором Lean; Pass@8 — 88,06% с проверкой синтаксиса. Правая панель под заголовком AREX-2 перечисляет: репозиторий создан 29 сентября 2026 г.; нет файлов, нет карточки; нечего скачивать или запускать; нет показателей для проверки. В нижнем колонтитуле написано: «Первый оценивается компилятором. У второго пока нечего оценивать». Логотип OrcaRouter наложен в правом нижнем углу.
Guides & Insights

AREX-2 против MathForm-8B: Средство проверки доказательств и цикл поиска — это разные виды верификации

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

MathForm-8B и AREX-2 — две наиболее строго верифицируемые модели в этой серии, и они верифицируются противоположными способами. MathForm-8B — это автоформализатор от OpenBMB с 8 миллиардами параметров, выпущенный в августе 2026 года: дайте ему математическую задачу, написанную на простом английском, и он выдаст формально корректную формулировку этой задачи на Lean 4, которую затем проверит компилятор ассистента доказательств. AREX-2 — это репозиторий на Hugging Face, созданный BAAI 29 сентября 2026 года в 17:56 UTC, в котором есть .gitattributes и нет ни весов, ни карточки модели, ни тега лицензии, ни объявления — зарезервированное имя для вероятного второго поколения агентов глубокого исследования AREX от BAAI, первое поколение которых верифицирует себя, перепроверяя собственный ответ на соответствие заданным ему ограничениям.

Итак, интересный вопрос здесь не в том, какая модель лучше. Он в том, что значит для модели быть проверяемой, потому что одну из этих двух проверяет компилятор, которому всё равно, во что кто-либо верит, а другую — если прецедент семейства сохраняется — проверяет цикл, который запускает та же самая модель. Это различие сохраняется, даже несмотря на то, что одна сторона этого противостояния ещё не выпущена, и именно поэтому эти двое вообще оказались в одном разговоре.

Сторона, которая существует, и причина, по которой её можно проверить

MathForm-8B имеет узкое назначение, и его стоит сформулировать точно, потому что узость — это и есть суть. Она не решает математические задачи и не претендует на это. Она была дообучена на FormalVerse — корпусе из примерно 367 000 проверенных примеров на Lean 4, — и её обучающая награда исходила от компилятора Lean, а не от модели человеческих предпочтений. Получив неформальную формулировку, она выдаёт импорты, типы и заголовок теоремы — оставляя саму обязанность доказательства открытой — чтобы компилятор мог подтвердить, что формализация соответствует тому, что говорилось в неформальной задаче.

Её опубликованные показатели — все заявленные производителем OpenBMB и ни один не воспроизведён независимо — это средний Pass@8 88,06 % при синтаксической проверке и 72,37 % при более строгой проверке согласованности по шести бенчмаркам, с падением до 63 % и 37 % на самых сложных подмножествах FATE-H и FATE-X. Читайте их как то, чем они являются: модель, измеряемая относительно формальной системы, где неправильный ответ — это отказ компиляции, а не разногласие о качестве. Это редкое свойство. Большинство утверждений о бенчмарках в этом блоге опираются на оценщика, которому приходится доверять; это же опирается на арифметику, которую выполняет машина.

Сторона, которой ещё не существует, и почему её верификация отличается

Единственные подтверждаемые факты об AREX-2 — это организация, название и временная метка. Ничего не было загружено, и BAAI ничего не сказал. Однако семейство, стоящее за этим названием, действительно существует, и оно вышло 23 июля 2026 года как AREX-Base — смесь экспертов на 122 миллиарда параметров с 10 миллиардами активных параметров на базе Qwen3.5-122B-A10B — вместе с AREX-Turbo, плотной моделью на 4B. Обе под Apache 2.0, обе — агенты, а не чат-модели.

Дизайн AREX представляет собой двухконтурную исследовательскую структуру, где внешний контур — это этап верификации. Внутренний контур собирает свидетельства из поиска и просмотра, интегрирует их и формирует кандидатный ответ с прикреплённым показателем уверенности. Затем внешний контур проверяет этот кандидат на соответствие исходным ограничениям и решает: принять его, уточнить или отбросить траекторию и начать заново. Между итерациями модель поддерживает контекстный блок из проверенных находок, открытых кандидатов, неразрешённых ограничений и следующего плана — именно это позволяет ей вести длительную линию исследования, не теряя нить. BAAI сообщает 82,5 в BrowseComp, 85,4 в GAIA и 89,9 в DeepSearch QA для Base и 70,7 / 81,6 / 78,5 для Turbo — собственные цифры вендора, независимо не воспроизведённые.

Это реальная и полезная форма самопроверки. Она также принципиально слабее компилятора. Когда внешний цикл AREX решает, что ответ удовлетворяет его ограничениям, суждение исходит от языковой модели, читающей ограничения. Когда Lean принимает формализацию MathForm-8B, суждение исходит от средства проверки типов, реализующего фиксированное исчисление. Ни то, ни другое не свободно от ошибок — формализация может быть корректным Lean-кодом, который выражает не ту теорему, — но только одно из них может быть ошибочным так, что никто этого не заметит, и это различие не является вопросом степени.

• Доступность — MathForm-8B можно скачать с OpenBMB вместе с опубликованной карточкой. AREX-2 — это репозиторий, в котором нет ни одного файла.

• Параметры — 8B dense для MathForm-8B. Для AREX-2 неизвестно; семейство охватывает смесь экспертов на 122B и dense-модель на 4B.

• Что он выдаёт — формулировки теорем Lean 4 для MathForm-8B, при этом доказательство намеренно оставлено открытым. Для AREX-2 неизвестно; в первом поколении был получен проработанный ответ с оценкой уверенности.

• Как это проверяется — компилятор Lean, для MathForm-8B. Цикл верификации внутри той же модели, по данным AREX-Base.

• Лицензия — собственные условия OpenBMB для MathForm-8B; для AREX-2 пока ничего не заявлено. Первое поколение AREX распространялось под Apache 2.0.

• Ключевые показатели 88,88% с проверкой синтаксиса и 72,37% с проверкой согласованности Pass@8 для MathForm-8B, по данным производителя. Для AREX-2 таких данных нет.

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

Две задачи, которые стек может хранить одновременно

Эти модели не пересекаются по функциям, и об этом стоит сказать прежде, чем кто-либо воспримет «versus» как выбор. MathForm-8B — это фронтенд для ассистента доказательств. Его вывод — это формулировка теоремы, с которой затем работает математик или автоматический доказыватель. Его естественное место — внутри конвейера верификации для математики, формальных методов или работы со спецификациями, где ценность в том, что нижестоящий инструмент может использовать вывод, не доверяя модели.

AREX-2, если он продолжит своё семейство, — это бэкенд для вопросов, у которых нет компилятора. «Какое из этих трёх поданных документов не согласуется с двумя другими» не имеет формальной системы, с которой его можно сверить, и единственная доступная защита — собирать больше доказательств и перепроверять собственные рассуждения; именно этим и является внешний цикл AREX. Команда, которой нужно и то и другое, запускала бы их в разных местах: формализацию — для той части проблемы, которую можно сделать формальной, и агента поиска и проверки — для той, которую нельзя.

Это разделение также является честным ответом на то, с чем из этого вы можете работать на этой неделе. MathForm-8B уже выпущен, документирован и доступен для использования сейчас. AREX-2 — это лишь название.

Как выглядит история маршрутизации, когда предметом является верификация

Поскольку эти два используются настолько по-разному, вопрос об инфраструктуре тоже распадается.

Для MathForm-8B нагрузка — это всплеск коротких детерминированных генераций, вывод которых идёт напрямую в компилятор. Важно то, что модель доступна и что неудачный вызов повторяется, потому что конвейер формализации, потерявший запрос, выглядит точно так же, как конвейер формализации, давший сбой, — а фактом о модели является лишь один из этих случаев. Именно автоматическое переключение при сбое между провайдерами — та самая функция, которая не даёт перепутать эти два случая. Сегодня OrcaRouter не предоставляет ни MathForm-8B, ни AREX-2, поэтому веса OpenBMB берутся из собственной дистрибуции OpenBMB, а любой хостируемый эндпоинт — чужой; мы предлагаем маршрутизацию перед ними, с прозрачной передачей прайс-листовой цены провайдера и без каких-либо наценок за токен.

Для такого агента, как AREX-Base, картина сложнее, и аргументы в пользу маршрутизации сильнее. Траектория глубокого исследования порождает десятки вызовов модели на запрос, каждый из которых перечитывает контекст, растущий по мере накопления доказательств, а режимы отказа усугубляются: провайдер, у которого истекает время ожидания на девятнадцатом шаге из двадцати пяти, не ухудшает ответ, а порождает уверенно неверный. Это аргумент в пользу того, чтобы поместить цикл за одним API для более чем 200 моделей с правилом аварийного переключения, которое принимает решение во время выполнения, так что один плохой провайдер — это повторная попытка, а не плохая ссылка.

Единственное, за чем нужно следить, и единственное, чего не следует предполагать

Три факта ответили бы на большинство открытых вопросов об AREX-2, и все три видны извне: появятся ли файлы в том репозитории, какое число параметров заявлено в карточке и несёт ли она тег Apache 2.0, который был у двух её предшественников. Пока этого не произойдёт, единственное, что можно утверждать об AREX-2, — это то, что BAAI зарезервировала это название 29 сентября 2026 года и ничего не объявила.

Не следует предполагать, что второе поколение наследует форму первого. «2» — это название продукта, а не архитектура. Оно может быть больше, чем 122B Base, или представлять собой небольшой дистиллят того же фреймворка — и, учитывая, что семейство уже одновременно выпустило и уровень качества, и уровень затрат на обслуживание, обе трактовки правдоподобны. А вот что неправдоподобно в данный момент, так это публикация спецификации для него.