Beam 1.0 против MathForm 8B: ошибки одной модели ловит компилятор

Попросите MathForm 8B формализовать теорему, и ответ — либо утверждение на Lean 4, которое компилируется, либо нет. Попросите Beam 1.0 исправить баг, и ответ — либо работающий дифф, либо нет, и расстояние между этими двумя вещами — это вся разница между этими моделями. MathForm 8B — это модель автоформализации от OpenBMB с 8,19 млрд параметров, построенная на Qwen3-8B от Alibaba и обученная на FormalVerse, корпусе примерно из 367 000 проверенных примеров Lean 4, с помощью дообучения с учителем, за которым следует обучение с подкреплением на компиляции Lean и обратной связи по семантической согласованности; она была опубликована 14 августа 2026 года под лицензией Apache 2.0. Beam 1.0 — это разреженная модель смеси экспертов от Reflection с 501,3 млрд параметров и 23,4 млрд активных параметров на токен, анонсированная 5 октября 2026 года и выпущенная в виде загружаемых весов 16 октября 2026 года, также под лицензией Apache 2.0. Соотношение размеров — 61 к одному, и это самое неинтересное число на странице.

Самое интересное в том, что MathForm 8B выдаёт результат, который машина может оценить, не доверяя никому, а Beam 1.0 — нет. Всё нижеизложенное следует из этого.

Что каждую модель просят создать

У MathForm 8B один контракт по выходу. Она принимает математическое утверждение, записанное обычной прозой, и возвращает утверждение Lean 4 — заголовок, именованную теорему, гипотезы и цель. Обучающий пайплайн построен вокруг этой формы: извлечение знаний из Mathlib, чтобы привязать утверждение к существующим определениям, компиляция и семантическая верификация, чтобы отбраковывать плохие кандидаты, итеративное уточнение, чтобы их исправлять, а затем реконструкция траекторий, чтобы превратить выжившие примеры в обучающие данные. В статье сообщаются показатели модели: 88,06% среднего Pass@8 при синтаксической проверке и 72,37% при проверке согласованности на шести бенчмарках. Это числа OpenBMB, никем больше не воспроизведённые и смещённые в сторону более простых наборов в оценке, — но это числа о задаче, у которой есть правильный ответ.

У Beam 1.0 такого контракта нет. Это универсальная модель: в её карточке описывается шаблон чата, формат передачи в стиле Harmony с каналами analysis и final, шесть уровней усилия рассуждения, сопоставленных с бюджетами токенов 8, 32, 64, 128, 256 и 512, и соглашение о вызове инструментов, согласно которому функции объявляются как плоский TypeScript и вызываются в XML-телах. Её оценка охватывает агентное программирование (SWE-bench Verified 81.6% на BF16, Terminal Bench v2.1 80.1, SWE Bench Pro v1 66.1, DeepSWE v1.1 43.3), рассуждения (GPQA Diamond 90.6, AIME 2026 97.7, LiveCodeBench 88.3), использование инструментов (MCP Atlas 80.8) и общие способности (LongBench v2 67.5, IFBench 79.6). Все эти цифры — собственные данные Reflection. Является ли код, который она пишет, *корректным*, устанавливается путём его запуска, проверки или выпуска и выяснения на практике.

Итак: у одной модели отказы сразу дают о себе знать. У другой — это обычные программные сбои, которые проявляются позже, на ревью или в продакшене, и выглядят как любой другой баг, который у вас когда-либо был.

Бенчмарки не пересекаются, и это и есть вывод.

Сравните два оценочных набора — и вычитать почти нечего.

• По каким критериям оценивается Beam 1.0 — решение задач масштаба репозитория, терминальные задачи, соревновательное программирование, научные вопросы уровня выпускника, оркестрация инструментов, запоминание длинного контекста и следование инструкциям.

• По каким показателям оценивается MathForm 8B — точность формализации Pass@8 при проверке синтаксиса и при проверке семантической согласованности, на шести математических бенчмарках, в сравнении со специализированными базовыми моделями от 7B до 32B из статьи.

• Пересечение — практически нулевое. Нет ни одной строки, где обе модели были измерены одним и тем же субъектом на одной и той же задаче, и не будет, потому что одна измеряется по общим возможностям, а другая — по одному проверяемому преобразованию.

• Единственное общее измерение, которое концептуально действительно существует, — рассуждение — измеряется на разных популяциях. Показатель Beam 1.0, равный 90,6 на GPQA Diamond, — это балл за научный тест с множественным выбором. Показатель согласованности MathForm 8B, равный 72,37%, — это проверка формализации. Ни один из них не предсказывает другой.

Вот почему сравнение размеров здесь было бы не просто нелестным, а вводящим в заблуждение. Beam 1.0 в шестьдесят один раз больше этой модели, и он вообще не способен выполнять работу MathForm 8B, если его этому не обучить: контракт вывода настолько узок, что общая способность не может его заменить. Универсальная модель на 501B, которую попросят выдать именованную теорему Lean с корректным заголовком, произведёт нечто правдоподобное на вид и часто ошибочное, а для помощника доказательств это худший из возможных режимов отказа.

Что нужно иметь, чтобы запустить любой из них

MathForm 8B наследует лицензию Qwen3-8B, которую Hub указывает как Apache 2.0, и вот практическое обоснование: 8,19 млрд плотных параметров, модель только на английском, сужение бюджета генерации до вывода на Lean, а не общих рассуждений, и загрузка, а не кластер. Его основа, Qwen3-8B, — это то, что читатель иначе развернул бы у себя: универсальная модель на 8B с нативным контекстом 32K, расширяемым до 131K, и поддержкой 119 языков. MathForm 8B отдаёт почти всё это ради одного навыка.

Beam 1.0 нужно где-то разместить. В карточке модели указаны 52 слоя, 256 экспертов, из которых восемь маршрутизируются на токен, словарь на 152 000 токенов, отсечка знаний на 30 июня 2026 года и контекстное окно на 1 000 000 токенов. Она поставляется в трёх вариантах весов — BF16 на 501,3 млрд, FP8 на 501,3 млрд, NVFP4 на 255 млрд — плюс 2-миллиардный драфтер DFlash2 для спекулятивного декодирования. В карточке нет рекомендаций по обслуживанию, и нигде на ресурсах Reflection не опубликована цена API; на странице модели у Artificial Analysis поля с ценой указаны как недоступные и отмечено, что публично доступного API не существует. Именно четырёхбитная сборка делает эту покупку реалистичной, а не гипотетической, и речь всё равно идёт о GPU.

OrcaRouter не маршрутизирует ни одну из этих двух моделей, и эта страница не подразумевает обратного. Мы маршрутизируем тот уровень обслуживания, за пределами которого находятся эти две: более 200 моделей за одним ключом, совместимым с OpenAI, по прейскурантной цене провайдера с 0% наценки, так что снижение цены поставщиком отражается в вашем счёте в день его объявления. Для команды, чья реальная потребность — модель, которая отвечает сегодня, а не чекпоинт, который скомпилируется завтра, это та строка, которую это сравнение не может предоставить.

Разница в проверяемости, простыми словами

Вот асимметрия, сформулированная как операционный факт, а не как бенчмарк.

Выходные данные MathForm 8B попадают в конвейер, в котором есть шлюз. Компилятор Lean либо принимает утверждение, либо отклоняет его. Проверка семантической согласованности либо проходит, либо не проходит. Плохой результат можно автоматически отбросить, а модель можно оставить в агентном цикле, который повторяет попытки, пока что-то не пройдёт проверку, — именно этому её и обучил этап RL. Цена неправильного ответа — отклонённый образец, а не выпущенный дефект. Это поистине редкое свойство в нынешней области открытых весов, и именно поэтому специализированная модель на 8B может быть полезнее универсальной, которая в сто раз больше неё, внутри конвейера, устроенного по образцу формальной математики.

У результатов Beam 1.0 нет такой проверки. Таблица оценки может рассказать, как часто он решал проблему на GitHub в SWE-bench, но не может сказать, правилен ли патч, который он пишет для вашего репозитория, потому что это вопрос о ваших тестах. В карточке модели необычно подробно описан формат передачи данных и необычно мало сказано о вопросе точности, и это справедливо описывает текущее состояние области: инструменты вокруг агентных моделей программирования хорошо справляются с исполнением кода и плохо — с подтверждением его правильности.

Если в вашей предметной области есть средство проверки — система типов, помощник доказательств, схема, симулятор — то специалист, нацеленный на это средство проверки, часто оказывается загрузкой с большей отдачей. Если его нет, вы покупаете возможности, а за оценку платите сами, и именно более крупная общая модель даёт вам больше таких возможностей.

Выбирая между ними

Выбирайте MathForm 8B, если задача — формализация и ничего больше: превращение корпуса математической прозы в Lean 4, который примет средство доказательства теорем, в масштабе, где человек не может проверить каждое. Объём в 8,19 миллиарда параметров, условия Apache 2.0 и узкая форма вывода — всё это здесь преимущества. Не выбирайте его ни для чего другого: он не ведёт бесед, он не пишет прозу, достойную выпуска, он не работает с 119 языками так, как это делает его базовая модель, и у него нет задокументированных возможностей за пределами единственного преобразования, для которого он обучался.

Выберите Beam 1.0, если работа относится к общему агентному типу — решение задач в больших репозиториях, управление инструментами, выполнение длинных многошаговых планов — и если у вас есть оборудование или партнёр по обслуживанию для 501B MoE. Контекст на 1M токенов, опубликованная таблица оценок и четырёхбитный чекпоинт — всё нацелено на эту нагрузку. Заложите бюджет на токены рассуждений: в шаблоне нет выключателя, по умолчанию при обслуживании используется максимальный уровень усилий, а удаление рассуждений предыдущих ходов задокументировано как ухудшающее вывод.

Выберите оба, если вы строите тот конвейер, которому на самом деле посвящена эта статья. Схема, которая имеет смысл, — это общая модель, выполняющая неоднозначную работу, и проверяемый специалист, выполняющий часть с гейтом — и эти две роли дают сбои по-разному, и это единственная причина, по которой стоит иметь обе.

В чём это сравнение будет выглядеть по-другому через три месяца

Не хватает двух строк, и обе можно датировать. Первая — независимая оценка весов Beam 1.0, которая стала возможна 16 октября 2026 года и до сих пор не состоялась; каждая цифра, которую эта страница приписывает Reflection, по-прежнему имеет единственный источник. Вторая — цена Beam. Модель с таблицей оценки на 501 миллиард параметров и без тарифа с оплатой по мере использования — это модель, на которую большинство команд не может заложить бюджет, и пока Reflection или партнёр по обслуживанию не опубликует его, честное сравнение затрат между этими двумя — это скачивание против аренды, цена которой не объявлена.

Разрыв MathForm 8B — иной, и он не закроется, если просто ждать. Его заявленные показатели — 88,06% по проверке синтаксиса и 72,37% по согласованности — это цифры вендора в задаче с верификатором, а верификация — это и есть продукт: любой, у кого есть модель и установленный Lean, может измерить это самостоятельно, чего не скажешь о большинстве чисел на этой странице. Вот что даёт вам узкий контракт.

Ничего из этого не гипотетично: задокументированные сбои ИИ и инциденты с агентами, стоящие за такими релизами, как этот, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, класс уверенности и флаг оспаривания.