HiRO-ACEv2 vs MathForm 8B: две узкие модели, два вида эталонной истины

Ни HiRO-ACEv2ни MathForm-8B не пытаются быть универсальными моделями, и обе были созданы командами, которые решили, что интересная задача уже, чем у чат-бота. HiRO-ACEv2 — это климатический эмулятор второго поколения от Ai2, выложенный на Hugging Face 12 октября 2026 года в виде репозитория объёмом 10,9 ГБ без анонса, вместе с препринтом, датированным следующим днём. MathForm-8B — это модель автоформализации от OpenBMB, созданная 14 августа 2026 года на базе Qwen3-8B, которая превращает математику на естественном языке в утверждения Lean 4. Одна из них создаёт атмосферу с сеткой 3 км; другая создаёт формальное обязательство доказательства. Причина сравнивать их не в возможностях — их области применения не пересекаются — а в том, что обе утверждают, и что в каждом случае означает нечто совсем иное: что машина может определить, правилен ли результат.

Что на самом деле выдаёт каждая модель

HiRO-ACEv2 реализует двухэтапный конвейер. Авторегрессионный эмулятор генерирует X-SHIELD — глобальную модель, разрешающую штормы, — огрублённую до 100 км; затем отдельно обученная диффузионная модель выполняет даунскейлинг этого грубого состояния до 3 км, создавая осреднённые за шесть часов приземные интенсивности осадков, мгновенные 10-метровые восточную и северную составляющие ветра и давление на уровне моря. В репозитории хранятся даунскейлер в виде HiROv2.ckpt размером около 1,28 ГиБ и грубый эмулятор в виде ACE2S-X-SHIELD.ckpt размером около 2,98 ГиБ, а также десять лет данных форсинга в формате NetCDF, два файла начальных условий и конфигурации YAML, которые связывают их вместе.

MathForm-8B генерирует текст, но вполне определённого рода: формулировку теоремы на Lean 4. В карточке он описан как модель автоформализации, обученная на наборе данных FormalVerse от OpenBMB: сначала с помощью управляемого дообучения, а затем с помощью обучения с подкреплением, вознаграждение в котором формируется на основе компиляции Lean и обратной связи по семантической согласованности. Это плотная модель на 8B под лицензией Apache 2.0, и свой масштаб она наследует от своей базовой модели — Qwen3-8B, — а не от какого-либо опубликованного собственного числа параметров. Рекомендуемые параметры генерации: temperature 0.6, top-p 0.95 и 16 384 новых токенов, на сервере Transformers, vLLM или SGLang; для оценки требуется запущенный Kimina Lean Server и Lean 4.21.0.

Оба намеренно узки. Это первое настоящее сходство — и на нём similarities в основном заканчиваются.

Два вида проверки, и почему один из них разрешает спор

У стороны Lean есть непреклонный верификатор. Формулировка теоремы либо компилируется под Lean 4, либо нет, а проверка типов — это фиксированное исчисление: у него не бывает хороших и плохих дней, и его не нужно калибровать. Именно поэтому обучающий цикл MathForm-8B вообще может использовать компиляцию в качестве сигнала вознаграждения. Опубликованные цифры — это показатели Pass@8 в двух режимах, проверки синтаксиса и проверки согласованности, оценённые на шести бенчмарках; показатель при проверке синтаксиса составляет 88,06%, а при проверке согласованности — 72,37%. Это собственные числа авторов, здесь не воспроизведённые, и разрыв в шестнадцать пунктов между ними — самое информативное, что есть в карточке: формулировка, которая компилируется, — не то же самое, что формулировка, которая говорит то, что означала исходная задача.

У климатической стороны нет такого верификатора. В карточке модели HiRO-ACEv2 нет таблицы бенчмарков. Единственное количественное утверждение в ней состоит в том, что даунскейлер воспроизводит эталонные распределения осадков, ветра на высоте 10 метров и давления на уровне моря вплоть до 99,9999-го процентиля, а также в целом следует эталонному распределению интенсивности тропических циклонов. В статье добавляется, что инференс обходится более чем в 300 раз дешевле, чем традиционная численная глобальная модель, разрешающая штормы.

Каждое из них — это утверждение о распределении относительно эталона, а не тест на прохождение/непрохождение по некоторому исчислению. Именно это различие определяет, как долго каждое утверждение остаётся неоспоренным. Показатель MathForm-8B можно опровергнуть, запустив модель на бенчмарках с сервером Lean и GPU. Чтобы опровергнуть показатель HiRO-ACEv2, нужны десятилетний набор данных о форсинге, эталонная симуляция для сравнения и аналитик, готовый работать в экстремальном хвосте. Первое — неделя работы для аспиранта. Второе — статья.

Что вендоры скажут вам, а что нет

У двух карточек модели противоположные темпераменты, и читать их бок о бок поучительно: это показывает, для чего вообще нужна карточка.

Карточка OpenBMB — это лист заявленных характеристик с разделом об ограничениях. В ней указаны обучающий корпус, структура вознаграждения, рекомендуемые параметры сэмплирования, точная версия Lean и рисунок, показывающий Pass@8 по шести бенчмаркам, — хотя, что примечательно, числа находятся в изображении, а не в тексте, поэтому любой, кто программно спарсит страницу, обнаружит, что метод описан тщательно, а результаты — вообще нет. Чего она не даёт, так это даты выпуска; единственный сигнал о дате где-либо в метаданных — это идентификатор arXiv 2608.14221 и временная метка создания репозитория — 14 августа 2026 года.

Карточка Ai2 — это, по сути, список ограничений. Девять лет обучающих данных, с 2014 по 2022 год, для обоих чекпойнтов. Выходные данные, которые воспроизводят X-SHIELD, а не наблюдения, поэтому они несут смещения эталонной симуляции. Отсутствие ожиданий обобщения за пределами условий форсинга, использованных при обучении, — на чём заостряет внимание статья о v2, отмечая, что эта структура не тестировалась за пределами диапазона от 66° ю. ш. до 70° с. ш. и не может работать за пределами 88° ю. ш. или 88° с. ш. Разрывы на перекрытиях патчей в областях, превышающих обучающий тайл 16×16 из одноградусных ячеек. Примечание о том, что поставляемый в комплекте чекпойнт ACE2S-X-SHIELD протестирован менее строго, чем более ранняя линейка ACE2-ERA5, и что он не предназначен для прогнозирования погоды. И лицензия — Apache 2.0 — с Руководящими принципами ответственного использования Ai2 и позиционированием для исследовательских и образовательных целей.

Одна карточка сообщает, какие оценки набирает модель. Другая — чего она не может делать. Ни та ни другая ничего не скрывает, а читатель, который принимает вторую за более слабый выпуск, неправильно понимает, для чего предназначены эти артефакты.

Та часть, которую действительно можно сравнить: сколько стоит форк

Вот единственная ось, по которой оба релиза можно измерить одинаково, — и она направлена в противоположные стороны.

• Откуда берется основа — MathForm-8B — это полный файнтюн Qwen3-8B, поэтому его происхождение задокументировано в метаданных Hugging Face, а его предок — широко распространенная открытая модель; компоненты HiRO-ACEv2 обучаются в собственном пайплайне Ai2, при этом данные для обучения атрибутируются X-SHIELD, предоставленному GFDL, и в основе нет вышестоящего открытого чекпоинта.

• Сколько рантаймов могут его загрузить — MathForm-8B работает на Transformers, vLLM или SGLang, и сообщество уже выпустило GGUF- и MLX-квантования для llama.cpp и Apple silicon; HiRO-ACEv2 работает через Ai2-овский fme Python-пакет с конфигурациями, указывающими на репозиторий ai2cm/ace, и альтернативного пути нет.

• Как быстро двинулась экосистема — в течение четырёх дней после появления репозитория MathForm-8B сборки GGUF от сообщества уже были в сети, а 4-, 6- и 8-битные конвертации MLX появились вслед за ними в течение двух недель; у репозитория HiRO-ACEv2 один лайк и ни одной загрузки спустя два дня после последнего коммита.

• Во что вам обходится получение весов — MathForm-8B загружается как обычный чекпоинт модели и квантуется вплоть до потребительского оборудования; HiRO-ACEv2 — это репозиторий объёмом 10,9 ГБ, большая часть которого представляет собой данные форсинга и начальных условий, а не веса, и он не сжимается.

Закономерность заключается в том, что специализированная для конкретного приложения языковая модель наследует экосистему от своего бэкбона, а специализированный для конкретного приложения физический эмулятор не наследует ничего. Для MathForm-8B работа по обеспечению её запуска была в основном проделана ещё до того, как она появилась. Для HiRO-ACEv2 она начинается с README.

Где слой маршрутизации уместен, а где — нет

Честный ответ здесь асимметричен, и его стоит изложить прямо, а не делать вид, что обе модели равноценны. Сама MathForm-8B в нашем каталоге отсутствует — дообученный чекпойнт распространяется самой OpenBMB и должен работать на вашем собственном сервере рядом с установленным Lean, к которому он обращается. Её предшественник тоже нет в нашем каталоге, и об этом стоит сказать, потому что обычно предполагают обратное: конкретный чекпойнт Qwen3-8B, на основе которого она дообучена, выпущен в 2025 году и не входит в число тех идентификаторов Qwen, которые мы обслуживаем. Что мы действительно маршрутизируем — это актуальное поколение Qwen вокруг него: уровни Qwen3.8 и Qwen3.5 и чекпойнт Qwen3-VL-8B-Instruct, относящийся к тому же масштабу 8B и той же линейке, по цене $0.18 за миллион входных токенов и $0.70 за миллион выходных при контексте в 131 072 токена.

Это тот слой, который действительно нужен конвейеру формализации. Разбиение учебника на утверждения-кандидаты, извлечение неформальной теоремы из статьи до того, как она попадёт в автоформализатор, или превращение сообщения об ошибке Lean в диагноз — это обычные вызовы языковой модели, и они могут выполняться через тот же ключ, что и всё остальное. HiRO-ACEv2 не маршрутизируется и никогда не будет в текущем виде, потому что нет запроса, тарифицируемого по токенам, который можно было бы маршрутизировать — 10,9 гигабайта чекпоинтов и shell-скрипт — это не эндпоинт.

Что вам даёт один ключ, охватывающий более двухсот маршрутизируемых моделей, в конвейере, построенном вокруг любого из этих двух, — это то, что сопутствующая работа становится вызовом, а не проектом: цена по прайс-листу провайдера передаётся без наценки, переключение между провайдерами при сбое происходит автоматически, а скрипту, который управляет ансамблем или запуском формализации, не нужен второй договор с поставщиком, чтобы резюмировать собственные выходные данные.

На что обратить внимание с каждой стороны

Число, которое имело бы значение на стороне Lean, было бы независимым воспроизведением показателей 88,06 и 72,37 группой, не заинтересованной в рецепте обучения, в идеале — с разбивкой по каждому бенчмарку, а не усреднённым в единый Pass@8, потому что сбои автоформализации кластеризуются по математическим областям, а среднее скрывает именно ту закономерность, которая нужна практику. Число, которое имело бы значение на климатической стороне, было бы сравнением с численной моделью штормового разрешения, запущенной на том же оборудовании кем-то, кроме авторов эмулятора, поскольку утверждение о 300-кратном инференсе — это то, что решает, будет ли этот метод принят в операционную практику.

До тех пор обе модели лучше всего читать в том ключе, который задают их собственные карточки. MathForm-8B — сильный автоформализатор, за выводом которого стоит компилятор, и интересный вопрос о нём заключается в том, как часто скомпилированное утверждение говорит именно то, что нужно, а не просто является истинным. HiRO-ACEv2 — исследовательский эмулятор, который только что добавил ветер и давление к тому, что раньше было выводом только осадков, и интересный вопрос заключается в том, физически ли согласуются добавленные поля с осадками, вместе с которыми они выдаются, — то, чего не сообщила бы никакая таблица бенчмарков, даже если бы такая существовала.

Подобные сравнения также выявляют режимы отказа: документированные инциденты с ИИ и сбои агентов, стоящие за моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, степень серьёзности, оценку достоверности и флаг оспаривания.