ZoomGain-9B против MathForm 8B: два 9B-чекпоинта, которые не справятся с задачами друг друга

За ZoomGain-9B и MathForm-8B стоит вопрос с подвохом: обе — примерно девятимиллиардные дообученные модели, опубликованные в пределах одного 80-дневного окна, обе — исследовательские релизы из китайских лабораторий с лицензией, близкой к Apache-2.0, и приложенной статьёй, обе дообучены с помощью обучения с подкреплением на нескольких тысячах примеров, и обе имеют оценку в бенчмарке, которая выглядит невозможной для их размера. Возникает соблазн их ранжировать. Проблема в том, что одна из них никогда не видела изображений, а другая — доказательств на Lean, поэтому у ранжирования нет оси.

ZoomGain-9B — это визуально-языковой чекпоинт inclusionAI от 10 ноября 2026 года, обученный методом GRPO на 9000 вопросах, извлечённых из деталей обрезанных изображений, а его самый сильный заявленный результат — 90,25 на HR-Bench 4K. MathForm-8B — это автоформализатор OpenBMB от 14 августа 2026 года, обученный с помощью контролируемого дообучения с последующим обучением с подкреплением на примерно 367 000 примерах Lean 4, а его самый сильный заявленный результат — среднее значение 88,06% по синтаксической проверке pass@8 на шести бенчмарках автоформализации. Ни одно из этих чисел ничего не говорит о другой модели. Их связывает нечто более полезное, чем рейтинг: оба релиза делают необычно похожие заявления о том, как небольшая дообученная модель может превзойти гораздо более крупную универсальную модель, а способы обоснования этих заявлений различаются достаточно сильно, чтобы понять, какому из них в чём доверять.

Пустые столбцы, названные

ZoomGainBench не содержит чисто текстовой модели. Это набор вопросов о фотографиях — распознавание атрибутов, подсчёт и OCR — поэтому модель без визуального энкодера не может быть заявлена, и MathForm-8B не была. И наоборот, шесть оценочных бенчмарков MathForm — это FormalMATH, ProverBench, CombiBench и три разбиения FATE, все они представляют собой задачи перевода с естественно-языковой математики на Lean 4. ZoomGain-9B никогда не запускалась ни на одном из них, и нет причин полагать, что она показала бы хорошие результаты, поскольку ничто в её обучении не было связано с формальными языками.

Это не формальность в отношении бенчмарков. Это вся суть решения. Если на выходе вашей задачи — изображение, а на входе — короткий фактический ответ, то MathForm-8B — это текстовая модель, которая не может за это взяться. Если на входе вашей задачи — математическое утверждение, а на выходе — проверяемое машиной доказательство на Lean 4, то ZoomGain-9B — это визуальная модель, которой такая задача никогда не ставилась. Здесь нет пересечения, которое можно было бы измерить, а значит, честное сравнение касается конструкции, обоснованности и эксплуатационных затрат — и они, как выясняется, сильно различаются.

Два рецепта RL, оба небольших, и чем они отличаются друг от друга

Обучающий набор ZoomGain состоит из 9 000 записей по 7 713 исходным изображениям. Одна эпоха, размер батча 64, восемь прогонов на вопрос, GRPO с наградой, которая проверяет, совпадает ли выбранный вариант с эталонным ответом. Данные были сгенерированы, а не размечены: несколько моделей находят область, кропы получают подписи и сравниваются с подписями полной сцены, а детали, которые выявляет кроп, становятся вопросами о полном изображении. Участие человека ограничивалось только скринингом — в статье прямо указано, что ручное редактирование вопросов и ответов не проводилось.

Обучающая выборка MathForm — FormalVerse, около 367 000 проверенных примеров Lean 4. Сначала дообучение с учителем, затем обучение с подкреплением с обратной связью от компиляции Lean и проверки семантической согласованности. При подготовке данных использовался поиск по Mathlib перед генерацией и итеративное уточнение после неё, а диагностические сообщения компилятора направляли правки.

• Базовая модель — ZoomGain-9B дообучена на основе Qwen3.5-9B (32 слоя, скрытый размер 4 096, промежуточный размер 12 288, 262 144 позиции, схема внимания 3:1 от линейного к полному). MathForm-8B дообучена на основе Qwen3-8B (36 слоёв, только полное внимание, скрытый размер 4 096, промежуточный размер 12 288, 40 960 позиций, 32 головы запросов против 8 голов KV при размерности головы 128, rope theta 1e6).

• Общие размерности — обе модели наследуют от своих родителей Q​wen скрытую ширину 4 096 и промежуточную ширину 12 288; это самое поразительное совпадение между ними, и оно является свойством семейства, а не результатом тонкой настройки.

• Словарь — 248,320 токенов у ZoomGain-9B против 151,936 у MathForm-8B. У MathForm словарь поколения Qwen3, и это важно: код Lean 4, математические символы Unicode и токены доказательств токенизируются в каждом из них по-разному.

• Контекст — в карточке ZoomGain-9B ничего не указано, а его конфигурация заявляет 262 144; конфигурация MathForm-8B заявляет 40 960, а рекомендуемая команда обслуживания ограничена 16 384 при max_new_tokens в 16 384 токена. Для автоформализации ограничивающим фактором является длина вывода, а не длина ввода.

• Модальность — изображение и текст на входе, текст на выходе у одной; текст на входе, текст на выходе у другой.

• Лицензия — {{1}}ZoomGain-9B{{/1}}: код Apache 2.0, условия для контрольной точки отложены, а в метаданных Hub нет тега лицензии. {{2}}MathForm-8B{{/2}}: Apache 2.0 с файлом LICENSE в репозитории.

• Дистрибуция — ZoomGain-9B доступна в BF16, а также в GGUF в вариантах F16, Q8_0 и Q4_K_M. MathForm-8B имеет BF16 safetensors в четырёх шардах общим объёмом около 16,4 ГБ, а также GGUF- и MLX-сборки от сообщества, но не имеет собственной квантованной версии от поставщика.

Цифры MathForm-8B — и почему их проще проверить, чем кажется

OpenBMB сообщает о среднем показателе pass@8 при проверке синтаксиса 88,06% и pass@8 при проверке согласованности 72,37% по своим шести бенчмаркам. В той же таблице ReForm-8B достигает 81,76 и 66,21, Goedel-Formalizer-V2-32B — 78,28 и 63,74, а StepFun-Formalizer-32B — 63,65 и 44,47. Три разбиения FATE — это место, где специализированные модели терпят крах, а MathForm — нет: FATE-X показывает 54,00 по синтаксису и 37,00 по согласованности против 45,00 и 21,00 у ReForm-8B.

Две вещи делают эти цифры более убедительными, чем типичная таблица от производителя. Во-первых, задачи механистичны в том смысле, в каком задачи восприятия — нет: утверждение Lean 4 либо компилируется, либо нет, а проверка согласованности сравнивает смысл с исходным предложением. Бенчмарк, который частично проверяется машиной, труднее оценить с неоправданным оптимизмом. Во-вторых, в статье утверждается, что модель, обученная только на SFT, хуже: MathForm-8B-SFT набирает 84,38 по синтаксису и 66,53 по согласованности, так что этап RL выполняет измеримую работу, а не просто украшает уже готовую модель.

Есть также сравнение, которое стоит процитировать, потому что оно идёт вразрез с собственной подачей модели. На тех же шести бенчмарках Qwen3.7-Plus — коммерческий эндпоинт общего назначения — набирает 86,33 по синтаксису и 83,38 по согласованности. MathForm-8B превосходит его по синтаксису на 1,7 балла и уступает по согласованности на 11 баллов. Специализированная дообученная модель выигрывает в задаче на точное совпадение и проигрывает в той, где требуется, чтобы формализация означала то же, что и исходник. Если вашему конвейеру нужно утверждение, которое компилируется, небольшая специализированная модель — выгодное решение. Если ему нужно утверждение, которое сохраняет верность исходнику, универсальная модель с поиском всё ещё может быть впереди.

Показатели ZoomGain-9B, с той же методикой учёта

Авторы сообщают о 90,25 на HR-Bench 4K против 82,13 у базовой модели, 93,19 на V*Bench против 86,91, 56,31 на VisualProbe против 44,66, 70,00 на MMVP против 60,00 и 68,12 на O3-Bench против 56,52. Среднее по тринадцати отложенным бенчмаркам составляет 66,10 против 59,75. На ZoomGainBench — бенчмарке, построенном по тому же пайплайну, что и обучающие данные, — модель набирает 55,48, и в статье этот столбец обозначен как «Held-in», а не замалчивает это различие.

Структурное отличие от доказательной базы MathForm состоит в том, что бенчмарк ZoomGain не является машинно-проверяемым таким же образом. Ответы на вопросы с множественным выбором проверяются на точное совпадение, подсчёт — на точное совпадение с целым числом, а OCR оценивается по ANLS, — но сами вопросы сгенерированы, и собственная проверка авторов состоит в том, что ответы можно верифицировать на обрезанном изображении. Сгенерированный вопрос с проверенным ответом всё равно остаётся сгенерированным вопросом.

Оба релиза были частично созданы с использованием моделей в роли аннотаторов. В приложении ZoomGain перечислены роли: Qwen3.5-397B-A17B — для описания сцен, grounding и финальной проверки MCQ; Qwen3-VL-235B-A22B-Instruct и Kimi-K2.6 — для проверки по кропам и ответов вслепую; DeepSeek-V4-Pro — для кластеризации дистракторов. FormalVerse от MathForm был построен конвейером, который извлекает данные из Mathlib, а затем позволяет компилятору отбраковывать неудачные генерации. Один конвейер опирается на верификатор, который невозможно уговорить согласиться; другой — на модели, проверяющие работу других моделей, причём люди участвуют только в скрининге.

Обслуживая их — в терминах, о которых спросит ваша операционная команда.

ZoomGain-9B занимает 18,82 ГБ в BF16 и работает под vLLM 0.19.1 с transformers 5.7.0 — точные версии авторов — либо в сборке llama.cpp с поддержкой мультимодальности Qwen3.5, используя файлы GGUF плюс проектор. Его основа с преобладанием линейного внимания обеспечивает умеренный размер KV-кэша при больших длинах последовательности, а это именно то свойство, которое важно, когда один запрос несёт изображение высокого разрешения, а не длинный документ.

MathForm-8B занимает около 16,4 ГБ в BF16; модель обслуживается через vLLM с максимальной длиной модели 16 384 или через SGLang с тем же контекстом, при temperature 0.6 и top-p 0.95 с бюджетом вывода в 16 384 токена. Для её оценки требуется запущенный Kimina Lean Server и Lean 4.21.0 — и именно эту часть люди недооценивают: вы разворачиваете не просто модель, а рядом с ней целую цепочку инструментов Lean. Обратная связь от компиляции служит сигналом вознаграждения во время обучения и критерием приёмки во время оценки, поэтому pipeline без Lean не может измерить, работает ли эта модель.

Ни того, ни другого сегодня нет в каталоге OrcaRouter, и эта статья этого и не утверждает. Что мы можем — это маршрутизировать сопутствующую работу. Документный конвейер, который читает отсканированную страницу, а затем проверяет расчёты на ней, состоит из двух половин: вызова зрения и вызова рассуждения. Один ключ к более чем 200 моделям по прайсовой цене провайдера без наценки, правило маршрутизации, которое направляет каждую половину в конечную точку, соответствующую вашей планке, и автоматическое переключение при сбое, если любая из них зависнет — это слой, лежащий в основе обеих половин, и именно поэтому конвейер из двух моделей не обязательно означает двух поставщиков и два контракта.

Какой скачать

Выбирайте MathForm-8B, если ваша задача формальная и ваш инструментарий уже Lean. Доказательства сильнее, лицензия однозначна, вывод можно проверить машинно, а 11-пунктовое отставание по согласованности от универсальной модели — это реальное ограничение, о котором стоит знать до того, как вы сделаете выбор. Выбирайте его особенно для разбиений FATE, где специализированные базовые модели падают до 21% согласованности, а он держит 37%.

Выбирайте ZoomGain-9B, если ваша задача — деталь внутри изображения, а ответ короткий. Его прирост на отложенной выборке правдоподобен для 9 000 образцов, его бенчмарк можно скачать, так что вы можете сами проверить это утверждение, а лицензия — единственное, что обязательно нужно прочитать перед выпуском. Не выбирайте его в расчёте на универсального визуального ассистента; ничто в релизе это не проверяет.

И если вы надеялись получить вердикт о том, какая из моделей с девятью миллиардами параметров лучше, примечания к выпуску отвечают на это лучше любого рейтинга: они были созданы для проверки по разным видам эталонной истины, и только одна из этих эталонных истин компилируется.