ZoomGain-4B против Qwen3.8-27B: преимущество в 11 пунктов объясняется набором данных, а не моделью

Число, из-за которого это противостояние заслуживает целой страницы, — 55,81 против 44,81. В ZoomGainBench — наборе из 1 000 вопросов на тонкие детали, опубликованном вместе с принадлежащей inclusionAI моделью ZoomGain-4B, визуальная модель с 4,54 млрд параметров набирает на одиннадцать пунктов больше, чем Qwen3.8-27B, плотная модель с 27,78 млрд параметров, которую Alibaba выпустила под Apache 2.0 в августе и которая читает изображения и видео, а также текст. В шесть раз больше параметров — и она проигрывает одиннадцать пунктов. Прочитайте статью, породившую оба числа, и разрыв перестаёт быть заявлением о зрении: ZoomGainBench был построен тем же автоматизированным конвейером, который генерировал обучающие данные ZoomGain-4B, авторы сами говорят об этом в своём абляционном исследовании, а модель, с которой они на самом деле соревновались, — вовсе не Qwen3.8-27B, а другой набор данных.

Это не опровержение. Это самое полезное в релизе, и именно это делает сравнение разрешимым: оно подсказывает, к какой из двух моделей обращаться и какую цифру приводить, когда вас просят обосновать выбор. Далее разделяются три утверждения, которые здесь обычно смешивают: что небольшой специализированный решение превосходит крупное универсальное, что один конвейер данных превосходит другой конвейер данных и что любое из этого — причина менять ваш стек в этом месяце.

Что вышло, и как тихо

Репозиторий ZoomGain-4B был создан на Hugging Face 10 ноября 2026 года в 11:38 UTC и в последний раз изменён 11 ноября. Статья, arXiv 2611.14076, была подана 10 ноября. GGUF-репозиторий был затронут в 03:13 UTC 11 ноября. На момент написания оба репозитория показывают ноль загрузок и ноль лайков, к модели не привязан ни один провайдер инференса, и для неё не существует ни анонсирующего поста от вендора, ни записи в блоге, ни пресс-релиза. Собственный список Updates в карточке модели, датированный 11 ноября, — единственное объявление: три строки о том, что статья, бенчмарк, RL-датасет и чекпойнты вышли.

Итак, честная формулировка такова: это было выпущено тихо и не было анонсировано. Всё ниже, что происходит из репозитория, можно проверить уже сегодня; всё, что касается поведения модели вне тестового стенда авторов, пока не подтверждено, поскольку никто за пределами Ant Group и Чжэцзянского университета не запускал её и не сообщал о результатах.

Перед началом сравнения стоит учесть две детали из репозитория, поскольку обе они сужают то, что с ним можно делать.

• Архитектура. Производная Qwen3.5-4B — 32 слоя, размер скрытого слоя 2,560, 16 голов запросов против 4 голов KV при размерности головы 256, схема чередования линейного DeltaNet и полного внимания в соотношении 3:1, максимум 262,144 позиции, словарь на 248,320 токенов и 24-слойный визуальный энкодер со скрытой размерностью 1,024. Общее число параметров, включая энкодер и проектор, составляет 4,539,265,536.

• Лицензия. В разделе «Лицензия» карточки указано, что код распространяется по лицензии Apache 2.0, а затем даётся отсылка: «См. карточки Hugging Face, чтобы узнать условия для каждого набора данных и контрольной точки». На карточке контрольной точки вообще нет тега лицензии. Qwen3.8-27B однозначно указан как Apache 2.0. Если вам нужна лицензия, которую можно передать юристу, эта асимметрия — первое, с чем вы столкнётесь, и она не устраняется ничем в релизе.

Единственный список, в котором обе модели показаны рядом

ZoomGainBench — это двуязычный бенчмарк из 1000 вопросов по 941 изображению: 472 вопроса на распознавание атрибутов с четырьмя–шестью вариантами ответа, 94 вопроса на подсчёт и 434 вопроса OCR, каждый в английской и китайской версиях, итого 2000 оценочных экземпляров. На нём в рамках единого харнесса прогнали двадцать восемь моделей — одинаковый системный промпт, температура 0, режим размышления отключён для каждого чекпоинта Qwen, 2048 выходных токенов для неагентных моделей. Лучший результат в этой области — у GPT-5.6-Sol: 61,08; только пять моделей преодолевают порог 50.

Qwen3.8-27B набирает 44,81 в общем зачёте: 43,84 по английскому — 40,25 по атрибутам, 54,26 по подсчёту и 45,49 по OCR, а также 45,78 по китайскому. ZoomGain-4B, фигурирующий в таблице обучения, а не в таблице бенчмарков, набирает 55,81. Оба показателя — это общий результат по двум языкам при одних и тех же правилах подсчёта, так что это максимально близкое к контролируемому сопоставление, которое предлагает релиз, и по нему 4B выигрывает 11,00 балла.

• Параметры. 4,54 млрд против 27,78 млрд — разница в 6,1× в направлении, которое делает результат неожиданным.

• Для чего создавалась каждая.ZoomGain-4B — это Qwen3.5-4B, которую провели через одну эпоху GRPO на 9 000 извлечённых вопросов: 140 шагов, размер батча 64, восемь роллаутов на вопрос, скорость обучения 1e-6, без KL-члена. Qwen3.8-27B — это универсальная плотная модель с режимом рассуждений, вызовом инструментов и видеотрактом.

• Обучающие данные. 9 000 вопросов для одного. Для другого — весь корпус предобучения и постобучения Alibaba, размер которого не раскрывается.

• Доступность. ZoomGain-4B: три варианта точности GGUF и отдельный файл проектора, без хостингового эндпоинта. Qwen3.8-27B: веса Apache 2.0, сборка FP8, 7,4 млн загрузок и эндпоинты, которые можно вызывать уже сегодня.

Сравнение, которое фактически устанавливает статья

Вот что теряется, когда релиз сводят к «4B побеждает 27B». Для своих данных статье требовался бейзлайн, и он был использован: ZwZ — набор данных ICML 2026 для мелкозернистого восприятия, построенный методом дистилляции «регион → изображение». Обе стороны обрабатывались одинаково. Было отобрано двенадцать тысяч изображений и сгенерировано 23 610 вопросов; в бенчмарк вошла 1 000; из остатка получилось 8 746 пар вопросов, сопоставленных с изображениями, а 254 продублировали на обеих сторонах, чтобы довести каждый набор до 9 000. Одинаковые изображения, одинаковые базовые чекпойнты, одинаковые гиперпараметры, одинаковые 140 шагов. Единственная переменная — вопросы.

Данные ZoomGain превосходят данные ZwZ по каждому из показателей, приводимых в статье. На Qwen3.5-4B оценка held-in растёт с 40.99 до 55.81, а среднее по тринадцати бенчмаркам held-out — с 58.94 до 63.96; на Qwen3.5-9B та же пара чисел составляет 44.07 → 55.48 и 62.53 → 66.10. Это реальный, хорошо контролируемый результат о том, как генерируется супервизия, и именно этот вклад заявлен в названии статьи.

Qwen3.8-27B ничего не добавляет к этому аргументу. Она появляется один раз — как одна строка среди 27 других моделей, прошедших бенчмарк. Это мерило — компетентный универсал, измеренный на распределении, для которого его никто не обучал, — а не конкурент. В самом тексте статьи прямо говорится, что разрыв, который она использует, является общим: дистракторы, связанные с ошибкой глобального представления, составляют 71,7% всех неверных ответов у всех 28 моделей, что выше 54,5%, которые дал бы случайный выбор среди вариантов, а четыре закрытые модели, не участвовавшие в создании бенчмарка, демонстрируют то же поведение — 75,7% против ожидаемых 57,4%.

Абляция — самый сильный аргумент против заголовка.

Авторы провели на себе очевидную проверку на здравый смысл, и её результат — самая информативная таблица в статье. Они дважды переобучали модель на одних и тех же 9000 вопросах, каждый раз убирая один из двух проектных принципов, определяющих их конвейер: правило, согласно которому вопросы можно строить только из деталей, невидимых на полном изображении, и отдельный этап генерации дистракторов.

• Полный пайплайн. ZoomGainBench 55.81; среднее по десяти отложенным бенчмаркам, по данным абляции, — 60.96.

• Специализированные отвлекающие факторы удалены. ZoomGainBench 46,85 — потеря 8,96 балла на held-in тесте — и среднее по десяти бенчмаркам 59,14, потеря 1,82.

• Пошаговые доказательства удалены. ZoomGainBench 49,71, снижение на 6,10 — а среднее по десяти бенчмаркам 58,57, снижение на 2,39.

Оба проектных решения дают от шести до девяти пунктов на ZoomGainBench и около двух пунктов на всём остальном. Авторы прямо объясняют причину: удаление специально созданных отвлекающих вариантов «вызывает наибольшее падение на held-in ZoomGainBench», потому что «варианты в бенчмарке строятся с помощью того же пайплайна». Иными словами, примерно три четверти заявленного прироста на бенчмарке, который дал заявленную цифру, — это модель учится отвечать на тот тип вопросов, который генерирует пайплайн, а не учится лучше видеть.

То, что сохраняется, по-прежнему существенно. На тринадцати бенчмарках, которых обучение никогда не касалось, Qwen3.5-4B переходит с 57.86 на 63.96 — 6.10 балла на 9 000 образцах — причём наибольшие приросты наблюдаются именно в том семействе, на которое нацелен пайплайн: HR-Bench 4K с 81.25 до 87.25, V*Bench с 81.68 до 90.05, VisualProbe с 43.30 до 57.28, O3-Bench с 54.20 до 63.19. Один бенчмарк регрессирует: TreeBench, с 49.38 до 49.14, на пятую долю балла. MMStar, общий мультимодальный набор, меняется с 66.80 до 72.53, а BabyVision остаётся слабым на 21.13.

Этот профиль — характерная черта узкого вмешательства, и именно его стоит учитывать при планировании. Модель стала лучше справляться с мелкими деталями в сцене. Она не стала лучшим универсалом, а арифметика, утверждающая обратное, — это арифметика на её собственном бенчмарке.

Что на самом деле требует бенчмарк, ведь именно это вы бы и покупали

Если предполагается проверка мелких деталей, состав теста важнее общего балла, и анализ ошибок в статье на удивление конкретно говорит об этом.

• Малые якоря доминируют. Точность растёт с долей изображения, которую занимает запрашиваемая деталь, для каждой группы моделей: в среднем по всем 28 она увеличивается с 28,9% на наименьшем квартиле, где якорь покрывает менее 0,4% изображения, до 55,2% на наибольшем.

• Подсчёт — это подсчёт небольших чисел. В 67 из 94 вопросов на подсчёт эталонный ответ не превышает трёх, а 71,6% неверных числовых ответов отличаются ровно на единицу. Сложность состоит в разборе нескольких малых случаев, а не в перечислении множества.

• Распознавание атрибутов — сложная категория. Оно даёт самый низкий результат для 23 из 28 моделей, а равномерное угадывание среди вариантов уже дало бы около 21,5%.

• Режим отказа — сценарно правдоподобная подмена. В одном задокументированном случае 46 из 56 оценок называют белый объект на приборной панели грузовика оранжевым — правдоподобно, цвета жилета, надетого на рабочего, стоящего перед ним. В другом почти каждая оценка называет бренд хоккейного снаряжения вместо логотипа, фактически напечатанного на одежде. Модели не говорят «Я не вижу этого»; они отвечают исходя из контекста.

Этот режим отказа — практический аргумент в пользу такого обучения, потому что именно он заставляет конвейер обработки документов незаметно ошибаться на сканированном счёте. Это также аргумент в пользу его измерения: модель, которая подставляет правдоподобный ответ, выдаёт уверенный результат, поэтому ничто на последующих этапах его не выявляет.

Где Qwen3.8-27B находится в другой комнате

44.81 — цифра реальная, и это также единственное число в этой статье, по которому здесь оценивается Qwen3.8-27B. В её собственной карточке сообщается о совершенно ином наборе показателей, и ни один из них нельзя сопоставить с числами ZoomGain, поскольку обе модели никогда не прогонялись для них на одном и том же стенде.

• Агентное программирование. Terminal Bench 2.1 — 73,0, SWE-bench Pro — 61,7, LiveCodeBench v6 — 90,3, QwenSWEBench — 79,0; все результаты заявлены производителем в собственной карточке Qwen, а примечания к испытательному стенду опубликованы вместе с ними.

• Рассуждение и использование компьютера. GPQA Diamond 89,2, HLE 30,8, OSWorld-Verified 84,3, WebArena-Verified 64,8.

• Мультимодальная работа. OmniDocBench 1.5 — 91.1, рассуждение CharXiv — 83.7 без внедрения цепочки рассуждений и 90.2 с ней, RealWorldQA — 85.9, MathVision — 90.0.

• Возможности. Мышление включено по умолчанию с reasoning_effort на уровне xhigh, medium или low, сохранение мышления между ходами, нативный вызов инструментов, структурированные выходные данные, видеовход, 262 144 позиции нативно и с расширением до одного миллиона.

ZoomGain-4B не оценивался ни на одном из них, и не стоило бы ожидать хороших результатов ни на одном из них: его обучение никогда не затрагивало код, терминальные задачи, документы или графики. У него также нет опубликованной оценки в режиме размышления — собственный харнесс релиза запускается с отключённым размышлением при температуре 0, поэтому всё опубликованное о нём описывает его поведение при прямом ответе. Показатель 44.81 у Qwen3.8-27B был измерен тем же способом, с enable_thinking=false, и это единственное, что делает сравнение честным, и единственное, что оставляет лучший режим Qwen непроверенным.

Говоря прямо: по той оси, для которой обучали ZoomGain-4B, он побеждает, а по тем осям, для которых создавали Qwen3.8-27B, 4B вообще не в игре. Ни то, ни другое не удивляет, и если принимать любое из этого за полную картину, страница сравнения как раз и становится бесполезной.

Во сколько обойдётся запуск каждого — и тот, который можно вызвать уже сегодня

Именно здесь эти два расходятся так, что это определяет развёртывание, а не бенчмарк.

У ZoomGain-4B нигде нет размещённого эндпоинта. Что есть: репозиторий BF16, 4,54 млрд параметров, распределённых между языковой моделью и отдельным визуальным энкодером, и три сборки GGUF: Q4_K_M на 2,71 ГБ, Q8_0 на 4,48 ГБ и F16 на 8,42 ГБ, каждая в паре со своим mmproj проектором — 0,23 ГБ, 0,36 ГБ и 0,67 ГБ соответственно — который, как указано в карточке GGUF, необходим для ввода изображений. Для запуска нужны llama-mtmd-cli или llama-server из сборки llama.cpp, достаточно свежей, чтобы поддерживать мультимодальность Qwen3.5; для запуска на полной точности нужны vLLM 0.19.1 с transformers 5.7.0. Нет сборки MLX, нет ONNX, нет draft-модели для спекулятивного декодирования, и нет провайдера, к которому можно откатиться, если ваша сборка сломается.

Qwen3.8-27B есть в каталоге OrcaRouter, и эти веса мы запускаем на собственной инфраструктуре, а не перепродаём чужой эндпоинт — поэтому цена на странице модели — это и есть цена, без наценки сверху и без накрутки прайсовой цены вендора где-то посередине. Это $0,33 за миллион входных токенов и $2,40 за миллион выходных, на входе текст, изображения и видео, 262 144 токена контекста и один ключ. Тот же ключ открывает доступ и к Qwen3.8-Flash по $0,15 и $0,47 за миллион при окне в один миллион токенов, и к Qwen3.8-Max по $2,00 и $6,00, так что нагрузка, которая перерастает 27B или требует более длинного окна, переезжает без второго контракта и без изменений в коде. Отказоустойчивое переключение — это то, что важно для любого продакшен-сценария: при зависшем провайдере повторная попытка выполняется до начала ответа, а не после того, как ваш запрос истечёт по таймауту.

ZoomGain-4B отсутствует в том каталоге, и его нельзя вызвать через нас. Это папка с весами, которую вы обслуживаете сами, и честная версия рекомендации должна начинаться именно с этого.

Кто должен действовать и что всё ещё не подтверждено

Если у вас есть задачи с большим количеством изображений, где ответ зависит от мелкой детали — номера детали на этикетке, цвета на экране, того, два там винта или три, — то модель 4.54B, которую специально обучали методом RL именно на этом и которая локально работает при 2.71 GB в Q4_K_M, — это достойный доверия недорогой вариант для второго мнения, который можно запускать параллельно с универсальной моделью, размещённой у провайдера. Не вместо неё. Характерный тип ошибки специалиста — уверенная подмена, и именно такую ошибку выявляет проверка универсалом, и наоборот.

Если ваша рабочая нагрузка — это документы, графики, скриншоты, видео, код или агенты, то 27B — именно тот, к кому стоит обращаться, и 44.81 на бенчмарке на мелкие детали, для которого его никто не обучал, не повод думать иначе.

Что остаётся неподтверждённым и за чем стоит наблюдать, а не предполагать:

• Лицензия на веса. Apache 2.0 распространяется на код. У чекпоинта нет метки лицензии, а карточка отсылает к "условиям каждого набора данных и чекпоинта", не указывая их. Пока этот вопрос не урегулирован, коммерческое развёртывание — это разговор с юристом, а не галочка в чекбоксе.

• Любое воспроизведение. Все приведённые выше числа сообщены авторами и получены на их собственном стенде. Бенчмарк и средство оценки являются публичными, поэтому это можно проверить, но никто за пределами Ant Group и Zhejiang University это не проверял.

• Обобщается ли прирост за пределами пайплайна. Доверять стоит именно отложенным показателям: они скромные — на 6,10 пункта выше среднего по тринадцати бенчмаркам у базовой модели — и сильно смещены в сторону мелкозернистого семейства, на которое было нацелено обучение. Переносится ли это на ваши изображения — открытый вопрос, на который релиз не отвечает.

• Устоит ли он на Q4. В карточке GGUF предупреждают, что квантование может повлиять на точность, а опубликованных сравнений квантованных сборок с контрольной точкой BF16 на ZoomGainBench нет. Для модели, вся ценность которой — мелкие детали, именно этот эксперимент стоит провести, прежде чем доверять файлу размером 2,71 ГБ.