Сгенерированное сравнение из двух карточек с заголовком «UserRepGen-4B vs Gemma 4 12B — специалист против универсала» над хедлайном «Один делает работу, которую другого никогда не просили выполнять». В левой карточке, UserRepGen-4B, перечислены: роль — описывать пользователя в беседе; размер — класс 4B плюс LoRA ранга 64; входные данные — только текст; форматы вывода — один файл bf16; собственный бенчмарк — 4.95 (best-of-1 fidelity). В правой карточке, Gemma 4 12B, перечислены: роль — универсальный мультимодальный ассистент; размер — 11.95B dense с 48 слоями; входные данные — текст, изображение и аудио; форматы — нативные GGUF, ONNX и MLX; собственный бенчмарк — 77.2 MMLU Pro. В нижнем колонтитуле написано: «Показатели Microsoft — по данным вендора; показатели Gemma — согласно карточке модели Google». Логотип OrcaRouter наложен в правом нижнем углу.
Guides & Insights

RepGen-4B против Gemma 4 12B: узкий специалист на 4B против универсала на 12B, и почему размеры лгут

Автор

Alistair Wren

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Поставленные рядом, microsoft/UserRepGen-4B и Gemma 4 12B выглядят как несоответствие, предрешённое ещё до начала. Модель Google с 11,95 млрд параметров читает текст, изображения и аудио, удерживает 256K токенов контекста, имеет технический отчёт и блог о запуске, и с мая 2026 года её скачали около 79 000 раз. Модель Microsoft — это LoRA ранга 64 на Qwen3.5-4B, загруженная 14 октября 2026 года без всяких анонсов, и она делает ровно одну вещь: читает готовый диалог пользователя и ассистента и возвращает JSON-описание человека в нём из двух полей. Она не может вести беседу, отвечать на вопрос или видеть изображение. Сравнивать эти две модели по возможностям — не сравнение, а категориальная ошибка, и самое интересное здесь именно эта категориальная ошибка, потому что меньшая модель — та, что обыгрывает фронтирного универсала в деле, для которого была создана.

Для чего на самом деле нужен каждый из них

Самый чистый способ удержать в голове и то и другое — это то, что Gemma 4 12B — ассистент, а UserRepGen-4B — измерительный инструмент.

• Gemma 4 12B — мультимодальный представитель семейства Gemma 4 без энкодеров. На входе текст, изображение и аудио; на выходе — текст. В собственной карточке Google он описывается как «Unified», потому что отказывается от выделенных визуального и аудиоэнкодеров, которые использует остальная часть семейства, проецируя необработанные фрагменты изображений и звуковые сигналы напрямую в пространство эмбеддингов декодера через лёгкие линейные слои. 48 слоёв, скользящее окно на 1 024 токена, словарь на 262K, контекст на 256K токенов. Apache 2.0, варианты, дообученные на инструкциях, опубликованы вместе с базовой версией.

• UserRepGen-4B — генератор представлений. Вход: авторизованный многоходовой диалог объёмом до 8 192 токенов. Выход: JSON-объект с полем task и полем user_behavior, ограниченный 1 024 токенами, проверенный человеком, а затем переданный отдельной LLM, которая играет роль пользователя в симуляции. MIT — на вклад Microsoft, Apache 2.0 — унаследована от базовой модели Q​wen. Только текст, несмотря на то, что чекпоинт сохраняет визуальную башню, которую никогда не использует.

Gemma 4 12B можно попросить делать то же, что делает UserRepGen-4B — читать разговор и описывать в нём пользователя. Это и есть честный способ подойти к этому противостоянию, потому что карточка Microsoft оценивает универсальную модель, делающую именно это, и она проигрывает.

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

Единственное действительное число, которое их связывает

Опубликованного прямого сравнения этих двух моделей не существует, и придумать его было бы самой простой ошибкой для страницы вроде этой. Что действительно публикует карточка UserRepGen-4B — так это оценку точности на 700 диалогах по шкале от 1 до 10, где каждый генератор оценивается по идентичным запросам. В той таблице GPT-5.5, используемый «из коробки» как генератор представлений, набирает 3,90 при best-of-1 и 4,90 при best-of-3. UserRepGen-4B набирает 4,95 и 6,02. Обученный специалист на 4B превосходит фронтирного универсала, который на порядки больше, именно в этой конкретной задаче.

Gemma 4 12B нет в этой таблице, так что никто не знает, где бы она оказалась. Но базовый уровень, с которым её будут сравнивать, делает форму ответа ясной: универсальная модель, которую просят описать пользователя, выдаёт нечто правдоподобное и обобщённое, а метод обучения в UserRepGen-4B существует специально для того, чтобы выйти за эти пределы. Модель на 12B, весьма вероятно, превзойдёт 4B в общих рассуждениях и уступит ей в этой узкой задаче.

Это поднимает очевидный вопрос: почему бы просто не поручить Gemma 4 12B делать то же самое и не держать на диске одну модель? Причины две, и вторая из них — главная.

Первое — это стоимость при больших объёмах. Генерация представления для каждого диалога — это пакетная задача, и 12B параметров стоят примерно в три раза дороже, чем 4B параметров, за один и тот же проход. Второе — разрыв в точности не является проблемой настройки — собственные абляции карты показывают обычное дообучение с учителем на уровне 4,64/5,68, тогда как и OPSD, и GRPO, два метода обучения с подкреплением, к которым компетентная команда обратилась бы в первую очередь, оказываются ниже него на 4,46/5,60 и 3,57/4,59. Добиться от универсальной модели такого поведения — это не вопрос лучшего промпта или более тяжёлого запуска RL. Это то, для чего был создан цикл обучения.

Оба можно скачать, и только один из них можно развернуть

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

Именно здесь концепция «4B против 12B» полностью разваливается, потому что эти два релиза находятся на противоположных концах спектра упаковки.

• Gemma 4 12B — выпущенный продукт с работающей экосистемой. Поддержка Transformers, вариант с инструкционной настройкой, квантованные и edge-форматы, опубликованные для всей линейки, блог о запуске, технический отчёт на arXiv и документированный путь от загрузки до обслуживания.

• UserRepGen-4B — единственный файл safetensors в формате bfloat16 размером 9 078 620 536 байт. Ни GGUF, ни ONNX, ни MLX, никакого квантования в любом виде. В карточке прямо сказано: «Оптимизированные или специфичные для конкретных устройств форматы в настоящее время недоступны».

Этот разрыв не случаен. Gemma 4 12B создавалась в расчёте на то, что её будут запускать другие люди, а одиннадцать с половиной миллиардов параметров поставляются как продукт. UserRepGen-4B создавалась, чтобы получить результат для статьи, и в её карточке до сих пор сказано, что цитирование «ожидает подтверждения», а также упоминается аутентификация «пока репозиторий приватный» — строка, оставшаяся от поэтапной загрузки, которую так и не обновили. Одна завершена; другая завершена настолько, насколько достаточно.

Если то, что вам на самом деле было нужно, — это Gemma 4 через API

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

Стоит сказать прямо, ведь именно здесь живёт большинство читателей сравнения Gemma: OrcaRouter не обслуживает Gemma 4 12B — страницы этой модели в нашем каталоге нет — и UserRepGen-4B он тоже не обслуживает. Впрочем, два других представителя того же семейства Gemma 4 в каталоге есть, и оба указывают прейскурантную цену провайдера без каких-либо наценок: Gemma 4 26B A4B — сборка mixture-of-experts на 25,2B с 3,8B активных параметров и контекстом 262 144 токена, по $0,06 за миллион входных токенов и $0,33 за миллион выходных; и Gemma 4 31B — плотная мультимодальная сборка на 30,7B, по $0,13 и $0,38. Если вам нужна именно 12B для локальной работы, ответ — скачивание, и никакой API этого не меняет.

Что касается симуляционной части, честная позиция та же. UserRepGen-4B — это чекпойнт и файл промпта: вы запускаете его сами, в собственной среде, на разговорах, которые вам разрешено обрабатывать. Было бы удобно, если бы это был вызов хостингового эндпоинта. Сегодня это не так — ни у нас, ни где-либо ещё.

Какой из них скачать?

Если вам нужен небольшой мультимодальный ассистент, который читает документы, воспринимает аудио и отвечает на вопросы на ноутбуке, то Gemma 4 12B — именно он, а сравнение с UserRepGen-4B настолько далеко от него, что не имеет значения. Если вы создаёте симулятор пользователя и ваш текущий подход — это промптинг общей модели, чтобы она описала пользователя, то UserRepGen-4B — единственное здесь, что обучалось для этого, и доказательства — предоставленные вендором, полученные в одной лаборатории, с оценкой GPT-5.4 mini на всех этапах — говорят, что обучение превосходит промптинг. Что изменило бы картину — это статья или одна независимая оценка тех 4,95 извне Microsoft. Ни того, ни другого пока не существует, и обоих стоит дождаться, прежде чем кто-либо заменит им работающий пайплайн.

Такие сравнения, как это, — это также то, где проявляются режимы отказов: задокументированные инциденты с ИИ и сбои агентов, стоящие за моделями этого класса, собраны в the OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, оценку достоверности и отметку о спорности.