Сгенерированное сравнение из двух карточек с шапкой «UserRepGen-4B vs Intern-Decision-4B — одна и та же база, противоположные выходы» над заголовком «Обе дообучены на Qwen3.5-4B. Ни одна не пишет однотипный текст». В левой карточке, UserRepGen-4B, указано: выпущена 14 октября 2026 года без огласки; возвращает JSON с task и user_behavior; генерация до 1 024 токенов; опубликованная математика — нет; потолок ввода — 8 192 токена промпта; анонса нет. В правой карточке, Intern-Decision-4B, указано: выпущена 26 сентября 2026 года без огласки; возвращает вероятность для каждого варианта; генерация отсутствует за один прямой проход; опубликованная математика — Brier 0,347 и ECE 0,065; потолок ввода — отклоняет при превышении 8 192; анонса нет. В нижнем колонтитуле написано: «Оба набора показателей принадлежат самим вендорам». Логотип OrcaRouter наложен в правом нижнем углу.
Engineering & Research

UserRepGen-4B против Intern-Decision-4B: две команды дообучили одну и ту же 4B-базу и ни в чём не сошлись

Автор

Magnus Corvin

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Два тихих релиза, разделённые пятью неделями, ответвившиеся от одной и той же контрольной точки. microsoft/UserRepGen-4B появился на Hugging Face 14 октября 2026 года как репозиторий в формате bfloat16 объёмом 9,1 ГБ без каких-либо анонсов; internlm/Intern-Decision-4B появился 26 сентября 2026 года в 05:36:37 UTC в пределах сорокасекундного окна, в котором также возникли модели на 0,8B и 2B, столь же неанонсированные. Обе представляют собой LoRA-дообучения Qwen3.5-4B, обе текстовые, несмотря на наличие визуальной башни, которую они никогда не используют, обе возвращают жёсткую структуру вместо ответа — и они совершенно расходятся во мнениях о том, для чего предназначена модель. Intern-Decision-4B не пишет ни единого токена. UserRepGen-4B не пишет ничего, кроме токенов. Всё остальное в этом сравнении вытекает из этого единственного раскола.

Один — бомбардир, другой — писатель.

Карточка InternLM необычно прямолинейна в описании собственной механики: «Этот API выполняет структурированное оценивание кандидатов. Он не вызывает generate() и не сэмплирует текст в свободной форме.» Вы передаёте ему состояние, схему именованных вопросов и набор вариантов ответов. Он отображает варианты на однотокенные символы, выполняет один каузальный прямой проход, считывает логиты в позиции непосредственно перед каждым плейсхолдером, применяет подобранную температуру 1.99241824 и возвращает калиброванную вероятность для каждого варианта. Один проход. Никакого сэмплирования, никакого цикла декодирования, никакого текста.

UserRepGen-4B инвертирует это. Вы передаёте на вход завершённый диалог. На выходе — до 1 024 токенов текста в двух полях JSON — описании задачи и описании поведения пользователя — и карточка столь же категорична в обратном направлении: модель «генерирует представления, а не смоделированные реплики пользователя», она не выполняет задачу пользователя и не является симулятором.

Поставьте их рядом — и инженерные последствия сразу станут очевидны.

• Чем ценен результат — Intern-Decision-4B возвращает число, которое можно сравнить с порогом, усреднить и проверить. UserRepGen-4B возвращает абзац, качество которого может оценить только LLM-судья, — именно так Microsoft его и оценивала.

• Стоимость за вызов — один прямой проход по фиксированному промпту против до 1 024 сгенерированных токенов. Это разница между примерно 44 миллисекундами и полным прогоном декодирования, и именно поэтому модель принятия решений может находиться внутри цикла, а модель представления — нет.

• Где живёт смысл — InternLM решила, что ответ уже должен быть перечислим в промпте, поэтому модели остаётся только ранжировать. Microsoft решила, что ответ скрыт в диалоге, поэтому модель должна написать его. Ранжирование ограничено и проверяемо. Написание открыто и требует судьи.

A generated two-column scoreboard headed "UserRepGen-4B vs Intern-Decision-4B - the scoreboard", titled "A scorer and a writer, from one checkpoint". The UserRepGen-4B column reads: output type two-field JSON prose; decoding up to 1,024 new tokens; calibration not published; latency claim not published; input limit 8,192 prompt tokens; eval scale 1-10 LLM judge. The Intern-Decision-4B column reads: output type calibrated distribution; decoding none, one forward pass; calibration Brier 0.347 and ECE 0.065; latency claim 44.16 ms mean on an RTX 4090; input limit refuses above 8,192; eval scale seven suites with a 90.02 average. A footer reads "Vendor-reported; no independent evaluation of either." The OrcaRouter logo is composited bottom-right.

Потолки ввода, и что они говорят вам о ставках

Обе карточки публикуют жёсткий лимит, и сравнить их — самый быстрый способ увидеть, насколько по-разному две команды очертили рамки одной и той же базовой модели.

Intern-Decision-4B отказывается работать с объёмом более 8 192 токенов. Это отказ, а не усечение — осознанное проектное решение, означающее, что модель предназначена для решений, достаточно компактных, чтобы полностью изложить их в промпте.

UserRepGen-4B обучается на последовательности из 9 216 токенов: до 8 192 токенов промпта, охватывающих беседу, плюс 1 024 токена завершения для представления. В карточке добавляется, что использование расширенного контекста сверх этой длины «не поддерживается в этом выпуске», а производительность на длинном контексте никогда отдельно не оценивалась. Так что один и тот же потолок в 8 192 токена фигурирует с обеих сторон, установленный независимо, двумя командами, которые, предположительно, не имели представления о работе друг друга.

Эта сходимость — полезная находка. Файнтюн 4B на этой базе в середине 2026 года — это компонент, рассчитанный на один хорошо сформулированный промпт, а не движок с длинным контекстом. Оба релиза честно об этом говорят. Ни один не прячет это за более крупным рекламируемым окном.

Оба опубликовали историю о калибровке, и это не одна и та же история.

A headless-browser capture of the Hugging Face model card for internlm/Intern-Decision-4B, showing the InternLM organisation, 86 likes, the image-text-to-text pipeline tag, the qwen3_5 and decision-making tags, and the card's opening line that Intern-Decision-4B is a multimodal structured decision model fine-tuned from Qwen3.5-4B which accepts a shared state, a schema of named questions and optional images and returns an answer distribution for every question in one forward pass. The numbered "How inference works" steps are visible below it.

Вот здесь поиск источников становится деликатным делом, потому что эти две оценки несоизмеримы, и ни одну из них не воспроизвели за пределами её собственной лаборатории.

Intern-Decision-4B публикует бенчмарк из семи наборов тестов, где набирает в среднем 90,02 балла — лучшая строка в его собственной таблице, опережая Intern-Decision-2B с 84,68 и Intern-Decision-0.8B с 79,38; все измерения проводились на стендах InternLM. Он также публикует данные о калибровке: показатель Бриера 0,347 и ожидаемая ошибка калибровки (ECE) 0,065. Отдельный пилотный эксперимент на 96 случаях с использованием точных эталонных распределений переходит от 0,628 по Бриеру и 0,213 ECE к 0,550 и 0,089 после применения подобранной температуры. Все эти числа — собственные данные вендора, и никто за пределами InternLM их не проверял.

RepGen-4B публикует таблицу достоверности по шкале оценки судьи от 1 до 10 — 4,95 для best-of-1 и 6,02 для best-of-3, против 3,90 и 4,90 для GPT-5.5, используемой в готовом виде, и 3,41 и 4,42 для необученной базовой модели. Все эти цифры — собственные данные Microsoft, полученные с помощью GPT-5.4 mini, которая одновременно выступала в роли симулятора, ассистента и судьи, и никто за пределами Microsoft их не проверял.

Существенная асимметрия не в баллах — они измеряют разные вещи по разным шкалам. Она в том, что Intern-Decision-4B публикует надлежащее правило оценки относительно известных эталонных распределений, которое опровержимо по построению, тогда как UserRepGen-4B публикует оценку LLM-судьи, которую можно опровергнуть, лишь запустив другого судью. InternLM создала модель, которую можно аудировать с помощью арифметики. Microsoft создала такую, которую приходится аудировать с помощью другой модели. Учитывая, что обе заявляют, что превзошли бейзлайны, это различие в возможности аудита — реальная часть того, между чем вы выбираете.

Находку о конфиденциальности выводит только один из них

В карте Intern-Decision-4B нет сколько-нибудь значимого раздела о конфиденциальности. В карте UserRepGen-4B есть число, которое должно заставить любую команду задуматься: на более чем 147 пользователях селектор, которого попросили выбрать, какой из четырёх разговоров принадлежит одному и тому же человеку, достигает 51,02 % при использовании описаний поведения модели против 44,22 % при использовании полных необработанных разговоров и 25 % при случайном выборе. Сжатое представление идентифицирует человека лучше, чем материал, из которого оно было получено.

Microsoft называет это риском связываемости и прямо заявляет, что представления не являются анонимизированными данными. Это правильный подход, и это предостережение применимо ко всему классу моделей — включая модель принятия решений, чьи собственные входные данные представляют собой разговоры о ситуациях людей. Разница лишь в том, что в одной карточке это указано, а в другой — нет, а это не то же самое, что безопасность одной из моделей.

Ни то, ни другое не является API, но общая основа, которую они разделяют, —

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3.5-flash, showing the Qwen3.5 Flash heading, Vision, Tools, JSON and Reasoning badges, a description of it as a multimodal chat model optimised for cost with 1M context, prices of $0.10 and $0.40 per million tokens, a 1M-token context with 65k maximum output, and a p50 TTFT of 1.50 seconds.

Оба они — это скачиваемые файлы, а не эндпоинты. Intern-Decision-4B поставляется как класс Python DecisionEngine, который загружается один раз и затем переиспользуется; его демо-Space отвечает 401, а его ссылка на GitHub возвращает 404; UserRepGen-4B поставляется в виде одного неквантованного файла safetensors и example.py. OrcaRouter не содержит ни того, ни другого. Если вы утверждаете, что любой из них сегодня доступен через хостируемый API, вы описываете план, а не факт.

То, что действительно можно вызвать, — это чекпоинт, от которого ответвились обе модели. Семейство Qwen3.5-4B есть в нашем каталоге — Qwen3.5-Flash с контекстом более миллиона токенов по цене $0.10 за миллион входных токенов и $0.40 за миллион выходных, Qwen3.5-35B-A3B по цене $0.057 и $0.459, Qwen3.5-27B по цене $0.086 и $0.688 — всё на одном ключе, всё по прейскурантной цене провайдера, без каких-либо наценок. Это полезно для той части конвейера, которая не относится к этим двум моделям: сторона ассистента в симуляции или шаг рассуждений, сопровождающий принятие решения, может выполняться через одну конечную точку, пока вы локально оцениваете дообученную модель.

Как выбрать

Если ваша проблема — это ограниченный вопрос с перечислимыми ответами, и вам нужно калиброванное число десять тысяч раз в секунду, Intern-Decision-4B — единственная модель здесь, которая это делает, и то, что она никогда не сэмплирует, — это фича, а не ограничение. Если ваша проблема в том, что вы хотите симулятор, который ведёт себя как реальный пользователь, UserRepGen-4B — единственная модель здесь, обученная для этого, и размер её заявленного превосходства над GPT-5.5 — вот причина обратить внимание. Никому не следует выбирать одну из них на основании показателей другой, потому что они никогда не измеряли одно и то же. Что решило бы сравнение — это одна порция внешней проверки по любой из карточек, — а для двух релизов, вышедших в полной тишине с разницей в недели, её не было ни у одного.

Два тихих релиза также напоминают о том, насколько большая часть моделей этого класса поставляется без документации, а сбои, которые за этим следуют, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг оспаривания.

Сравнение в этой статье1

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно