WeVisOne-VL-4B: 4B-визуальная модель, которую Tencent выпустила без анонса

На P3M-500-NP — стандартном бенчмарке для извлечения мягких границ из изображения — лучшая альфа-маска, которую Tencent смогла найти для сравнения, показала среднее абсолютное различие 15,4. WeVisOne-VL-4B набирает 7,3. Это примерно вдвое меньшая ошибка, чем у специально созданного пайплайна маттинга, причём полученная vision-language моделью с 4 млрд параметров, которая также выполняет детекцию, подсчёт, OCR и сегментацию на тех же весах. WeVisOne-VL-4B — попытка команды WeChat Vision свести груду специалистов по восприятию в один предиктор следующего токена, и это по-настоящему интересная работа. Но продуктом это пока не является: нет ни поста в блоге Tencent, ни пресс-релиза, ни размещённого эндпоинта, ни какого-либо анонса, который удалось бы найти этому сайту. Веса были выложены на Hugging Face 22 октября 2026 года, и с тех пор модель остаётся публично доступной — без лишнего шума.

Этот материал — сводка того, что на самом деле содержат репозитории, и он разделяет две вещи, которые легко смешать: то, что можно проверить, скачав модель, и то, что утверждается только в собственной статье Tencent. Оба важны. Но доказательством является лишь одно из них.

Что было опубликовано и когда

Хроника на редкость чистая, потому что всё имеет временные метки. Репозиторий Hugging Face tencent/WeVisOne-VL-4B был создан в 09:48 UTC 22 октября 2026 года; репозиторий GitHub Tencent/WeVisOne-VL был создан на пятьдесят минут раньше, в 08:58 UTC тем же утром; статья на arXiv, 2610.31329, имеет дату подачи 22 октября. Родственная 2B-модель, tencent/WeVisOne-VL-2B, появилась вместе с ним.

На момент написания репозиторий 4B был изменён ещё раз — на следующее утро — и успел набрать пару лайков, но не получил сколько-нибудь значимого количества загрузок. Эти счётчики — моментальный снимок, а не приговор, но они говорят о том, чего не может сказать статья: эту модель пока почти никто не скачал. У репозитория на GitHub было 46 звёзд и несколько форков, а список TODO в его README сам по себе является отчётом о состоянии: пакет для инференса, сборники рецептов и пайплайн оценки отмечены как выполненные; демо на Gradio и код дообучения — нет.

Точное описание — не «утечка» и не «запуск». Это официальная открытая публикация с атрибутами релиза — статья, веса, код, пайплайн бенчмарков — и без всякого маркетинга. Будет ли за этим объявление, неизвестно. Кто пишет, что Tencent «представила» или «запустила» эту модель, описывает событие, которого не было.

Одна основа, семь типов выходных данных

Архитектура не так экзотична, как это звучит из таблицы бенчмарков. WeVisOne-VL-4B — это модель Qwen3-VL: метаданные репозитория указывают Qwen3VLForConditionalGeneration в качестве архитектуры и содержат 4,83 млрд параметров в формате F32 — на карточке модели округлено до 5B — дообученную выдавать структурированные токены координат вместо прозы. Рамки и точки кодируются как токены от <0> до <1000>, нормализованные относительно изображения, — именно так языковая модель начинает заниматься геометрией, а не описанием.

Пиксельная половина — это та часть, которую стоит понять.<OBJ>, скрытое состояние которого подаётся в отдельный декодер с 9,6 млн параметров, поставляемый как mask_decoder.pt. Этот декодер — визуальный адаптер признаков, шесть блоков деформируемого кросс-внимания и каскадная головка, которая уточняет с шагом 4, 2 и 1 — превращает бокс в маску экземпляра, а затем в альфа-мат полного разрешения. Это не вызов SAM. В этом процессе нет второй модели, нет кодировщика промптов, нет внешнего сегментатора. Весь пиксельный путь — это 9,6 млн параметров, прикрученных к языковой модели.

Этот выбор дизайна объясняет профиль бенчмарка. Поскольку маски и матты обусловлены одним и тем же боксом, который модель только что предсказала, модели не нужен бокс, заданный человеком, чтобы выполнять сегментацию; у неё можно попросить «человека, держащего зонт», и вернуть матту именно для этого экземпляра. Компромисс в том, что пиксельный декодер никогда не учится на вознаграждении уровня маски — этап обучения с подкреплением в статье оценивает боксы, указание и OCR-транскрипцию, но вообще не использует вознаграждение за маску или альфа-канал. Плотный выход обучается только с использованием функции потерь при обучении с учителем.

Числа и то, кому они принадлежат

Все приведённые ниже цифры взяты из статьи Tencent или README проекта. Ни одна из них не была воспроизведена третьей стороной, а набор для сравнения выбирали сами авторы. Для статьи, которой всего два дня, это нормально, и в то же время это ровно та ситуация, в которой таблица от поставщика льстит себе, поэтому воспринимайте эти разрывы как заявления, а не как измерения.

В заголовке утверждается — по сравнению с самой сильной открытой базовой моделью, которую авторы указывают для каждой задачи:

• Детекция, среднее значение F1 на LVIS — WeVisOne-VL-4B 55.3 против 50.7 у лучшего базового метода

• Плотное обнаружение, среднее F1 Dense200 — 71,3 против 58,7

• Referring, среднее F1 на тесте RefCOCOg — 81,8 против 77,6

• Отказ, WeRef-Bench — 96,4% запросов с отсутствующим целевым объектом корректно отклонены против 73,0%

• Подсчёт, точность на тесте PixMo-Count — 89.6 против 82.8

• OCR, среднее значение F1 на TotalText — 52,0 против 43,3

• Сегментация по описанию, ReasonSeg val gIoU — 71.2 против 65.0

• Матирование коробки, P3M-500-NP MAD — 7,3 против 15,4; чем ниже, тем лучше

Самая информативная строка отсутствует в этом списке. В сравнении с Qwen3-VL-4B — той же базовой архитектурой без модификаций — разрыв на Dense200 составляет 71,3 против 15,2, а на VisDrone — 44,7 против 31,0. Базовая визуально-языковая модель почти бесполезна для плотного обнаружения малых объектов, а дообучение переводит её в категорию специализированных моделей. Это более обоснованное утверждение, чем любое сравнение с передовой моделью: авторы показывают, что универсальную модель на 4B можно превратить в компетентный локализатор без увеличения размера.

Где это перестаёт работать

Ограничения указаны в карточке модели, и они не косметические. Модель обрабатывает одно изображение за ход — видеосетки полностью отклоняются пиксельным декодером, поэтому это не инструмент видеосегментации и не притворяется им. Она выдаёт структурированный вывод напрямую, без цепочки рассуждений, а значит, нет способа попросить её поразмышлять над неоднозначным запросом, прежде чем зафиксировать рамку. Качество альфа-канала ухудшается на тонких границах, сильных перекрытиях и по-настоящему прозрачных материалах, и оно чувствительно к формулировке промпта — «волосы женщины» и «её волосы» не гарантируют одинаковый матт.

Поведение при отказе — это функция, которую чаще всего недооценивают. Возврат None при отсутствии целевого объекта звучит тривиально, пока вы не запустите детектор на видеопотоке и не увидите, как он галлюцинирует пешехода на пустой парковке. Показатель отказов 96,4% на WeRef-Bench против лучшего базового результата 73,0% — это разница между компонентом, который можно поставить в конвейер, и тем, который приходится защищать второй моделью.

Как бы вы на самом деле это запускали

В карточке модели описаны четыре способа обслуживания: собственный пакет инференса проекта, конвейер Transformers для преобразования изображения в текст, vLLM и SGLang, а также однострочная команда Docker Model Runner. Декодирование жадное, с ограничением в 1 960 визуальных токенов на изображение. При 4,83 млрд параметров в F32 чекпоинт занимает примерно 19 ГБ на диске, не считая декодера на 9,6 млн параметров; загрузка в bfloat16 вдвое уменьшает этот объём. Пользовательский код инференса понадобится в любом случае — mask_decoder.pt является обязательным компонентом, а не опциональным дополнением, и стандартная загрузка через Transformers даст вам рамки и текст, но не маски.

Хостингового API и опубликованной цены нет, поэтому честно будет сказать так: WeVisOne-VL-4B сегодня — это решение в пользу самостоятельного развёртывания. Если же вам на самом деле нужен конвейер восприятия Qwen3-VL в продакшене уже на этой неделе, без выделения GPU под веса, вышедшие вчера, instruct-сборка Qwen3-VL-8B доступна через OrcaRouter — один ключ ко более чем 200 моделям, цена провайдера передаётся без наценки (0%), и автоматическое переключение при сбое, если вышестоящий эндпоинт забарахлит. Это базовая линейка, а не дообученная модель. Она даст вам рамки и описания; альфа-маски она вам не даст.

Что посмотреть

Три вещи перевели бы это из разряда «интересной статьи» в «модель, которую стоит оценить». Первая — независимый прогон бенчмарка: любой, кто воспроизведёт метрики маттинга на отложенной выборке, закрыл бы самый крупный открытый вопрос. Вторая — хостинговый эндпоинт от Tencent или кого угодно ещё, который показал бы, достаточно ли надёжен путь инференса для промышленной эксплуатации. Третья — код дообучения, который до сих пор не отмечен галочкой в списке TODO в README; без него адаптация маттинг-головы под конкретный каталог товаров — чистое гадание.

До тех пор справедливое резюме таково: Tencent опубликовала небольшую модель, которая делает нечто действительно необычное — альфа-маски полного разрешения из языковой модели, без SAM в цепочке, — и сделала это, не привлекая внимания. Веса распространяются под Apache 2.0 для кода, написанного Tencent. Утверждения принадлежат самим авторам. Оба этих факта можно проверить, и вам стоит проверить их, прежде чем строить на них планы.