Xiaomi-Lens-0 хочет войти в стандартные трансформеры — и его Mask Decoder — вот в чём загвоздка

Сегодня в 12:01 UTC в huggingface/transformers был открыт pull request под номером 50028 с самым неброским заголовком в репозитории: «Add Xiaomi-Lens-0». Это не заглушка. Дифф охватывает 19 файлов и 4 251 добавленную строку, из них 2 199 — один-единственный файл модели, плюс 552 строки тестов и страница документации на 143 строки. Самое заурядное здесь — это статус: открыт, без ревью, не смержен. А вот модель, которая за ним стоит, — как раз самое интересное, и она уже шесть дней лежит на Hugging Face без какого-либо анонса.Xiaomi-Lens-0 — это 4B-мультимодальная модель, построенная на Qwen3.5-4B, которая записывает региональные маски в виде токенов, и практическое следствие этого узкое, но реальное: пока изменение вроде этого не выйдет, загрузить её штатным классом Transformers не получится вообще.

Тот разрыв — между тем, что модель можно скачать, и тем, что модель становится обыденностью, — решится в ближайшие несколько недель. Всё ниже отделяет то, что опубликовала Xiaomi, от того, что предлагает пулл-реквест фреймворка, потому что это два разных уровня определённости, и освещение до сих пор их смешивало.

Что Xiaomi на самом деле выпустила — и когда

Релиз выходил частями на протяжении пяти дней, и отчасти поэтому он воспринимался как исследовательская публикация, а не как запуск продукта.

• Статья — «Xiaomi-Lens-0 Technical Report», arXiv:2610.23279, представлена 16 октября 2026 г., пересмотрена 19 октября.

• Веса и код — в открытом доступе 21 октября на SeerRay-Lab/Xiaomi-Lens-0 на Hugging Face, а также соответствующий репозиторий для инференса на GitHub.

Лицензия — Apache 2.0 на веса, при этом базовые веса Qwen3.5-4B также распространяются по Apache 2.0. В карточке указано, что базовая модель принадлежит Alibaba Cloud, а изменения — Xiaomi.

• Команда — указана как Xiaoai Plus и команда SeerRay, которая является группой визуального понимания Xiaomi.

• Размер — 4B повсюду в заголовке, статье и тексте карточки; метаданные Hugging Face сообщают о 5B параметрах в BF16. Xiaomi не объясняет это расхождение, и честное прочтение таково: «4B» описывает языковой бэкбон, тогда как полный чекпоинт вместе с визуальной башней имеет больше параметров.

• Хостинг — в боковой панели карточки указано, что модель не развёрнута ни одним провайдером инференса. Нет API от самой компании и нет размещённой конечной точки, к которой можно обратиться.

• Привлекательность — 723 скачивания за последний месяц и 25 лайков в репозитории Hugging Face, спустя шесть дней после публикации весов.

Чего я не смог найти, так это запуска: ни поста в блоге Xiaomi, ни треда от команды, ни страницы продукта. Публикации восходят к техническому отчёту и к отраслевым статьям после появления весов. Это важно для всех, кто пытается датировать модель — 16 октября — это статья, 21 октября — это артефакт, и ни то ни другое не является анонсом.

Маска — это токен, а не вторая модель.

Обычный способ получить попиксельные маски из визуально-языковой модели — прикрутить к ней сегментатор. Вы получаете рамки или точки со стороны языка, передаёте их чему-то вроде декодера в стиле SAM и платите за вторую сеть, второй набор весов и второй прямой проход.

Xiaomi-Lens-0 это пропускает. Модель генерирует специальный токен <|mask|>, и скрытое состояние этого токена — то, что в статье называется визуальным латентом — используется как запрос к сетке патчей визуального энкодера. Один слой уточнения Transformer, линейная проекция, скалярное произведение с каждым патчем, затем два этапа повышения дискретизации транспонированной свёрткой и сигмоида. Признаки патчей берутся до пространственного объединения, поэтому сетка остаётся мелкозернистой, а вычисляются они один раз на изображение и повторно используются каждым токеном маски в ответе.

Обучение проходит в два этапа и не вызывает удивления, как только архитектура становится понятна. На первом этапе магистраль замораживается, и обучается только декодер масок на собственных данных, а также на Objects365, LVIS, PACO, PhraseCut и семействе RefCOCO. На втором этапе магистраль и декодер совместно дообучаются с использованием стандартной цели предсказания следующего токена и функции потерь для масок, объединяющей попиксельную BCE и Dice.

Важное следствие — не экономия параметров. Оно в том, что маски могут появляться внутри рассуждения, а не только в финальном ответе. Xiaomi обучает на обоснованных трассах рассуждений, где цепочка мыслей ссылается на области и по ходу дела выдаёт маски; поэтому модель на 4B может ответить на вопрос «какой из этих двух мне нужно взять» с маской, привязанной к промежуточному шагу, а не только к последнему предложению.

Таблица бенчмарков, прочитанная как следует

Цифры в заголовках впечатляют, и все они принадлежат Xiaomi. По состоянию на сегодня нет ни записи в Artificial Analysis, ни позиции на арене, ни независимого воспроизведения третьей стороной. Рассматривайте следующее как заявление производителя с необычно подробным приложением, а не как измеренный факт.

• Сегментация по референсу — средняя cIoU 81,4 по восьми сплитам RefCOCO / RefCOCO+ / RefCOCOg против 78,6 у Qwen3-VL-Seg 4B. SAM 3, усреднённая по тем же восьми сплитам в собственной таблице Xiaomi, составляет около 71,7.

• Понимание референтных выражений — средний прирост на 5,6 пункта в Prec@0.5 по сравнению с базовой моделью Qwen3.5-4B, при этом RefCOCO+ вырос на 7,6 пункта.

• Мультиэкземплярная локализация на COCO 2017 — среднее F1 63,9, впереди GroundingPI с 63,0 и Qwen3-VL 4B с 46,5.

• Сегментация на основе рассуждений — 68,0 gIoU на ReasonSeg Test, лучший результат среди сравниваемых моделей.

• Воплощённое указание — 87.0 gIoU на RoboRefIt TestA.

• Подсчёт — 50,6 на CountQA, на 6,8 больше, чем 43,8 у базовой модели.

Два из них заслуживают второго взгляда, потому что популярные краткие пересказы лишают их глубины.

Первый — COCO multi-instance grounding. Xiaomi-Lens-0 превосходит GroundingPI по среднему F1, но при мягком пороге IoU 0.50 на самом деле проигрывает — 80.4 F1 против 81.2. Выигрыш достигается на строгом конце: 27.4 F1 при IoU 0.95 против 22.8. Это существенное различие по характеру. Модель выдаёт более точные маски, а не больше масок, и пайплайн, который проверяет только мягкое перекрытие, не увидит улучшения.

Второй — LensBench, бенчмарк на 1200 единиц и 4800 инструкций, который Xiaomi создала и выпустила вместе с моделью. Он охватывает общие, аэро-, автомобильные и панорамные изображения с ручной проверкой и является самым полезным в релизе для всех, кто работает вне RefCOCO. Это также тест, в котором модель выглядит наименее выдающейся. На общих изображениях Qwen3.8-Max лидирует с 74,2 cIoU против 63,9 у Xiaomi-Lens-0. По неявным инструкциям модель занимает пятое место, уступая Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash и Seed-2.1-Pro. Xiaomi опубликовала бенчмарк, в котором её собственная модель не одерживает полную победу, — и это ценнее, чем была бы безупречная таблица.

Где модель 4B на самом деле даёт сбой

Режим отказа не случаен. Это разрыв между описанием, которое называет вещь, и описанием, которое подразумевает её.

• Переход от явного к неявному — cIoU маски снижается с 71,4 до 54,7, а box Prec@0.5 — с 85,0 до 70,0 на LensBench.

• Несколько целей в панорамных сценах — наихудший срез в статье, где box Prec@0.5 падает с 81.3 до 48.7, а cIoU — с 71.8 до 48.9.

• Малые, перекрытые и неоднозначные области — в карточке прямо указано, что в таких случаях прогнозы могут пропускать объекты или выдавать неточные рамки и маски.

• Подсчёт — 50,6 на CountQA — это улучшение на 6,8 пункта, и всё ещё примерно как подбрасывание монеты, только с лучшими манерами.

Есть также техническая оговорка, которая укусит любого, кто встроит это в продукт. Маски декодируются на холсте изображения процессора, а не в вашем исходном файле. Если вы измените размер перед инференсом и забудете обратить отображение, маска вернётся правильной формы, но не на своём месте. В карточке сказано, что нужно сохранять изменение размера и отображение координат; там не сказано, что произойдёт, если этого не сделать, а ответ — незаметная ошибка, выглядящая правдоподобно.

Что меняет пул-реквест, а что — нет

PR 50028 находится в работе с 23 октября — четыре коммита, последний из которых появился примерно за минуту до открытия пул-реквеста. Он добавляет файл конфигурации, модульный файл, файл моделирования на 2 199 строк, процессор, скрипт преобразования весов, автосопоставления для модели, обработчика изображений и токенизатора, страницу документации и 552 строки тестов. CI-бот уже запросил набор медленных тестов для xiaomi_lens0. Отзывов нет.

Если его примут, изменятся три вещи. Загрузка будет выполняться через AutoModel и AutoProcessor, а не через pip install -e . из репозитория Xiaomi. Модель попадёт в документацию, которую люди действительно читают. И она станет доступна для инструментов экосистемы — квантования, адаптеров, фреймворков обучения, — которые предполагают наличие класса Transformers, прежде чем работать с чекпоинтом.

Если это объединят, четыре вещи не изменятся. По-прежнему требуется CUDA GPU с bfloat16 и FlashAttention-2. У него по-прежнему нет хостингового эндпоинта. Декодирование масок по-прежнему выполняется через процессор, а не через обычный вызов генерации. И показатели остаются в точности такими, как сообщает поставщик, какими они являются сегодня, потому что перенос фреймворка — это событие упаковки, а не оценка.

Также стоит прямо сказать о статусе. Открытый PR — это ещё не функция. Transformers сливает изменения по собственному графику, мейнтейнеры ещё не высказались, а порты такого размера обычно проходят несколько раундов, прежде чем попасть в основную ветку. Любой, кто сегодня напишет «Xiaomi-Lens-0 теперь работает в Transformers», ошибётся на один merge.

Что нужно, чтобы запустить это на этой неделе

Официальный путь — собственный пакет Xiaomi, и он предполагает наличие реальной машины с GPU.

• Настройка — Python 3.10 или новее, CUDA с bfloat16 и FlashAttention-2, затем pip install -r requirements.txt и pip install -e . внутри репозитория inference.

• Одно изображение — infer.py принимает контрольную точку, изображение, текстовый запрос и путь для вывода, а затем записывает аннотированное изображение вместе со сгенерированным текстом.

• Формат вывода — боксы нормализуются до диапазона 0–1000 внутри тегов <bbox>, маски выводятся как токены <|mask|> внутри тегов <mask>, а всё, что находится внутри блока thinking, исключается из итогового оверлея.

• Обслуживание — поддержка vLLM существует, но работает в виде двух совместно размещённых сервисов: генерация текста на порту 8000 и декодирование маски на порту 8001, при этом клиент находится на той же машине, поскольку передаёт путь к изображению, а не байты. Если вы переопределяете MAX_PIXELS, обоим сервисам требуется одно и то же значение.

Существуют два решения от сообщества, и ни одно из них не принадлежит Xiaomi. PyPI-пакет под названием xiaomi-lens-mnn заново реализует инференс на MNN для CPU в fp16 или int8, без зависимости от torch, а неофициальный набор нод для ComfyUI сообщает о бит-идентичном выводе по сравнению с официальным кодом. Оба являются полезными сигналами — особенно порт на MNN, поскольку он говорит о том, что архитектура достаточно проста, чтобы её можно было реализовать заново, а не только обернуть.

Xiaomi не публикует ни объём видеопамяти, ни замеры задержки, ни показатели пропускной способности. Для модели 4B веса — не проблема; проблема — визуальный блок при высоком разрешении и этап декодирования масок, и ни для одного из них не опубликована стоимость. Прежде чем подбирать под это парк оборудования, проведите измерения.

Кому стоит скачать это на этой неделе?

Если вам нужны попиксельно точные маски по описанию на естественном языке и вы контролируете оборудование, это {{1}}один из лучших вариантов среди 4B-моделей, доступных по разрешительной лицензии{{/1}}, а веса доступны без ограничений. Показатели на явных инструкциях конкурентоспособны с моделями, которые в несколько раз больше, архитектура убирает целую вторую сеть из вашего пайплайна, а Apache 2.0 означает, что юридическая проверка будет короткой.

Если вам сегодня нужен хостинговый эндпоинт сегментации, это не он. Xiaomi-Lens-0 отсутствует в каталоге OrcaRouter — мы его не предоставляем, и ничто здесь не должно восприниматься как утверждение об обратном. Что мы действительно предоставляем, так это набор для сравнения. Если настоящий вопрос в том, превосходит ли открытая модель с 4B параметрами хостинговую vision-модель на ваших изображениях, честный метод — запустить Lens-0 локально и обратиться к хостинговой стороне через один ключ. Qwen3-VL-8B-Instruct, например, доступна по цене $0.18 за миллион входных токенов и $0.70 за миллион выходных, передаётся по прайс-листовой цене провайдера без наценки, и тот же ключ открывает доступ к остальной части каталога, если вы хотите второе мнение или автоматическое переключение при сбое, когда один провайдер деградирует. Такое сравнение на ваших данных ценнее любой таблицы в статье.

Что изменило бы эту оценку?

Четыре вещи, в примерном порядке того, насколько они были бы важны.

Слияние PR 50028, потому что оно превращает исследовательский артефакт в нечто, что может загрузить обычная среда Python. Независимая оценка на LensBench или RefCOCO, проведённая кем-то, кто не является Xiaomi, потому что за текущими цифрами стоит один автор, а собственные слабые срезы в статье позволяют предположить, что среднее скрывает реальную дисперсию. Нативный путь маски в vLLM или SGLang, который сводит двухсервисную схему к одной конечной точке, — это разница между демонстрацией и развёртыванием. И хостинговое предложение от кого угодно, которое превратило бы модель в статью расходов, а не в проект.

До тех пор точное описание таково: Xiaomi-Lens-0 — это настоящая, доступная для скачивания модель на 4B под Apache-2.0 с необычным и хорошо документированным подходом к сегментации, которой шесть дней, с сильными показателями от вендора, опубликованным бенчмарком, который ей не льстит, и портом под фреймворк, который предложен, а не выпущен. Это полезнее знать, чем любое из утверждений: «Xiaomi только что выпустила убийцу Segment Anything» или «пока ничего интересного, пока его не смержат».