LLaDA-UI тихо выпущен: диффузионный GUI-агент от inclusionAI теперь доступен для скачивания

LLaDA-UI — GUI-агент на основе смеси экспертов с примерно 16,7 миллиарда параметров от inclusionAI — появился на Hugging Face 6 сентября 2026 года без сопроводительного анонса. Дело не в тишине, а в механизме, который лежит в основе: вместо того чтобы генерировать следующее действие по одному токену за раз, как это делают авторегрессионные визуально-языковые модели, доминирующие в исследованиях computer use, LLaDA-UI за один шаг деноизит целый блок токенов действий, в диффузионном стиле, и лишь затем фиксирует ответ. Разработчик представляет его как практичного диффузионного GUI-агента с открытыми весами. Всё ниже честно помечено: факты из репозитория, которые вы можете проверить сами; утверждения из технического отчёта, которые никто за пределами лаборатории не воспроизводил; и пробелы — главный из которых отсутствующая лицензия, — которые до сих пор по-настоящему не закрыты.

Форма релиза важна, потому что это уже становится закономерностью. inclusionAI — аффилированная с Ant Group лаборатория, стоящая за семейством диффузионных языковых моделей LLaDA; на той же неделе, когда она опубликовала чекпоинты генерации изображений LLaDA-Image и LLaDA-Image-Turbo (4 сентября) и агентную модель LLaDA2.2-mini (5 сентября), она 6 сентября создала репозиторий inclusionAI/LLaDA-UI. Три семейства моделей за три дня, и ни одно из них не было предварено анонсирующим постом. Что касается конкретно LLaDA-UI, доказательством фактического релиза служит сам репозиторий: веса safetensors присутствуют и загружаются, вместе с ними поставляются инференс-код и рецепт SGLang-сервинга, а также существуют технический отчёт и страница проекта. Чего нет — так это какого-либо анонса от вендора, какой-либо лицензии или — на момент написания, когда количество загрузок всё ещё измеряется единицами, — каких-либо признаков того, что остальной мир уже обратил на это внимание.

Отправлено, но не анонсировано

Репозиторий inclusionAI/LLaDA-UI был создан в 05:08 UTC 6 сентября и представляет собой полный, самодостаточный набор файлов модели, а не заглушку. В дереве репозитория 21 файл: семь шардов safetensors в формате BF16, которые в сумме дают около 16,9 миллиарда параметров (в карточке модели итог округлён до ~16,7 млрд), файлы токенизатора и конфигурации, а также — что важно — собственный исходный код модели на Python (modeling_llada2_vl_moe.py и configuration_llada2_vl.py). Архитектура регистрируется как LLaDA2MoE_VLForConditionalGeneration с типом модели llada2vl, и поскольку эти файлы поставляются внутри репозитория, это не стандартная архитектура Transformers: для её загрузки необходимо подтянуть пользовательский код — либо клонировав репозиторий, либо через путь remote-code в хабе.

То, чего репозиторий не содержит, не менее показательно. На карточке модели нет тега лицензии, а в дереве репозитория нет файла LICENSE, поэтому стандартный вопрос, который коммерческая команда задаёт в первую очередь — «что мне разрешено делать с этими весами?», — пока остаётся без ответа. Статья представляет собой технический отчёт, распространяемый в виде PDF внутри GitHub-репозитория и доступный по ссылке со страницы проекта; на arXiv её нет (на странице до сих пор написано «SOON»). И ни один из найденных нами инференс-провайдеров не обслуживает модель: на карточке Hugging Face не указано ни одного развёрнутого инференс-провайдера, а значит, на данный момент LLaDA-UI — это релиз для скачивания и самостоятельного развёртывания, а не то, что можно вызвать через API. Мы также не размещаем её у себя — ничто в этом материале не следует понимать как утверждение, что мы это делаем.

GUI-агент, который декодирует как модель изображений.

Дизайн — это и есть суть, поэтому стоит точно описать, чем LLaDA-UI отличается от авторегрессионных GUI-моделей, с которыми её сравнивают. Обычная модель для управления компьютером — скажем, Qwen2.5-VL-7B или Qwen3-VL-8B, или VLM, лежащая в основе облачного продукта для управления компьютером, — получает скриншот и инструкцию, а затем предсказывает по одному токену за раз, слева направо, пока строка действия не будет завершена. Поэтому задержка растёт пропорционально количеству токенов в ответе. LLaDA-UI вместо этого обрабатывает весь ответ как блок, который изначально замаскирован и постепенно деноизируется: каждый шаг декодирования параллельно уточняет множество токенов, и после фиксированного числа шагов (в эталонном скрипте используется 32 шага с длиной блока 32) раскрывается полная строка рассуждения и действия. Это тот же концептуальный приём, который лаборатория применила к генерации изображений, перенесённый на действия в графическом интерфейсе.

Под капотом стек выглядит так: визуальный энкодер с нативным разрешением, пространственный проектор и диффузионная языковая модель. Визуальный энкодер — это ViT, инициализированный из SigLIP, снабжённый 2D-роторными позиционными эмбеддингами и работающий в нативном соотношении сторон скриншота — карточка задаёт IMAGE_MAX_PIXELS = 12 845 056, то есть примерно 12,8 мегапикселя на входе до даунскейлинга, что важно для мелких целей клика в плотных десктопных интерфейсах. Его выход пространственно группируется в соотношении четыре к одному и пропускается через двухслойный MLP-проектор в языковой бэкбон, которым является диффузионная языковая модель LLaDA2.0-mini MoE. Так что «17B params», которые показывает сайдбар Hugging Face, — это модель на основе смеси экспертов; для любого прямого прохода активна лишь небольшая доля параметров, что отчасти объясняет, почему приведённая ниже история с задержками вообще правдоподобна.

Рецепт обучения заслуживает внимания тем, что на бумаге он необычайно экономичен. Согласно техническому отчёту, мультимодальный бэкбон был предобучен примерно на 145 миллиардах токенов по трёхфазной программе — короткая фаза выравнивания только на проекторе, затем фазы полной модели с упором на восприятие и рассуждение, — после чего проводилось контролируемое дообучение GUI-агента на более чем шести миллионах примеров из проекта UI-Venus, охватывающих более 100 китайских мобильных приложений, более 70 англоязычных мобильных приложений, а также десктопные и веб-данные. По трактовке вендора, 145B токенов — лишь доля того, что потребили авторегрессионные аналоги (в отчёте приводятся 4.1T для Qwen2.5-VL и 2.2T для Qwen3-VL). Количество токенов и состав данных следует воспринимать как заявление самой лаборатории; независимо проверить можно только то, что модель существует и работает.

Что оно на самом деле излучает

LLaDA-UI имеет два режима вывода, и это различие важно для того, как вы будете встраивать его в конвейер. В режиме привязки (grounding) модель возвращает единственную точку: целочисленные координаты, нормализованные к диапазону [0, 999] для целевого объекта, например [742, 186], которые эталонный скрипт также выводит в виде дроби от 0 до 1, чтобы умножать на ширину и высоту скриншота. Если запрошенный целевой объект отсутствует на изображении, модель обучена отвечать [-1, -1], а не галлюцинировать местоположение — небольшое, но важное свойство надёжности для цикла агента. В режиме агента/навигации модель выводит тег рассуждения, за которым следует структурированное действие:

<think>Строка поиска находится в верхней части страницы, под логотипом.</think><action>Click(box=(742, 186))</action>

Словарь действий определяется отдельно для каждой платформы — мобильной, десктопной и веб, — и, несмотря на название поля, box содержит одну координату взаимодействия, а не прямоугольник. Разделение на think/action позволяет модели обосновывать своё решение на основе текущего экрана перед тем, как совершить клик, а вывод на основе координат делает результат машиночитаемым, а не свободной инструкцией, которую отдельному парсеру пришлось бы интерпретировать.

Утверждения бенчмарка, помеченные

Главные результаты технического отчёта — это набор заявлений о том, что диффузионная GUI-модель превосходит авторегрессионные модели в их же собственной игре. Здесь они воспроизводятся точно так, как их приводит вендор, из технического отчёта и страницы проекта — всё это не было независимо воспроизведено, и приведённые ниже цифры относятся к LLaDA-UI против Qwen3-VL-8B, если не указано иное:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 против Qwen3-VL-8B 52.7, небольшой перевес.

• AndroidWorld (мобильный агент) — LLaDA-UI 53.5 против Qwen3-VL-8B 47.9.

• MobileWorld (мобильный агент) — LLaDA-UI 25.6 против Qwen3-VL-8B 9.4, самый большой разрыв в таблице.

• WebVoyager (веб-агент) — LLaDA-UI 56.9 против Qwen3-VL-8B 45.2.

Это четыре из шести GUI-бенчмарков, заявленных в отчёте; авторы прямо признают, что на двух других LLaDA-UI не обходит Qwen3-VL-8B: ScreenSpot-V2 — близко, а OSWorld-Verified остаётся разрывом, который они объясняют деградацией на очень больших скриншотах с мелкими целевыми объектами. Против более старой Qwen2.5-VL-7B утверждение безоговорочное: победа во всех шести заявленных бенчмарках. Есть и заявление о скорости, измеренной лабораторией на парных запусках serving без кэширования на идентичном оборудовании: от 4,8 до 6,4 секунды на ответ у LLaDA-UI против от 17 до 53 секунд у Qwen3-VL-8B; среднее ускорение — в 3,58 раза на веб-сценариях, 6,83 раза на десктопе и 8,95 раза на мобильных. При этом за один вызов генерируется больше токенов, как говорится в отчёте, — потому что параллельное блочное декодирование выигрывает по реальному времени, даже когда ответ длиннее.

Читайте утверждение о задержке с тем же скепсисом, что и показатели точности. Преимущество параллельных блоков диффузионного декодирования реально с механистической точки зрения, и направление эффекта — меньше последовательных шагов на ответ — согласуется с тем, как работает архитектура, однако ускорение в 3,6–9 раз было измерено людьми, создавшими модель, на выбранном ими оборудовании, и не было воспроизведено независимо. Разрывы в точности тоже важны: OSWorld-Verified — это самое близкое, что есть в данной области, к реалистичному тесту для десктоп-агента, и именно там, по словам авторов, модель испытывает трудности — на больших скриншотах с мелкими объектами. GUI-агент, который отлично работает с мобильными и веб-интерфейсами, но дает сбои на плотных десктопных интерфейсах, — это специфический профиль сильных сторон, а не универсальный.

Как это запустить, и чего ещё не хватает

Если вы хотите попробовать LLaDA-UI самостоятельно, путь лежит через получение весов. Чекпойнт занимает около 32 ГБ в формате BF16. Эталонное окружение — Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 и FlashAttention 2.7.4.post1, а quick-start запускает проход привязки одного изображения с параметрами --gen-length 32 --steps 32 --block-length 32. Обслуживание возможно через SGLang, но только через собственный лаунчер лаборатории: в репозитории есть serve_llada_ui.sh и клиентский скрипт, которые предполагают наличие специфических для LLaDA-UI мультимодальных диффузионных патчей, а в карточке модели явно указано, что запустить её из стандартной установки SGLang нельзя. Большие скриншоты могут также потребовать увеличения значения --max-length по умолчанию (8192). Эта модель рассчитана на людей, которым комфортно клонировать репозиторий, собирать FlashAttention под свою конфигурацию CUDA и отлаживать диффузионный декод, — это пока не API-вызов в одну команду.

Четыре вещи изменили бы то, что читатель может сделать с LLaDA-UI, и ни одна из них не произошла на момент написания этого текста. Заявленная лицензия решила бы коммерческий вопрос, на который сейчас нет ответа. Запись в arXiv превратила бы технический отчёт из репозитория в нечто цитируемое и доступное для экспертной проверки. Независимое воспроизведение результатов ScreenSpot-Pro через WebVoyager отделило бы реальные возможности архитектуры от оценки её авторов. А провайдер, который действительно обслуживает модель, сделал бы её тестируемой без загрузки на 32 ГБ и GPU. Если и когда этот последний шаг произойдёт, вопрос маршрутизации станет рутинным — один API-ключ для всех каталогов моделей, цены провайдеров передаются без наценки, и автоматический фейловер, чтобы трёхдневный чекпойнт никогда не оставался на продакшн-пути в одиночку. До тех пор LLaDA-UI — необычно интересные открытые веса, за которыми стоит наблюдать: диффузионный GUI-агент с реальными бенчмарк-заявлениями, конкретной и честно раскрытой слабостью и без тех юридических или операционных опор, которые позволили бы большинству команд принять его сегодня. Следите за репозиторием в ожидании лицензии и статьи, в таком порядке.