LLaDA-UI sort en toute discrétion : l'agent GUI de diffusion d'inclusionAI est désormais téléchargeable

LLaDA-UI — un agent GUI à mélange d'experts d'environ 16,7 milliards de paramètres, signé inclusionAI — est apparu sur Hugging Face le 6 septembre 2026, sans la moindre annonce. Ce qui mérite qu'on s'y attarde, ce n'est pas le silence, mais le mécanisme sous-jacent : au lieu d'écrire sa prochaine action un jeton à la fois, comme le font les modèles vision-langage autorégressifs qui dominent la recherche sur l'utilisation d'ordinateurs, LLaDA-UI débruitise à chaque étape un bloc entier de jetons d'action, à la manière d'un modèle de diffusion, et ne valide sa réponse qu'ensuite. Le fournisseur le présente comme un agent GUI de diffusion pratique et à poids ouverts. Tout ce qui suit est étiqueté pour ce que c'est : des faits concernant le dépôt, que vous pouvez vérifier vous-même ; des affirmations du rapport technique que personne en dehors du laboratoire n'a reproduites ; et des lacunes — dont l'absence de licence, en tout premier lieu — qui demeurent véritablement non résolues.

Le calendrier des sorties importe, car c'est désormais un schéma établi. inclusionAI est le laboratoire affilié au groupe Ant derrière la famille LLaDA de modèles de langage à diffusion. La même semaine où il a publié les checkpoints d'images LLaDA-Image et LLaDA-Image-Turbo (le 4 septembre) et le modèle agent LLaDA2.2-mini (le 5 septembre), il a créé le dépôt inclusionAI/LLaDA-UI le 6 septembre. Trois familles de modèles en trois jours, aucune n'ayant été précédée d'un article de lancement. Pour LLaDA-UI plus précisément, la preuve d'une sortie effective réside dans le dépôt lui-même : les poids safetensors sont présents et chargeables, le code d'inférence et une recette de service SGLang les accompagnent, et un rapport technique ainsi qu'une page de projet existent. Ce qui manque en revanche, c'est toute annonce du fournisseur, toute licence ou — au moment de la rédaction, avec des téléchargements encore à un chiffre — tout signe que le reste du monde l'ait déjà remarqué.

Expédié, mais non annoncé

Le dépôt inclusionAI/LLaDA-UI a été créé à 05:08 UTC le 6 septembre et constitue une publication de modèle complète et autonome, et non un simple espace réservé. Vingt et un fichiers sont présents dans l’arborescence : sept fragments safetensors BF16 qui totalisent environ 16,9 milliards de paramètres (la fiche du modèle arrondit à ~16,7B au total), les fichiers tokenizer et config, et — surtout — le code source Python du modèle lui-même (modeling_llada2_vl_moe.py et configuration_llada2_vl.py). L’architecture s’enregistre sous le nom LLaDA2MoE_VLForConditionalGeneration dans un type de modèle llada2vl, et ces fichiers étant livrés dans le dépôt, il ne s’agit pas d’une architecture Transformers standard : la charger implique d’aller chercher le code personnalisé, soit en clonant le dépôt, soit via le chemin de code distant du hub.

Ce que le dépôt ne contient pas est tout aussi instructif. Il n'y a pas de badge de licence sur la fiche du modèle ni de fichier LICENSE dans l'arborescence : la question standard que toute équipe commerciale se pose en premier — qu'ai-je le droit de faire de ces poids ? — reste donc sans réponse. Le document est un rapport technique distribué au format PDF dans le dépôt GitHub et accessible depuis une page de projet ; il n'a pas été publié sur arXiv (la page affiche toujours « SOON »). Et aucun fournisseur d'inférence que nous ayons trouvé ne sert le modèle : la fiche Hugging Face ne référence aucun fournisseur d'inférence déployé, ce qui signifie que pour l'instant LLaDA-UI est une version à télécharger et à auto-héberger, pas quelque chose que l'on peut appeler via une API. Nous ne l'hébergeons pas non plus — rien dans cet article ne doit être lu comme une affirmation en ce sens.

Un agent GUI qui décode comme un modèle d'image.

Le design est l'histoire, il vaut donc la peine d'être précis sur ce qui distingue LLaDA-UI des modèles GUI autorégressifs auxquels il est comparé. Un modèle conventionnel d'utilisation d'ordinateur — Qwen2.5-VL-7B ou Qwen3-VL-8B, par exemple, ou le VLM derrière un produit hébergé d'utilisation d'ordinateur — prend la capture d'écran et l'instruction, puis prédit un jeton à la fois, de gauche à droite, jusqu'à ce que la chaîne d'action soit complète. La latence est donc fonction du nombre de jetons dans la réponse. LLaDA-UI, quant à lui, traite l'ensemble de la réponse comme un bloc initialement masqué puis progressivement débruité : chaque étape de décodage affine de nombreux jetons en parallèle, et après un nombre fixe d'étapes (le script de référence utilise 32 étapes avec une longueur de bloc de 32), la chaîne complète de raisonnement et d'action est révélée. C'est la même démarche conceptuelle que le laboratoire avait appliquée à la génération d'images, transposée aux actions GUI.

Sous le capot, la stack se compose d'un encodeur visuel en résolution native, d'un projecteur spatial et d'un modèle de langage à diffusion. L'encodeur visuel est un ViT initialisé à partir de SigLIP, doté d'embeddings de position rotationnels 2D, et exécuté au format natif de la capture d'écran — la fiche du modèle fixe un IMAGE_MAX_PIXELS de 12 845 056, soit environ 12,8 mégapixels d'entrée avant réduction d'échelle, ce qui est crucial pour les petites cibles cliquables des interfaces de bureau denses. Sa sortie est regroupée spatialement selon un ratio de quatre pour un, puis transmise par un projecteur MLP à deux couches à un backbone linguistique, à savoir le modèle de langage à diffusion LLaDA2.0-mini MoE. Les « 17B params » affichés dans la barre latérale de Hugging Face correspondent donc à un modèle à mélange d'experts ; seule une fraction des paramètres est active à chaque passage avant, ce qui explique en partie pourquoi les performances de latence présentées ci-dessous sont finalement plausibles.

La recette d'entraînement mérite d'être soulignée car elle est exceptionnellement économique sur le papier. Selon le rapport technique, le backbone multimodal a été pré-entraîné sur environ 145 milliards de tokens selon un programme en trois phases — une courte phase d'alignement limitée au projecteur, puis des phases complètes axées sur la perception et le raisonnement — avant un fine-tuning supervisé d'agent GUI sur plus de six millions d'échantillons issus du projet UI-Venus, couvrant plus de 100 applications mobiles chinoises, plus de 70 applications mobiles anglaises, ainsi que des données de bureau et web. Le fournisseur présente les choses en indiquant que 145B de tokens ne représentent qu'une fraction de ce qu'ont consommé les pairs autorégressifs (le rapport cite 4,1T pour Qwen2.5-VL et 2,2T pour Qwen3-VL). Il convient de considérer les nombres de tokens et la composition des données comme le propre récit du laboratoire ; ce qui est vérifiable de manière indépendante, c'est uniquement que le modèle existe et fonctionne.

Ce qu'il émet réellement

LLaDA-UI a deux modes de sortie, et la différence compte pour la manière dont vous l’intégreriez dans un pipeline. En mode grounding, le modèle renvoie un point unique : des coordonnées entières normalisées sur une plage [0, 999] pour la cible, par exemple [742, 186], que le script de référence imprime aussi sous forme de fraction entre 0 et 1 à multiplier par la largeur et la hauteur de la capture d’écran. Si la cible demandée n’est pas présente dans l’image, le modèle est entraîné à répondre [-1, -1] plutôt que d’halluciner un emplacement — une propriété de fiabilité petite mais importante pour une boucle d’agent. En mode agent/navigation, le modèle émet une balise de raisonnement suivie d’une action structurée :

<think>La barre de recherche est en haut de la page, sous le logo.</think><action>Click(box=(742, 186))</action>

Le vocabulaire d'actions est défini par plateforme — mobile, desktop et web — et malgré le nom du champ, box contient une coordonnée d'interaction unique plutôt qu'un rectangle. La séparation réflexion/action est ce qui permet au modèle d'ancrer sa décision dans l'écran actuel avant de valider un clic, et c'est la sortie sous forme de coordonnées qui garantit que le résultat reste analysable par machine, au lieu d'une instruction en texte libre qu'un analyseur séparé doit interpréter.

Les affirmations du benchmark, étiquetées

Les résultats principaux du rapport technique sont un ensemble d'affirmations selon lesquelles un modèle GUI à diffusion bat les modèles autorégressifs sur leur propre terrain. Reproduits ici exactement tels que le fournisseur les rapporte, à partir du rapport technique et de la page du projet — rien de tout cela n'a été reproduit de manière indépendante, et les chiffres ci-dessous correspondent à LLaDA-UI contre Qwen3-VL-8B, sauf indication contraire :

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 vs Qwen3-VL-8B 52.7, un léger avantage.

• AndroidWorld (agent mobile) — LLaDA-UI 53,5 contre Qwen3-VL-8B 47,9.

• MobileWorld (agent mobile) — LLaDA-UI 25,6 contre Qwen3-VL-8B 9,4, l’écart le plus important du tableau.

• WebVoyager (agent web) — LLaDA-UI 56.9 vs Qwen3-VL-8B 45.2.

Ce sont quatre des six benchmarks GUI rapportés ; le rapport reconnaît sans détour que LLaDA-UI ne dépasse pas Qwen3-VL-8B sur les deux autres — le résultat est serré sur ScreenSpot-V2, et OSWorld-Verified reste un angle mort, ce que les auteurs attribuent à une dégradation sur les très grandes captures d’écran comportant de petites cibles. Face au Qwen2.5-VL-7B, plus ancien, l’affirmation est sans condition : LLaDA-UI remporte les six benchmarks rapportés. Le rapport avance aussi un gain de vitesse, mesuré par le laboratoire sur des exécutions d’inférence appariées et sans cache, sur un matériel identique : 4,8 à 6,4 secondes par réponse pour LLaDA-UI, contre 17 à 53 secondes pour Qwen3-VL-8B, soit des accélérations moyennes de 3,58x sur les entrées web, 6,83x sur desktop et 8,95x sur mobile — tout en générant plus de jetons par appel, précise le rapport, car le décodage parallèle par blocs est plus rapide en temps d’horloge, même lorsque la réponse est plus longue.

Lisez l'affirmation concernant la latence avec le même scepticisme que les chiffres de précision. L'avantage des blocs parallèles du décodage par diffusion tient au mécanisme lui-même, et la direction de l'effet — moins d'étapes séquentielles par réponse — est cohérente avec le fonctionnement de l'architecture, mais les accélérations de 3,6x à 9x ont été mesurées par les personnes qui ont construit le modèle sur le matériel de leur choix, et elles n'ont pas été reproduites. Les écarts de précision comptent aussi : OSWorld-Verified est ce qui se rapproche le plus, dans le domaine, d'un test réaliste d'agent de bureau, et c'est précisément là que les auteurs disent que le modèle peine, sur les grandes captures d'écran avec de petites cibles. Un agent GUI qui excelle sur mobile et sur le web, mais qui trébuche sur les interfaces de bureau denses, relève d'un profil de compétences spécifique, et non général.

Comment l'exécuter, et ce qui manque encore

Si vous voulez essayer LLaDA-UI vous-même, le chemin commence par les poids. Le checkpoint pèse environ 32 Go en BF16. L'environnement de référence est Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 et FlashAttention 2.7.4.post1, et le démarrage rapide exécute un passage de grounding sur une seule image avec --gen-length 32 --steps 32 --block-length 32. Le serving est possible via SGLang, mais uniquement avec le lanceur du laboratoire : le dépôt fournit un serve_llada_ui.sh et un script client qui supposent des patchs de diffusion multimodale spécifiques à LLaDA-UI, et la fiche du modèle précise explicitement qu'il ne peut pas être démarré depuis une installation SGLang standard. Les grandes captures d'écran peuvent aussi nécessiter d'augmenter la valeur par défaut de --max-length, fixée à 8192. C'est un modèle pour les personnes à l'aise avec le clonage d'un dépôt, la compilation de FlashAttention pour leur configuration CUDA et le débogage d'un décodage de diffusion — pas encore un appel API en une seule commande.

Quatre choses changeraient ce qu'un lecteur peut faire avec LLaDA-UI, et aucune ne s'est produite à ce jour. Une licence déclarée réglerait la question commerciale qui reste actuellement sans réponse. Une entrée arXiv transformerait le rapport technique contenu dans le dépôt en quelque chose de citable et d'examinable par les pairs. Une reproduction indépendante des chiffres ScreenSpot-Pro obtenus via WebVoyager permettrait de distinguer la capacité réelle de l'architecture de l'évaluation de ses auteurs. Et un fournisseur servant réellement le modèle le rendrait testable sans téléchargement de 32 Go ni GPU. Si et quand cette dernière étape se produit, la question du routage devient une formalité — une clé API unique sur l'ensemble des catalogues de modèles, les prix catalogue des fournisseurs répercutés sans marge, et un basculement automatique afin qu'un checkpoint vieux de trois jours ne se retrouve jamais seul sur un chemin de production. D'ici là, LLaDA-UI est un modèle à poids ouverts inhabituellement intéressant à suivre : un agent GUI à diffusion avec de réelles affirmations de benchmark, une faiblesse spécifique et honnêtement divulguée, et aucun des échafaudages juridiques ou opérationnels qui permettraient à la plupart des équipes de l'adopter aujourd'hui. Surveillez le dépôt pour la licence et l'article, dans cet ordre.