LLaDA-UI arriva in sordina: l'agente GUI a diffusione di inclusionAI è ora scaricabile

LLaDA-UI — un agente GUI mixture-of-experts di circa 16,7 miliardi di parametri, realizzato da inclusionAI — è apparso su Hugging Face il 6 settembre 2026, senza alcun annuncio allegato. Ciò che merita un secondo sguardo non è il silenzio, ma il meccanismo sottostante: invece di scrivere la propria prossima azione un token alla volta, come fanno i modelli visivo-linguistici autoregressivi che dominano la ricerca sull'uso dei computer, LLaDA-UI esegue il denoising di un intero blocco di token d'azione a ogni passo, in stile diffusione, e solo a quel punto finalizza la risposta. Il produttore lo presenta come un agente GUI diffusion pratico e open-weight. Tutto ciò che segue è etichettato per quello che è: fatti del repository verificabili direttamente, affermazioni del rapporto tecnico che nessuno al di fuori del laboratorio ha riprodotto, e lacune — prima fra tutte la licenza mancante — che restano davvero irrisolte.

Il contesto del rilascio è importante perché ora siamo di fronte a uno schema ricorrente. inclusionAI è il laboratorio affiliato ad Ant Group dietro alla famiglia LLaDA di modelli linguistici a diffusione, e nella stessa settimana in cui ha pubblicato i checkpoint per le immagini LLaDA-Image e LLaDA-Image-Turbo (4 settembre) e il modello agente LLaDA2.2-mini (5 settembre), ha creato il repository inclusionAI/LLaDA-UI il 6 settembre. Tre famiglie di modelli in tre giorni, nessuna delle quali preceduta da un post di lancio. Per LLaDA-UI in particolare, la prova di un rilascio effettivo è il repository stesso: i pesi safetensors sono presenti e caricabili, il codice di inferenza e una ricetta di serving con SGLang sono inclusi insieme ad essi, e esistono un report tecnico e una pagina di progetto. Ciò che non è presente è qualsiasi annuncio del fornitore, qualsiasi licenza o — al momento in cui scriviamo, con download ancora a una cifra — qualsiasi segno che il mondo esterno lo abbia già notato.

Spedito, ma non annunciato

Il repository inclusionAI/LLaDA-UI è stato creato alle 05:08 UTC del 6 settembre ed è un rilascio completo e autonomo del modello, non un segnaposto. Nell'albero sono presenti ventuno file: sette shard safetensors BF16 che sommano a circa 16,9 miliardi di parametri (la scheda del modello arrotonda a ~16,7B totali), i file del tokenizer e di configurazione e — cosa importante — il sorgente Python del modello stesso (modeling_llada2_vl_moe.py e configuration_llada2_vl.py). L'architettura è registrata come LLaDA2MoE_VLForConditionalGeneration sotto un tipo di modello llada2vl, e poiché questi file sono inclusi nel repository non si tratta di un'architettura standard di Transformers: caricarla significa dover recuperare il codice personalizzato, clonando il repository o tramite il percorso di codice remoto dell'hub.

Ciò che il repository non contiene è altrettanto informativo. Non c'è alcun tag di licenza sulla scheda del modello e nessun file LICENSE nell'albero del repository, quindi la domanda standard che un team commerciale si pone per prima — cosa mi è consentito fare con questi pesi? — non ha ancora risposta. Il paper è un rapporto tecnico distribuito come PDF all'interno del repository GitHub e collegato da una pagina di progetto; non è ancora apparso su arXiv (la pagina dice ancora "SOON"). E nessun provider di inferenza che siamo riusciti a trovare sta servendo il modello: la scheda Hugging Face non riporta alcun provider di inferenza implementato, il che significa che per ora LLaDA-UI è una release da scaricare e auto-ospitare, non qualcosa che si può chiamare tramite un'API. E noi non lo ospitiamo nemmeno — nulla in questo articolo dovrebbe essere letto come un'affermazione che lo facciamo.

Un agente GUI che decodifica come un modello di immagini.

Il design è la storia, quindi vale la pena essere precisi su come LLaDA-UI si distingue dai modelli GUI autoregressivi rispetto ai quali viene misurata. Un modello convenzionale di computer-use — ad esempio Qwen2.5-VL-7B o Qwen3-VL-8B, oppure il VLM alla base di un prodotto di computer-use ospitato — prende in input lo screenshot e l'istruzione, poi predice un token alla volta, da sinistra a destra, fino al completamento della stringa di azione. La latenza, quindi, cresce in proporzione al numero di token nella risposta. LLaDA-UI, invece, tratta l'intera risposta come un blocco inizialmente mascherato e progressivamente denoizzato: ogni passo di decodifica affina molti token in parallelo e, dopo un numero fisso di passi (lo script di riferimento usa 32 passi con una lunghezza del blocco di 32), viene rivelata l'intera stringa di ragionamento e azione. È la stessa mossa concettuale che il laboratorio ha fatto con la generazione di immagini, applicata alle azioni GUI.

Sotto il cofano, lo stack è composto da un encoder visivo a risoluzione nativa, un proiettore spaziale e un modello linguistico a diffusione. L'encoder visivo è un ViT inizializzato da SigLIP, dotato di embedding posizionali rotatori 2D ed eseguito al rapporto d'aspetto nativo dello screenshot: la scheda del modello imposta un IMAGE_MAX_PIXELS di 12.845.056, quindi circa 12,8 megapixel di input prima del downscaling, un aspetto che conta per i piccoli target cliccabili nelle interfacce desktop dense. Il suo output viene raggruppato spazialmente quattro a uno e fatto passare attraverso un proiettore MLP a due strati fino a un backbone linguistico, che è il modello linguistico a diffusione MoE LLaDA2.0-mini. Quindi i “17B params” mostrati nella barra laterale di Hugging Face corrispondono a un modello mixture-of-experts; per ogni forward pass è attiva solo una frazione dei parametri, il che spiega in parte perché la storia della latenza qui sotto è persino plausibile.

La ricetta di addestramento è degna di nota perché è insolitamente economica sulla carta. Secondo il rapporto tecnico, il backbone multimodale è stato pre-addestrato su circa 145 miliardi di token in un curriculum in tre fasi — una breve fase di allineamento con solo il proiettore, poi fasi di modello completo incentrate sulla percezione e sul ragionamento — prima di un fine-tuning supervisionato per agenti GUI su più di sei milioni di campioni tratti dal progetto UI-Venus, che coprono più di 100 applicazioni mobili cinesi, più di 70 applicazioni mobili inglesi, oltre a dati desktop e web. Il fornitore inquadra la cosa così: 145 miliardi di token sono una frazione di ciò che hanno consumato i modelli autoregressivi concorrenti (il rapporto cita 4.1T per Qwen2.5-VL e 2.2T per Qwen3-VL). Tratta il conteggio dei token e la composizione dei dati come il resoconto del laboratorio; ciò che è verificabile in modo indipendente è solo che il modello esiste e funziona.

Ciò che emette effettivamente

LLaDA-UI ha due modalità di output, e la differenza è importante per come lo collegheresti a una pipeline. In modalità grounding, il modello restituisce un singolo punto: coordinate intere normalizzate a un intervallo [0, 999] per il target, ad esempio [742, 186], che lo script di riferimento stampa anche come frazione da 0 a 1 da moltiplicare per larghezza e altezza dello screenshot. Se il target richiesto non è presente nell'immagine, il modello è addestrato a rispondere [-1, -1] piuttosto che allucinare una posizione — una proprietà di affidabilità piccola ma importante per un loop agente. In modalità agente/navigazione, il modello emette un tag di ragionamento seguito da un'azione strutturata:

<think>La barra di ricerca è in cima alla pagina, sotto il logo.</think><action>Click(box=(742, 186))</action>

Il vocabolario delle azioni è definito per piattaforma — mobile, desktop e web — e nonostante il nome del campo, box contiene una singola coordinata di interazione, non un rettangolo. La suddivisione tra pensiero e azione è ciò che consente al modello di fondare la propria decisione sullo schermo corrente prima di impegnarsi in un clic, e l'output basato su coordinate è ciò che mantiene il risultato interpretabile dalla macchina, invece di un'istruzione in formato libero che un parser separato dovrebbe interpretare.

Le affermazioni del benchmark, etichettate

I risultati principali del rapporto tecnico sono un insieme di affermazioni secondo cui un modello GUI a diffusione supera i modelli autoregressivi nel loro stesso gioco. Riprodotti qui esattamente come riportati dal fornitore, dal rapporto tecnico e dalla pagina del progetto — nessuno di questi è stato riprodotto in modo indipendente, e i numeri seguenti riguardano LLaDA-UI rispetto a Qwen3-VL-8B, salvo diversa indicazione:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 vs Qwen3-VL-8B 52.7, un margine ristretto.

• AndroidWorld (agente mobile) — LLaDA-UI 53.5 vs Qwen3-VL-8B 47.9.

• MobileWorld (agente mobile) — LLaDA-UI 25.6 vs Qwen3-VL-8B 9.4, il divario più ampio in classifica.

• WebVoyager (agente web) — LLaDA-UI 56.9 vs Qwen3-VL-8B 45.2.

Questi sono quattro dei sei benchmark GUI riportati; il report ammette candidamente che LLaDA-UI non supera Qwen3-VL-8B sugli altri due — ScreenSpot-V2 è vicino, mentre OSWorld-Verified rimane una lacuna, che gli autori attribuiscono al degrado su screenshot molto grandi con target piccoli. Rispetto al più vecchio Qwen2.5-VL-7B, l'affermazione è incondizionata: vittorie su tutti e sei i benchmark riportati. C'è anche una dichiarazione sulla velocità, misurata dal laboratorio su esecuzioni di serving accoppiate senza cache su hardware identico: da 4,8 a 6,4 secondi per risposta per LLaDA-UI contro i 17-53 secondi di Qwen3-VL-8B, riportati come speedup medi di 3,58x sugli input web, 6,83x sul desktop e 8,95x sul mobile — il tutto generando più token per chiamata, riferisce il report, perché la decodifica parallela a blocchi vince sul wall-clock anche quando la risposta è più lunga.

Leggi l'affermazione sulla latenza con lo stesso scetticismo con cui guardi i numeri di accuratezza. Il vantaggio del parallelismo a blocchi della decodifica diffusionale è meccanicamente reale, e la direzione dell'effetto — meno passaggi sequenziali per risposta — è coerente con il funzionamento dell'architettura; ma gli speedup da 3.6x a 9x sono stati misurati da chi ha costruito il modello, su hardware scelto da loro, e non sono stati replicati. Anche i divari di accuratezza contano: OSWorld-Verified è la cosa più vicina a un test realistico per agenti desktop che il settore abbia, ed è proprio lì che gli autori dicono che il modello fa fatica, su screenshot grandi con target piccoli. Un agente GUI che eccelle su mobile e web ma inciampa su interfacce desktop dense è un profilo di punti di forza specifico, non generale.

Come eseguirlo e cosa manca ancora

Se vuoi provare LLaDA-UI da solo, la strada è partire dai pesi. Il checkpoint è di circa 32 GB in BF16. L'ambiente di riferimento è Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 e FlashAttention 2.7.4.post1; la procedura di avvio rapido esegue un passaggio di grounding su una singola immagine con --gen-length 32 --steps 32 --block-length 32. Il serving è possibile tramite SGLang, ma solo attraverso il launcher del laboratorio: il repository include serve_llada_ui.sh e uno script client che presuppongono patch di diffusione multimodale specifiche di LLaDA-UI, e la scheda del modello afferma esplicitamente che non è possibile l'avvio da un'installazione SGLang standard. Gli screenshot di grandi dimensioni possono inoltre richiedere di aumentare il valore predefinito di --max-length, che è 8192. Questo è un modello per persone che si trovano a proprio agio nel clonare un repository, nel compilare FlashAttention per la propria configurazione CUDA e nel fare debug di una decodifica di diffusione — non ancora una chiamata API con un solo comando.

Quattro cose cambierebbero ciò che un lettore può fare con LLaDA-UI, e nessuna di esse è ancora accaduta al momento in cui scrivo. Una licenza dichiarata risolverebbe la questione commerciale che oggi non ha risposta. Un preprint su arXiv renderebbe il report tecnico contenuto nel repository qualcosa di citabile e sottoponibile al vaglio dei pari. Una replica indipendente dei punteggi di ScreenSpot-Pro e WebVoyager separerebbe la reale capacità dell'architettura dalla valutazione fatta dai suoi autori. E un provider che eroghi davvero il modello lo renderebbe testabile senza un download da 32 GB e una GPU. Se e quando accadrà quell'ultima cosa, la questione del routing diventerà routine: un'unica chiave API per tutti i cataloghi di modelli, prezzi di listino dei provider trasferiti senza ricarico e failover automatico, cosicché un checkpoint vecchio di tre giorni non resti mai da solo su un percorso di produzione. Fino ad allora, LLaDA-UI è un modello open-weights insolitamente interessante da osservare: un agente GUI a diffusione con reali affermazioni sui benchmark, una debolezza specifica e onestamente dichiarata, e nessuna impalcatura legale o operativa che permetterebbe oggi alla maggior parte dei team di adottarlo. Tenete d'occhio il repository in attesa della licenza e del paper, in quest'ordine.