LLaDA-UI startet leise: inclusionAIs Diffusions-GUI-Agent ist jetzt herunterladbar

LLaDA-UI — ein GUI-Agent mit Mixture-of-Experts-Architektur und rund 16,7 Milliarden Parametern von inclusionAI — erschien am 6. September 2026 auf Hugging Face, ohne dass eine Ankündigung damit verbunden war. Was einen zweiten Blick rechtfertigt, ist nicht die Stille, sondern der zugrunde liegende Mechanismus: Anstatt den nächsten Schritt so zu schreiben, wie es die autoregressiven Vision-Language-Modelle tun, die die Computer-Use-Forschung dominieren — nämlich Token für Token —, entrauscht LLaDA-UI pro Schritt einen ganzen Block von Aktions-Tokens im Diffusions-Stil und legt sich erst dann auf die Antwort fest. Der Anbieter vermarktet es als praktischen Diffusions-GUI-Agenten mit offenen Gewichten. Alles unten ist klar gekennzeichnet: Repository-Fakten, die man selbst überprüfen kann; Behauptungen aus dem technischen Bericht, die außerhalb des Labors niemand reproduziert hat; und Lücken — darunter vor allem eine fehlende Lizenz — die weiterhin wirklich ungelöst sind.

Der Veröffentlichungsrahmen ist von Bedeutung, denn dies ist inzwischen ein Muster. inclusionAI ist das mit Ant Group verbundene Labor hinter der LLaDA-Familie von Diffusions-Sprachmodellen. In derselben Woche, in der es die Bild-Checkpoints LLaDA-Image und LLaDA-Image-Turbo (4. September) sowie das Agentenmodell LLaDA2.2-mini (5. September) veröffentlichte, erstellte es am 6. September das Repository inclusionAI/LLaDA-UI. Drei Modellfamilien in drei Tagen, keine davon durch einen Ankündigungsbeitrag vorab angekündigt. Für LLaDA-UI im Speziellen ist der Beleg für eine tatsächliche Veröffentlichung das Repository selbst: Die safetensors-Gewichte sind vorhanden und ladbar, der Inferenzcode und ein SGLang-Serving-Rezept werden zusammen mit ihnen ausgeliefert, und es existieren ein technischer Bericht sowie eine Projektseite. Nicht vorhanden sind hingegen eine Ankündigung des Anbieters, eine Lizenz oder – zum Zeitpunkt des Schreibens, bei noch einstelligen Downloadzahlen – irgendein Zeichen dafür, dass die breitere Öffentlichkeit es bereits zur Kenntnis genommen hat.

Ausgeliefert, aber nicht angekündigt.

Das Repository `inclusionAI/LLaDA-UI` wurde am 6. September um 05:08 UTC erstellt und ist ein vollständiger, in sich geschlossener Modell-Drop und kein Platzhalter. Im Verzeichnisbaum befinden sich einundzwanzig Dateien: sieben BF16-Safetensors-Shards, die zusammen auf etwa 16,9 Milliarden Parameter kommen (die Modellkarte rundet auf insgesamt ~16,7B), die Tokenizer- und Konfigurationsdateien sowie – wichtig – der eigene Python-Quellcode des Modells (`modeling_llada2_vl_moe.py` und `configuration_llada2_vl.py`). Die Architektur registriert sich als `LLaDA2MoE_VLForConditionalGeneration` unter einem Modelltyp `llada2vl`, und da diese Dateien im Repository enthalten sind, handelt es sich nicht um eine Standard-Transformers-Architektur: Das Laden bedeutet, den benutzerdefinierten Code zu übernehmen, entweder durch Klonen des Repositories oder über den Remote-Code-Pfad des Hubs.

Was das Repository nicht enthält, ist ebenso aufschlussreich. Es gibt kein Lizenz-Tag auf der Modellkarte und keine LICENSE-Datei im Verzeichnisbaum, sodass die Standardfrage, die sich ein kommerzielles Team zuerst stellt – was darf ich mit diesen Gewichten tun? – noch keine Antwort hat. Das Paper ist ein technischer Bericht, der als PDF im GitHub-Repository ausgeliefert und von einer Projektseite aus verlinkt wird; es ist nicht auf arXiv erschienen (die Seite sagt immer noch „SOON"). Und kein Inference-Anbieter, den wir finden können, stellt das Modell bereit: Die Hugging-Face-Karte weist keinen bereitgestellten Inference-Anbieter aus, was bedeutet, dass LLaDA-UI derzeit ein Download-und-Self-Host-Release ist und nicht etwas, das man über eine API aufrufen kann. Wir hosten es ebenfalls nicht – nichts in diesem Artikel sollte als Behauptung verstanden werden, dass wir es tun.

Ein GUI-Agent, der wie ein Bildmodell dekodiert.

Das Design ist die Geschichte, daher lohnt es sich, präzise zu beschreiben, wie sich LLaDA-UI von den autoregressiven GUI-Modellen unterscheidet, mit denen es gemessen wird. Ein herkömmliches Computer-Use-Modell – etwa Qwen2.5-VL-7B oder Qwen3-VL-8B oder das VLM hinter einem gehosteten Computer-Use-Produkt – nimmt den Screenshot und die Anweisung entgegen und sagt dann Token für Token von links nach rechts voraus, bis die Aktionszeichenkette vollständig ist. Die Latenz skaliert daher mit der Anzahl der Token in der Antwort. LLaDA-UI behandelt stattdessen die gesamte Antwort als einen Block, der zunächst maskiert und schrittweise entrauscht wird: Jeder Dekodierungsschritt verfeinert viele Token parallel, und nach einer festen Anzahl von Schritten (das Referenzskript verwendet 32 Schritte mit einer Blocklänge von 32) wird die vollständige Zeichenkette aus Reasoning und Aktion sichtbar. Das ist dieselbe konzeptionelle Bewegung, die das Labor bei der Bilderzeugung gemacht hat, übertragen auf GUI-Aktionen.

Unter der Haube besteht der Stack aus: einem Vision-Encoder in nativer Auflösung, einem räumlichen Projektor und einem Diffusions-Sprachmodell. Der Vision-Encoder ist ein ViT, der mit SigLIP initialisiert wird, 2D-Rotations-Positions-Embeddings erhält und im nativen Seitenverhältnis des Screenshots ausgeführt wird – die Modellkarte setzt IMAGE_MAX_PIXELS auf 12.845.056, also etwa 12,8 Megapixel Eingabe vor dem Herunterskalieren, was für kleine Klickziele in dichten Desktop-Oberflächen wichtig ist. Seine Ausgabe wird räumlich im Verhältnis vier zu eins gruppiert und durch einen zweischichtigen MLP-Projektor in ein Sprach-Backbone geleitet, bei dem es sich um das Diffusions-Sprachmodell LLaDA2.0-mini MoE handelt. Die „17B Parameter“, die die Seitenleiste von Hugging Face anzeigt, bezeichnen also ein Mixture-of-Experts-Modell; für einen gegebenen Vorwärtsdurchlauf ist nur ein Bruchteil der Parameter aktiv, was mit ein Grund dafür ist, dass die unten beschriebene Latenz überhaupt plausibel ist.

Das Trainingsrezept ist erwähnenswert, weil es auf dem Papier ungewöhnlich sparsam ist. Laut dem technischen Bericht wurde das multimodale Backbone in einem dreiphasigen Curriculum auf etwa 145 Milliarden Tokens vortrainiert – einer kurzen Ausrichtungsphase nur für den Projektor, danach vollständigen Modellphasen mit Schwerpunkt auf Wahrnehmung und Denken – bevor ein überwachtes Feintuning für GUI-Agenten an mehr als sechs Millionen Stichproben aus dem Projekt UI-Venus durchgeführt wurde, das über 100 chinesische Mobilanwendungen, über 70 englische Mobilanwendungen sowie Desktop- und Webdaten umfasst. Der Hersteller stellt es so dar, dass 145 Milliarden Tokens nur ein Bruchteil dessen sind, was autoregressive Wettbewerber verbraucht haben (der Bericht nennt 4,1 Billionen für Qwen2.5-VL und 2,2 Billionen für Qwen3-VL). Behandeln Sie die Tokenzahlen und die Datenmischung als eigene Angaben des Labors; unabhängig überprüfbar ist nur, dass das Modell existiert und läuft.

Was es tatsächlich emittiert

LLaDA-UI verfügt über zwei Ausgabemodi, und dieser Unterschied ist entscheidend dafür, wie man es in eine Pipeline einbindet. Im Grounding-Modus gibt das Modell einen einzelnen Punkt zurück: ganzzahlige Koordinaten, die für das Ziel auf einen Bereich von [0, 999] normalisiert sind, z. B. [742, 186]. Das Referenzskript gibt diese außerdem als Bruch zwischen 0 und 1 aus, der mit der Breite und Höhe des Screenshots multipliziert werden soll. Wenn das angeforderte Ziel nicht im Bild vorhanden ist, ist das Modell darauf trainiert, [-1, -1] zu antworten, anstatt eine Position zu halluzinieren – eine kleine, aber wichtige Zuverlässigkeitseigenschaft für eine Agentenschleife. Im Agenten-/Navigationsmodus gibt das Modell ein Reasoning-Tag gefolgt von einer strukturierten Aktion aus:

<think>Die Suchleiste befindet sich oben auf der Seite, unter dem Logo.</think><action>Click(box=(742, 186))</action>

Das Aktionsvokabular ist pro Plattform definiert — mobil, Desktop und Web — und trotz des Feldnamens enthält „box" eine einzelne Interaktionskoordinate und kein Rechteck. Die Trennung von Denken/Handeln ermöglicht es dem Modell, seine Entscheidung im aktuellen Bildschirm zu verankern, bevor es einen Klick ausführt, und die koordinatenbasierte Ausgabe sorgt dafür, dass das Ergebnis maschinenlesbar bleibt und nicht als frei formulierter Befehl von einem separaten Parser interpretiert werden muss.

Die Benchmark-Angaben, beschriftet

Die wichtigsten Ergebnisse des technischen Berichts sind eine Reihe von Behauptungen, dass ein Diffusions-GUI-Modell autoregressive Modelle mit ihren eigenen Mitteln schlägt. Hier exakt so wiedergegeben, wie der Anbieter sie im technischen Bericht und auf der Projektseite darstellt — nichts davon wurde unabhängig reproduziert, und die folgenden Zahlen beziehen sich, sofern nicht anders angegeben, auf LLaDA-UI gegenüber Qwen3-VL-8B:

• ScreenSpot-Pro (Grounding) — LLaDA-UI 52,9 vs. Qwen3-VL-8B 52,7, ein knapper Vorsprung.

• AndroidWorld (mobiler Agent) — LLaDA-UI 53.5 vs. Qwen3-VL-8B 47.9.

• MobileWorld (Mobiler Agent) — LLaDA-UI 25.6 vs Qwen3-VL-8B 9.4, der größte Abstand im gesamten Ranking.

• WebVoyager (Web-Agent) — LLaDA-UI 56,9 vs. Qwen3-VL-8B 45,2.

Dies sind vier der sechs berichteten GUI-Benchmarks; der Bericht räumt offen ein, dass LLaDA-UI bei den anderen beiden nicht an Qwen3-VL-8B herankommt – beim ScreenSpot-V2 ist es knapp, und OSWorld-Verified bleibt eine Lücke, die die Autoren auf die Verschlechterung bei sehr großen Screenshots mit kleinen Zielobjekten zurückführen. Gegenüber dem älteren Qwen2.5-VL-7B ist die Behauptung uneingeschränkt: Siege bei allen sechs berichteten Benchmarks. Es gibt auch eine Geschwindigkeitsangabe, die vom Labor in paarweisen, nicht gecachten Serving-Läufen auf identischer Hardware gemessen wurde: 4,8 bis 6,4 Sekunden pro Antwort für LLaDA-UI gegenüber 17 bis 53 Sekunden für Qwen3-VL-8B – angegeben als mittlere Beschleunigungen von 3,58x bei Web-Eingaben, 6,83x bei Desktop und 8,95x bei Mobile –, wobei pro Aufruf mehr Tokens erzeugt werden, wie der Bericht sagt, weil paralleles Block-Decoding an der tatsächlich verstrichenen Zeit gewinnt, selbst wenn die Antwort länger ist.

Lesen Sie die Latenzbehauptung mit derselben Skepsis wie die Genauigkeitszahlen. Der Parallel-Block-Vorteil der Diffusionsdekodierung ist mechanistisch real, und die Richtung des Effekts – weniger sequenzielle Schritte pro Antwort – ist konsistent mit der Funktionsweise der Architektur, aber die 3,6- bis 9-fachen Beschleunigungen wurden von den Leuten gemessen, die das Modell auf einer von ihnen gewählten Hardware entwickelt haben, und sie wurden nicht repliziert. Auch die Genauigkeitslücken sind wichtig: OSWorld-Verified ist das, was das Feld einem realistischen Desktop-Agenten-Test am nächsten hat, und genau dort, so die Autoren, kämpft das Modell – bei großen Screenshots mit kleinen Zielen. Ein GUI-Agent, der Mobile und Web meistert, aber bei dichten Desktop-Oberflächen schwächelt, ist ein spezifisches Stärkenprofil, kein allgemeines.

Wie man es ausführt, und was noch fehlt

Wenn du LLaDA-UI selbst ausprobieren möchtest, führt der Weg zuerst über die Gewichte. Der Checkpoint umfasst etwa 32 GB in BF16. Die Referenzumgebung besteht aus Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 und FlashAttention 2.7.4.post1; der Schnellstart führt einen Grounding-Durchlauf für ein einzelnes Bild mit --gen-length 32 --steps 32 --block-length 32 aus. Serving ist über SGLang möglich, allerdings nur über den eigenen Launcher des Labors: Das Repository bringt ein serve_llada_ui.sh und ein Client-Skript mit, die LLaDA-UI-spezifische Patches für multimodale Diffusion voraussetzen, und die Model Card weist ausdrücklich darauf hin, dass es nicht aus einer unveränderten SGLang-Installation heraus gestartet werden kann. Große Screenshots können außerdem erfordern, den standardmäßigen --max-length-Wert von 8192 zu erhöhen. Dies ist ein Modell für Leute, die sich damit wohlfühlen, ein Repo zu klonen, FlashAttention gegen ihre CUDA-Umgebung zu bauen und einen Diffusions-Decode zu debuggen — noch kein API-Aufruf mit einem einzigen Befehl.

Vier Dinge würden verändern, was ein Leser mit LLaDA-UI anfangen kann, und keines davon ist bislang geschehen. Eine ausdrückliche Lizenz würde die kommerzielle Frage klären, die derzeit keine Antwort hat. Ein arXiv-Eintrag würde den technischen Bericht im Repository zitierbar und von Fachleuten überprüfbar machen. Eine unabhängige Reproduktion der Zahlen aus ScreenSpot-Pro und WebVoyager würde die tatsächliche Leistungsfähigkeit der Architektur von der Evaluierung durch ihre Autoren unterscheidbar machen. Und ein Anbieter, der das Modell tatsächlich bereitstellt, würde es ohne einen 32-GB-Download und eine GPU testbar machen. Geschieht dieser letzte Schritt, wird die Routing-Frage zur Routine – ein API-Schlüssel für alle Modellkataloge, Listenpreise der Anbieter, die ohne Aufschlag weitergereicht werden, und automatisches Failover, damit sich ein drei Tage alter Checkpoint nie allein auf einem Produktionspfad befindet. Bis dahin ist LLaDA-UI ein ungewöhnlich interessantes Open-Weights-Modell, das man im Auge behalten sollte: ein Diffusions-GUI-Agent mit echten Benchmark-Behauptungen, eine spezifische und ehrlich offengelegte Schwäche und keinerlei rechtliches oder operatives Gerüst, das den meisten Teams die Übernahme heute ermöglichen würde. Achten Sie im Repository auf die Lizenz und das Paper, in dieser Reihenfolge.