LLaDA-UI Dirilis Senyap: Agen GUI Difusi inclusionAI Kini Dapat Diunduh

LLaDA-UI — agen GUI mixture-of-experts dengan sekitar 16,7 miliar parameter dari inclusionAI — muncul di Hugging Face pada 6 September 2026 tanpa pengumuman apa pun. Yang membuatnya patut dilihat dua kali bukanlah kesunyiannya, melainkan mekanisme yang mendasarinya: alih-alih menulis aksi berikutnya satu token demi satu token seperti yang dilakukan model visi-bahasa autoregresif yang mendominasi riset penggunaan komputer, LLaDA-UI mendenoise seluruh blok token aksi per langkah, ala difusi, dan baru kemudian menetapkan jawabannya. Vendor memasarkannya sebagai agen GUI difusi open-weight yang praktis. Semua hal di bawah ini diberi label sesuai apa adanya: fakta repositori yang dapat Anda periksa sendiri, klaim laporan teknis yang belum direproduksi siapa pun di luar lab, dan celah — yang paling utama di antaranya adalah lisensi yang hilang — yang masih benar-benar belum tuntas.

Kerangka rilis ini penting karena ini kini menjadi sebuah pola. inclusionAI adalah laboratorium berafiliasi Ant Group di balik keluarga model bahasa difusi LLaDA, dan pada minggu yang sama ketika ia menerbitkan checkpoint gambar LLaDA-Image dan LLaDA-Image-Turbo (4 September) serta model agen LLaDA2.2-mini (5 September), ia membuat repositori inclusionAI/LLaDA-UI pada 6 September. Tiga keluarga model dalam tiga hari, tidak satu pun didahului oleh postingan peluncuran. Untuk LLaDA-UI secara khusus, bukti rilis yang sesungguhnya adalah repositori itu sendiri: bobot safetensors tersedia dan dapat dimuat, kode inferensi dan resep penyajian SGLang disertakan bersama bobot-bobot tersebut, serta laporan teknis dan halaman proyek pun ada. Yang tidak ada adalah pengumuman vendor, lisensi, atau — pada saat tulisan ini dibuat, dengan unduhan yang masih di angka satuan — tanda bahwa dunia yang lebih luas telah menyadarinya.

Telah dikirim, tetapi tidak diumumkan

Repositori inclusionAI/LLaDA-UI dibuat pada 05:08 UTC tanggal 6 September dan merupakan drop model yang lengkap serta mandiri, bukan sekadar placeholder. Ada dua puluh satu file dalam pohon repositori: tujuh pecahan safetensors BF16 yang totalnya sekitar 16,9 miliar parameter (kartu model membulatkannya menjadi total ~16,7 miliar), file tokenizer dan konfigurasi, serta — yang penting — kode sumber Python model itu sendiri (modeling_llada2_vl_moe.py dan configuration_llada2_vl.py). Arsitektur ini terdaftar sebagai LLaDA2MoE_VLForConditionalGeneration dengan tipe model llada2vl, dan karena file-file tersebut disertakan di dalam repositori, ini bukan arsitektur Transformers bawaan: memuatnya berarti mengambil kode khusus, baik dengan mengkloning repositori maupun melalui jalur remote-code dari hub.

Yang tidak dimuat repositori sama informatifnya. Tidak ada tag lisensi pada kartu model dan tidak ada berkas LICENSE dalam struktur repositori, sehingga pertanyaan standar yang pertama kali diajukan tim komersial — apa yang boleh saya lakukan dengan bobot-bobot ini? — belum ada jawabannya. Makalah ini adalah laporan teknis yang didistribusikan sebagai PDF di dalam repositori GitHub dan ditautkan dari halaman proyek; makalah ini belum muncul di arXiv (halamannya masih bertuliskan "SOON"). Dan tidak ada penyedia inferensi yang dapat kami temukan melayani model ini: kartu Hugging Face melaporkan tidak ada penyedia inferensi yang digunakan, yang berarti untuk saat ini LLaDA-UI adalah rilis unduh-dan-host-sendiri, bukan sesuatu yang dapat dipanggil melalui API. Kami juga tidak menghostingnya — tidak ada apa pun dalam tulisan ini yang boleh dibaca sebagai klaim bahwa kami melakukannya.

Agen GUI yang mendekode layaknya model gambar.

Desain adalah ceritanya, jadi ada baiknya bersikap presisi tentang bagaimana LLaDA-UI berbeda dari model GUI autoregresif yang menjadi pembandingnya. Model penggunaan komputer konvensional — misalnya Qwen2.5-VL-7B atau Qwen3-VL-8B, atau VLM di balik produk computer-use yang dihosting — mengambil tangkapan layar dan instruksi, lalu memprediksi satu token demi satu token, dari kiri ke kanan, hingga string aksi lengkap. Latensi karenanya berskala mengikuti jumlah token dalam jawaban. LLaDA-UI justru memperlakukan seluruh respons sebagai satu blok yang pada awalnya dimasking lalu didenoise secara progresif: setiap langkah decoding menyempurnakan banyak token secara paralel, dan setelah sejumlah langkah yang tetap (skrip referensi menggunakan 32 langkah dengan panjang blok 32), string penalaran-plus-aksi yang utuh terungkap. Itu adalah langkah konseptual yang sama seperti yang dilakukan lab pada generasi gambar, kini diterapkan pada aksi GUI.

Di balik layar, stack-nya adalah: encoder visi resolusi-native, proyektor spasial, dan model bahasa difusi. Encoder visi adalah ViT yang diinisialisasi dari SigLIP, diberi embedding posisi rotari 2D, dan dijalankan pada rasio aspek native tangkapan layar — kartu modelnya menetapkan IMAGE_MAX_PIXELS sebesar 12.845.056, jadi sekitar 12,8 megapiksel input sebelum downscaling, yang penting untuk target klik kecil pada UI desktop yang padat. Keluarannya dikelompokkan secara spasial empat-banding-satu dan diteruskan melalui proyektor MLP dua lapis ke dalam backbone bahasa, yaitu model bahasa difusi LLaDA2.0-mini MoE. Jadi, "17B params" yang ditampilkan di sidebar Hugging Face adalah model mixture-of-experts; hanya sebagian kecil parameter yang aktif untuk setiap forward pass, dan ini sebagian menjelaskan mengapa cerita latensi di bawah ini masuk akal.

Resep pelatihan ini perlu dicatat karena sangat hemat di atas kertas. Menurut laporan teknis, backbone multimodal dilatih awal pada sekitar 145 miliar token dalam kurikulum tiga fase — fase penyelarasan khusus proyektor yang pendek, kemudian fase model penuh yang berfokus pada persepsi dan penalaran — sebelum penyesuaian halus yang diawasi untuk agen GUI pada lebih dari enam juta sampel yang diambil dari proyek UI-Venus, mencakup lebih dari 100 aplikasi seluler Tionghoa, lebih dari 70 aplikasi seluler Inggris, ditambah data desktop dan web. Kerangka yang diajukan vendor adalah bahwa 145 miliar token hanyalah sebagian kecil dari yang dikonsumsi rekan-rekan autoregresif (laporan tersebut mengutip 4,1 triliun untuk Qwen2.5-VL dan 2,2 triliun untuk Qwen3-VL). Anggap jumlah token dan campuran data sebagai laporan lab itu sendiri; yang dapat diverifikasi secara independen hanyalah bahwa model tersebut ada dan berjalan.

Apa yang sebenarnya ia pancarkan

LLaDA-UI memiliki dua mode keluaran, dan perbedaan tersebut penting untuk cara Anda menghubungkannya ke dalam sebuah pipeline. Dalam mode grounding, model mengembalikan satu titik: koordinat bilangan bulat yang dinormalisasi ke rentang [0, 999] untuk target, misalnya [742, 186], yang juga dicetak oleh skrip referensi sebagai pecahan 0 hingga 1 untuk dikalikan dengan lebar dan tinggi tangkapan layar. Jika target yang diminta tidak ada dalam gambar, model dilatih untuk menjawab [-1, -1] alih-alih mengada-ada lokasi — properti keandalan yang kecil tetapi penting untuk loop agen. Dalam mode agen/navigasi, model mengeluarkan tag penalaran yang diikuti oleh aksi terstruktur:

{{think}}Bilah pencarian berada di bagian atas halaman, di bawah logo.{{/think}}{{action}}Click(box=(742, 186)){{/action}}

Kosakata tindakan didefinisikan per platform — seluler, desktop, dan web — dan meskipun nama kolomnya demikian, box menyimpan satu koordinat interaksi, bukan sebuah persegi panjang. Pemisahan think/action itulah yang memungkinkan model mendasarkan keputusannya pada layar saat ini sebelum berkomitmen untuk mengeklik, dan keluaran berbasis koordinat itulah yang membuat hasilnya dapat diurai mesin secara otomatis, bukan berupa instruksi bebas yang harus ditafsirkan oleh parser terpisah.

Klaim benchmark berlabel.

Hasil utama laporan teknis adalah serangkaian klaim tentang model GUI difusi yang mengalahkan model autoregresif dalam permainan mereka sendiri. Direproduksi di sini persis seperti yang dilaporkan vendor, dari laporan teknis dan halaman proyek — tidak ada satu pun dari ini yang direproduksi secara independen, dan angka-angka di bawah ini adalah LLaDA-UI versus Qwen3-VL-8B kecuali disebutkan lain:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 vs Qwen3-VL-8B 52.7, keunggulan tipis.

• AndroidWorld (agen seluler) — LLaDA-UI 53.5 vs Qwen3-VL-8B 47.9.

• MobileWorld (agen seluler) — LLaDA-UI 25.6 vs Qwen3-VL-8B 9.4, kesenjangan terbesar di papan.

• WebVoyager (agen web) — LLaDA-UI 56.9 vs Qwen3-VL-8B 45.2.

Itu adalah empat dari enam benchmark GUI yang dilaporkan; laporan tersebut secara terus terang mengakui bahwa LLaDA-UI tidak mengungguli Qwen3-VL-8B pada dua lainnya — ScreenSpot-V2 hampir setara, dan OSWorld-Verified masih menjadi kesenjangan, yang menurut para penulis disebabkan oleh degradasi pada tangkapan layar yang sangat besar dengan target-target kecil. Terhadap Qwen2.5-VL-7B yang lebih lama, klaimnya tanpa syarat: menang di keenam benchmark yang dilaporkan. Ada juga klaim kecepatan, yang diukur oleh laboratorium pada sesi penyajian non-cache berpasangan pada perangkat keras yang identik: 4,8 hingga 6,4 detik per respons untuk LLaDA-UI dibandingkan 17 hingga 53 detik untuk Qwen3-VL-8B, disebutkan sebagai percepatan rata-rata 3,58x pada input web, 6,83x pada desktop, dan 8,95x pada seluler — sambil menghasilkan lebih banyak token per panggilan, demikian laporan tersebut, karena dekode blok paralel tetap lebih cepat dalam waktu wall-clock bahkan ketika jawabannya lebih panjang.

Baca klaim latensi dengan skeptisisme yang sama seperti angka akurasinya. Keunggulan pemrosesan paralel-blok pada decoding difusi memang nyata secara mekanistik, dan arah efeknya — lebih sedikit langkah sekuensial per respons — konsisten dengan cara kerja arsitektur tersebut, tetapi percepatan 3,6x hingga 9x diukur oleh orang-orang yang membangun model pada perangkat keras pilihan mereka sendiri, dan belum pernah direplikasi. Kesenjangan akurasi juga penting: OSWorld-Verified adalah tes paling mendekati uji agen desktop realistis yang dimiliki bidang ini, dan justru di situlah para penulis mengatakan model tersebut kesulitan, pada tangkapan layar besar dengan target kecil. Agen GUI yang mahir di perangkat seluler dan web tetapi tergelincir pada UI desktop yang padat adalah profil kekuatan yang spesifik, bukan yang umum.

Cara menjalankannya, dan apa yang masih kurang

Jika Anda ingin mencoba LLaDA-UI sendiri, jalurnya adalah mengutamakan bobot (weights-first). Checkpoint-nya sekitar 32 GB dalam BF16. Lingkungan referensinya adalah Python 3.10, PyTorch 2.5.1, Transformers 4.51.0, dan FlashAttention 2.7.4.post1, dan quick-start-nya menjalankan proses grounding satu gambar dengan --gen-length 32 --steps 32 --block-length 32. Penyajian model (serving) dapat dilakukan melalui SGLang, tetapi hanya dengan peluncur khusus dari lab tersebut: repositori menyertakan serve_llada_ui.sh dan skrip klien yang mengasumsikan patch difusi multimodal khusus LLaDA-UI, dan kartu model dengan tegas menyatakan bahwa model ini tidak dapat dijalankan dari instalasi SGLang standar. Tangkapan layar berukuran besar mungkin juga memerlukan peningkatan --max-length default 8192. Model ini ditujukan bagi orang yang terbiasa mengkloning repositori, membangun FlashAttention dengan pengaturan CUDA mereka sendiri, dan men-debug decode difusi — belum menjadi panggilan API satu perintah.

Empat hal akan mengubah apa yang bisa dilakukan orang dengan LLaDA-UI, dan belum satu pun terjadi hingga tulisan ini dibuat. Lisensi yang dinyatakan secara tegas akan menuntaskan persoalan komersial yang hingga kini belum ada jawabannya. Entri arXiv akan mengubah laporan teknis di dalam repositori menjadi sesuatu yang dapat disitasi dan ditelaah oleh rekan sejawat. Reproduksi independen atas angka-angka ScreenSpot-Pro melalui WebVoyager akan memisahkan kapabilitas nyata arsitektur tersebut dari evaluasi para penulisnya. Dan penyedia yang benar-benar menjalankan model itu akan membuatnya dapat diuji tanpa unduhan 32 GB dan GPU. Jika dan ketika langkah terakhir itu terjadi, soal perutean menjadi rutin — satu kunci API untuk semua katalog model, harga daftar penyedia diteruskan tanpa markup, dan failover otomatis sehingga checkpoint berumur tiga hari tidak pernah berdiri sendiri di jalur produksi. Sampai saat itu tiba, LLaDA-UI adalah model open-weight yang luar biasa menarik untuk disimak: agen GUI difusi dengan klaim benchmark yang nyata, kelemahan spesifik yang diungkapkan dengan jujur, dan tanpa perancah hukum maupun operasional yang memungkinkan sebagian besar tim mengadopsinya saat ini. Pantau repositori tersebut untuk lisensi dan makalah, dalam urutan itu.