LLaDA-UI Lặng Lẽ Ra Mắt: Agent GUI Diffusion của inclusionAI Hiện Đã Có Thể Tải Về

LLaDA-UI — một tác nhân GUI dạng hỗn hợp chuyên gia (mixture-of-experts) với khoảng 16,7 tỷ tham số từ inclusionAI — xuất hiện trên Hugging Face vào ngày 6 tháng 9 năm 2026 mà không kèm theo thông báo nào. Thứ khiến nó đáng để xem xét lại không phải là sự im lặng, mà là cơ chế bên dưới: thay vì viết hành động tiếp theo từng token một như các mô hình thị giác-ngôn ngữ tự hồi quy đang thống trị lĩnh vực nghiên cứu điều khiển máy tính vẫn làm, LLaDA-UI khử nhiễu toàn bộ một khối token hành động trong mỗi bước, theo phong cách khuếch tán, và chỉ sau đó mới chốt câu trả lời. Nhà cung cấp giới thiệu nó như một tác nhân GUI khuếch tán mã nguồn mở (open-weight) thực dụng. Mọi thứ dưới đây đều được gắn nhãn đúng như bản chất: các dữ kiện kho lưu trữ bạn có thể tự kiểm tra, các tuyên bố trong báo cáo kỹ thuật mà chưa ai bên ngoài phòng thí nghiệm tái lập được, và những khoảng trống — nổi bật nhất là việc thiếu giấy phép — vẫn thực sự chưa được giải quyết.

Bối cảnh phát hành có ý nghĩa vì đây giờ đã thành một khuôn mẫu. inclusionAI là phòng thí nghiệm trực thuộc Ant Group đứng sau dòng mô hình ngôn ngữ khuếch tán LLaDA, và cùng tuần công bố các checkpoint hình ảnh LLaDA-Image và LLaDA-Image-Turbo (ngày 4 tháng 9) cùng mô hình tác nhân LLaDA2.2-mini (ngày 5 tháng 9), họ đã tạo kho lưu trữ inclusionAI/LLaDA-UI vào ngày 6 tháng 9. Ba dòng mô hình trong ba ngày, không một dòng nào được báo trước bằng bài đăng ra mắt. Riêng với LLaDA-UI, bằng chứng về một bản phát hành thực sự nằm ngay trong chính kho lưu trữ: các trọng số safetensors hiện diện và có thể tải được, mã suy luận cùng công thức phục vụ SGLang đi kèm, cùng với báo cáo kỹ thuật và trang dự án. Điều không hiện diện là bất kỳ thông báo nào từ nhà cung cấp, bất kỳ giấy phép nào, hay — tại thời điểm viết bài, khi số lượt tải vẫn còn ở mức một chữ số — bất kỳ dấu hiệu nào cho thấy thế giới rộng lớn hơn đã chú ý tới nó.

Đã gửi, nhưng chưa được thông báo

Kho lưu trữ inclusionAI/LLaDA-UI được tạo lúc 05:08 UTC ngày 6 tháng 9 và là một bản phát hành mô hình hoàn chỉnh, tự chứa đầy đủ, chứ không phải là một bản giữ chỗ. Có 21 tệp trong cây thư mục: bảy phân đoạn safetensors BF16 có tổng cộng khoảng 16,9 tỷ tham số (thẻ mô hình làm tròn thành ~16,7B tổng), các tệp tokenizer và config, và — quan trọng — mã nguồn Python của chính mô hình (modeling_llada2_vl_moe.py và configuration_llada2_vl.py). Kiến trúc được đăng ký là LLaDA2MoE_VLForConditionalGeneration dưới loại mô hình llada2vl, và vì các tệp đó nằm ngay trong kho lưu trữ, đây không phải là kiến trúc Transformers tiêu chuẩn: để tải nó, bạn phải lấy mã tùy chỉnh, hoặc bằng cách nhân bản kho lưu trữ, hoặc thông qua đường dẫn mã từ xa của hub.

Những gì repository không có cũng giàu thông tin không kém. Model card không có thẻ giấy phép và trong cây thư mục cũng không có tệp LICENSE, vì vậy câu hỏi chuẩn mà một đội ngũ thương mại hỏi đầu tiên — tôi được phép làm gì với các trọng số này? — vẫn chưa có lời đáp. Bài báo là một báo cáo kỹ thuật được phân phối dưới dạng PDF bên trong repository GitHub và được liên kết từ trang dự án; nó chưa xuất hiện trên arXiv (trang vẫn ghi "SOON"). Và không có nhà cung cấp suy luận nào chúng tôi tìm thấy đang phục vụ mô hình: thẻ Hugging Face báo cáo không có nhà cung cấp suy luận nào được triển khai, nghĩa là hiện tại LLaDA-UI là bản phát hành tải về và tự lưu trữ, không phải thứ bạn có thể gọi qua API. Chúng tôi cũng không lưu trữ nó — không gì trong bài viết này nên được hiểu là chúng tôi làm vậy.

Một tác tử GUI giải mã như một mô hình hình ảnh.

Thiết kế chính là câu chuyện, vì vậy cần phải chính xác về cách LLaDA-UI khác biệt với các mô hình GUI tự hồi quy mà nó được đem ra so sánh. Một mô hình sử dụng máy tính thông thường — chẳng hạn Qwen2.5-VL-7B hoặc Qwen3-VL-8B, hoặc VLM đứng sau một sản phẩm sử dụng máy tính dạng dịch vụ lưu trữ — nhận ảnh chụp màn hình và chỉ dẫn, sau đó dự đoán từng token một, từ trái sang phải, cho đến khi chuỗi hành động hoàn tất. Do đó, độ trễ tỷ lệ thuận với số lượng token trong câu trả lời. Ngược lại, LLaDA-UI xử lý toàn bộ phản hồi như một khối ban đầu được che đi và dần dần được khử nhiễu: mỗi bước giải mã tinh chỉnh nhiều token song song, và sau một số bước cố định (script tham chiếu dùng 32 bước với độ dài khối là 32), toàn bộ chuỗi lý luận và hành động sẽ được hé lộ. Đây chính là bước đi khái niệm tương tự mà phòng thí nghiệm đã thực hiện với việc tạo hình ảnh, nay được áp dụng cho các hành động GUI.

Bên trong, ngăn xếp công nghệ gồm: một bộ mã hóa thị giác độ phân giải gốc, một bộ chiếu không gian và một mô hình ngôn ngữ khuếch tán. Bộ mã hóa thị giác là một ViT được khởi tạo từ SigLIP, được gán các phần nhúng vị trí xoay 2D và chạy ở tỷ lệ khung hình gốc của ảnh chụp màn hình — thẻ mô hình đặt IMAGE_MAX_PIXELS là 12.845.056, tức khoảng 12,8 megapixel đầu vào trước khi giảm tỷ lệ, điều này rất quan trọng đối với các mục tiêu nhấp chuột nhỏ trên các giao diện máy tính để bàn dày đặc. Đầu ra của nó được nhóm gộp theo không gian với tỷ lệ 4:1 rồi truyền qua một bộ chiếu MLP hai lớp vào phần xương sống ngôn ngữ, vốn là mô hình ngôn ngữ khuếch tán MoE LLaDA2.0-mini. Vì vậy, con số "17B tham số" mà thanh bên Hugging Face hiển thị là một mô hình hỗn hợp chuyên gia; chỉ một phần nhỏ tham số được kích hoạt trong mỗi lượt truyền xuôi, và đây là một phần lý do khiến câu chuyện độ trễ bên dưới thậm chí còn có vẻ hợp lý.

Công thức huấn luyện đáng chú ý vì trên lý thuyết nó tiết kiệm một cách bất thường. Theo báo cáo kỹ thuật, phần lõi đa phương thức đã được tiền huấn luyện trên khoảng 145 tỷ token theo một lộ trình ba giai đoạn — một giai đoạn căn chỉnh ngắn chỉ dùng projector, sau đó là các giai đoạn toàn mô hình thiên về nhận thức và thiên về lập luận — trước khi tinh chỉnh có giám sát cho tác tử GUI trên hơn sáu triệu mẫu lấy từ dự án UI-Venus, bao phủ hơn 100 ứng dụng di động Trung Quốc, hơn 70 ứng dụng di động tiếng Anh, cùng dữ liệu máy tính để bàn và web. Cách nhà cung cấp trình bày là 145B token chỉ là một phần nhỏ so với những gì các mô hình tự hồi quy cùng phân khúc tiêu thụ (báo cáo trích dẫn 4,1T cho Qwen2.5-VL và 2,2T cho Qwen3-VL). Hãy coi số lượng token và tỷ lệ pha trộn dữ liệu là lời tự thuật của phòng thí nghiệm; điều có thể kiểm chứng độc lập chỉ là mô hình tồn tại và chạy được.

Những gì nó thực sự phát ra

LLaDA-UI có hai chế độ đầu ra, và sự khác biệt này quan trọng đối với cách bạn kết nối nó vào một quy trình xử lý. Ở chế độ định vị (grounding mode), mô hình trả về một điểm duy nhất: tọa độ số nguyên được chuẩn hóa về phạm vi [0, 999] cho mục tiêu, ví dụ: [742, 186] — và tập lệnh tham chiếu cũng in ra dưới dạng phân số từ 0 đến 1 để nhân với chiều rộng và chiều cao của ảnh chụp màn hình. Nếu mục tiêu được yêu cầu không có trong hình ảnh, mô hình được huấn luyện để trả lời [-1, -1] thay vì bịa ra một vị trí — một đặc tính tin cậy nhỏ nhưng quan trọng đối với vòng lặp tác nhân. Ở chế độ tác nhân/điều hướng (agent/navigation mode), mô hình phát ra một thẻ suy luận theo sau là một hành động có cấu trúc:

"- This is a thinking/instruction span 2. "<action>Click(box=(742, 186))</action>" - This is an action command I need to translate the text between markers while keeping all XML-like tags, markers, and coordinates intact. The key constraints are: - Keep every marker byte-for-byte - Preserve URLs and brand/product names - Output only the translated text with markers The English text to translate: - "The search bar is at the top of the page, below the logo." → Vietnamese - "Click(box=(742, 186))" → The action command itself should stay as-is since it's a technical instruction Let me translate: - "The search bar is at the top of the page, below the logo." → "Thanh tìm kiếm nằm ở đầu trang, bên dưới logo." - "Click(box=(742, 186))" → This is a coding/action instruction. I should keep "Click" as the action verb since it's part of the command syntax. The Vietnamese equivalent would be "Nhấp" but since it's an action command syntax, better to keep it as-is or translate the verb. Actually, looking at the pattern, the <action> tag content is a computer command - I should preserve it exactly as-is since it's machine-readable instruction syntax. Wait, let me reconsider. The user says "Preserve URLs and brand/product names" - the action command looks like a function call. The text inside <action> is likely meant to be preserved exactly as it's a functional command. The translatable text is mainly the <think> content. Let me provide the translation: <think>Thanh tìm kiếm nằm ở đầu trang, bên dưới logo.</think><action>Click(box=(742, 186))</action> This keeps all tags and action command intact while translating the descriptive text.</think><think>Thanh tìm kiếm nằm ở đầu trang, bên dưới logo.</think><action>Click(box=(742, 186))</action>

Từ vựng hành động được định nghĩa theo từng nền tảng — di động, máy tính để bàn và web — và mặc dù tên trường là vậy, box chứa một tọa độ tương tác duy nhất thay vì một hình chữ nhật. Sự phân tách think/action cho phép mô hình căn cứ quyết định vào màn hình hiện tại trước khi thực hiện cú nhấp chuột, và đầu ra dựa trên tọa độ giúp kết quả có thể được máy phân tích thay vì một chỉ dẫn tự do mà một trình phân tích riêng phải diễn giải.

Các tuyên bố của điểm chuẩn, được ghi nhãn

Kết quả nổi bật trong báo cáo kỹ thuật là một loạt tuyên bố về một mô hình GUI khuếch tán đánh bại các mô hình tự hồi quy ngay trên sân chơi của chúng. Được sao chép lại chính xác như nhà cung cấp công bố, từ báo cáo kỹ thuật và trang dự án — không có gì trong số này được tái lập một cách độc lập, và các con số dưới đây là so sánh giữa LLaDA-UI và Qwen3-VL-8B trừ khi có ghi chú khác:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 so với Qwen3-VL-8B 52.7, một lợi thế mong manh.

• AndroidWorld (tác nhân di động) — LLaDA-UI 53.5 so với Qwen3-VL-8B 47.9.

• MobileWorld (tác tử di động) — LLaDA-UI 25.6 so với Qwen3-VL-8B 9.4, khoảng cách lớn nhất trên bảng xếp hạng.

• WebVoyager (tác nhân web) — LLaDA-UI 56.9 so với Qwen3-VL-8B 45.2.

{{1}}Đó là bốn trong số sáu điểm chuẩn GUI được báo cáo; báo cáo thẳng thắn rằng LLaDA-UI không vượt qua Qwen3-VL-8B ở hai điểm còn lại{{/1}} — ScreenSpot-V2 khá sát, còn OSWorld-Verified vẫn là một khoảng trống, {{2}}điều mà các tác giả cho là do suy giảm hiệu suất trên các ảnh chụp màn hình rất lớn với các mục tiêu nhỏ.{{/2}} {{3}}Đối với Qwen2.5-VL-7B cũ hơn, tuyên bố là vô điều kiện:{{/3}} thắng trên cả sáu điểm chuẩn được báo cáo. {{4}}Cũng có một tuyên bố về tốc độ, được phòng thí nghiệm đo trên các lần chạy phục vụ ghép cặp, không dùng bộ nhớ đệm, trên phần cứng giống hệt nhau:{{/4}} 4,8 đến 6,4 giây cho mỗi phản hồi với LLaDA-UI so với 17 đến 53 giây với Qwen3-VL-8B, {{5}}được trích dẫn là mức tăng tốc trung bình 3,58 lần trên đầu vào web, 6,83 lần trên desktop và 8,95 lần trên thiết bị di động{{/5}} — {{6}}trong khi tạo ra nhiều token hơn cho mỗi lần gọi, theo báo cáo, vì giải mã khối song song thắng về thời gian thực tế ngay cả khi câu trả lời dài hơn.{{/6}}

Hãy đọc tuyên bố về độ trễ với sự hoài nghi ngang bằng với các con số về độ chính xác. Lợi thế khối song song của giải mã khuếch tán là có thật về mặt cơ chế, và hướng của hiệu ứng — ít bước tuần tự hơn cho mỗi phản hồi — nhất quán với cách kiến trúc hoạt động, nhưng mức tăng tốc từ 3,6 lần đến 9 lần được đo bởi chính những người xây dựng mô hình trên phần cứng do họ lựa chọn và chưa được tái lập. Khoảng cách về độ chính xác cũng quan trọng: OSWorld-Verified là thứ gần nhất mà lĩnh vực này có với một bài kiểm tra tác nhân máy tính để bàn thực tế, và đó chính xác là nơi các tác giả cho biết mô hình gặp khó khăn — trên các ảnh chụp màn hình lớn với các mục tiêu nhỏ. Một tác nhân GUI làm tốt trên di động và web nhưng trượt trên các giao diện máy tính để bàn dày đặc là một cấu hình sức mạnh cụ thể, không phải cấu hình tổng quát.

Cách chạy nó, và những gì vẫn còn thiếu

Nếu bạn muốn tự dùng thử LLaDA-UI, hướng đi là bắt đầu từ trọng số (weights). Checkpoint có dung lượng khoảng 32 GB ở định dạng BF16. Môi trường tham chiếu là Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 và FlashAttention 2.7.4.post1; phần khởi động nhanh chạy một lượt grounding ảnh đơn với --gen-length 32 --steps 32 --block-length 32. Việc phục vụ (serving) có thể thực hiện qua SGLang, nhưng chỉ thông qua trình khởi chạy riêng của phòng thí nghiệm: kho lưu trữ (repository) cung cấp serve_llada_ui.sh và một script client, các script này giả định có các bản vá khuếch tán đa phương thức dành riêng cho LLaDA-UI, và thẻ mô hình (model card) nêu rõ rằng không thể khởi động từ một bản cài đặt SGLang tiêu chuẩn. Ảnh chụp màn hình lớn cũng có thể yêu cầu tăng --max-length mặc định (8192). Đây là mô hình dành cho những người quen với việc clone repo, dựng FlashAttention theo bộ CUDA của mình và gỡ lỗi quá trình giải mã khuếch tán — chứ chưa phải là một lời gọi API một lệnh.

{{1}}Bốn điều có thể thay đổi những gì người đọc có thể làm với LLaDA-UI, và chưa điều nào xảy ra tính đến thời điểm bài viết này.{{/1}} Việc công bố giấy phép sẽ giải quyết câu hỏi thương mại hiện đang chưa có lời giải. Một mục trên arXiv sẽ biến báo cáo kỹ thuật trong kho lưu trữ thành thứ có thể trích dẫn và có thể bình duyệt. Việc tái tạo độc lập các số liệu ScreenSpot-Pro qua WebVoyager sẽ tách bạch năng lực thực sự của kiến trúc khỏi sự đánh giá của chính các tác giả. Và một nhà cung cấp thực sự phục vụ mô hình sẽ khiến nó có thể được kiểm thử mà không cần tải xuống 32 GB và một GPU. Nếu và khi bước cuối cùng đó xảy ra, bài toán định tuyến sẽ trở thành chuyện thường ngày — {{2}}một khóa API dùng chung cho tất cả danh mục mô hình, giá niêm yết của nhà cung cấp được chuyển qua nguyên vẹn không phụ phí, và tự động chuyển đổi dự phòng để một checkpoint ba ngày tuổi không bao giờ nằm một mình trên đường dẫn sản xuất.{{/2}} Cho đến lúc đó, LLaDA-UI là một mô hình open weights thú vị khác thường đáng để theo dõi: một tác nhân GUI khuếch tán với những tuyên bố benchmark thực chất, một điểm yếu cụ thể và được tiết lộ trung thực, và không hề có khung đỡ pháp lý hay vận hành nào có thể giúp hầu hết các đội ngũ áp dụng nó ngay hôm nay. Hãy theo dõi kho lưu trữ để chờ giấy phép và bài báo, theo đúng thứ tự đó.