LLaDA-UI เปิดตัวแบบเงียบ ๆ: เอเจนต์ GUI แบบ Diffusion ของ inclusionAI พร้อมให้ดาวน์โหลดแล้ว

LLaDA-UI — เอเจนต์ GUI แบบ mixture-of-experts ขนาดประมาณ 16.7 พันล้านพารามิเตอร์ จาก inclusionAI — ปรากฏบน Hugging Face เมื่อวันที่ 6 กันยายน 2026 โดยไม่มีประกาศใดๆ แนบมาด้วย สิ่งที่ทำให้มันน่ามองครั้งที่สองไม่ใช่ความเงียบ หากแต่เป็นกลไกที่อยู่เบื้องหลัง นั่นคือ แทนที่จะเขียนแอ็กชันถัดไปทีละหนึ่งโทเคนเหมือนกับที่โมเดลวิทัศน์-ภาษาแบบ autoregressive ซึ่งครองงานวิจัยด้านการใช้คอมพิวเตอร์ทำ LLaDA-UI กลับลดสัญญาณรบกวน (denoise) บล็อกของแอ็กชันโทเคนทั้งหมดในแต่ละขั้นตอน ด้วยวิธีแบบ diffusion แล้วจึงค่อยตัดสินใจเลือกคำตอบ ผู้พัฒนาระบุว่ามันเป็นเอเจนต์ GUI แบบ diffusion ที่ใช้งานได้จริงและเปิดน้ำหนัก (open-weight) ทุกอย่างด้านล่างนี้ถูกติดฉลากตามสิ่งที่มันเป็น: ข้อเท็จจริงจาก repository ที่คุณสามารถตรวจสอบได้ด้วยตัวเอง คำกล่าวอ้างในรายงานเทคนิคที่ไม่มีใครนอกห้องแล็บทำซ้ำได้ และช่องว่าง — ที่สำคัญที่สุดคือการไม่มีใบอนุญาต — ที่ยังไม่ได้รับการแก้ไขอย่างแท้จริง

{{1}}กรอบเวลาของการเผยแพร่มีความสำคัญเพราะตอนนี้นี่กลายเป็นรูปแบบที่ชัดเจนแล้ว{{/1}} {{2}}inclusionAI คือห้องปฏิบัติการในเครือ Ant Group ที่อยู่เบื้องหลังตระกูลโมเดลภาษาประเภทดิฟฟิวชัน LLaDA และในสัปดาห์เดียวกันกับที่มันเผยแพร่ checkpoint รูปภาพ LLaDA-Image และ LLaDA-Image-Turbo (4 กันยายน) และโมเดลเอเจนต์ LLaDA2.2-mini (5 กันยายน) มันก็ได้สร้างที่เก็บโค้ด inclusionAI/LLaDA-UI ขึ้นในวันที่ 6 กันยายน{{/2}} {{3}}โมเดลสามตระกูลในสามวัน โดยไม่มีโมเดลใดเลยที่มีโพสต์ประกาศเปิดตัวมาก่อน{{/3}} {{4}}สำหรับ LLaDA-UI โดยเฉพาะ หลักฐานของการเผยแพร่จริงคือตัวที่เก็บโค้ดเอง: น้ำหนักโมเดล safetensors มีอยู่และโหลดได้ โค้ดอินเฟอเรนซ์และสูตรการให้บริการ SGLang มาพร้อมกับมัน และมีรายงานทางเทคนิคกับหน้าของโปรเจกต์อยู่ด้วย{{/4}} {{5}}สิ่งที่ไม่มีคือประกาศจากผู้จำหน่าย ใบอนุญาตใดๆ หรือ — ในขณะที่เขียนบทความนี้ จำนวนดาวน์โหลดยังเป็นเลขหลักเดียว — สัญญาณใดๆ ว่าโลกภายนอกเริ่มให้ความสนใจมันแล้ว{{/5}}

จัดส่งแล้ว แต่ยังไม่ได้ประกาศ

ที่เก็บ `inclusionAI/LLaDA-UI` ถูกสร้างขึ้นเมื่อเวลา 05:08 UTC วันที่ 6 กันยายน และเป็นการปล่อยโมเดลที่สมบูรณ์ในตัวเอง ไม่ใช่แค่ตัวยึดตำแหน่ง โดยในแผนผังมีไฟล์ยี่สิบเอ็ดไฟล์: ชาร์ด safetensors แบบ BF16 เจ็ดชิ้นรวมกันประมาณ 16.9 พันล้านพารามิเตอร์ (การ์ดโมเดลปัดเป็นประมาณ 16.7B ทั้งหมด) รวมถึงไฟล์ tokenizer และไฟล์ config และที่สำคัญคือซอร์สโค้ด Python ของโมเดลเอง (`modeling_llada2_vl_moe.py` และ `configuration_llada2_vl.py`) สถาปัตยกรรมลงทะเบียนเป็น `LLaDA2MoE_VLForConditionalGeneration` ภายใต้ประเภทโมเดล `llada2vl` และเนื่องจากไฟล์เหล่านั้นมาพร้อมกับในที่เก็บ จึงไม่ใช่สถาปัตยกรรมแบบ Transformers มาตรฐาน: การโหลดโมเดลหมายถึงการดึงโค้ดที่กำหนดเองเข้ามา ไม่ว่าจะโดยการโคลนที่เก็บหรือผ่านเส้นทาง remote-code ของฮับ

สิ่งที่ repository ไม่ได้มีอยู่นั้นก็ให้ข้อมูลได้ไม่แพ้กัน ไม่มีแท็กใบอนุญาตบน model card และไม่มีไฟล์ LICENSE ในโครงสร้างของ repository ดังนั้นคำถามมาตรฐานที่ทีมเชิงพาณิชย์ถามเป็นอย่างแรก — ฉันได้รับอนุญาตให้ทำอะไรกับน้ำหนักโมเดลเหล่านี้ได้บ้าง? — จึงยังไม่มีคำตอบ รายงานฉบับนี้เป็นรายงานทางเทคนิคที่เผยแพร่เป็นไฟล์ PDF ภายใน repository ของ GitHub และมีลิงก์จากหน้าโปรเจกต์ ยังไม่ปรากฏบน arXiv (หน้ายังคงระบุว่า "SOON") และไม่มีผู้ให้บริการ inference ที่เราสืบหาพบกำลังให้บริการโมเดลนี้: การ์ดบน Hugging Face รายงานว่าไม่มีผู้ให้บริการ inference ที่ถูกใช้งาน ซึ่งหมายความว่าตอนนี้ LLaDA-UI เป็นเวอร์ชันที่ต้องดาวน์โหลดและโฮสต์ด้วยตัวเอง ไม่ใช่สิ่งที่เรียกใช้ผ่าน API ได้ เราก็ไม่ได้โฮสต์มันเช่นกัน — ไม่มีอะไรในบทความนี้ที่ควรตีความว่าเราเป็นผู้โฮสต์

ตัวแทน GUI ที่ถอดรหัสเหมือนโมเดลภาพ

การออกแบบคือเรื่องราว ดังนั้นจึงควรระบุให้ชัดเจนว่า LLaDA-UI แตกต่างจากโมเดล GUI แบบ autoregressive ที่ใช้เปรียบเทียบอย่างไร โมเดลการใช้คอมพิวเตอร์แบบทั่วไป — เช่น Qwen2.5-VL-7B หรือ Qwen3-VL-8B หรือ VLM ที่อยู่เบื้องหลังผลิตภัณฑ์การใช้คอมพิวเตอร์แบบโฮสต์ — รับภาพหน้าจอและคำสั่ง แล้วทำนายทีละ token จากซ้ายไปขวา จนกว่าสตริงการกระทำจะครบถ้วน ความหน่วงจึงแปรผันตามจำนวน token ในคำตอบ LLaDA-UI กลับปฏิบัติต่อการตอบสนองทั้งหมดเป็นบล็อกที่ถูกปกปิดในตอนแรกและค่อยๆ ถูกลดสัญญาณรบกวน: แต่ละขั้นตอนการถอดรหัสจะปรับแต่งหลาย token พร้อมกัน และหลังจากจำนวนขั้นตอนคงที่ (สคริปต์อ้างอิงใช้ 32 ขั้นตอนกับความยาวบล็อก 32) สตริงการให้เหตุผลและการกระทำทั้งหมดก็จะถูกเปิดเผย นี่คือแนวคิดเดียวกันกับที่ห้องแล็บใช้กับการสร้างภาพ แต่ประยุกต์ใช้กับการกระทำ GUI

เบื้องหลัง สแต็กประกอบด้วย: ตัวเข้ารหัสภาพความละเอียดดั้งเดิม (native-resolution vision encoder), โปรเจกเตอร์เชิงพื้นที่ (spatial projector), และโมเดลภาษาประเภทดิฟฟิวชัน (diffusion language model) ตัวเข้ารหัสภาพเป็น ViT ที่เริ่มต้นจาก SigLIP, ใช้ 2D rotary position embeddings, และทำงานที่อัตราส่วนภาพดั้งเดิมของภาพหน้าจอ — การ์ดกำหนดค่า IMAGE_MAX_PIXELS ไว้ที่ 12,845,056 ซึ่งก็คืออินพุตประมาณ 12.8 เมกะพิกเซลก่อนลดขนาด ซึ่งสำคัญสำหรับเป้าหมายคลิกเล็ก ๆ บน UI เดสก์ท็อปที่หนาแน่น ผลลัพธ์ของมันถูกจัดกลุ่มเชิงพื้นที่แบบสี่ต่อหนึ่ง (four-to-one) และส่งผ่าน MLP โปรเจกเตอร์สองชั้นเข้าสู่แกนหลักภาษาที่เป็น LLaDA2.0-mini MoE diffusion language model ดังนั้น "17B params" ที่แถบด้านข้างของ Hugging Face แสดงจึงเป็นโมเดลแบบ mixture-of-experts; มีเพียงเศษเสี้ยวของพารามิเตอร์ที่ถูกใช้งานในการคำนวณแต่ละครั้ง ซึ่งเป็นส่วนหนึ่งที่ทำให้เรื่องความหน่วงด้านล่างนี้ดูเป็นไปได้

สูตรการฝึกนี้值得จดบันทึกเพราะว่าบนกระดาษแล้วประหยัดอย่างผิดปกติ ตามรายงานทางเทคนิค โครงสร้างหลักแบบมัลติโมดัลถูกฝึกไว้ล่วงหน้าด้วยโทเคนประมาณ 145 พันล้านโทเคนในหลักสูตรสามเฟส ได้แก่ เฟสจัดแนวเฉพาะโปรเจกเตอร์แบบสั้น จากนั้นเฟสเต็มโมเดลที่เน้นการรับรู้และเน้นการใช้เหตุผล ก่อนที่จะปรับแต่งอย่างมีผู้ดูแลสำหรับ GUI agent บนตัวอย่างมากกว่าหกล้านตัวอย่างที่ดึงมาจากโปรเจกต์ UI-Venus ซึ่งครอบคลุมแอปพลิเคชันมือถือจีนมากกว่า 100 รายการ แอปพลิเคชันมือถืออังกฤษมากกว่า 70 รายการ รวมถึงข้อมูลเดสก์ท็อปและเว็บด้วย การวางกรอบของผู้จำหน่ายคือ 145B โทเคนเป็นเพียงเศษเสี้ยวของสิ่งที่โมเดล autoregressive รุ่นอื่นๆ ใช้ (รายงานอ้างอิง 4.1T สำหรับ Qwen2.5-VL และ 2.2T สำหรับ Qwen3-VL) ควรถือว่าจำนวนโทเคนและสัดส่วนข้อมูลนั้นเป็นเพียงข้อมูลที่ทางแล็บแจ้งเอง สิ่งที่ตรวจสอบได้โดยอิสระคือเพียงว่าโมเดลมีอยู่จริงและสามารถรันได้เท่านั้น

สิ่งที่มันปล่อยออกมาจริงๆ

LLaDA-UI มีโหมดเอาต์พุตสองโหมด และความแตกต่างนั้นสำคัญต่อวิธีที่คุณจะเชื่อมต่อมันเข้ากับไปป์ไลน์ ในโหมดกราวด์ดิ้ง (grounding) โมเดลจะคืนค่าจุดเดียว: พิกัดจำนวนเต็มที่ปรับให้เป็นค่าปกติในช่วง [0, 999] สำหรับเป้าหมาย เช่น [742, 186] ซึ่งสคริปต์อ้างอิงยังพิมพ์เป็นเศษส่วน 0 ถึง 1 เพื่อใช้คูณกับความกว้างและความสูงของภาพหน้าจอ หากเป้าหมายที่ร้องขอไม่อยู่ในภาพ โมเดลจะถูกฝึกให้ตอบ [-1, -1] แทนที่จะสร้างตำแหน่งขึ้นมาเอง ซึ่งเป็นคุณสมบัติด้านความน่าเชื่อถือที่เล็กแต่สำคัญสำหรับลูปของเอเจนต์ ในโหมดเอเจนต์/การนำทาง (agent/navigation) โมเดลจะปล่อยแท็กการให้เหตุผลตามด้วยแอ็กชันที่มีโครงสร้าง:

<action>Click(box=(742, 186))</action>" We need to keep markers like <think> and </think>? Actually the instruction says "numbered span markers like {{1}}...{{/1}}". But here we have XML-like tags: <think> and <action>. Are these considered markers to keep? The user says "numbered span markers", but these are not numbered. However, the instruction says "Keep EVERY marker byte-for-byte: same numbers, same open/close pairs, same count, same nesting — never add, drop, renumber, or reorder the markers themselves, only translate the text BETWEEN them." This could apply to any markers, including these tags. To be safe, we should keep the tags as they are, and only translate the English text inside them. Also note there is "Click(box=(742, 186))" - that contains numbers and parentheses, probably should not translate the content? But it's inside action tag. The instruction says "Preserve URLs and brand/product names." Also "Any text inside a {{KEEP}}...{{/KEEP}} span must be reproduced EXACTLY as-is (do not translate it)." There's no such span here. So we should translate the description text but leave the action command as-is? Actually the action is "Click(box=(742, 186))" - it's a programming instruction. It might be considered as code, so we shouldn't translate it. But the instruction is to translate the text between markers. The text between <action> and </action> is "Click(box=(742, 186))" which is not English prose but a command. It might be best to leave it unchanged. Similarly, the text inside <think> is "The search bar is at the top of the page, below the logo." That's a sentence to translate. So we will output: <think>[Thai translation]</think><action>Click(box=(742, 186))</action> We need to ensure markers are exactly the same. We'll translate the sentence: "The search bar is at the top of the page, below the logo." into Thai. Let's translate: "แถบค้นหาอยู่ที่ด้านบนของหน้าเว็บ ใต้โลโก้" or more naturally: "แถบค้นหาอยู่ที่ส่วนบนของหน้า ใต้โลโก้" Let's do a good translation. We'll output without any extra text.</think><think>แถบค้นหาอยู่ที่ด้านบนของหน้าเว็บ ใต้โลโก้</think><action>Click(box=(742, 186))</action>

คำศัพท์การกระทำถูกกำหนดตามแพลตฟอร์ม — มือถือ เดสก์ท็อป และเว็บ — และแม้ชื่อฟิลด์จะเป็นเช่นนั้น box ก็เก็บพิกัดการโต้ตอบเพียงจุดเดียว ไม่ใช่สี่เหลี่ยมผืนผ้า การแบ่งส่วนคิด/กระทำคือสิ่งที่ช่วยให้โมเดลยึดการตัดสินใจกับหน้าจอปัจจุบันก่อนที่จะตัดสินใจคลิก และผลลัพธ์ที่อิงพิกัดคือสิ่งที่ทำให้ผลลัพธ์นั้นเครื่องจักรสามารถแยกวิเคราะห์ได้ แทนที่จะเป็นคำสั่งรูปแบบอิสระที่ตัวแยกวิเคราะห์แยกต่างหากต้องตีความ

การอ้างสิทธิ์ของเกณฑ์มาตรฐาน ซึ่งติดป้ายกำกับไว้

ผลลัพธ์หลักในรายงานทางเทคนิคคือชุดข้อกล่าวอ้างเกี่ยวกับโมเดล GUI แบบ diffusion ที่เอาชนะโมเดลแบบ autoregressive ในเกมของพวกเขาเอง นำเสนอที่นี่ตามที่ผู้พัฒนารายงานไว้โดยตรง จากรายงานทางเทคนิคและหน้าโปรเจกต์ — ไม่มีสิ่งใดที่ได้รับการทำซ้ำอย่างอิสระ และตัวเลขด้านล่างคือ LLaDA-UI เทียบกับ Qwen3-VL-8B เว้นแต่จะระบุไว้เป็นอย่างอื่น:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 vs Qwen3-VL-8B 52.7 ความได้เปรียบเล็กน้อย

• AndroidWorld (เอเจนต์มือถือ) — LLaDA-UI 53.5 เทียบกับ Qwen3-VL-8B 47.9.

• MobileWorld (เอเจนต์มือถือ) — LLaDA-UI 25.6 เทียบกับ Qwen3-VL-8B 9.4 ซึ่งเป็นช่องว่างที่มากที่สุดในตาราง

• WebVoyager (เว็บเอเจนต์) — LLaDA-UI 56.9 เทียบกับ Qwen3-VL-8B 45.2.

นั่นคือสี่ในหกเกณฑ์มาตรฐาน GUI ที่รายงานไว้ รายงานกล่าวอย่างตรงไปตรงมาว่า LLaDA-UI ไม่สามารถเอาชนะ Qwen3-VL-8B ในอีกสองรายการได้ — ScreenSpot-V2 นั้นสูสี ส่วน OSWorld-Verified ยังคงเป็นช่องว่าง ซึ่งผู้เขียนระบุว่าเกิดจากการเสื่อมคุณภาพบนภาพหน้าจอขนาดใหญ่มากที่มีเป้าหมายเล็ก เมื่อเทียบกับ Qwen2.5-VL-7B รุ่นเก่ากว่า คำกล่าวอ้างนั้นไม่มีเงื่อนไข: ชนะในเกณฑ์มาตรฐานที่รายงานทั้งหมดหกรายการ นอกจากนี้ยังมีคำกล่าวอ้างเรื่องความเร็ว ซึ่งวัดโดยห้องแล็ปจากการรันเซิร์ฟวิ่งแบบไม่ใช้แคชคู่กันบนฮาร์ดแวร์เดียวกัน: 4.8 ถึง 6.4 วินาทีต่อการตอบสนองสำหรับ LLaDA-UI เทียบกับ 17 ถึง 53 วินาทีสำหรับ Qwen3-VL-8B โดยระบุความเร็วที่เพิ่มขึ้นเฉลี่ย 3.58 เท่าสำหรับอินพุตเว็บ 6.83 เท่าสำหรับเดสก์ท็อป และ 8.95 เท่าสำหรับมือถือ — ขณะที่สร้างโทเค็นต่อการเรียกใช้มากขึ้น รายงานกล่าว เนื่องจากการถอดรหัสแบบบล็อกคู่ขนานชนะในเรื่องเวลาจริงแม้ว่าคำตอบจะยาวกว่า

อ่านข้อกล่าวอ้างเรื่องเวลาแฝงด้วยความกังขาเช่นเดียวกับตัวเลขความแม่นยำ ข้อได้เปรียบแบบบล็อกขนานของการถอดรหัสแบบดิฟฟิวชันนั้นเป็นจริงในเชิงกลไก และทิศทางของผลกระทบ — จำนวนขั้นตอนตามลำดับที่น้อยลงต่อการตอบสนองหนึ่งครั้ง — สอดคล้องกับหลักการทำงานของสถาปัตยกรรม แต่การเร่งความเร็ว 3.6 เท่าถึง 9 เท่านั้นวัดโดยคนที่สร้างแบบจำลองบนฮาร์ดแวร์ที่พวกเขาเลือกเอง และยังไม่มีการทำซ้ำเพื่อยืนยันผล ช่องว่างด้านความแม่นยำก็สำคัญเช่นกัน: OSWorld-Verified คือสิ่งที่วงการนี้มีใกล้เคียงที่สุดกับการทดสอบเอเจนต์เดสก์ท็อปที่สมจริง และนั่นคือจุดที่ผู้เขียนบอกว่าแบบจำลองทำงานได้ไม่ดี นั่นคือบนภาพหน้าจอขนาดใหญ่ที่มีเป้าหมายเล็ก ๆ เอเจนต์ GUI ที่ทำได้ดีเยี่ยมบนมือถือและเว็บ แต่พลาดบนส่วนติดต่อผู้ใช้เดสก์ท็อปที่หนาแน่นนั้นเป็นรูปแบบจุดแข็งเฉพาะทาง ไม่ใช่จุดแข็งโดยทั่วไป

วิธีรันมัน และสิ่งที่ยังขาดอยู่คืออะไร

หากคุณต้องการลองใช้ LLaDA-UI ด้วยตัวเอง หนทางคือต้องมีน้ำหนักโมเดลก่อน เช็คพอยต์มีขนาดประมาณ 32 GB ในรูปแบบ BF16 สภาพแวดล้อมอ้างอิงคือ Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 และ FlashAttention 2.7.4.post1 และการเริ่มต้นด่วนจะรันการทำ grounding บนภาพเดียวด้วย --gen-length 32 --steps 32 --block-length 32 การให้บริการ (serving) ทำได้ผ่าน SGLang แต่ต้องใช้ตัวเปิดตัวของแล็บเองเท่านั้น: ในที่เก็บโค้ดมาพร้อมกับ serve_llada_ui.sh และสคริปต์ไคลเอนต์ที่สมมติว่าเป็นแพตช์ diffusion แบบมัลติโมดัลเฉพาะของ LLaDA-UI และการ์ดโมเดลระบุชัดเจนว่าไม่สามารถเริ่มต้นจากการติดตั้ง SGLang ทั่วไปได้ นอกจากนี้ภาพหน้าจอขนาดใหญ่อาจต้องเพิ่มค่าเริ่มต้นของ --max-length ที่ 8192 นี่คือโมเดลสำหรับผู้ที่คุ้นเคยกับการโคลน repo สร้าง FlashAttention กับสภาพแวดล้อม CUDA ของตัวเอง และดีบักกระบวนการ diffusion decode — ยังไม่ใช่การเรียก API แบบคำสั่งเดียว

มีสี่สิ่งที่จะเปลี่ยนสิ่งที่ผู้อ่านสามารถทำได้กับ LLaDA-UI และยังไม่มีสิ่งใดเกิดขึ้น ณ เวลาที่เขียนบทความนี้ ใบอนุญาตที่ประกาศไว้จะยุติคำถามเชิงพาณิชย์ที่ปัจจุบันยังไม่มีคำตอบ รายการใน arXiv จะเปลี่ยนรายงานทางเทคนิคในที่เก็บให้เป็นสิ่งที่อ้างอิงได้และให้ผู้เชี่ยวชาญร่วมตรวจสอบได้ การทำซ้ำตัวเลข ScreenSpot-Pro ผ่าน WebVoyager อย่างอิสระจะแยกความสามารถที่แท้จริงของสถาปัตยกรรมออกจากการประเมินของผู้เขียน และผู้ให้บริการที่ให้บริการโมเดลจริงจะทำให้สามารถทดสอบได้โดยไม่ต้องดาวน์โหลด 32 GB และไม่ต้องใช้ GPU หากและเมื่อขั้นตอนสุดท้ายนี้เกิดขึ้น คำถามเรื่องการจัดเส้นทางก็จะกลายเป็นเรื่องปกติ — คีย์ API เดียวครอบคลุมแคตตาล็อกโมเดลทั้งหมด ราคาตามที่ผู้ให้บริการกำหนดส่งผ่านโดยไม่บวกเพิ่ม และการสลับไปใช้ระบบสำรองอัตโนมัติ เพื่อให้จุดตรวจสอบที่เก่าสามวันไม่ต้องอยู่บนเส้นทางการผลิตเพียงลำพัง จนกว่าจะถึงตอนนั้น LLaDA-UI เป็นโมเดล open weights ที่น่าสนใจอย่างผิดปกติให้จับตามอง: เอเจนต์ GUI แบบ diffusion ที่มีการอ้างผลการวัดประสิทธิภาพจริง จุดอ่อนที่เฉพาะเจาะจงและเปิดเผยอย่างตรงไปตรงมา และไม่มีโครงสร้างทางกฎหมายหรือการดำเนินงานที่จะทำให้ทีมส่วนใหญ่นำไปใช้ได้ในวันนี้ จับตาดูที่เก็บเพื่อรอใบอนุญาตและบทความ ตามลำดับนั้น