LLaDA-UI מושק בשקט: סוכן ה-GUI הדיפוזיוני של inclusionAI זמין כעת להורדה

LLaDA-UI — סוכן GUI מסוג mixture-of-experts בעל כ-16.7 מיליארד פרמטרים מבית inclusionAI — הופיע ב־Hugging Face ב-6 בספטמבר 2026 ללא כל הודעה נלווית. מה שהופך אותו לראוי לעיון שני אינו השתיקה אלא המנגנון שמתחת לפני השטח: במקום לכתוב את הפעולה הבאה שלו טוקן אחר טוקן, כפי שעושים המודלים האוטורגרסיביים של ראייה-שפה השולטים במחקר השימוש במחשב, LLaDA-UI מבצע denoising לגוש שלם של טוקני פעולה בכל צעד, בסגנון diffusion, ורק אז מתחייב לתשובה. היצרן משווק אותו כסוכן GUI מעשי מבוסס diffusion עם משקלים פתוחים. כל מה שלהלן מסומן על פי מהותו: עובדות ממאגר הקוד שתוכלו לבדוק בעצמכם, טענות מהדוח הטכני שאיש מחוץ למעבדה לא שחזר, ופערים — כשהיעדר רישיון הוא הבולט ביניהם — שעדיין לא נפתרו באמת.

מסגרת השחרור חשובה כי כעת מדובר בתבנית. inclusionAI היא המעבדה המזוהה עם Ant Group שעומדת מאחורי משפחת מודלי השפה הדיפוזיוניים LLaDA, ובאותו שבוע שבו פרסמה את נקודות הביקורת (checkpoints) של התמונות LLaDA-Image ו-LLaDA-Image-Turbo (4 בספטמבר) ואת מודל הסוכן LLaDA2.2-mini (5 בספטמבר), היא יצרה את המאגר inclusionAI/LLaDA-UI ב-6 בספטמבר. שלוש משפחות מודלים בשלושה ימים, ולאף אחת מהן לא קדם פוסט השקה. לגבי LLaDA-UI בפרט, הראיה לשחרור ממשי היא המאגר עצמו: משקלי ה-safetensors נוכחים וניתנים לטעינה, לצדם מגיעים קוד ההסקה והגדרת שרת SGLang, וקיימים גם דוח טכני ודף פרויקט. מה שלא קיים הוא כל הכרזה של הספק, כל רישיון, או — נכון למועד כתיבת שורות אלה, כשההורדות עדיין בספרות בודדות — כל סימן לכך שהעולם הרחב כבר שם לב לכך.

נשלח, אך לא הוכרז

מאגר inclusionAI/LLaDA-UI נוצר ב-05:08 UTC ב-6 בספטמבר, והוא מהווה שחרור מודל מלא ועצמאי ולא מציין מקום בלבד. בעץ הקבצים יש עשרים ואחד קבצים: שבעה חלקי safetensors בפורמט BF16 שמסתכמים בכ־16.9 מיליארד פרמטרים (כרטיס המודל מעגל לכ־16.7B בסך הכול), קובצי הטוקנייזר והקונפיגורציה, ו—חשוב מכך—קוד המקור הפייתוני של המודל עצמו (modeling_llada2_vl_moe.py ו־configuration_llada2_vl.py). הארכיטקטורה נרשמת כ־LLaDA2MoE_VLForConditionalGeneration תחת סוג מודל llada2vl, ומכיוון שהקבצים האלה משולבים בתוך המאגר, זו אינה ארכיטקטורת Transformers סטנדרטית: טעינת המודל מחייבת שליפת הקוד המותאם אישית, בין אם על ידי שכפול (clone) של המאגר ובין אם דרך מסלול הקוד המרוחק של ה־hub.

מה שאין במאגר הוא לא פחות אינפורמטיבי. אין תג רישיון על כרטיס המודל ואין קובץ LICENSE בעץ הקבצים, כך שהשאלה הסטנדרטית שצוות מסחרי שואל ראשון — מה מותר לי לעשות עם המשקלים האלה? — נותרה ללא תשובה. המאמר הוא דוח טכני המופץ כקובץ PDF בתוך הריפוזיטורי של GitHub ומקושר מדף הפרויקט; הוא לא הופיע ב-arXiv (הדף עדיין מציג "SOON"). ואף ספק inference שמצאנו אינו משרת את המודל: כרטיס Hugging Face מדווח שאין ספק inference פרוס, כלומר בינתיים LLaDA-UI הוא מהדורה להורדה ואירוח עצמי, לא משהו שאפשר לקרוא דרך API. גם אנחנו לא מארחים אותו — אין לקרוא שום דבר בכתבה הזו כטענה שאנחנו כן.

סוכן GUI שמפענח כמו מודל תמונה

העיצוב הוא הסיפור, ולכן כדאי לדייק בשאלה כיצד LLaDA-UI שונה ממודלי ה-GUI האוטורוגרסיביים שבהשוואה אליהם הוא נמדד. מודל שימוש-מחשב קונבנציונלי (Qwen2.5-VL-7B או Qwen3-VL-8B, למשל, או ה-VLM שמאחורי מוצר שימוש-מחשב מתארח) מקבל את צילום המסך ואת ההוראה, ואז מנבא טוקן אחד בכל פעם, משמאל לימין, עד להשלמת מחרוזת הפעולה. לכן זמן ההשהיה גדל עם מספר הטוקנים שבתשובה. LLaDA-UI, לעומת זאת, מתייחס לכל התגובה כבלוק שבתחילה מוסווה, ואחר כך מוסר ממנו הרעש בהדרגה: כל שלב פענוח משכלל טוקנים רבים במקביל, ואחרי מספר קבוע של שלבים (סקריפט הייחוס משתמש ב-32 שלבים עם אורך בלוק של 32) נחשפת מחרוזת ההיגיון והפעולה בשלמותה. זהו אותו מהלך רעיוני שהמעבדה יישמה על יצירת תמונות, המיושם כעת על פעולות GUI.

מתחת למכסה המנוע, הערימה כוללת: מקודד ראייה ברזולוציה מקורית, מקרין מרחבי, ומודל שפה מבוסס דיפוזיה. מקודד הראייה הוא ViT שאותחל מ-SigLIP, מקבל הטמעות מיקום רוטריות דו-ממדיות, ומופעל ביחס הגובה-רוחב המקורי של צילום המסך — הכרטיס מגדיר ערך IMAGE_MAX_PIXELS של 12,845,056, כלומר בערך 12.8 מגה-פיקסל של קלט לפני הפחתת גודל, וזה חשוב עבור יעדי לחיצה קטנים בממשקי שולחן עבודה צפופים. הפלט שלו מקובץ מרחבית ביחס של ארבעה-לאחד ומועבר דרך מקרין MLP דו-שכבתי אל עמוד השדרה הלשוני, שהוא מודל השפה LLaDA2.0-mini MoE מבוסס דיפוזיה. אז ה"17B פרמטרים" שסרגל הצד של Hugging Face מציג הוא מודל mixture-of-experts; רק חלק מהפרמטרים פעיל בכל מעבר קדימה, וזה חלק מהסיבה לכך שסיפור השהות שלהלן הוא בכלל סביר.

מתכון האימון ראוי לציון משום שהוא חסכוני במיוחד על הנייר. על פי הדו"ח הטכני, עמוד השדרה המולטי-מודאלי אומן מראש על כ-145 מיליארד טוקנים בתכנית לימודים תלת-שלבית: שלב יישור קצר של מקרן בלבד, ולאחריו שלבים של מודל מלא עם דגש על תפיסה והסקה — ולבסוף כיוונון עדין מפוקח של סוכן GUI על יותר משישה מיליון דוגמאות שנלקחו מפרויקט UI-Venus, המכסות יותר מ-100 יישומי מובייל בסינית, יותר מ-70 יישומי מובייל באנגלית, ונתוני שולחן עבודה ואינטרנט. המסגור של הספק הוא ש-145 מיליארד טוקנים הם שבריר מהכמות שעמיתים אוטורגרסיביים צרכו (הדו"ח מצטט 4.1T עבור Qwen2.5-VL ו-2.2T עבור Qwen3-VL). יש להתייחס לספירות הטוקנים ולהרכב הנתונים כאל דיווח עצמי של המעבדה; מה שניתן לאמת באופן בלתי-תלוי הוא רק שהמודל קיים ופועל.

מה זה למעשה פולט

ל־LLaDA-UI יש שני מצבי פלט, וההבדל חשוב לאופן שבו תחבר אותו לצנרת. במצב עיגון המודל מחזיר נקודה אחת: קואורדינטות שלמות מנורמלות לטווח [0, 999] עבור היעד, למשל [742, 186], שהסקריפט הייחוס גם מדפיס כשבר בין 0 ל‑1 כדי להכפיל ברוחב ובגובה של צילום המסך. אם היעד המבוקש אינו קיים בתמונה, המודל מאומן להשיב [-1, -1] במקום להמציא מיקום — תכונת אמינות קטנה אך חשובה עבור לולאת סוכן. במצב סוכן/ניווט, המודל פולט תג נימוק ואחריו פעולה מובנית:

<think>סרגל החיפוש נמצא בראש העמוד, מתחת ללוגו.</think><action>Click(box=(742, 186))</action>

אוצר הפעולות מוגדר לפי פלטפורמה — מובייל, דסק טופ ו-וב — ולמרות שם השדה, box מכיל קואורדינטת אינטראקציה אחת בלבד, לא מלבן. החלוקה בין חשיבה לפעולה היא מה שמאפשר למודל לבסס את החלטתו על המסך הנוכחי לפני שמתחייב ללחיצה, והפלט מבוסס הקואורדינטות הוא מה ששומר על כך שהתוצאה תהיה ניתנת לניתוח מכונתי, ולא הוראה חופשית שמפענח נפרד צריך לפרש.

טענות אמת המידה, מתויגות

תוצאות הראשיות של הדוח הטכני הן קבוצה של טענות על מודל GUI דיפוזיה שמנצח את המודלים האוטורגרסיביים במשחק שלהם עצמם. מובא כאן בדיוק כפי שספק התוכנה מדווח אותן, מתוך הדוח הטכני ודף הפרויקט — שום דבר מזה לא שוחזר באופן בלתי תלוי, והמספרים להלן הם LLaDA-UI לעומת Qwen3-VL-8B, אלא אם צוין אחרת:

• ScreenSpot-Pro (גראונדינג) — LLaDA-UI 52.9 לעומת Qwen3-VL-8B 52.7, יתרון שולי.

• AndroidWorld (סוכן נייד) — LLaDA-UI 53.5 לעומת Qwen3-VL-8B 47.9.

• MobileWorld (סוכן נייד) — LLaDA-UI 25.6 לעומת Qwen3-VL-8B 9.4, הפער הגדול ביותר בטבלה.

• WebVoyager (סוכן אינטרנט) — LLaDA-UI 56.9 לעומת Qwen3-VL-8B 45.2.

אלה הם ארבעה מתוך שישה מדדי GUI שדווחו; הדו"ח כנה בכך ש-LLaDA-UI אינו עוקף את Qwen3-VL-8B בשניים האחרים — ScreenSpot-V2 קרוב, ו-OSWorld-Verified נותר פער, שהיוצרים מייחסים לירידה בביצועים על צילומי מסך גדולים מאוד עם מטרות קטנות. מול Qwen2.5-VL-7B הישן יותר הטענה היא ללא תנאי: ניצחונות בכל ששת מדדי ההשוואה שדווחו. יש גם טענת מהירות, שנמדדה על ידי המעבדה בהרצות שרת משויכות ללא קאש על חומרה זהה: 4.8 עד 6.4 שניות לתגובה עבור LLaDA-UI לעומת 17 עד 53 שניות עבור Qwen3-VL-8B, כשיפור מהירות ממוצע של פי 3.58 בקלטי אינטרנט, פי 6.83 בדסקטופ, ופי 8.95 במובייל — תוך הפקת יותר טוקנים לכל קריאה, כך נכתב בדו"ח, משום שפענוח בלוקים מקבילי מנצח בזמן שעון גם כשהתשובה ארוכה יותר.

קראו את טענת ההשהיה באותה ספקנות שבה אתם קוראים את נתוני הדיוק. יתרון הבלוקים המקביליים בפענוח דיפוזיה הוא אמיתי מבחינה מכניסטית, וכיוון ההשפעה — פחות שלבים עוקבים לכל תגובה — עולה בקנה אחד עם אופן פעולת הארכיטקטורה, אך האצות של פי 3.6 עד פי 9 נמדדו על ידי האנשים שבנו את המודל על חומרה שהם בחרו, והן לא שוחזרו. גם פערי הדיוק חשובים: OSWorld-Verified הוא הדבר הקרוב ביותר שיש בתחום למבחן סוכן שולחן עבודה ריאליסטי, וזה בדיוק במקום שבו המחברים אומרים שהמודל מתקשה — בצילומי מסך גדולים עם מטרות קטנות. סוכן GUI שמצליח במובייל ובווב אבל מחליק בממשקי משתמש שולחניים צפופים הוא פרופיל חוזק ספציפי, לא כללי.

איך להריץ את זה, ומה עדיין חסר

אם תרצו לנסות את LLaDA-UI בעצמכם, הגישה היא להתחיל מהמשקולות (weights-first). ה-checkpoint הוא כ-32 GB בפורמט BF16. סביבת הייחוס היא Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 ו-FlashAttention 2.7.4.post1, וה-quick-start מריץ מעבר grounding על תמונה יחידה עם --gen-length 32 --steps 32 --block-length 32. הגשה (serving) אפשרית דרך SGLang, אך רק דרך המשגר (launcher) של המעבדה עצמה: המאגר כולל סקריפט serve_llada_ui.sh וסקריפט לקוח שמתבססים על טלאי diffusion מולטימודליים ספציפיים ל-LLaDA-UI, וכרטיס המודל מצהיר במפורש שאי אפשר להפעילו מתוך התקנת SGLang רגילה. צילומי מסך גדולים עשויים גם לדרוש העלאה של ערך ברירת המחדל --max-length, שהוא 8192. זהו מודל עבור אנשים שנוח להם לשבט את המאגר, לבנות את FlashAttention מול סביבת ה-CUDA שלהם ולנפות שגיאות בפענוח diffusion — עדיין לא קריאת API בפקודה אחת.

{{1}}ארבעה דברים ישנו את מה שקורא יכול לעשות עם LLaDA-UI, ואף אחד מהם לא קרה נכון לכתיבת שורות אלה.{{/1}} {{2}}רישיון מוצהר יפתור את השאלה המסחרית שאין לה כרגע תשובה.{{/2}} {{3}}רישום ב-arXiv יהפוך את הדו"ח הטכני שבמאגר למשהו שניתן לצטטו ולבקרו על ידי עמיתים.{{/3}} {{4}}שכפול בלתי תלוי של המספרים מ-ScreenSpot-Pro ועד WebVoyager יפריד בין היכולת האמיתית של הארכיטקטורה לבין הערכת מחבריה.{{/4}} {{5}}וספק שמשרת בפועל את המודל יאפשר לבדוק אותו בלי הורדה של 32 ג'יגה-בייט ובלי GPU.{{/5}} {{6}}אם וכאשר הצעד האחרון הזה יקרה, שאלת הניתוב תהפוך לעניין שגרתי — מפתח API אחד שמכסה את כל קטלוגי המודלים, מחירי הרשימה של הספק מועברים הלאה ללא תוספת, ומעבר אוטומטי כך ש-checkpoint בן שלושה ימים לעולם לא יישאר לבדו על נתיב הייצור.{{/6}} {{7}}עד אז, LLaDA-UI הוא מודל מעניין במיוחד עם משקלים פתוחים, שכדאי לעקוב אחריו: סוכן GUI מבוסס דיפוזיה עם טענות benchmark אמיתיות, חולשה ספציפית ומוצהרת בכנות, וללא התשתית המשפטית או התפעולית שהייתה מאפשרת לרוב הצוותים לאמצו היום.{{/7}} {{8}}עקוב אחרי המאגר כדי לראות את הרישיון ואת המאמר, בסדר הזה.{{/8}}