Xiaomi-Lens-0 רוצה להיכנס ל-Stock Transformers — ומפענח המסכות שלו הוא המלכוד

היום בשעה 12:01 UTC, נפתחה בקשת משיכה שמספרה 50028 כנגד huggingface/transformers עם הכותרת הכי לא דרמטית במאגר: "Add Xiaomi-Lens-0". היא לא שלד. הדיף משתרע על 19 קבצים ו-4,251 שורות שנוספו, 2,199 מהן בקובץ מידול אחד, בתוספת 552 שורות בדיקות ועמוד תיעוד בן 143 שורות. הסטטוס שלו הוא החלק הלא מרשים — פתוח, לא נסקר, לא ממוזג. המודל שמאחוריו הוא החלק המעניין, והוא יושב ב-Hugging Face כבר שישה ימים בלי פוסט השקה מצורף. Xiaomi-Lens-0 הוא מודל מולטימודלי בגודל 4B שנבנה על Qwen3.5-4B וכותב מסכות אזור כטוקנים, וההשלכה המעשית צרה אך אמיתית: עד ששינוי כמו זה ייכלל במהדורה, לא ניתן לטעון אותו עם מחלקת Transformers סטנדרטית בכלל.

הפער הזה — בין מודל שניתן להוריד לבין מודל שהוא שגרתי — הוא מה שיוכרע בשבועות הקרובים. כל מה שלהלן מפריד בין מה ששיאומי פרסמה לבין מה ש-PR של פריימוורק מציע, כי אלו שתי רמות ודאות שונות והסיקור עד כה ערבב ביניהן.

מה שיאומי למעשה הוציאה לשוק, ומתי

ההשחרור התרחש בחלקים במשך חמישה ימים, וזה חלק מהסיבה שהוא נתפס כפרסום מחקרי ולא כהשקת מוצר.

• מאמר — "Xiaomi-Lens-0 Technical Report", arXiv:2610.23279, הוגש ב-16 באוקטובר 2026, תוקן ב-19 באוקטובר.

• משקלים וקוד — פומביים ב-21 באוקטובר ב-SeerRay-Lab/Xiaomi-Lens-0 ב-Hugging Face, עם מאגר הסקה תואם ב-GitHub.

• רישיון — Apache 2.0 על המשקלים, כאשר משקלי הבסיס Qwen3.5-4B הם גם Apache 2.0. הכרטיס מייחס את הבסיס ל-Alibaba Cloud ואת השינויים ל-Xiaomi.

• צוות — בקרדיט: Xiaoai Plus וצוות SeerRay, קבוצת ההבנה החזותית של Xiaomi.

• גודל — 4B בכל מקום בכותרת, במאמר ובטקסט של כרטיס המודל; המטא-דאטה של Hugging Face מדווחת על 5B פרמטרים ב-BF16. Xiaomi אינה מסבירה את אי-ההתאמה, והקריאה הכנה היא ש-"4B" מתאר את עמוד השדרה הלשוני בעוד שהצ'קפוינט המלא עם מגדל הראייה מגיע גבוה יותר.

• אירוח — בסרגל הצד של הכרטיס כתוב שהמודל אינו פרוס על ידי אף ספק הסקה. אין API של החברה עצמה ואין נקודת קצה מתארחת שאליה ניתן לפנות.

• תנופה — 723 הורדות בחודש החולף ו-25 לייקים במאגר Hugging Face, שישה ימים לאחר העלאת המשקלים.

מה שלא הצלחתי למצוא היה השקה: לא פוסט בבלוג של Xiaomi, לא שרשור מהצוות, לא דף מוצר. הסיקור מוביל חזרה לדוח הטכני ולכתבות בעיתונות המקצועית לאחר שהמשקלים הופיעו. זה חשוב לכל מי שמנסה לתארך את המודל — 16 באוקטובר הוא המאמר, 21 באוקטובר הוא הארטיפקט, ואף אחד מהם אינו הכרזה.

מסכה היא טוקן, לא מודל שני

הדרך הרגילה להפיק מסכות פיקסלים ממודל חזותי-לשוני היא לחבר אליו רכיב סגמנטציה. מקבלים תיבות או נקודות מהצד הלשוני, מעבירים אותן למשהו כמו מפענח בסגנון SAM, ומשלמים את המחיר של רשת שנייה, סט משקלים שני ומעבר קדימה שני.

Xiaomi-Lens-0 מדלגת על זה. המודל מייצר טוקן <|mask|> מיוחד, והמצב החבוי של הטוקן — מה שהמאמר מכנה לטנט חזותי — משמש כשאילתה מול רשת הטלאים של מקודד הראייה. שכבת עידון אחת של Transformer, הקרנה לינארית, מכפלה סקלרית מול כל טלאי, ואז שני שלבי העלאה בדגימה בקונבולוציה משוחלפת וסיגמואיד. תכונות הטלאים נלקחות לפני מיזוג המרחבי, כך שהרשת עדיין ברזולוציה עדינה, והן מחושבות פעם אחת לכל תמונה ומשמשות מחדש בכל טוקן מסכה בתגובה.

האימון הוא דו-שלבי ואינו מפתיע ברגע שהארכיטקטורה ברורה. שלב ראשון מקפיא את ה-backbone ומאמן רק את מפענח המסכות על נתונים פנימיים בתוספת Objects365, LVIS, PACO, PhraseCut ומשפחת RefCOCO. שלב שני מכוונן במשותף את ה-backbone ואת המפענח עם מטרת האסימון הבא הסטנדרטית בתוספת הפסד מסכה המשלב BCE ברמת פיקסל ו-Dice.

ההשלכה שכדאי להתייחס אליה אינה החיסכון בפרמטרים. היא שמסכות יכולות להופיע בתוך תהליך החשיבה, ולא רק בתשובה הסופית. Xiaomi מאמנת על עקבות חשיבה מעוגנות שבהן שרשרת מחשבות מפנה לאזורים ופולטת מסכות תוך כדי, ולכן מודל 4B יכול לענות ל"איזה משני אלה הוא זה שכדאי לי להרים" עם מסכה שמצורפת לשלב הביניים ולא רק למשפט האחרון.

טבלת הבנצ'מרק, בקריאה נכונה

מספרי הכותרת חזקים וכולם של Xiaomi. אין רשומה ב-Artificial Analysis, אין דירוג ב-arena ואין שחזור על ידי צד שלישי נכון להיום. התייחסו למה שלהלן כאל טענה של יצרן עם נספח מפורט במיוחד, ולא כעובדה מדודה.

• פילוח לפי הפניה — cIoU ממוצע של 81.4 על פני שמונת הפיצולים של RefCOCO / RefCOCO+ / RefCOCOg, לעומת 78.6 עבור Qwen3-VL-Seg 4B. SAM 3, בממוצע על פני אותם שמונה פיצולים בטבלה של Xiaomi עצמה, מסתכם בכ-71.7.

• הבנת ביטויי הפניה — עלייה ממוצעת של 5.6 נקודות ב-Prec@0.5 לעומת מודל הבסיס Qwen3.5-4B, כאשר RefCOCO+ רושם עלייה של 7.6 נקודות.

• עיגון רב-מופעי על COCO 2017 — F1 ממוצע של 63.9, לפני 63.0 של GroundingPI ו-46.5 של Qwen3-VL 4B.

• פילוח מבוסס הסקה — 68.0 gIoU במבחן ReasonSeg, הטוב ביותר מבין המודלים שהושוו.

• התייחסות מגולמת — 87.0 gIoU ב-RoboRefIt TestA.

• ספירה — 50.6 ב-CountQA, עלייה של 6.8 לעומת 43.8 של מודל הבסיס.

שניים מהם ראויים למבט שני, מפני שהתקצירים שמסתובבים משטחים אותם.

הראשון הוא grounding רב-מופעי של COCO. Xiaomi-Lens-0 מנצח את GroundingPI ב-F1 ממוצע, אך בסף IoU רופף של 0.50 הוא למעשה מפסיד — 80.4 F1 לעומת 81.2. הניצחון מגיע מהקצה המחמיר: 27.4 F1 ב-IoU 0.95 לעומת 22.8. זהו הבדל מהותי בסוגו. המודל מייצר מסכות הדוקות יותר, לא יותר מהן, וצינור עיבוד שבודק רק חפיפה רופפת לא יראה את השיפור.

השני הוא LensBench, מבחן הבנצ'מרק בן 1,200 היחידות ו-4,800 ההוראות ש-Xiaomi בנתה ושחררה לצד המודל. הוא מכסה תמונות כלליות, אוויריות, מתחום הנהיגה ופנורמיות עם סקירה אנושית, וזה הדבר השימושי ביותר בשחרור למי שעובד מחוץ ל-RefCOCO. זה גם המבחן שבו המודל נראה הכי פחות יוצא דופן. בתמונות כלליות, Qwen3.8-Max מוביל עם 74.2 cIoU לעומת 63.9 של Xiaomi-Lens-0. בהוראות מרומזות המודל מדורג חמישי, אחרי Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash ו-Seed-2.1-Pro. Xiaomi פרסמה מבחן בנצ'מרק שהמודל שלה עצמו אינו מנצח בו בכל הקטגוריות, וזה שווה יותר מאשר מאזן מושלם היה שווה.

איפה שמודל ה-4B למעשה נכשל

אופן הכשל אינו אקראי. הוא הפער בין תיאור שמכנה את הדבר לבין תיאור שרומז עליו.

• מפורש למרומז — cIoU של המסכה יורד מ-71.4 ל-54.7, ו-box Prec@0.5 מ-85.0 ל-70.0 ב-LensBench.

• {{1}}מטרות מרובות בסצנות פנורמיות{{/1}} — החתך הגרוע ביותר במאמר, שבו box Prec@0.5 יורד מ-81.3 ל-48.7 ו-cIoU מ-71.8 ל-48.9.

• אזורים קטנים, חסומים ודו-משמעיים — הכרטיס מפורש בכך שתחזיות עלולות להחמיץ אובייקטים או לייצר תיבות ומסכות לא מדויקות במקרים אלה.

• ספירה — 50.6 ב-CountQA הוא שיפור של 6.8 נקודות, ועדיין בערך הטלת מטבע עם נימוסים טובים יותר.

יש גם הסתייגות מכנית שתפגע בכל מי שמחבר את זה למוצר. המסכות מפוענחות על קנבס התמונה של המעבד, ולא על הקובץ המקורי שלך. אם תשנה גודל לפני ההסקה ותשכח להפוך את המיפוי, המסכה תחזור בצורה נכונה ובמקום הלא נכון. הכרטיס אומר לשמר את שינוי הגודל ואת מיפוי הקואורדינטות; הוא לא אומר מה קורה כשלא עושים זאת, והתשובה היא שגיאה שקטה ונראית סבירה.

מה ה־pull request משנה, ומה הוא לא משנה

PR 50028 נמצא בתהליך מאז 23 באוקטובר — ארבעה קומיטים, כשהאחרון הוטמע כדקה לפני פתיחת בקשת המשיכה. הוא מוסיף קובץ תצורה, קובץ מודולרי, קובץ מידול בן 2,199 שורות, מעבד, סקריפט המרת משקלים, מיפויים אוטומטיים עבור מודל, מעבד תמונות וטוקנייזר, עמוד תיעוד, ו-552 שורות בדיקות. בוט CI כבר ביקש את חבילת הבדיקות האיטיות עבור xiaomi_lens0. יש אפס ביקורות.

אם זה ימוזג, שלושה דברים משתנים. הטעינה מתבצעת באמצעות AutoModel ו-AutoProcessor במקום pip install -e . מול המאגר של Xiaomi. המודל מופיע בתיעוד שאנשים באמת קוראים. והוא נעשה מתאים לכלי האקוסיסטם — כימות, אדפטרים, מסגרות אימון — שמניחים שקיימת מחלקה של Transformers לפני שהם נוגעים בצ'קפוינט.

אם זה ימוזג, ארבעה דברים לא משתנים. זה עדיין דורש GPU עם CUDA ותמיכה ב-bfloat16 וב-FlashAttention-2. עדיין אין לו נקודת קצה מתארחת. פענוח המסכות עדיין עובר דרך ה-processor ולא דרך קריאת יצירה רגילה. והמספרים נשארים בדיוק כפי שדווחו על ידי הספק, כפי שהם היום, כי העברה של framework היא אירוע אריזה, לא הערכה.

כדאי גם להיות בוטים לגבי הסטטוס. PR פתוח אינו פיצ'ר. Transformers ממזג לפי הקצב שלו, המתחזקים טרם הביעו דעה, ופורטים בגודל הזה עוברים באופן שגרתי כמה סבבים לפני שהם נוחתים. כל מי שכותב היום ש"Xiaomi-Lens-0 עובד כעת ב-Transformers" טועה במיזוג אחד.

מה נדרש כדי להריץ את זה השבוע

הנתיב הרשמי הוא החבילה של Xiaomi עצמה, והוא מניח מכונת GPU אמיתית.

• הגדרה — Python 3.10 או גרסה חדשה יותר, CUDA עם bfloat16 ו-FlashAttention-2, לאחר מכן pip install -r requirements.txt ו-pip install -e . בתוך מאגר ה-inference.

• תמונה בודדת — infer.py מקבל צ'קפוינט, תמונה, שאילתת טקסט ונתיב פלט, וכותב תמונה עם הערות בתוספת הטקסט שנוצר.

• פורמט פלט — תיבות מנורמלות לטווח 0–1000 בתוך תגי <bbox>, מסכות נפלטות כאסימוני <|mask|> בתוך תגי <mask>, וכל תוכן בתוך בלוק חשיבה מוחרג משכבת-העל הסופית.

• הגשה — תמיכה ב-vLLM קיימת אך פועלת כשני שירותים שוכנים יחד, יצירת טקסט בפורט 8000 ופענוח מסכות ב-8001, כאשר הלקוח נמצא על אותה מכונה כי הוא מעביר נתיב לתמונה ולא בייטים. אם תעקוף את MAX_PIXELS, שני השירותים צריכים את אותו ערך.

קיימים שני מסלולים קהילתיים, ואף אחד מהם אינו של שיאומי. חבילת PyPI בשם xiaomi-lens-mnn מממשת מחדש את האינפרנס על MNN עבור CPU ב-fp16 או int8, ללא תלות ב-torch, וחבילת נודים לא רשמית ל-ComfyUI מדווחת על פלט זהה ביט-בביט לזה של הקוד הרשמי. שניהם אותות שימושיים — במיוחד הפורט ל-MNN, משום שהוא מרמז שהארכיטקטורה פשוטה דיה למימוש מחדש ולא רק לעטיפה.

Xiaomi אינה מפרסמת נתון VRAM, לא מדידת השהיה ולא מספר תפוקה. עבור מודל 4B המשקלים אינם הבעיה; מגדל הראייה ברזולוציה גבוהה ומעבר פענוח המסכה הם הבעיה, ולשניהם אין עלות שפורסמה. מדדו לפני שאתם קובעים את גודלו של צי סביב זה.

מי צריך להוריד את זה השבוע

אם אתה צריך מסכות מדויקות ברמת הפיקסל מתוך תיאור בשפה טבעית ואתה שולט בחומרה, זו אחת מאפשרויות ה-4B הטובות יותר הזמינות תחת רישיון מתירני, והמשקלים אינם חסומים. נתוני ההוראות המפורשות תחרותיים עם מודלים שגדולים פי כמה, הארכיטקטורה מסירה רשת שנייה שלמה מצינור העיבוד שלך, ו-Apache 2.0 פירושו שהבדיקה המשפטית קצרה.

אם אתה צריך נקודת קצה מתארחת לסגמנטציה היום, זה לא זה. Xiaomi-Lens-0 אינו בקטלוג של OrcaRouter — איננו מספקים אותו, ואין לקרוא שום דבר כאן כטענה אחרת. מה שכן מסופק הוא סט ההשוואה. אם השאלה האמיתית היא האם מודל פתוח של 4B עולה על מודל ראייה מתארח על התמונות שלך, השיטה ההוגנת היא להריץ את Lens-0 באופן מקומי ולקרוא לצד המתארח דרך מפתח אחד. Qwen3-VL-8B-Instruct, למשל, זמין במחיר של $0.18 למיליון טוקני קלט ו-$0.70 למיליון טוקני פלט, מועבר במחיר המחירון של הספק ללא תוספת, ואותו מפתח מגיע אל שאר הקטלוג אם אתה רוצה חוות דעת שנייה או מעבר אוטומטי לגיבוי כאשר ספק אחד נחלש. ההשוואה הזו על הנתונים שלך שווה יותר מכל טבלה במאמר.

מה ישנה את ההערכה הזו?

ארבעה דברים, בסדר גס לפי מידת החשיבות שלהם.

מיזוג של PR 50028, משום שהוא הופך פריט מחקרי למשהו שסביבת Python רגילה יכולה לטעון. הערכה עצמאית על LensBench או RefCOCO שתבוצע על ידי מישהו שאינו Xiaomi, משום שלמספרים הנוכחיים יש מחבר אחד, והפרוסות החלשות של המאמר עצמו מרמזות שהממוצע מסתיר שונות אמיתית. מסלול mask ילידי ב-vLLM או ב-SGLang שמאחד את מערך שני השירותים לנקודת קצה אחת, וזה ההבדל בין הדגמה לפריסה. ושירות מתארח מכל גורם, שיהפוך את המודל לסעיף תקציבי ולא לפרויקט.

עד אז, התיאור הנכון הוא מדויק: Xiaomi-Lens-0 הוא מודל אמיתי, ניתן להורדה, ברישיון Apache-2.0, בגודל 4B, עם גישה יוצאת דופן ומתועדת היטב לסגמנטציה, בן שישה ימים, עם נתונים חזקים מטעם הספק, בנצ'מרק שפורסם שאינו מחמיא לו, ופורט למסגרת שמוצע ולא הופץ. זה דבר שימושי יותר לדעת מאשר גם "Xiaomi רק שחררה מתחרה קטלני ל-Segment Anything" או "אין מה לראות עד שזה ימוזג".