ZoomGain-4B לעומת Qwen3.8-27B: הניצחון של 11 נקודות הוא על מערך נתונים, לא על מודל

המספר שהופך את ההשוואה הזו לשווה עמוד הוא 55.81 מול 44.81. ב-ZoomGainBench, מבחן הפרטים הדקים בן 1,000 השאלות שפורסם לצד inclusionAI: ZoomGain-4B, מודל ראייה בן 4.54 מיליארד פרמטרים, משיג תוצאה גבוהה באחת-עשרה נקודות מזו של Qwen3.8-27B, מודל צפוף בן 27.78 מיליארד פרמטרים ש-Alibaba שחררה תחת Apache 2.0 באוגוסט ושהוא קורא תמונות ווידאו כמו גם טקסט. פי שישה פרמטרים, והוא מפסיד בהפרש של אחת-עשרה נקודות. קראו את המאמר שהפיק את שני המספרים, והפער מפסיק להיות טענה על ראייה: ZoomGainBench נבנה באותו צינור אוטומטי שיצר את נתוני האימון של ZoomGain-4B, המחברים אומרים זאת בעצמם במחקר האבלציה שלהם, והמודל שהם באמת התחרו מולו אינו Qwen3.8-27B כלל — אלא מערך נתונים אחר.

זה לא הפרכה. זה הדבר השימושי ביותר בגרסה, וזה מה שהופך את ההשוואה לניתנת להכרעה: הוא אומר לך לאיזה משני המודלים לפנות, ואיזה מספר לצטט כשמישהו מבקש ממך להצדיק את הבחירה. בהמשך מופרדות שלוש הטענות שנכרכות כאן יחד — שמומחה קטן גובר על גנרליסט גדול, שצינור נתונים גובר על צינור נתונים אחר, ושכל אחת מאלה היא סיבה לשנות את הסטאק שלך החודש.

מה שוחרר, וכמה בשקט

המאגר של ZoomGain-4B נוצר ב-Hugging Face ב-10 בנובמבר 2026 בשעה 11:38 UTC ועודכן לאחרונה ב-11 בנובמבר. המאמר, arXiv 2611.14076, הוגש ב-10 בנובמבר. במאגר ה-GGUF בוצעה פעולת עדכון בשעה 03:13 UTC ב-11 בנובמבר. בזמן כתיבת הדברים, שני המאגרים מציגים אפס הורדות ואפס לייקים, אין ספק inference שממופה למודל, ולא קיים עבורו פוסט השקה של ספק, פוסט בלוג או הודעה לעיתונות. רשימת העדכונים של כרטיס המודל עצמו, מתוארכת ל-11 בנובמבר, היא ההודעה היחידה: שלוש שורות שאומרות שהמאמר, הבנצ'מרק, מערך הנתונים של RL והצ'קפוינטים זמינים.

אז הניסוח הכנה הוא שזה הופץ בשקט ולא הוכרז. כל מה שלהלן שמגיע ממאגר קוד ניתן לבדיקה היום; כל דבר בנוגע לאופן שבו המודל מתנהג מחוץ למסגרת הבדיקה של המחברים טרם אושר, משום שאיש מחוץ ל-Ant Group ולאוניברסיטת Zhejiang לא הר�יץ אותו ודיווח בחזרה.

שני פרטים מהמאגר כדאי להכיר לפני שההשוואה מתחילה, מפני ששניהם מצמצמים את מה שאפשר לעשות איתו.

• ארכיטקטורה. נגזרת של Qwen3.5-4B — 32 שכבות, גודל מוסתר 2,560, 16 ראשי שאילתה מול 4 ראשי KV במימד ראש 256, פריסה של 3:1 של DeltaNet ליניארי לקשב מלא, 262,144 מיקומים מקסימליים, אוצר מילים של 248,320 טוקנים, ומקודד חזותי בן 24 שכבות בגודל מוסתר 1,024. הסך הכולל, כולל המקודד והמקרן, הוא 4,539,265,536 פרמטרים.

• רישיון. סעיף הרישיון בכרטיס מכסה את הקוד, שהוא Apache 2.0, ואז מפנה: "עיינו בכרטיסי Hugging Face לתנאים של כל מערך נתונים ונקודת שמירה." כרטיס נקודת השמירה אינו נושא תג רישיון כלל. Qwen3.8-27B הוא Apache 2.0 במונחים חד-משמעיים. אם אתם זקוקים לרישיון שתוכלו למסור לעורך דין, חוסר הסימטריה הזה הוא הדבר הראשון שתנתקלו בו והוא אינו נפתר על ידי דבר במהדורה.

הרשימה היחידה שבה שני הדגמים מופיעים זה לצד זה

ZoomGainBench הוא בנצ'מרק דו-לשוני בן 1,000 שאלות המבוסס על 941 תמונות: 472 שאלות לזיהוי מאפיינים עם ארבע עד שש אפשרויות, 94 שאלות ספירה ו-434 שאלות OCR, כל אחת בגרסה אנגלית ובגרסה סינית, כך שנוצרים 2,000 מופעי הערכה. עשרים ושמונה מודלים הורצו עליו תחת רתמה אחת — אותו פרומפט מערכת, טמפרטורה 0, חשיבה מושבתת עבור כל צ'ק-פוינט של Qwen, ו-2,048 אסימוני פלט עבור המודלים הלא-סוכניים. התוצאה הטובה ביותר בתחום היא GPT-5.6-Sol עם 61.08, ורק חמישה מודלים עוברים את 50.

Qwen3.8-27B מגיע ל-44.81 בסך הכול: 43.84 באנגלית, מתוכם 40.25 בייחוס, 54.26 בספירה ו-45.49 ב-OCR, ו-45.78 בסינית. ZoomGain-4B, המופיע בטבלת האימון ולא בטבלת הבנצ'מרק, מגיע ל-55.81. שני הנתונים הם הציון הכולל הדו-לשוני לפי אותם כללי ניקוד, כך שזה הקרוב ביותר להשוואה מבוקרת שהשחרור מציע, ובהשוואה זו ה-4B מנצח ב-11.00 נקודות.

• פרמטרים. 4.54B לעומת 27.78B — הבדל של פי 6.1 בכיוון שהופך את התוצאה למפתיעה.

• מה כל אחד מהם נועד לעשות. ZoomGain-4B הוא Qwen3.5-4B שהועבר דרך אפוק אחד של GRPO על 9,000 שאלות שנכרו, 140 צעדים, גודל אצווה 64, שמונה רולאאוטים לכל שאלה, קצב למידה 1e-6, ללא מונח KL. Qwen3.8-27B הוא מודל צפוף כללי עם מצב חשיבה, קריאה לכלים ומסלול וידאו.

• נתוני אימון. 9,000 שאלות עבור האחד. עבור האחר, כל הקורפוס של Alibaba לאימון מקדים ואימון לאחר, שגודלו לא נמסר.

• זמינות. ZoomGain-4B: שלוש רמות דיוק של GGUF וקובץ מקרן נפרד, ללא נקודת קצה מתארחת. Qwen3.8-27B: משקולות Apache 2.0, גרסת FP8, 7.4 מיליון הורדות, ונקודות קצה שאפשר לפנות אליהן היום.

ההשוואה שהמאמר אכן מבסס

הנה החלק שהולך לאיבוד כאשר השחרור מצטמצם ל"4B מנצח 27B". המאמר היה זקוק לקו בסיס לנתונים שלו, והוא השתמש באחד: ZwZ, מערך נתונים לתפיסה עדינה של ICML 2026 שנבנה באמצעות זיקוק מאזור לתמונה. שני הצדדים קיבלו יחס זהה. דגמו 12,000 תמונות ויצרו 23,610 שאלות; מבחן הביצועים לקח 1,000; היתר הניב 8,746 צמדי שאלות מותאמות לתמונות, ו-254 שוכפלו בשני הצדדים כדי להביא כל קבוצה ל-9,000. אותן תמונות, אותן נקודות ביקורת בסיס, אותם היפר-פרמטרים, אותם 140 צעדים. המשתנה היחיד הוא השאלות.

נתוני ZoomGain גוברים על נתוני ZwZ בכל ציר שהמאמר מדווח עליו. ב-Qwen3.5-4B ציון ה-held-in נע מ-40.99 ל-55.81, וממוצע ה-held-out על פני שלושה-עשר בנצ'מרקים נע מ-58.94 ל-63.96; ב-Qwen3.5-9B אותו זוג מספרים הוא 44.07 ל-55.48 ו-62.53 ל-66.10. זו תוצאה אמיתית ומבוקרת היטב בנוגע לאופן שבו מייצרים פיקוח, והיא התרומה שכותרת המאמר מציגה.

Qwen3.8-27B אינו תורם דבר לטיעון הזה. הוא מופיע פעם אחת, כשורה בודדת מבין 27 מודלים אחרים שנבחנו. הוא אמת מידה — מודל כללי מוכשר הנמדד על התפלגות שאיש לא אימן אותו עליה — ולא מתחרה. הטקסט של המאמר עצמו מפורש שהפער שהוא מנצל הוא משותף: מסיחים מסוג טעות בהסתכלות גלובלית מהווים 71.7% מכלל התשובות השגויות בכל 28 המודלים, מעל ל-54.5% שבחירה אקראית מבין האפשרויות הייתה מניבה, וארבעת המודלים הסגורים שלא לקחו חלק בבניית מבחן הבנצ'מרק מציגים את אותה התנהגות — 75.7% לעומת 57.4% הצפויים.

האבלציה היא הטיעון החזק ביותר נגד הכותרת

המחברים ערכו על עצמם את בדיקת השפיות המובנת מאליה, והתוצאה היא הטבלה עשירת המידע ביותר במאמר. הם אימנו מחדש על אותן 9,000 שאלות פעמיים, ובכל פעם הסירו אחד משני שיקולי העיצוב שמגדירים את מסלול העיבוד שלהם: הכלל שלפיו מותר לבנות שאלות רק מפרטים שאינם נראים בתמונה המלאה, ושלב ייצור המסיחים הייעודי.

• Pipeline מלא.ZoomGainBench 55.81; ממוצע על פני עשרת מבחני ה-held-out שהאבליישן מדווח עליהם, 60.96.

• הוסרו מסיחים ייעודיים. ZoomGainBench 46.85 — ירידה של 8.96 נקודות במבחן ה-held-in — וממוצע עשרת המדדים 59.14, ירידה של 1.82.

• הראיות המצטברות הוסרו.ZoomGainBench 49.71, ירידה של 6.10 — והממוצע של עשרת הבנצ'מרקים 58.57, ירידה של 2.39.

שתי בחירות העיצוב שוות שש עד תשע נקודות ב-ZoomGainBench וכשתי נקודות בכל השאר. המחברים נותנים את הסיבה בפשטות: הסרת מסיחים ייעודיים "גורמת לירידה הגדולה ביותר ב-ZoomGainBench שנכלל באימון" משום ש"אפשרויות הבנצ'מרק נבנות באמצעות אותו צינור עיבוד". במילים אחרות, כשלושה רבעים מהרווח הבולט בבנצ'מרק שהפיק את מספר הכותרת נובעים מכך שהמודל לומד לענות על סוג השאלות שצינור העיבוד כותב, ולא מכך שהוא לומד לראות טוב יותר.

מה ששורד מכך עדיין משמעותי. בשלושה-עשר הבנצ'מרקים שהאימון מעולם לא נגע בהם, {{1}}Qwen3.5-4B{{/1}} עובר מ-57.86 ל-63.96 — 6.10 נקודות מ-9,000 דגימות — כשהשיפורים הגדולים ביותר הם בדיוק במשפחה שאליה מכוון הפייפליין: HR-Bench 4K מ-81.25 ל-87.25, V*Bench מ-81.68 ל-90.05, VisualProbe מ-43.30 ל-57.28, O3-Bench מ-54.20 ל-63.19. בנצ'מרק אחד נסוג: TreeBench, מ-49.38 ל-49.14, חמישית נקודה. MMStar, מערך מולטימודלי כללי, עובר מ-66.80 ל-72.53, ו-BabyVision נשאר נמוך ב-21.13.

הפרופיל הזה הוא החתימה של התערבות צרה, וזה הפרופיל שכדאי לתכנן לפיו. המודל השתפר בפתרון דברים קטנים בסצנה. הוא לא הפך לכללן טוב יותר, והחשבון שאומר אחרת הוא חשבון על הבנצ'מרק של עצמו.

מה שהמדד בעצם שואל, כי זה מה שהייתם קונים.

אם השימוש המיועד הוא בדיקת פרטים דקים, הרכב המבחן חשוב יותר מהציון הכולל, וניתוח השגיאות במאמר הוא קונקרטי באופן יוצא דופן בנוגע לכך.

• עוגנים קטנים שולטים. הדיוק עולה ככל שהחלק מהתמונה שהפרט הנשאל תופס גדול יותר, בכל קבוצות המודלים: בממוצע על פני כל 28, הוא מטפס מ-28.9% ברביעון הקטן ביותר, שבו העוגן מכסה פחות מ-0.4% מהתמונה, ל-55.2% בגדול ביותר.

• הספירה היא ספירה של מספרים קטנים. ל-67 מתוך 94 משאלות הספירה יש תשובת ייחוס של לכל היותר שלוש, ו-71.6% מהתשובות המספריות השגויות סוטות בדיוק באחד. הקושי הוא לפתור כמה מופעים קטנים, ולא למנות רבים.

• זיהוי תכונות הוא הקטגוריה הקשה. הוא מפיק את הציון הנמוך ביותר עבור 23 מתוך 28 המודלים, וניחוש אחיד בין האפשרויות כבר היה מניב כ-21.5%.

• מצב הכשל הוא החלפה סבירה בהקשר הסצנה. במקרה מתועד אחד, 46 מתוך 56 הערכות מכנות עצם לבן על לוח המחוונים של משאית בשם כתום — ככל הנראה צבע האפוד של העובד העומד לפניו. במקרה אחר, כמעט כל הערכה מציינת מותג ציוד הוקי במקום הלוגו שמודפס בפועל על הבגד. המודלים אינם אומרים "איני יכול לראות את זה"; הם עונים מתוך ההקשר.

אופן הכשל הזה הוא הטיעון המעשי לאימון מסוג זה, משום שהוא אותו גורם שמביא לכך שצינור עיבוד מסמכים טועה בשקט בחשבונית סרוקה. זה גם הטיעון למדידתו: מודל שמחליף תשובה סבירה מפיק פלט בטוח, כך ששום דבר בהמשך לא תופס אותו.

איפה Qwen3.8-27B נמצא בחדר אחר

המספר 44.81 הוא אמיתי, והוא גם המספר היחיד במאמר הזה שלפיו נשפט כאן Qwen3.8-27B. הכרטיס שלה מדווח על מערך דברים שונה לחלוטין, ואף אחד מהם אינו ניתן להשוואה למספרים של ZoomGain, מפני ששני המודלים מעולם לא הורצו על אותה ערכת בדיקה עבורם.

• קידוד אגנטי.Terminal Bench 2.1 עם 73.0, SWE-bench Pro 61.7, LiveCodeBench v6 90.3, QwenSWEBench 79.0 — הכול מדווח על ידי הספק בכרטיס של Qwen עצמו, כשהערות ה-harness פורסמו לצידם.

• הסקה ושימוש במחשב. GPQA Diamond 89.2, HLE 30.8, OSWorld-Verified 84.3, WebArena-Verified 64.8.

• עבודה מולטי-מודלית. OmniDocBench 1.5 ב-91.1, הסקת CharXiv 83.7 ללא הזרקת שרשרת מחשבה ו-90.2 עם זה, RealWorldQA 85.9, MathVision 90.0.

• משטח יכולות. חשיבה פעילה כברירת מחדל עם reasoning_effort ב-xhigh, medium או low, שימור חשיבה בין תורות, קריאה לכלים באופן מקורי, פלטים מובנים, קלט וידאו, 262,144 פוזיציות באופן מקורי וניתנות להרחבה עד למיליון.

ZoomGain-4B לא הוערך באף אחד מאלה, ולא היה צפוי להצליח באף אחד מהם: האימון שלו מעולם לא נגע בקוד, במשימות טרמינל, במסמכים או בתרשימים. כמו כן, לא דווח על הערכה שלו במצב חשיבה — מערך ההערכה של המהדורה עצמה פועל עם חשיבה מושבתת בטמפרטורה 0, כך שכל מה שפורסם אודותיו מתאר את התנהגות התשובה הישירה שלו. הערך 44.81 של Qwen3.8-27B נמדד באותו אופן, עם enable_thinking=false, וזה הדבר היחיד שהופך את ההשוואה להוגנת והדבר היחיד שמשאיר את המצב הטוב ביותר של Qwen ללא בדיקה.

לומר בפשטות: בציר ש-ZoomGain-4B אומן עבורו, הוא מנצח, ובצירים ש-Qwen3.8-27B נבנה עבורם, ה-4B כלל לא נמצא בתמונה. אף אחד משני אלה אינו הפתעה, ולהתייחס לאחד מהם כאל כל הסיפור הוא הדרך שבה דף השוואה הופך לחסר תועלת.

כמה עולה להקים כל אחד מהם, וזה שאפשר להתקשר אליו היום

כאן השניים מתפצלים באופן שמכריע את הפריסה ולא את המדד.

ל-ZoomGain-4B אין נקודת קצה מתארחת בשום מקום. מה שקיים הוא מאגר BF16, עם 4.54 מיליארד פרמטרים במודל שפה ומקודד ראייה נפרד, ושלושה בילדים של GGUF: Q4_K_M בגודל 2.71 GB, Q8_0 בגודל 4.48 GB ו-F16 בגודל 8.42 GB, כאשר לכל אחד מהם פרויקטור mmproj משלו — 0.23 GB, 0.36 GB ו-0.67 GB בהתאמה — אשר לפי כרטיס ה-GGUF נדרש לקלט תמונה. הרצה שלו פירושה llama-mtmd-cli או llama-server מתוך בנייה של llama.cpp חדשה מספיק כדי להכיר ב-Qwen3.5 מולטימודאלי; הרצה שלו ברמת דיוק מלאה פירושה vLLM 0.19.1 עם transformers 5.7.0. אין בנייה של MLX, אין ONNX, אין מודל טיוטה לפענוח ספקולטיבי, ואין ספק שאפשר לחזור אליו אם הבנייה שלך נשברת.

Qwen3.8-27B נמצא בקטלוג של OrcaRouter, ואנחנו מריצים את המשקלים האלה על התשתית שלנו ולא מפיצים מחדש נקודת קצה של מישהו אחר — ולכן המחיר בעמוד המודל שלנו הוא המחיר, בלי תוספת רווח מעליו ובלי שמחיר מחירון של ספק מתומחר בדרך. הוא 0.33 דולר למיליון טוקנים בקלט ו-2.40 דולר למיליון בפלט, טקסט, תמונה ווידאו בקלט, 262,144 טוקנים של הקשר, ומפתח אחד. אותו מפתח מגיע גם ל-Qwen3.8-Flash ב-0.15 ו-0.47 דולר למיליון עם חלון של מיליון טוקנים, ול-Qwen3.8-Max ב-2.00 ו-6.00 דולר, כך שעומס עבודה שמתעלה על ה-27B או שזקוק לחלון ארוך יותר עובר בלי חוזה נוסף או שינוי קוד. Failover הוא החלק שחשוב לכל דבר בצורת פרודקשן: ספק שנתקע מנסה שוב לפני שהתגובה מתחילה ולא אחרי שהבקשה שלך מגיעה לפסק זמן.

ZoomGain-4B אינו בקטלוג הזה ולא ניתן לפנות אליו דרכנו. זו תיקייה של משקלים שאתה מגיש בעצמך, והגרסה הכנה של ההמלצה חייבת להתחיל שם.

מי צריך לפעול, ומה עדיין לא מאומת

אם יש לך עבודה עתירת תמונות שבה התשובה תלויה בפרט קטן — מספר חלק על תווית, צבע על מסך, אם יש שני ברגים או שלושה — מודל 4.54B שעבר RL במיוחד על זה, שרץ באופן מקומי ב-2.71 GB ב-Q4_K_M, הוא חוות דעת שנייה זולה ואמינה להריץ לצד מודל כללי מתארח. לא במקום אחד כזה. פרופיל הכשל של המומחה הוא החלפה בביטחון, וזה בדיוק הכשל שבדיקה של מודל כללי תופסת, ולהיפך.

אם עומס העבודה שלך הוא מסמכים, תרשימים, צילומי מסך, וידאו, קוד או סוכנים, ה-27B הוא זה שכדאי לפנות אליו, והציון 44.81 במבחן פרטים עדינים שאיש לא אימן אותו עליו אינו סיבה לחשוב אחרת.

מה שעדיין לא אומת, וראוי לעקוב אחריו במקום להניח:

• רישיון המשקלים. Apache 2.0 מכסה את הקוד. ה-checkpoint אינו נושא תג רישיון, והכרטיס מפנה ל"תנאים של כל מערך נתונים ו-checkpoint" מבלי לנקוב בהם. עד שזה ייפתר, פריסה מסחרית היא שיחה עם עורך דין, לא תיבת סימון.

• כל שחזור.כל מספר לעיל מדווח על ידי המחברים, והופק בהרנס של המחברים עצמם. הבנצ'מרק והמעריך פומביים, ולכן ניתן לבדוק זאת, אך אף אחד מחוץ ל-Ant Group ולאוניברסיטת ג'ג'יאנג לא בדק זאת.

• האם הרווח מכליל מעבר לצינור העיבוד. המספרים של קבוצת ההחזקה הם אלה שכדאי לסמוך עליהם, והם צנועים — 6.10 נקודות מעל הממוצע של שלושה־עשר מבחני הבנצ׳מרק של מודל הבסיס — והם נוטים בכבדות לעבר המשפחה העדינה שאליה כיוון האימון. האם זה עובר לתמונות שלך היא שאלה פתוחה שהגרסה שפורסמה אינה עונה עליה.

• האם זה מחזיק מעמד ב-Q4. כרטיס ה-GGUF מזהיר שקוונטיזציה עלולה להשפיע על הדיוק, ושום דבר שפורסם לא משווה את גרסאות הקוונטיזציה מול צ'קפוינט BF16 ב-ZoomGainBench. עבור מודל שכל ערכו הוא פרט עדין, זהו הניסוי שכדאי להריץ לפני שנותנים אמון בקובץ של 2.71 GB.