ZwZ2-4B לעומת ZwZ2-9B: אותו עומק, פי שניים משקלים, פער של 1.8 נקודות

ההנחה המובנת מאליה לגבי מודל 4B ומודל 9B מאותה משפחה היא שהקטן יותר רדוד יותר. ZwZ2-4B וZwZ2-9B אינם כאלה. שניהם מצהירים על 32 שכבות טרנספורמר בדיוק. שניהם משתמשים ב-16 ראשי query מול 4 ראשי key-value בממד ראש של 256. לשניהם אותו אוצר מילים של 248,320 טוקנים ואותה תקרת הקשר של 262,144 מיקומים, ושניהם מריצים את אותו לוח זמנים של קשב ליניארי-מלא ביחס 3:1. ה-9B אינו גרסה רדודה יותר של ZwZ2-4B; הוא רחב יותר, וברגע שרואים זאת, שאר ההשוואה הזו — כולל פער הניקוד של הספק עצמו — מפסיקה להיראות כמו קו ישר.

שני הצ'קפוינטים קרובים גם בזמן וגם במקור. ZwZ2-4B נוצר ב-15 באוקטובר 2026, ZwZ2-9B ב-16 באוקטובר, שניהם נוצרו בידי inclusionAI, שניהם אומנו באותו פייפליין על אותו מערך נתונים של 20,662 שאלות רב-ברירה, ואף אחד מהם לא הוכרז. הם נבדלים במודלי הבסיס שלהם — Qwen3.5-4B ו-Qwen3.5-9B בהתאמה — וברוחב של כל בלוק שנובע מכך.

ההבדל בקונפיגורציה, ומה שהוא מרמז

קריאה שכבה אחר שכבה של שני קבצי התצורה מגלה הבדל מבני אמיתי אחד, ומספר הבדלים הנובעים ממנו באופן מכני.

• עומק — 32 שכבות בשניהם, זהה

• רוחב מוסתר — 2,560 עבור ה-4B לעומת 4,096 עבור ה-9B, פי 1.6

• רוחב feed-forward — גודל ביניים 9,216 לעומת 12,288

• גאומטריית קשב — 16 ראשי שאילתה, 4 ראשי מפתח-ערך, ממד ראש 256, בשניהם

• תזמון קשב — 24 שכבות ליניאריות ו-8 שכבות קשב מלא, בשניהם

• הקשר — 262,144 מיקומים בשניהם, M-RoPE ב־11/11/10, רוטרי חלקי 0.25

• אוצר מילים — 248,320 טוקנים בשניהם, הטמעות קשורות ב-4B ולא קשורות ב-9B

• מגדל ראייה — 24 שכבות בממד חבוי 1,024 לעומת 27 שכבות בממד חבוי 1,152

• חיזוי מרובה טוקנים — אפס שכבות MTP בשניהם, הראש הספקולטיבי הוסר מכל בסיס

• פרמטרים — 4,539,265,536 לעומת 9,409,813,744, פי 2.07

שתיים מהשורות הללו ראויות להערה. ההטמעות הלא־מקושרות ב־9B פירושן שמטריצות הקלט והפלט הן עותקים נפרדים של טבלה בגודל 248,320 על 4,096; זה לבדו מהווה בערך שני מיליארד פרמטרים, וזה חלק גדול מהסיבה שיחס הפרמטרים (2.07) גבוה מיחס הרוחב (1.6). ומגדל הראייה גדל יחד עם מחסנית השפה — 27 שכבות עם 1,152 ממדים נסתרים לעומת 24 עם 1,024 — כך�ה־9B רואה את התמונה דרך מקודד רחב יותר, ולא רק דרך מפענח רחב יותר.

המספרים: רווח גדול יותר, תקרה נמוכה יותר

inclusionAI מפרסמת מדד מצטבר אחד לכל מודל: דיוק כולל על פני 25 מבחני ייחוס בש�ישה תחומים, במשקל שווה. לפי הנתונים המופיעים בכרטיס עצמו, המשפחה נראית כך.

• ZwZ2-4B — בסיס 49.41, מכוונן 54.79, עלייה של 5.38 נקודות

• ZwZ2-9B — בסיס 51.63, מכוונן 56.59, שיפור של 4.96 נקודות

• ZwZ2-27B — בסיס 55.52, מכוון 60.51, שיפור של 4.99 נקודות

אז ה-4B מרוויח הכי הרבה ומסיים אחרון. ה-9B מרוויח פחות ומסיים גבוה ב-1.80 נקודות. שתי הקביעות נכונות, ואיזו מהן חשובה תלוי לחלוטין בשאלה שאתה שואל. אם השאלה היא "כמה מתכון האימון הזה מוסיף", התשובה היא הגדולה ביותר ב-4B. אם השאלה היא "איזה מודל מדויק יותר", התשובה היא ה-9B, ב-1.80 נקודות, ושום כמות של ניסוח לא משנה את זה.

כל המספרים האלה הם מספרים שדווחו על ידי הספק, על גבי מערך מבחנים שהספק בחר. אף אחד לא דירג באופן בלתי תלוי אף חבר במשפחה הזו, והפירוט לפי מבחן נמצא בתרשימים ולא בטקסט — SVG ו-PNG בכל כרטיס. הפער של 1.80 נקודות הוא הסיכום הכנה של מה שפורסם; זו אינה מדידה שאתה או אני ראינו משוחזרת.

מדוע התועלת פוחתת ככל שהמודל גדל

התבנית — 5.38 ב-4B, 4.96 ב-9B, 4.99 ב-27B — ראויה להתייחסות רצינית ולא לנופף לעברה. מתכון אימון שמוסיף יכולת למודל קטן ממלא פער: למודל הבסיס לא היו היכולת או אות האימון כדי לשים לב לעדויות אזוריות עדינות, ו-20,000 שאלות רב-ברירה שסוננו בקפידה מלמדות אותו מיומנות שהייתה חסרה לו. למודל בסיס גדול יותר כבר יש יותר מהיכולת הזו, ולכן לאותה תוכנית לימודים יש פחות מה להוסיף. התשואה השולית על הנתונים יורדת ככל שהבסיס משתפר.

זו הקריאה המיטיבה, והיא זו שהמספרים תומכים בה. הקריאה הלא־מיטיבה היא שלחבילת הבנצ׳מרקים יש תקרה, או שצורת המשימה עם ארבע האפשרויות מתגמלת מודלים קטנים באופן לא פרופורציונלי. שתי הקריאות עולות בקנה אחד עם המספרים שפורסמו, ולכן יש להתייחס לפער של 1.80 נקודות ככיוון ולא כגודל.

קיימת אפשרות שלישית שחשובה יותר לאימוץ: הרווח עשוי להיות מרוכז. "משופר בכל מדד" היא הטענה שבכרטיס, אך ממוצע על פני 25 משימות בעלות משקל שווה יכול להסתיר שני ניצחונות גדולים ועשרים קטנים. בלי הטבלה לפי מדד — והיא אינה בטקסט — אינך יכול לדעת אם ה-5.38 של ה-4B אחיד או מרוכז בדיוק במשימות התפיסה העדינות שהמתכון מכוון אליהן. אם הוא מרוכז, המודל הקטן הוא מומחה וה-9B הוא הגנרליסט, והממוצע הוא הסטטיסטיקה הלא נכונה לבחירה ביניהם.

ה-27B הוא ניסוי הבקרה

הגודל השלישי הופך את טיעון המשפחה לניתן לבדיקה. ZwZ2-27B בנוי על Qwen3.6-27B — דור בסיס שונה משני אחיו — והוא מציג שיפור של 4.99 נקודות, בעצם זהה לזה של ה-9B (4.96) ונמוך בהרבה מזה של ה-4B (5.38). אילו ערכו של המתכון היה נובע מאיכות הנתונים בלבד, היינו מצפים לשיפור אחיד בכל הגדלים. במקום זאת, ה-4B הוא החריג. זה עקבי עם סיפור פער היכולת, ואינו עקבי עם סיפור שבו נתוני האימון פשוט מצוינים באופן אחיד.

ה-27B גם מכריע נקודה מעשית בנוגע לשחרור של המשפחה. שלושת המאגרים הופיעו בתוך 23 שעות זה מזה, ה-4B ראשון וה-27B אחרון, וזהו סימן ההיכר של דחיפה מרוכזת ולא של השקה מדורגת. מערך הנתונים הגיע לאחר מכן, ב-19 באוקטובר. מספרי ההורדות מלמדים לאן הופנתה תשומת הלב: אפס ל-4B, 147 ל-9B, שבעה ל-27B. איש עדיין לא בחר מועדף, והגודל האמצעי הוא היחיד שמישהו הוריד.

מגיש: 9 GB לעומת 18.8 GB

החשבון כאן פשוט, והוא הטיעון החזק ביותר לטובת המודל הקטן יותר. המשקלים של ZwZ2-4B הם קובץ BF16 בגודל 9.08 GB; אלה של ZwZ2-9B מסתכמים לכ-18.8 GB באותו דיוק. בכרטיס של 24 GB, ה-4B משאיר מקום למטמון KV נדיב ולאצווה; ה-9B משאיר מעט מאוד. בכרטיס של 16 GB, ה-4B נכנס ואילו ה-9B כלל לא נכנס ללא קוונטיזציה.

אף אחד מהמודלים אינו מוגש על ידי ספק מתארח — דפי Hugging Face אינם מדווחים על ספק הסקה לאף אחד מהם — ולכן שניהם החלטות של אירוח עצמי. אם אתם בוחרים ביניהם על בסיס חומרה, ה-9B הוא סוג אחר של מכונה, לא הורדה קצת יותר גדולה. זו המשמעות המעשית של יחס הפרמטרים 2.07×, והוא נקבע לפי הכרטיס שלכם, לא לפי פער הדיוק של 1.80 נקודות.

עבור צוותים שרוצים את התנהגות התפיסה בלי להחזיק בבעיית ההגשה, פתרון הביניים המאוחסן בקטלוג הואqwen/qwen3-vl-8b-instruct במחיר $0.18 למיליון טוקנים בקלט ו-$0.70 למיליון בפלט, עם חלון הקשר של 131K. זה לא אותו מודל והמאמר הזה לא יעמיד פנים שכן — אבל זו ההשוואה שרוב הצוותים באמת צריכים, והוא פועל עם אותו מפתח כמו כל דבר אחר ש-OrcaRouter מנתב, עם מעבר אוטומטי לגיבוי אם שירות upstream מדרדר.

אם אתם בונים pipeline מדורג במקום לבחור צ'קפוינט אחד, שכבת הניתוב היא המקום לבטא זאת: שלחו כל תמונה תחילה למודל זול, והסלימו רק את אלה שרמת הביטחון שלהם נמוכה למשהו גדול יותר. ה־DSL לניתוב מרכיב מודלים לקריאה אחת, כך שההסלמה היא כלל בניתוב ולא אינטגרציה נוספת. אף אחד מצ'קפוינטי ZwZ2 לא יכול לשמש כשכבה הזולה היום — הם לא מתארחים — אבל הדפוס הוא מה ששני המודלים האלה מתווכחים עליו באופן מרומז.

איזה מהם לקחת

• קח את 4B אם הכרטיס שלך הוא 16 או 24 GB, המשימה שלך היא ראיות חזותיות מבוססות אזור, ואתה רוצה את השיפור הנמדד הגדול ביותר לעומת מודל בסיס במשפחה הזו.

• קחו את ה-9B אם יש לכם מקום פנוי בזיכרון ואתם רוצים את הדיוק הגבוה ביותר שפורסם אי פעם עבור checkpoint של ZwZ2 מתחת ל-27B. 1.80 נקודות אינן דבר של מה בכך.

• אל תיקח אף אחד מהם עדיין אם אתה זקוק לרישיון שצוות המשפטי שלך יחתום עליו. אף אחד מהמאגרים אינו מצהיר על רישיון, והכרטיסים מפנים לקובץ רישיון שאינו קיים.

• אל תיקח אף אחד מהם אם אתה זקוק למאמר. לשיטת v2 אין תיעוד ציבורי; מזהה ה-arXiv בשני הכרטיסים שייך לעבודת ZwZ מהדור הראשון על משפחת בסיס אחרת.

הניסוי השימושי באמת אינו השוואה בין 4B ל-9B על 25 מבחנים של מישהו אחר. אלא להריץ את שניהם — או להריץ את ה-4B מול הבסיס שלו — על כמה מאות תמונות מעומס העבודה הממשי שלך, ולראות אם ה-5.38 משתמר. עד שמישהו יעשה זאת, המספרים שפרסמה המשפחה מתארים את התנהגותו של מתכון על סט משימות — לא החלטה שאפשר לקבל לגבי ה-pipeline שלך. ה-4B הוא המעניין דווקא מפני שהרווח שלו הוא הגדול ביותר והראיות שלו הן הדקות ביותר.