ZwZ2-9B שוחרר בשקט: מה 9.4 מיליארד משקלים מספרים לך כשהמעבדה לא אומרת דבר

בשעה 03:42 UTC ב-16 באוקטובר 2026 הופיע מאגר Hugging Face בשם inclusionAI/ZwZ2-9B. ארבע דקות לאחר מכן הוא קיבל את הקומיט היחיד שלו — "Add ZwZ2-9B model weights" — ואז כלום. אין README, אין שדה רישיון, אין קישור למאמר, אין טבלת בנצ'מרקים, ואין רשומה באף אחד מעשרת האוספים הציבוריים שארגון inclusionAI מתחזק. המשקולות עצמן הן 9,409,813,744 פרמטרים ב-bfloat16, והן מתארות מודל חזותי-לשוני עם קשב היברידי שתצורתו היא, שורה אחר שורה, התצורה של Qwen3.5-9B עם ראש חיזוי אחד שהוסר. זה כל מה שמאומת. כל השאר בכתבה הזו מסומן כהסקה, מפני שמאגר בלי כרטיס מודל לא מזכה איש ביותר.

זה נורמלי, אגב, וראוי לומר זאת לפני שההסתייגויות מצטברות. inclusionAI היא מעבדת המשקולות הפתוחות שמאחורי משפחות Ling, Ring, LLaDA ו-Ming, ויש לה הרגל לשחרר צ'קפוינטים ימים או שבועות לפני שמופיע טקסט כלשהו. ב-13 באוקטובר — שלושה ימים לפני זה — היא פרסמה את Ling-3.1-flash עם כרטיס קצר ובלי הודעה גם כן. מאגר שקט אינו דגל אדום. זו סיבה לקרוא את הקבצים במקום את השיווק.

מה נמצא בפועל במאגר

שמונה קבצים, והרשימה היא הסיפור. יש .gitattributes, chat_template.jinja, config.json, generation_config.json, קובץ בודד בגודל 18.8 GB model.safetensors, processor_config.json, tokenizer.json ו-tokenizer_config.json. אין README.md. אין LICENSE. המאגר נושא בדיוק שלושה תגים — safetensors, qwen3_5 ו-region:us — מה שאומר של-Hub אין תג pipeline עבורו בכלל: הוא לא מסווג כ-image-text-to-text, text-generation, או כל דבר אחר. בזמן כתיבת שורות אלו יש לו אפס הורדות ושתי לייקים.

• סה"כ פרמטרים — 9,409,813,744 על פני 760 טנסורים, bfloat16.

• ארכיטקטורה — Qwen3_5ForConditionalGeneration, סוג מודל qwen3_5.

• ערימת טקסט — 32 שכבות, גודל נסתר 4,096, 16 ראשי שאילתה מול 4 ראשי KV, ממד ראש 256, גודל ביניים 12,288, אוצר מילים 248,320.

• דפוס קשב — שלוש שכבות קשב ליניארי ואחריהן שכבה אחת של קשב מלא, וחוזר חלילה: 24 שכבות ליניאריות ו-8 שכבות קשב מלא.

• הקשר — 262,144 מיקומים, בסיס סיבובי 10,000,000, M-RoPE משולב עם מקטע [11, 11, 10].

• מגדל ראייה — עומק 27, גודל מוסתר 1,152, גודל טלאי 16, מיזוג מרחבי 2, טלאי זמני 2, הקרנה אל 4,096.

• רישיון — לא הוצהר. לא apache-2.0, לא רישיון מותאם אישית, כלום.

התצורה היא תצורה של Qwen3.5-9B

השווה בין שני config.json קבצים וכמעט כל ערך ארכיטקטוני תואם. גודל מוסתר, מספר שכבות, מספרי ראשים, ממד ראש, גודל ביניים, אוצר מילים, לוח הקשב ליניארי-למלא ביחס 3:1, מקטע M-RoPE, בסיס רוטרי, תקרת 262,144 המיקומים, וכל מגדל הראייה עד ל-2,304 הטמעות המיקום שלו זהים ל-Qwen3.5-9B. ההבדל המהותי הוא שורה אחת: mtp_num_hidden_layers הוא 1 ב-Qwen3.5-9B ו-0 כאן, ולכן ל-ZwZ2-9B אין ראש חיזוי רב-טוקנים. שאר ההבדל הוא סריאליזציה — גרסת transformers חדשה יותר שכותבת שדות שהקובץ הישן השאיר מרומזים, וסוג המודל של תצורת הראייה שונה מ-qwen3_5 ל-qwen3_5_vision.

מה שזה אומר לך הוא מצומצם אך ממשי: זו אינה ארכיטקטורה חדשה. זהו צ׳ק-פוינט על סטאק Qwen3.5-9B, שעבר פוסט-אימון בידי מישהו, כאשר ראש הפענוח הספקולטיבי הוסר. מה שזה לא אומר לך הוא מה היה אותו פוסט-אימון. הפרמטרים זזו; הצורה לא.

המקום היחיד שבו המודל כן אומר משהו על עצמו

תבנית הצ'אט היא הקובץ היחיד כאן שיש לו נקודת מבט, והיא סוטה מ-Qwen3.5-9B בשלושה מובנים שקורא יכול לבדוק תוך כדקה.

הראשון הוא הנחיית מערכת כברירת מחדל. כאשר מגיעה בקשה ללא הודעת מערכת, התבנית של ZwZ2-9B מזריקה אחת: "שיחה בין משתמש לעוזר. המשתמש שואל שאלה, והעוזר פותר אותה… התשובה מוקפת בתגיות <answer> </answer>." לתבנית של Qwen3.5-9B אין ענף כזה — היא פשוט לא מפיקה דבר. הנחיית מערכת מובנית שמציינת פורמט פלט היא החתימה של ריצת אימון ספציפית, ולא של מודל בסיס.

The second is the thinking default, and it is inverted. In Qwen3.5-9B the template emits an empty <think></think> block only when the caller explicitly passes enable_thinking: false, which means reasoning is on unless you turn it off. In ZwZ2-9B the condition is not defined or false — the empty block appears by default and the open <think> tag only when a caller explicitly asks for thinking. Same tags, opposite default. Qwen3.8-27B, for the record, kept the Qwen3.5 behaviour, so this is not simply inherited from a newer generation.

השלישי הוא רישום-עזר עבור הסקה מרובת-סיבובים: התבנית מבינה preserve_thinking דגל, והיא יודעת להסיר בלוק <think> מתוך תור של עוזר שכבר מכיל אחד כזה. אף אחד מהשניים אינו קיים בתבנית Qwen3.5-9B. הטוקנייזר, אגב, עדיין שומר על טוקני האודיו המיוחדים — <|audio_start|>, <|audio_end|>, <|audio_pad|> — אך אין שום מגדל אודיו בשום מקום בקונפיגורציה, אז יש להתייחס לכך כאל אוצר מילים משותף של הטוקנייזר ולא כיכולת.

מה שהשם מרמז, ומה שהוא לא מרמז

"ZwZ2" נקרא כמו דור שני של משהו, ויש דור ראשון להצביע עליו. ZwZ-2B, שפורסם ב-4 במרץ 2026, הוא כיוונון עדין של Qwen3-VL-2B-Instruct שאומן עם זיקוק מאזור לתמונה בתוספת למידת חיזוק, ופורסם עם המאמר זום בלי זום (arXiv 2602.11858) וקבוצת ההערכה ZoomBench. הוא Apache-2.0, יש לו כרטיס מודל מלא, ויש לו 159 הורדות בשבעה חודשים.

הרמז לייחוס, עם זאת, דק יותר ממה שהשם מרמז. ZwZ-2B בנוי על qwen3_vl בארכיטקטורה. ZwZ2-9B בנוי על qwen3_5. התג היחיד ש-inclusionAI החיל הוא qwen3_5, והמודל אינו נמצא באוסף ZwZ או בכל אוסף אחר. האם המתכון מאזור לתמונה הועבר הלאה הוא בדיוק סוג השאלה שכרטיס מודל היה עונה עליה, והמאגר הזה לא עונה עליה.

מלכודת אחת שראויה לציון, כי מנועי חיפוש יובילו אנשים לתוכה: קיימת משפחה ישנה יותר, לא קשורה, ZwZ_32B של המרות GGUF, מתוארכת למרץ 2025, מצד שלישי. יש לה במשותף שלוש אותיות ושום דבר אחר. אל תקראו אותה כ-ZwZ2-9B מוקדם יותר.

איך לטפל בנקודת ביקורת לא מתועדת

העמדה המעשית היא אותה עמדה שהיית נוקט עם כל משקלים שמגיעים בלי כרטיס. משוך תחילה את קובץ התצורה ואת הכותרת של safetensors — זה זול וזה ניתן לבדיקה. ודא שמספר הפרמטרים ושמות הטנסורים תואמים למה שקובץ התצורה מבטיח. לאחר מכן הפעל אותו כשירות על גבי פריימוורק שתומך בארכיטקטורה, והרץ את ההערכות שאתה כבר מריץ על התעבורה שלך במקום להסתמך על מספרים שלא קיימים.

הרישיון הוא החלק שמשנה בכל שימוש שאינו רק עניין של סוף שבוע. צ'קפוינט ללא שדה רישיון אינו זהה לצ'קפוינט פתוח; בהיעדר הצהרה, ברירת המחדל היא שהזכויות שמורות למפרסם, וזו שיחה שצריך לקיים לפני שזה מתקרב לפרודקשן, ולא אחרי. שים לב גם שאתה תריץ אותו בעצמך — ה-Hub מדווח שהמודל אינו מוגש על ידי שום ספק, והיצרן לא פרסם נקודת קצה.

זו בדיוק הסיטואציה שעבורה קיים failover אוטומטי. אם אתם רוצים למדוד checkpoint לא מוכח מול הפתרון הקיים בלי להמר על נתיב ייצור, הציבו את המועמד מאחורי אותו ממשק של המודלים שאתם כבר סומכים עליהם, ותנו לתעבורה לחזור כשהחדש מתנהג שלא כשורה — מפתח API אחד ונקודת קצה אחת תואמת OpenAI, במקום אינטגרציה שנייה שתצטרכו לפרק. OrcaRouter מנתב כך יותר מ-200 מודלים, מעביר הלאה את מחירי המחירון של הספקים בתוספת של 0%, ואינו מארח את ZwZ2-9B — לא נתיימר שקיימת רשומה בקטלוג עבורו. מה שאנחנו יכולים להציע היום הוא המשפחה שעליה הוא נבנה והמשפחה שהוא מחליף: קו Qwen3.5 ניתן לניתוב כאן, כולל qwen/qwen3.5-35b-a3b וגם qwen/qwen3.5-flash, וגם qwen/qwen3-vl-8b-instruct מכסה את משבצת הראייה של 8B עם מודל מתועד ומאוחסן ב-$0.18 למיליון טוקנים בקלט ו-$0.70 למיליון בפלט.

מה יהפוך את זה לריליס?

שלושה דברים, וכל אחד מהם היה מצדיק שכתוב של היצירה הזו. שדה רישיון שיופיע במאגר, שהופך אותו מקוריוז למשהו שחברה יכולה להשתמש בו. כרטיס מודל עם מספרי הערכה, שהופך אותו מארכיטקטורה לטענה. או מאמר — כשהצורה הסבירה ביותר היא עבודת המיפוי מאזור לתמונה שהפכה את ZwZ הראשון למעניין, כשהיא מיושמת על מגדל ראייה גדול פי שלושה.

עד שאחד מאלה יגיע, התייחסו ל-ZwZ2-9B כאל מה שרשימת הקבצים אומרת שהוא: נגזרת של Qwen3.5-9B בת 9.4 מיליארד פרמטרים עם תבנית צ'אט מותאמת אישית, שפורסמה על ידי מעבדה שעדיין לא סיפרה לאיש למה. המשקלים אמיתיים. הסיפור עוד לא נכתב, והעמדה הכנה היא שאיש מחוץ ל-inclusionAI לא יכול לכתוב אותו.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.