ZwZ2-9B מול Gemma 4 12B: מודל אחד, כרטיס מודל אחד, ואיזה מהם באמת אפשר להעלות לאוויר

Gemma 4 12B זמין לציבור מאז 23 במאי 2026. הוא מגיע עם כרטיס מודל, דוח טכני, חבילת הערכה מפורסמת, חמישה גדלים אחים, ומונה הורדות ב-Hub שחצה 79,000 בחודש האחרון בלבד. ZwZ2-9Bזמין לציבור מאז 16 באוקטובר 2026 — היום — כשמונה קבצים במאגר ללא README, ללא שדה רישיון וללא תגית pipeline. שניהם בערך באותו גודל. שניהם מקבלים תמונות. שניהם מצהירים על אותה תקרת הקשר של 262,144 פוזיציות. והם ממש לא באותו מצב של מוכנות, וזה ההשוואה היחידה שחשובה אם אתם מחליטים היכן להשקיע GPU.

התשובה הקצרה: Gemma 4 12B הוא מוצר מוגמר של Google DeepMind, ועברו כבר חמישה חודשים שבהם אחרים חבטו בקצוות שלו. ZwZ2-9B הוא צ'קפוינט מ-inclusionAI שאף אחד מחוץ למעבדה עוד לא תיאר, כולל המעבדה עצמה. אם אתם צריכים לשחרר משהו החודש, הבחירה לא צמודה, וזה לא אומר דבר על המשקלים. אם אתם מחליטים על מה לעשות אב-טיפוס בחודש הבא, קראו את המספרים שלמטה ואז הריצו הערכה משלכם, כי רק אחד משני המודלים האלה נתן לכם משהו לקרוא.

שתי הערימות, מימד אחר מימד

• פרמטרים — ZwZ2-9B: 9,409,813,744 ב-bfloat16. Gemma 4 12B: 11.95 מיליארד.

• ארכיטקטורה — qwen3_5, שילוב היברידי של קשב ליניארי ומלא. Gemma: gemma4_unified, ללא מקודד ומאוחד על פני מודאליות.

• שכבות — 32 ב-ZwZ2-9B (24 קשב ליניארי, 8 קשב מלא). 48 ב-Gemma 4 12B (40 חלונות מחליקים ב-1,024 אסימונים, 8 קשב מלא).

• תקרת ההקשר — 262,144 מיקומים שהוצהרו על ידי שניהם.

• אוצר מילים — 248,320 לעומת 262,144, כאשר אוצר המילים של Gemma שמור למזהי טוקנים של תמונה, אודיו ווידאו.

• מודאליות ב — טקסט, תמונה ווידאו עבור ZwZ2-9B. טקסט, תמונה, אודיו ווידאו עבור Gemma 4 12B, שתצורתו כוללת מגדל אודיו בעל 640 ממדים.

• רישיון — לא הוצהר לעומת Apache-2.0.

• רקורד — אפס הורדות ושני לייקים לעומת 79,565 הורדות ו-790 לייקים בחודש האחרון.

שתיים מהשורות האלה ראויות למבט שני משום שהן הופכות אינטואיציה על פיה. הראשונה היא לוח הקשב: ZwZ2-9B הוא מודל בן 32 שכבות עם 8 שכבות קשב מלא, ו-Gemma 4 12B הוא מודל בן 48 שכבות עם 8 שכבות קשב מלא. שניהם מהמרים שהחלק היקר של הקשב צריך להיות נדיר; הם רק חלוקים בנוגע למידת הנדירות — שכבה אחת מתוך ארבע לעומת אחת מתוך שש. השנייה היא תקרת ההקשר, שבה צ'קפוינט בגודל 9.4B ללא תיעוד ודגם דגל בגודל 11.95B מ-DeepMind נוחתים בדיוק על אותו מספר, 262,144 — וזהו צירוף מקרים של יעדי תכנון ולא קשר כלשהו בין השניים.

במקום שבו Gemma 4 12B לא רק מקדים, אלא נמצא בקטגוריה אחרת

האודיו הוא הראשון. המודל של Google קולט שמע באופן נייטיבי, עם מגדל אודיו ייעודי ומזהי טוקנים של אודיו בתוך אוצר המילים שלו. הטוקנייזר של ZwZ2-9B גם מקצה מקום ל<|audio_start|>, <|audio_end|> ו-<|audio_pad|> — אבל בקונפיגורציה שלו אין תצורת אודיו מכל סוג שהוא, כך שהטוקנים האלה הם אוצר מילים שהוא ירש ולא יכולת שיש לו. אם עומס העבודה שלך כולל דיבור, זה סוף ההשוואה, וכדאי להיות מדויקים לגבי הסיבה: לא מפני ש-ZwZ2-9B קיבל ציון גרוע יותר, אלא מפני שאין דבר בצ'קפוינט שיכול לעבד צורת גל.

התיעוד הוא השני, והוא זה שמצטבר. Gemma 4 12B מגיע עם דוח טכני (arXiv 2607.02770), מערך הערכה מפורסם המכסה הכול, מהיסק בסגנון GPQA ועד מדדי ראייה, רישיון מוצהר, והערה שהמודל זמין בחמישה גדלים כך שאפשר לאזן בין יכולת לבין טביעת רגל בלי לעזוב את המשפחה. סביבו, ה-Hub מציג 83 פיין-טיונים מפורסמים, 49 קוונטיזציות ו-15 Spaces שנבנו עליו. המערכת האקולוגית הזו אינה קישוט. זהו גוף ראיות לגבי האופן שבו המודל נכשל, שנוצר בידי אנשים שאינם גוגל, ואין לו תחליף.

רישוי הוא השלישי, והוא הפחות זוהר והמכריע ביותר. Gemma 4 12B הוא Apache-2.0. ZwZ2-9B אינה מצהירה על רישיון כלל — לא פתוח, לא מותאם אישית, שום דבר במטא-נתוני המאגר. בהיעדר הצהרה, הפרשנות הבטוחה היא שהמפרסם שמר לעצמו את הזכויות, וזו אינה שאלה שתרצה לגלות שטעית בה במהלך רכש. צ'קפוינט שאינך רשאי להשתמש בו על פי חוק אינו זול יותר מכזה שאתה רשאי.

המקום היחיד שבו יש ל-ZwZ2-9B טיעון מבני

זה לא באיכות, שאף אחד עדיין לא יכול למדוד. זה באופן שבו הדבר מוציא משאבי מחשוב, והקונפיג מפורש באופן יוצא דופן לגביו.

שלושה רבעים מהשכבות של ZwZ2-9B הן קשב לינארי — 24 מתוך 32 — כאשר כל אחת נושאת מצב רקורנטי בגודל קבוע במקום מטמון מפתח-ערך שגדל עם השיחה. התצורה מפרטת את המנגנון: 16 ראשי מפתח ו-32 ראשי ערך בממד 128, גרעין קונבולוציה ברוחב 4, ומצב הנשמר ב-float32 לצורך יציבות מספרית. רק כל שכבה רביעית מבצעת קשב מלא. Gemma 4 12B מהמרת באופן דומה עם מנגנון שונה — 40 מתוך 48 השכבות שלה משתמשות בחלון מחליק המוגבל ל-1,024 אסימונים — כך ששני המודלים מתוכננים להפסיק לשלם את עלות הקשב המלא ברוב השכבות. הם נבדלים במידה ובטכניקה, ובלי מבחני ביצועים אין דרך כנה לומר מי מהם מנצח. כוונת התכנון קריאה; התוצאה אינה נמדדת.

טביעת הרגל היא החלק הפשוט. 9.41 מיליארד פרמטרים לעומת 11.95 מיליארד הם בערך חמישית פחות משקל להחזיק לפני שמכמתים משהו, ומגדל הראייה קטן — 27 שכבות בגודל מוסתר 1,152 שמקרינות אל 4,096 — ולכן המודל נכנס בנוחות באותה מחלקה של חומרה שתריץ את Gemma 4 12B.

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

מה ש-ZwZ2-9B לא יכול לספר לך, ולמה זה מכריע את ההשוואה

אתה לא יכול לדעת אם זהו מודל מכוונן להוראות או צ'קפוינט בסיס, כי במאגר שלו אין README ואין תג pipeline, ושניהם בדרך כלל היו אומרים זאת. הנחיית המערכת המובנית שמצביעה על <answer> כתגים היא עדות חזקה למודל הוראות מאומן, אבל זו עדות, לא הצהרה.

אין לך דרך לדעת על מה הוא אומן, אם המתכון לתפיסה עדינה שהקנה למשפחת ZwZ את שמה עבר גם אליו, או במה הוא אמור להיות טוב. אין לך דרך לדעת מה הרישיון שלו. ואין לך דרך לדעת איך הוא מתנהג בקצוות, כי אף אחד מחוץ ל-inclusionAI לא הריץ אותו.

שים את זה לצד Gemma 4 12B, והאסימטריה אינה עניין של מידה. מודל אחד מגיע עם דוח טכני ושמונה חודשים של שימוש ציבורי; האחר מגיע עם config.json וברירת מחדל הפוכה לחשיבה. זו סיבה ליצור אב-טיפוס, לא סיבה לפסול — צ'קפוינטים לא מתועדים הם המקום שבו הרבה עבודה מעניינת מופיעה לראשונה — אבל זו סיבה להיות כנה בכך שאתה תעשה את ההערכה בעצמך.

כלל הכרעה שאינו תלוי בראיות החסרות

קח את Gemma 4 12B אם אחד מהבאים נכון: אתה זקוק לקלט אודיו, אתה זקוק לרישיון שתוכל להראות לעורך דין, אתה זקוק לשלוח בתוך רבעון, או שאתה זקוק לגדלים אחים כך שאותה חבילת הערכה עוברת למעלה ולמטה במשפחה. כל הארבעה מוכרעים.

התייחס ל-ZwZ2-9B ברצינות אם יש לך שאלה ספציפית שמודל ראייה עם קשב היברידי בנפח 9.4B וברירת מחדל ללא חשיבה עשוי לענות עליה טוב יותר ממודל שאתה כבר משלם עליו, ואתה מוכן למדוד אותו בעצמך. הדבר הראשון שיש לבדוק אינו התבונה שלו; זה האם הוא מקבל את התמונות שאתה באמת שולח לו, מחזיר את הפורמט שאתה באמת צריך, ועושה זאת בלי שבעיית רישיון תרחף מעל התוצאה.

ואל תשוו אותם בטבלת בנצ׳מרק, מפני שלטבלה יש רק עמודה אחת. אפשר להציב את המספרים המפורסמים של Gemma 4 12B לצד חלל ריק ולקרוא לזה השוואה, אבל החלל הריק הוא הממצא. כל מי שמציג השבוע הכרעת איכות ראש-בראש על ZwZ2-9B ממציא אותה.

אף אחד מהצ'קפוינטים לא נמצא בקטלוג שלנו היום, כך שאף אחד מהם אינו משהו שתוכלו לקרוא לו דרכנו כרגע — Gemma 4 12B הוא הורדה מ-Hugging Face ומערכת ההגשה שלכם, וכך גם ZwZ2-9B. מה שכן אנחנו מגישים הוא האח שמאפשר להריץ את ההשוואה של Gemma בלי לשנות איך שאתם מעריכים משהו: Gemma 4 26B A4B, חבר ה-mixture-of-experts של אותה משפחה, בנקודת קצה מתארחת ב-$0.06 למיליון טוקני קלט ו-$0.33 למיליון טוקני פלט, עם אותו הקשר של 262K טוקנים. מכיוון שOrcaRouter מעביר את מחירי המחירון של הספקים בתוספת של 0%, שינוי מחיר בצד הספק מגיע לכאן באותו יום ולא ברענון הקטלוג הבא — מה שחשוב כשהדבר שאתם עושים הוא השוואת עלויות בין מודל שאתם מארחים למודל שאתם שוכרים. בצד השני של הסוגריים, התחליף המתארח הקרוב ביותר למה ש-ZwZ2-9B מנסה להיות הוא qwen/qwen3-vl-8b-instruct, מודל ראייה-שפה עם 8B פרמטרים והקשר של 131K ב-$0.18 ו-$0.70, שהוא מתועד, בעל רישיון וזמין כעת.

מה היה משנה את המאמר הזה

כרטיס מודל. ליתר דיוק: רישיון, פסקה על נתוני אימון, וטבלת הערכה אחת שהופקה על ידי מישהו שלא אימן את המודל. עד אז, הסיכום הישר של ZwZ2-9B לעומת Gemma 4 12B אינו שהאחד טוב יותר. הוא שאחד קיים כמוצר והאחר קיים כרשימת קבצים, והפער בין שני הדברים האלה הוא המרחק היקר ביותר בלמידת מכונה.

השוואות כמו זו הן גם המקום שבו מצבי הכשל מתגלים: תקריות AI מתועדות וכשלי סוכנים שמאחורי מודלים מהסוג הזה נאספים בארכיון תקריות AI של OrcaRouter, שבו כל רשומה נושאת את מקורותיה, החומרה, דירוג הביטחון ודגל המחלוקת שלה.