ZwZ2-9B לעומת MathForm-8B: אותו גזע, שתי כמויות אמת שונות מאוד

שני מודלים שפורסמו בהפרש של שמונה שבועות, משתי מעבדות שונות, שנבנו על שני דורות שונים של אותה משפחה — ורוחב הגזע שלהם זהה. MathForm-8B, שפורסם על ידי OpenBMB ב-14 באוגוסט 2026 ככוונון עדין של Qwen3-8B, פועל עם 36 שכבות בגודל נסתר של 4,096 עם גודל ביניים של 12,288. ZwZ2-9B, שפורסם על ידי inclusionAI ב-16 באוקטובר 2026 על תשתית Qwen3.5-9B, פועל עם 32 שכבות בגודל נסתר של 4,096 עם גודל ביניים של 12,288. דורות ההורים רחוקים זה מזה, אוצר מילים של 151,936 ו-248,320, משימות שונות לחלוטין — ואותה גאומטריית גזע של 4,096 על 12,288 בשניהם. מה שמבדיל ביניהם אינו הארכיטקטורה. זה שאחד מהם מגיע עם מאמר, מערך נתונים, מסגרת הערכה ורישיון, והאחר מגיע עם שמונה קבצים.

הגרסה הקצרה: אם אתה יכול לתאר את הבעיה שלך כ"הפוך את הפרוזה הזו ל-Lean 4", MathForm-8B הוא מומחה מתועד עם מספרים שפורסמו, וכדאי להשתמש בו. אם הבעיה שלך כרוכה בפיקסלים ואתה רוצה מודל ראייה-שפה כללי, ZwZ2-9B הוא צ'קפוינט של 9.4B שאיש לא אפיין, ואימוצו פירושו להפוך למעריך הראשון שלו. החלק המעניין בהשוואה הוא מה שהאסימטריה הזו מלמדת על כמה שווה ירושה משותפת.

שני צאצאים, בהפרש של דור אחד

MathForm-8B הוא נגזרת של Qwen3-8B ואומר זאת בגלוי: הכרטיס שלו מתעד את מודל הבסיס, את מערך הנתונים לאימון, את שיטת האימון ואת המאמר. התצורה היא פריסת Qwen3 טיפוסית — 36 שכבות, 32 ראשי שאילתה מול 8 ראשי מפתח-ערך במימד ראש של 128, אוצר מילים של 151,936 טוקנים, תקרה של 40,960 מיקומים, בסיס רוטורי 1,000,000, וקשב מלא בכל שכבה. שום דבר אקזוטי, שום דבר נסתר.

ZwZ2-9B הוא נגזרת של Qwen3.5-9B שמציינת זאת רק באמצעות תג Hub בודד. התצורה שלו מתפרשת כ-Qwen3_5ForConditionalGeneration, וכל ערך ארכיטקטוני תואם ל-Qwen3.5-9B מלבד שכבת חיזוי רב-טוקנית אחת שנמחקה. אוצר המילים של 248,320 טוקנים, תקרת המיקומים של 262,144, ה-M-RoPE המשולב, ומגדל הראייה — כולם עוברים בירושה ללא שינוי.

• פרמטרים — ZwZ2-9B: 9,409,813,744. MathForm-8B: 8 מיליארד, לפי הכרטיס שלו.

• הורה — Qwen3.5-9B לעומת Qwen3-8B, כך ששניהם יורשים עיצובי קשב שונים מדורות שונים של Qwen.

• קשב — 24 שכבות קשב ליניארי ועוד 8 שכבות קשב מלא לעומת קשב מלא בכל 36 השכבות.

• גיאומטריית ה-trunk — גודל נסתר 4,096 וגודל ביניים 12,288 בשניהם.

• אוצר מילים — 248,320, עם מזהי טוקנים של תמונה ווידאו בתוכו, לעומת 151,936 וטקסט בלבד.

• תקרת ההקשר — 262,144 מיקומים לעומת 40,960.

• מודאליות ב — טקסט, תמונה ווידאו לעומת טקסט בלבד.

• עדויות שפורסמו — קובץ תצורה לעומת מאמר, מערך נתונים, צינור הערכה ותנאי Apache-2.0.

מה MathForm-8B מניח על השולחן

הכרטיס מלא באופן יוצא דופן, וכדאי לעבור עליו כי הניגוד בהמשך תלוי בו. MathForm-8B מתרגם הצהרות מתמטיות בשפה טבעית ל-Lean 4. הוא אומן על FormalVerse — מערך נתונים ש-OpenBMB פרסמה לצידו — באמצעות כיוונון עדין מפוקח ולאחר מכן למידת חיזוק, כאשר הידור Lean ומשוב של עקביות סמנטית מספקים את אות התגמול. המאמר הוא MathForm: הרחבה של אוטופורמליזציה מתמטית עם אחזור ידע ועידון מונחה אימות, arXiv 2608.14221, והמאגר כולל את צנרת ההערכה, קובצי הבנצ'מרק ותסריטי Pass@k.

התוצאות מדווחות כשיעורי הצלחה של Pass@8 לפי שני קריטריונים נפרדים: בדיקת תחביר (Syntax Check), כלומר שה-Lean שנוצר אכן מְקוּמפל, ובדיקת עקביות (Consistency Check), כלומר שהוא מְקוּמפל ואומר את אותו הדבר כמו הבעיה המקורית. בששת מבחני המידה, הכרטיס מדווח על ממוצע מאקרו של 88.06 בתחביר ו-72.37 בעקביות, לפני שאר האוטו-פורמליזרים מסוג 8B שהוא מפרט ולפני כמה רשומות של 32B בעמודת התחביר. ההשוואה האחרונה היא סוג של טענה ששווה לבדוק ולא רק לחזור עליה, ויש פרט במערך הניסוי שהופך את הבדיקה ללא-טריוויאלית: בדיקות קומפילציה דורשות שרת Kimina Lean פעיל, והניסויים השתמשו ב-Lean 4.21.0. זה לא צ'קפוינט שאפשר לתת לו ציון עם סקריפט Python.

כל מספר שלמעלה מדווח על ידי הספק. OpenBMB ביצעה את ההערכה, OpenBMB פרסמה אותה, והמאגר אכן כולל את הסקריפטים לשחזור שלה — וזה יותר ממה שרוב המעבדות מציעות, וזו הסיבה שלמספרים יש ערך גם ללא אימות. הכרטיס גם מפרסם את הגדרות היצירה המומלצות שלו, temperature 0.6 ו-top-p 0.95, וזה מסוג הפרטים התפעוליים הקטנים שמודל בלי כרטיס משאיר לך לנחש.

מה ZwZ2-9B מביא לשולחן

קובץ config.json, קובץ tokenizer_config.json, תבנית צ'אט, ו-18.8 GB של משקולות. אין README, אין שדה רישיון, אין תג pipeline, ואין מערך נתונים. ה-Hub מדווח על אפס הורדות ושני לייקים, ואין אוסף של inclusionAI שמכיל אותו.

Reading the files does yield real information, and it is worth doing before dismissing the checkpoint. The chat template injects a default system prompt when a request arrives without one, and it defaults to not reasoning — it emits an empty <think></think> block unless a caller explicitly asks for thinking, which is the opposite of what its Qwen3.5-9B parent does. The config carries a 27-layer vision tower and a video processor accepting up to 768 frames at 2 frames per second. The parameters are 9,409,813,744 across 760 tensors, all bfloat16.

מה ששום דבר מזה לא אומר לך הוא במה המודל טוב, על מה הוא אומן, האם הוא מודל הוראות או משהו אחר, או באילו תנאים מותר לך להשתמש בו. MathForm-8B עונה על כל ארבע השאלות במסך הראשון שלו. ZwZ2-9B לא עונה על אף אחת מהן בשום מקום.

ה-4,096 המשותף אינו צירוף מקרים, והוא אינו קיצור דרך

שני המודלים משתמשים בגזע ברוחב 4,096 עם גודל ביניים של 12,288, והסיבה זהה בשני המקרים: דור Qwen בגודל הזה. Qwen3-8B ו-Qwen3.5-9B הם עיצובים שונים — קשב מלא לכל אורכו לעומת תערובת של שלושה לאחד של קשב ליניארי ומלא — אך שניהם בנויים על אותו רוחב, כי כזה הוא Qwen קטן. הצפייה בכך שכיוונון עדין יורש מההורה שלו כל מימד היא הראיה הברורה ביותר הזמינה לכך שכיוונונים עדינים יורשים את תכונות ההורה שלהם בשלמותן: את החוזקות ואת מצבי הכשל, לא רק את הצורה. MathForm-8B אומר לך מאיזה הורה הוא בא, כך שתוכל ללכת לקרוא עליו. ZwZ2-9B לא עושה זאת, והתג ב-Hub הוא החוט היחיד בחזרה.

איזה מהם אתה באמת צריך

אלה לא תחליפים, והחפיפה כמעט אפסית. MathForm-8B עושה דבר אחד: הוא הופך הצהרה מתמטית בשפה טבעית ל-Lean 4 שעובר קומפילציה. כל מנגנון ההערכה שלו, כולל הדרישה לשרת Lean פעיל, בנוי סביב זה. אם זו הבעיה שלך, זו תשובה חזקה ומתועדת, ברישיון Apache-2.0, עם כלי עבודה ברי שחזור, ונתון העקביות 72.37 הוא המספר שצריך להכות — עקביות, לא תחביר, מפני שפורמליזציה שעוברת קומפילציה אבל משמעותה אחרת היא באג שעולה לך יותר מקומפילציה שנכשלה.

ZwZ2-9B הוא מודל שפה-חזות כללי. הוא מעולם לא הוערך באוטופורמליזציה, אין לו שיקולי טוקנייזר של Lean של ממש, והוא פורסם על ידי מעבדה שעבודתה המוקדמת עסקה בתפיסה חזותית עדינה. אל תחפשו ציון של ZwZ2-9B בבנצ'מרק של Lean; אין סיבה שיהיה כזה.

השאלה האמיתית היא אם בכלל רוצים מומחה או גנרליסט. מומחה טוב יותר במשימה האחת שלו וחסר תועלת מחוצה לה. גנרליסט גרוע יותר בכל דבר ספציפי, והוא האפשרות היחידה כשצורת הקלט משתנה. הסיבה שההשוואה הזו לא מאוזנת אינה שמונת השבועות שביניהם או מיליארד הפרמטרים — אלא שאחד מהם פורסם עם התיעוד שמומחה צריך, והאחר פורסם כנקודת התחלה לעבודה של מישהו אחר.

אם ברצונך את שתי היכולות בפייפליין אחד

ישנו דפוס ממשי שבו שני המצבים האלה נפגשים: מודל כללי קורא מסמך דו-משמעי, מחלץ את הטענה המתמטית, מוסר אותה לפורמליזטור, ובודק מחליט אם התוצאה מחזיקה מעמד. אלו שלוש קריאות מודל עם תפקידים שונים, וזה הצורה ששכבת ניתוב קיימת כדי להוזיל אותה — ה-DSL לניתוב של OrcaRouter מרכיב כמה מודלים לקריאה אחת כך שהתפצלות ובקשה עוקבת הן בקשה אחת ולא שירות תזמור שאתם מתחזקים. מיזוג מודלים, שבו פאנל של מודלים עונה יחד ושופט בוחר את התגובה החזקה ביותר, הוא אותו רעיון שמיושם על שאלה קשה בודדת ולא על צינור עיבוד.

לא ZwZ2-9B ולא MathForm-8B נמצאים בקטלוג שלנו, ולא ננסה לייפות את זה: MathForm-8B ניתן להורדה תחת Apache-2.0 וניתן לשרת אותו ממופע vLLM או SGLang משלך, ו-ZwZ2-9B הוא מאגר בלי נקודת קצה בכלל. מה שניתן לנתב היום מצד ההסקה של אותו צינור הוא qwen/qwen3.8-27b — מודל הדגל ה-dense מהדור הנוכחי של Qwen, Apache-2.0, עם הקשר של 262K טוקנים ותקרת אירוח של 1M טוקנים במחיר $0.33 למיליון טוקני קלט ו-$2.40 למיליון פלט, מועבר הלאה במחיר המחירון של הספק בלי שום תוספת.

מה שווה האסימטריה

MathForm-8B הוא המודל הטוב יותר לכתוב עליו, כי יש משהו לבדוק. ZwZ2-9B הוא הארטיפקט המעניין יותר, כי צ'קפוינט בגודל 9.4B עם תבנית צ'אט מכווננת וראש חיזוי שהוסר הוא עדות לכך שמישהו עשה עבודה אמיתית — ובגלל של-inclusionAI יש רקורד עם השם ZwZ שהופך את הפוסט הבא לשווה מעקב.

לכל מי שמחליט היום, הכלל אינו זוהר. מאמר שפורסם, מערך נתונים, מודל בסיס עם שם ורישיון מוצהר אינם ענייני ניירת. הם ההבדל בין מודל שאפשר לתכנן על בסיסו לבין מודל שצריך לבצע עליו הנדסה לאחור, ושום כמות של ארכיטקטורה מעניינת לא תסגור את הפער הזה.

תוצאה כמו זו היא גם תזכורת לכך שטעויות של מודלים כבר מתועדות: תקריות AI וכשלי סוכנים מאחורי מודלים בקטגוריה הזו נאספים בה-OrcaRouter AI Incident Archive, שבו כל רשומה נושאת את המקורות, חומרת האירוע, דירוג הביטחון ודגל המחלוקת שלה.