ZoomGain-9B לעומת MathForm 8B: שני צ׳קפוינטים של 9B שאינם מסוגלים לעשות את העבודה זה של זה

מאחורי ZoomGain-9B ו-MathForm-8B מסתתרת שאלה טעונה: שניהם פיין-טיונים בעלי כ-תשעה מיליארד פרמטרים שפורסמו באותו חלון של שמונים יום, שניהם פרסומי מחקר ממעבדות סיניות הקרובים ל-Apache-2.0 עם מאמר מצורף, שניהם עברו אימון-המשך בלמידת חיזוק על כמה אלפי דוגמאות, ושניהם נושאים ציון בנצ'מרק שנראה בלתי אפשרי לגודלם. הפיתוי הוא לדרג אותם זה מול זה. הבעיה היא שאחד מהם מעולם לא ראה תמונה והאחר מעולם לא ראה הוכחת Lean, ולכן לדירוג אין ציר.

ZoomGain-9B הוא הצ׳קפוינט החזותי-לשוני של inclusionAI מ-10 בנובמבר 2026, שאומן באמצעות GRPO על 9,000 שאלות שנכרו מפרטים בתמונות חתוכות, והתוצאה החזקה ביותר שדווחה עבורו היא 90.25 ב-HR-Bench 4K. MathForm-8B הוא האוטופורמלייזר של OpenBMB מ-14 באוגוסט 2026, שאומן באמצעות כוונון עדין מפוקח ולאחר מכן למידת חיזוק על כ-367,000 דוגמאות Lean 4, והתוצאה החזקה ביותר שדווחה עבורו היא ממוצע pass@8 של בדיקת תחביר בשיעור 88.06% בשש מדדי אוטופורמליזציה. אף אחד מהמספרים לא אומר דבר על המודל האחר. מה שמחבר ביניהם הוא משהו שימושי יותר מדירוג: שתי ההשקות מציגות טענות דומות באופן יוצא דופן על האופן שבו כוונון עדין קטן יכול להביס מודל כללי גדול בהרבה, והדרכים שבהן הן מצדיקות את הטענות הללו שונות מספיק כדי להראות לך באיזו מהן כדאי לבטוח ובאיזה הקשר.

העמודות הריקות, בשם

ZoomGainBench אינה כוללת מודל טקסט בלבד. היא קבוצה של שאלות על תצלומים — זיהוי מאפיינים, ספירה ו-OCR — ולכן לא ניתן להכניס מודל ללא מקודד חזותי, ו-MathForm-8B לא הוכנס. לעומת זאת, ששת מבחני ההערכה של MathForm הם FormalMATH, ProverBench, CombiBench ושלוש חלוקות FATE, כולם משימות תרגום של מתמטיקה בשפה טבעית ל-Lean-4. ZoomGain-9B מעולם לא הורץ על אף אחד מהם, ואין סיבה להאמין שהוא יצליח, מכיוון ששום דבר באימון שלו לא כלל שפות פורמליות.

זו אינה נקודה טכנית לגבי בנצ'מרקים. זה כל צורת ההחלטה. אם המשימה שלכם מפיקה תמונה וצורכת תשובה עובדתית קצרה, MathForm-8B הוא מודל טקסט שאינו יכול לנסות אותה. אם המשימה שלכם צורכת הצהרה מתמטית ומפיקה הוכחת Lean 4 הניתנת לבדיקה על ידי מכונה, ZoomGain-9B הוא מודל חזותי שמעולם לא נשאל. אין חפיפה למדוד, מה שאומר שההשוואה הכנה היא של בנייה, ראיות ועלות תפעולית — ומסתבר שאלה נבדלים במידה רבה.

שני מתכוני RL, שניהם קטנים, ומה ההבדל ביניהם

מערך האימון של ZoomGain כולל 9,000 רשומות על פני 7,713 תמונות מקור. איפוך אחד, גודל אצווה 64, שמונה rollouts לכל שאלה, ו-GRPO עם תגמול שבודק אם האפשרות שנבחרה תואמת לתשובת הייחוס. הנתונים נוצרו ולא סומנו בידי אדם: מספר מודלים מאתרים אזור, חיתוכים מקבלים כיתוב ומושווים לכיתובים של הסצנה המלאה, ופרטים שהחיתוך חושף הופכים לשאלות על התמונה המלאה. מעורבות אנושית הייתה רק בסינון — המאמר מפורש שלא בוצעה עריכה ידנית של שאלות ותשובות.

קבוצת האימון של MathForm היא FormalVerse, בערך 367,000 דוגמאות Lean 4 מאומתות. תחילה כיוונון עדין בפיקוח, ולאחר מכן למידת חיזוק עם משוב מהידור Lean ומבדיקת עקביות סמנטית. בניית הנתונים השתמשה באחזור מ-Mathlib לפני היצירה ובשיפור איטרטיבי לאחריה, כאשר אבחוני המהדר הכווינו את התיקונים.

• מודל בסיס — ZoomGain-9B עבר אימון-המשך מתוך Qwen3.5-9B (32 שכבות, ממד מוסתר 4,096, ממד ביניים 12,288, 262,144 פוזיציות, תבנית קשב לינארי-מלא ביחס 3:1). MathForm-8B עבר אימון-המשך מתוך Qwen3-8B (36 שכבות, כולן קשב מלא, ממד מוסתר 4,096, ממד ביניים 12,288, 40,960 פוזיציות, 32 ראשי query מול 8 ראשי KV בממד ראש 128, rope theta 1e6).

• ממדים משותפים — שניהם יורשים רוחב חבוי של 4,096 ורוחב ביניים של 12,288 מהורי ה-Q​wen שלהם, וזהו צירוף המקרים הבולט ביותר ביניהם, והוא תכונה של המשפחה, ולא של הכיוונון העדין.

• אוצר מילים — 248,320 טוקנים עבור ZoomGain-9B לעומת 151,936 עבור MathForm-8B. האוצר של MathForm הוא אוצר מילים מדור Qwen3 וזה חשוב: קוד Lean 4, סמלים מתמטיים של Unicode וטוקני הוכחות עוברים טוקניזציה שונה בכל אחד מהם.

• הקשר — הכרטיס של ZoomGain-9B אינו מציין דבר, והקונפיגורציה שלו מצהירה על 262,144; הקונפיגורציה של MathForm-8B מצהירה על 40,960, ופקודת ההגשה המומלצת שלה מוגבלת ל-16,384 עם max_new_tokens של 16,384 טוקנים. עבור אוטופורמליזציה, אורך הפלט הוא אילוץ החובה, ולא הקלט.

• מודאליות — קלט של תמונה וטקסט, פלט טקסט עבור האחד; קלט טקסט, פלט טקסט עבור האחר.

• רישיון — ZoomGain-9B: קוד Apache 2.0, תנאי הצ'קפוינט נדחו ואין תג רישיון במטא-נתונים של Hub. MathForm-8B: Apache 2.0 עם קובץ LICENSE במאגר.

• הפצה — ל-ZoomGain-9B יש BF16 וכן GGUF ב-F16, Q8_0 ו-Q4_K_M. ל-MathForm-8B יש safetensors בפורמט BF16 בארבעה חלקים בסך הכול כ-16.4 GB, בתוספת בניות GGUF ו-MLX קהילתיות, אך אין לה קוונטיזציה מטעם הספק משל עצמה.

המספרים של MathForm-8B, ולמה קל יותר לבדוק אותם ממה שהם נראים

OpenBMB מדווחת על ממוצע של 88.06% במדד pass@8 לבדיקת תחביר ו-72.37% במדד pass@8 לבדיקת עקביות על פני ששת המדדים שלה. באותה טבלה, ReForm-8B מגיע ל-81.76 ו-66.21, Goedel-Formalizer-V2-32B מגיע ל-78.28 ו-63.74, ו-StepFun-Formalizer-32B מגיע ל-63.65 ו-44.47. שלושת הפיצולים של FATE הם המקום שבו המודלים המתמחים מתמוטטים ו-MathForm לא: FATE-X מגיע ל-54.00 בתחביר ו-37.00 בעקביות, לעומת 45.00 ו-21.00 של ReForm-8B.

שני דברים הופכים את הנתונים האלה לאמינים יותר מטבלת ספק טיפוסית. ראשית, המשימות מכניות באופן שבו משימות תפיסה אינן — הצהרת Lean 4 או שעוברת קומפילציה או שלא, ובדיקת העקביות משווה משמעות מול הטענה המקורית. קשה יותר לתת ציון אופטימי לבנצ'מרק שניתן לאימות חלקי על ידי מכונה. שנית, המאמר מציין שהמודל מבוסס SFT בלבד גרוע יותר: MathForm-8B-SFT מקבל 84.38 בתחביר ו-66.53 בעקביות, כך ששלב ה-RL עושה עבודה מדידה ולא מקשט מודל גמור.

יש גם השוואה שראויה לציטוט, משום שהיא פועלת נגד המסגור של המודל עצמו. באותם שישה מבחנים, Qwen3.7-Plus — נקודת קצה מסחרית לשימוש כללי — מקבל 86.33 בתחביר ו-83.38 בעקביות. MathForm-8B מנצח אותו בתחביר ב-1.7 נקודות ומפסיד בעקביות ב-11 נקודות. הכיוונון העדין המיוחד מנצח במשימת ההתאמה המדויקת ומפסיד בזו שדורשת שהפורמליזציה תהיה בעלת אותה משמעות כמו המקור. אם הצינור שלך צריך הצהרה שמתקמפלת, מומחה קטן הוא מציאה. אם הוא צריך אחת שנאמנה, ייתכן שמודל כללי עם אחזור עדיין מקדים.

המספרים של ZoomGain-9B, עם אותה חשבונאות

המחברים מדווחים על 90.25 ב-HR-Bench 4K לעומת 82.13 עבור מודל הבסיס, 93.19 ב-V*Bench לעומת 86.91, 56.31 ב-VisualProbe לעומת 44.66, 70.00 ב-MMVP לעומת 60.00 ו-68.12 ב-O3-Bench לעומת 56.52. הממוצע של קבוצת הבדיקה (held-out) על פני שלושה עשר בנצ'מרקים הוא 66.10 לעומת 59.75. ב-ZoomGainBench — הבנצ'מרק שנבנה באמצעות אותו פייפליין שבו נבנו נתוני האימון — המודל משיג 55.48, והמאמר מתייג את העמודה הזו כ־"Held-in" במקום להסתיר את ההבחנה.

ההבדל המבני מהראיות של MathForm הוא שהמדד של ZoomGain אינו ניתן לאימות מכונה באותו אופן. תשובות של בחירה מרובה הן התאמה מדויקת, ספירה היא התאמה מדויקת למספר שלם, ו-OCR נמדד לפי ANLS — אך השאלות עצמן מחוללות, והבדיקה של המחברים עצמם היא שניתן לאמת את התשובות בתצוגה החתוכה. שאלה מחוללת עם תשובה מאומתת היא עדיין שאלה מחוללת.

שתי הגרסאות הופקו בחלקן בעזרת מודלים ששימשו כאנוטטורים. הנספח של ZoomGain מפרט את התפקידים: Qwen3.5-397B-A17B עבור תיאור סצנות, עיגון ואימות סופי של MCQ; Qwen3-VL-235B-A22B-Instruct ו-Kimi-K2.6 עבור אימות מבוסס חיתוך ומענה עיוור; DeepSeek-V4-Pro עבור קיבוץ מסיחים. FormalVerse של MathForm נבנה באמצעות צינור עיבוד שמאחזר מ-Mathlib ולאחר מכן מאפשר למהדר לדחות תוצרים גרועים. צינור עיבוד אחד נשען על מאמת שאי אפשר לשכנע אותו להסכים; האחר נשען על מודלים שבודקים את העבודה של מודלים אחרים, עם סינון אנושי בלבד.

מגישים אותם, במונחים שצוות התפעול שלך ישאל עליהם

ZoomGain-9B תופס 18.82 GB ב-BF16 ורץ תחת vLLM 0.19.1 עם transformers 5.7.0 — הגרסאות המדויקות של המחברים — או תחת build של llama.cpp עם תמיכה מולטימודלית ב-Qwen3.5 באמצעות קובצי GGUF בתוספת projector. הליבה עתירת הקשב הלינארי שלו שומרת על מטמון KV צנוע באורכי רצף ארוכים, וזו התכונה שחשובה כאשר בקשה בודדת נושאת תמונה ברזולוציה גבוהה ולא מסמך ארוך.

MathForm-8B הוא בסביבות 16.4 GB ב-BF16, מוגש על ידי vLLM עם אורך מודל מקסימלי של 16,384 או על ידי SGLang עם אותו הקשר, בטמפרטורה 0.6 וב-top-p 0.95 עם תקציב פלט של 16,384 טוקנים. ההערכה שלו דורשת שרת Kimina Lean Server פעיל ו-Lean 4.21.0, וזה החלק שאנשים ממעיטים בערכו: אתם לא רק פורסים מודל, אתם פורסים שרשרת כלים של Lean לצידו. משוב קומפילציה הוא אות התגמול במהלך האימון ומבחן הקבלה במהלך ההערכה, כך שצינור בלי Lean לא יכול למדוד אם המודל הזה עובד.

אף אחד מהשניים אינו בקטלוג של OrcaRouter היום, והמאמר הזה אינו טוען אחרת. מה שאנחנו כן יכולים לעשות הוא לנתב את העבודה שמסביב. לצינור עיבוד מסמכים שקורא עמוד סרוק ואז בודק את המתמטיקה שבו יש שני חצאים: קריאת הראייה וקריאת ההיסק. מפתח אחד ליותר מ-200 מודלים במחיר המחירון של הספק ללא תוספת, כלל ניתוב ששולח כל חצי לנקודת קצה שעומדת ברף שלך, ומעבר אוטומטי לגיבוי אם אחד מהם נתקע — זו השכבה שמתחת לשני החצאים, והיא הסיבה לכך שצינור דו-מודלי לא חייב להיות כרוך בשני ספקים ובשני חוזים.

איזה מהם להוריד?

בחר ב-MathForm-8B אם הבעיה שלך פורמלית ושרשרת הכלים שלך כבר Lean. הראיות חזקות יותר, הרישיון חד-משמעי, הפלט ניתן לבדיקה על ידי מכונה, ופער העקביות של 11 נקודות מול מודל כללי הוא מגבלה אמיתית שכדאי שתדע עליה לפני שאתה מתחייב. בחר בו במיוחד עבור פיצולי FATE, שבהם קווי הבסיס המתמחים יורדים ל-21% עקביות והוא מחזיק ב-37%.

בחר ב-ZoomGain-9B אם הבעיה שלך היא פרט בתוך תמונה והתשובה שלך קצרה. השיפורים שלו על נתונים שלא נכללו באימון אמינים עבור 9,000 דגימות, הבנצ'מרק שלו ניתן להורדה כך שתוכל לבדוק את הטענה בעצמך, והרישיון הוא הדבר היחיד שחובה לקרוא לפני ההפצה. אל תבחר בו מתוך ציפייה לעוזר ראייה כללי; שום דבר במהדורה שפורסמה לא בודק את זה.

ואם קיוויתם לפסק דין לגבי איזה מודל הוא הטוב יותר מבין השניים בעלי תשעה מיליארד הפרמטרים, הערות השחרור עונות על כך טוב יותר מכל דירוג: הן נועדו להיבדק מול סוגים שונים של אמת ייחוס, ורק אחת מאמיתות הייחוס האלה מתקמפלת.