HiRO-ACEv2 מול MathForm 8B: שני מודלים צרים, שני סוגים של אמת מוחלטת

לא HiRO-ACEv2 ולא MathForm-8B מנסים להיות מודל כללי, ושניהם נבנו על ידי צוותים שהחליטו שהבעיה המעניינת צרה יותר מזו של צ'אטבוט. HiRO-ACEv2 הוא אמולטור האקלים מהדור השני של Ai2, שהועלה ל-Hugging Face ב-12 באוקטובר 2026 כמאגר בגודל 10.9 GB ללא הכרזה, לצד מאמר טרום-פרסום שנשא תאריך של יום למחרת. MathForm-8B הוא מודל האוטופורמליזציה של OpenBMB, שנוצר ב-14 באוגוסט 2026 על בסיס Qwen3-8B, שממיר מתמטיקה בשפה טבעית להצהרות Lean 4. האחד מפיק אטמוספרה ברזולוציית רשת של 3 ק"מ; האחר מפיק התחייבות הוכחה פורמלית. הסיבה להשוות ביניהם אינה היכולת — אין להם שימוש חופף — אלא הדבר ששניהם טוענים לו, שמתגלה כבעל משמעות שונה מאוד בכל מקרה: שמכונה יכולה לדעת אם הפלט נכון.

מה כל מודל בעצם פולט

HiRO-ACEv2 מריץ צינור עיבוד דו-שלבי. אמולטור אוטורגרסיבי מייצר את X-SHIELD, המודל הגלובלי לפתרון סערות, כשהוא מגובב לרזולוציה של 100 ק״מ; לאחר מכן מודל דיפוזיה שאומן בנפרד מבצע דאונסקיילינג של המצב הגס הזה לרזולוציה של 3 ק״מ, ומפיק קצבי משקעים ממוצעים על פני השטח בפרקי זמן של שש שעות, רכיבי רוח רגעיים מזרחיים וצפוניים בגובה 10 מטר, ולחץ פני הים. המאגר מכיל את מודל הדאונסקיילינג כקובץ HiROv2.ckpt בגודל של כ-1.28 GiB ואת האמולטור הגס כקובץ ACE2S-X-SHIELD.ckpt בגודל של כ-2.98 GiB, בתוספת עשר שנים של נתוני כפייה בפורמט NetCDF, שני קבצי תנאי התחלה וקובצי תצורה של YAML שמקשרים ביניהם.

MathForm-8B פולט טקסט, אבל מסוג מאוד מסוים: הצהרת משפט ב-Lean 4. הכרטיס מתאר אותו כמודל אוטופורמליזציה שאומן על מערך הנתונים FormalVerse של OpenBMB, תחילה עם כוונון עדין מפוקח ואחר כך עם למידת חיזוק שהתגמול שלה מגיע מקומפילציה של Lean וממשוב עקבי-סמנטי. הוא צפוף 8B, Apache 2.0, והוא יורש את קנה המידה שלו מהבסיס שלו — Qwen3-8B — ולא ממספר פרמטרים מפורסם משל עצמו. הגדרות הייצור המומלצות הן temperature 0.6, top-p 0.95 ו-16,384 טוקנים חדשים, על שרת Transformers, vLLM או SGLang; ההערכה דורשת שרת Kimina Lean Server פעיל ו-Lean 4.21.0.

שניהם צרים במכוון. זהו קו הדמיון האמיתי הראשון, וכאן בערך נגמרים קווי הדמיון.

שני סוגים של בדיקה, ולמה רק אחד מהם מכריע בוויכוח

לצד Lean יש מאמת מכריע. הצהרת משפט או שהיא מהודרת תחת Lean 4 או שלא, ובודק הטיפוסים הוא חשבון קבוע — אין לו ימים טובים וימים רעים, והוא אינו זקוק לכיול. זו הסיבה שאימון של MathForm-8B יכול להשתמש בהידור אות תגמול בכלל. הנתונים המפורסמים הם שיעורי Pass@8 בשני משטרים, בדיקת תחביר ובדיקת עקביות, שנמדדו על פני שישה; הנתון של בדיקת התחביר עומד על 88.06% והנתון של בדיקת העקביות על 72.37%. אלה המספרים של המחברים עצמם, שלא שוחזרו כאן, והפער בן שש-עשרה הנקודות ביניהם הוא הדבר המאלף ביותר בכרטיס: הצהרה שמהודרת אינה זהה להצהרה שאומרת את מה שהבעיה המקורית התכוונה אליו.

לצד האקלים אין מאמת כזה. כרטיס המודל של HiRO-ACEv2 אינו מכיל טבלת בנצ'מרק. הטענה הכמותית היחידה שלו היא שהדאונסקיילר משחזר את התפלגויות המשקעים, הרוח בגובה 10 מטרים ולחץ פני הים של הייחוס עד לאחוזון ה-99.9999, ושהוא עוקב באופן כללי אחר התפלגות עוצמת הציקלונים הטרופיים של הייחוס. המאמר מוסיף כי עלות ההסקה נמוכה פי יותר מ-300 מאשר מודל מספרי גלובלי קונבנציונלי לפתרון סערות.

כל אחד מאלה הוא טענה התפלגותית מול ייחוס, לא מבחן עובר-נכשל מול חשבון. הבחנה זו קובעת כמה זמן כל טענה מחזיקה מעמד ללא ערעור. אתה יכול להפריך את המספר של MathForm-8B על ידי הרצת המודל מול הבנצ'מרקים עם שרת Lean ו-GPU. הפריכה של המספר של HiRO-ACEv2 דורשת מערך נתוני כפייה של עשר שנים, סימולציית ייחוס להשוואה מולה, ואנליסט שמוכן לעבוד בזנב הקיצוני. הראשון הוא עבודה של שבוע לסטודנט לתואר שני. השני הוא מאמר.

מה הספקים יגידו לך ומה הם לא יגידו לך

לשני כרטיסי המודל אופי מנוגד, וקריאתם זה לצד זה מאלפת באשר לייעודו של כרטיס.

הכרטיס של OpenBMB הוא דף הצהרות עם סעיף מגבלות. הוא מוסר את קורפוס האימון, את מבנה התגמול, את פרמטרי הדגימה המומלצים, את גרסת ה-Lean המדויקת, ותרשים המדווח על Pass@8 על פני שישה מבנצ'מרקים — אם כי ראוי לציין שהמספרים נמצאים בתמונה ולא בטקסט, כך שכל מי שיגרד את הדף באופן פרוגרמטי ימצא את השיטה מתוארת בקפידה ואת התוצאות כלל לא. מה שהוא אינו מספק הוא תאריך שחרור; אות המידע היחיד לגבי תאריך בכל מקום במטא-נתונים הוא מזהה ה-arXiv 2608.14221 וחותם הזמן של יצירת המאגר, 14 באוגוסט 2026.

כרטיס המודל של Ai2 הוא בעצם רשימת אילוצים. תשע שנים של נתוני אימון, 2014 עד 2022, עבור שני הצ׳קפוינטים. פלטים המשחזרים את X-SHIELD ולא תצפיות, ולכן הם נושאים את ההטיות של סימולציית הייחוס. אין ציפייה להכללה מחוץ לתנאי הכפייה של האימון — נקודה שמאמר v2 מחדד בציינו שהמסגרת לא נבחנה מחוץ לטווח 66°S עד 70°N ואינה יכולה לפעול מעבר ל-88°S או 88°N. אי-רציפויות בחפיפת patch באזורים גדולים יותר מאריח האימון בגודל 16×16 של מעלה אחת. הערה שצ׳קפוינט ACE2S-X-SHIELD המצורף נבדק בפחות קפדנות מאשר קו ACE2-ERA5 המוקדם יותר, ושהוא אינו מיועד לחיזוי מזג אוויר. ורישיון — Apache 2.0 — הנושא את הנחיות השימוש האחראי של Ai2 ומסגור מחקרי-חינוכי.

כרטיס אחד מספר לך מה הציונים של המודל. האחר מספר לך מה הוא לא יכול לעשות. אף אחד מהם לא מסתיר דבר, וקורא שטועה לחשוב שהשני הוא גרסה חלשה יותר לא הבין לשם מה נועדו הארטיפקטים האלה.

החלק שבאמת בר־השוואה: כמה שווה מזלג

הנה הציר היחיד שלפיו ניתן למדוד את שתי המהדורות באותו אופן, והוא נע בכיוונים מנוגדים.

• מהיכן מגיע עמוד השדרה — MathForm-8B הוא כיוונון מלא (fine-tune) של Qwen3-8B, ולכן השושלת שלו מתועדת במטא-דאטה של Hugging Face, והאב הקדמון שלו הוא מודל פתוח שנפרס באופן נרחב; הרכיבים של HiRO-ACEv2 מאומנים בתוך הפייפליין הפנימי של Ai2, כאשר נתוני האימון מיוחסים ל-X-SHIELD, המסופק על ידי GFDL, ואין מתחתיה נקודת ביקורת פתוחה במעלה הזרם.

• כמה מנועי הרצה יכולים לטעון אותו — MathForm-8B פועל על Transformers, vLLM או SGLang, והקהילה כבר הפיקה קוונטיזציות GGUF ו-MLX עבור llama.cpp ו-Apple silicon; HiRO-ACEv2 פועל דרך חבילת ה-Python fme של Ai2 עם קונפיגים שמצביעים למאגר ai2cm/ace, ואין מסלול חלופי.

• כמה מהר האקוסיסטם נע — בתוך ארבעה ימים מהופעת המאגר של MathForm-8B, גרסאות GGUF קהילתיות כבר היו זמינות ברשת, והמרות MLX של 4-bit, 6-bit ו-8-bit הגיעו בתוך שבועיים; למאגר של HiRO-ACEv2 יש לייק אחד וללא הורדות יומיים לאחר הקומיט האחרון שלו.

• מה עולה לך להשיג את המשקלים — MathForm-8B מורד כנקודת ביקורת מודל רגילה ומכווץ לכימות לחומרה צרכנית; HiRO-ACEv2 הוא מאגר בנפח 10.9 GB, שרובו נתוני כפייה ותנאי התחלה ולא משקלים, והוא אינו מתכווץ.

התבנית היא שמודל שפה ייעודי-ליישום יורש אקוסיסטם מעמוד השדרה שלו, ואילו אמולטור פיזי ייעודי-ליישום אינו יורש דבר. עבור MathForm-8B, העבודה להריץ אותו נעשתה ברובה לפני שהוא היה קיים. עבור HiRO-ACEv2 זה מתחיל ב-README.

היכן שכבת ניתוב משתלבת, והיכן שהיא לא

התשובה הכנה כאן היא א-סימטרית, וראוי להציג אותה באופן גלוי ולא לרמוז באותה מידה על שני המודלים. MathForm-8B עצמו אינו בקטלוג שלנו — נקודת הבדיקה שעברה כיוונון עדין מגיעה מההפצה של OpenBMB עצמה וצריכה לרוץ על השרת שלך לצד התקנת ה-Lean שאליה היא קוראת. גם המודל שממנו היא נגזרת אינו בקטלוג שלנו, וראוי לציין זאת משום שההנחה נעה דווקא בכיוון ההפוך: נקודת הבדיקה הספציפית Qwen3-8B שממנה בוצע הכיוונון העדין היא מהדורה מ-2025 ואינה אחד ממזהי ה-Qwen שאנו מגישים. מה שאנחנו כן מנתבים הוא הדור הנוכחי של Qwen סביבה — שכבות Qwen3.8 ו-Qwen3.5, וכן נקודת הבדיקה Qwen3-VL-8B-Instruct, שחולקת את קנה המידה 8B ואת אותה שושלת משפחתית, במחיר של 0.18 דולר למיליון טוקנים בקלט ו-0.70 דולר למיליון טוקנים בפלט על פני חלון הקשר של 131,072 טוקנים.

זו השכבה שצינור פורמליזציה באמת זקוק לה. פיצול ספר לימוד להצהרות מועמדות, חילוץ המשפט הבלתי־פורמלי מתוך מאמר לפני שהוא עובר אל האוטופורמליזר, או הפיכת הודעת שגיאה של Lean לאבחנה — כל אלה הם קריאות רגילות של מודל שפה, והן יכולות לעבור דרך אותו מפתח כמו כל השאר. HiRO-ACEv2 אינו ניתן לניתוב ולעולם לא יהיה בצורתו הנוכחית, כי אין בקשת מחויבת־טוקנים לנתב — 10.9 ג'יגה־בייט של צ'קפוינטים וסקריפט shell אינם נקודת קצה.

מה מקנה לך מפתח אחד על פני יותר ממאתיים מודלים מנותבים, בצינור נתונים שנבנה סביב אחד משני אלה, הוא שהעבודה הסובבת הופכת לקריאה במקום לפרויקט: מחיר המחירון של הספק עובר הלאה ללא תוספת מרווח, מעבר בין ספקים בעת כשל הוא אוטומטי, ותסריט שמפעיל אנסמבל או הרצת פורמליזציה אינו זקוק לחוזה ספק שני כדי לסכם את הפלט של עצמו.

על מה לשים לב בכל צד

מספר שמשנה בצד של Lean יהיה רפרודוקציה בלתי תלויה של המספרים 88.06 ו-72.37 על ידי קבוצה שאין לה אינטרס במתכון האימון, באופן אידיאלי מפורק לפי בנצ'מרק ולא ממוצע ל-Pass@8 בודד — מכיוון שכשלים באוטופורמליזציה מתקבצים לפי תחום מתמטי, וממוצע מסתיר בדיוק את הדפוס שאיש מקצוע צריך. מספר שמשנה בצד האקלים יהיה השוואה מול מודל נומרי לפתרון סופות שרץ על אותה חומרה על ידי מישהו אחר מאשר מחברי האמולטור, מכיוון שהטענה בדבר הסקה פי 300 היא זו שמכריעה אם טכניקה זו תאומץ באופן מבצעי.

עד אז, מוטב לקרוא את שני המודלים כפי שהכרטיסים שלהם עצמם מזמינים. MathForm-8B הוא אוטופורמלייזר חזק, ומאחורי הפלט שלו ניצב מהדר, והשאלה המעניינת לגביו היא באיזו תדירות הטענה המהודרת אומרת את הדבר הנכון ולא רק טענה אמיתית. HiRO-ACEv2 הוא אמולטור מחקרי שהוסיף זה עתה רוח ולחץ למה שהיה קודם לכן פלט של משקעים בלבד, והשאלה המעניינת היא אם השדות הנוספים עקביים פיזיקלית עם המשקעים שאיתם הם נשלחים — דבר שאף טבלת בנצ'מרק לא הייתה מספרת לך גם אם כזו הייתה קיימת.

גם בהשוואות כמו זו מתגלים מצבי הכשל: התקריות המתועדות ב-AI וכשלי סוכנים מאחורי מודלים בקטגוריה הזו נאספים ב-OrcaRouter AI Incident Archive, שם כל רשומה נושאת את מקורותיה, החומרה, דרגת הוודאות ודגל המחלוקת שלה.