AREX-2 מול MathForm-8B: בודק הוכחות ולולאת חיפוש הם סוגים שונים של אימות

MathForm-8Bו-AREX-2 הם שני המודלים הניתנים לאימות בקפדנות הרבה ביותר בסדרה הזו, והם מאומתים בדרכים הפוכות. MathForm-8B הוא כלי הפורמליזציה האוטומטי בעל 8 מיליארד הפרמטרים של OpenBMB, שיצא באוגוסט 2026: אם נותנים לו בעיית מתמטיקה הכתובה באנגלית פשוטה, הוא מפיק הצהרת Lean 4 תקפה פורמלית של אותה בעיה, שאותה בודק לאחר מכן המהדר של עוזר ההוכחה. AREX-2 הוא מאגר Hugging Face שיצרה BAAI ב-29 בספטמבר 2026 בשעה 17:56 UTC, המכיל .gitattributes וללא משקלים, ללא כרטיס מודל, ללא תג רישיון וללא הכרזה — שם שמור לדור שני אפשרי של סוכני המחקר העמוק AREX של BAAI, שדורו הראשון מאמת את עצמו בכך שהוא בודק מחדש את תשובתו שלו מול האילוצים שניתנו לו.

אז השאלה המעניינת כאן היא לא איזה מודל טוב יותר. היא מה המשמעות של היות מודל ניתן לבדיקה, מפני שאחד מהשניים נבדק על ידי מהדר שלא אכפת לו במה מאמין איש, והאחר נבדק, אם התקדים המשפחתי מחזיק, על ידי לולאה שאותו מודל מריץ. ההבחנה הזו מחזיקה מעמד למרות שאחד הצדדים של ההתמודדות טרם שוחרר, והיא הסיבה שהשניים האלה בכלל שייכים לאותה שיחה.

הצד שקיים, והסיבה שהוא ניתן לבדיקה

ל-MathForm-8B יש תיאור תפקיד צר, וכדאי לציין אותו במדויק משום שהצרות היא העיקר. הוא אינו פותר בעיות מתמטיות ואינו מתיימר לעשות כן. הוא עבר כיוונון עדין על FormalVerse, קורפוס של כ-367,000 דוגמאות Lean 4 מאומתות, והתגמול באימון שלו הגיע מהמהדר של Lean ולא ממודל העדפות אנושי. בהינתן הצהרה בלתי-פורמלית, הוא פולט את הייבואים, הטיפוסים וכותרת המשפט — ומשאיר את חובת ההוכחה עצמה פתוחה — כך שמהדר יכול לאשר שהפורמליזציה אומרת את מה שהבעיה הבלתי-פורמלית אמרה.

המספרים המפורסמים שלו, כולם מדווחים על ידי הספק OpenBMB ואף אחד מהם לא שוחזר באופן בלתי תלוי, הם ממוצע Pass@8 של 88.06% תחת בדיקת תחביר ו-72.37% תחת בדיקת עקביות מחמירה יותר על פני שישה מבחני בנצ'מרק, כשהוא יורד ל-63% ול-37% בתת-הקבוצות הקשות ביותר, FATE-H ו-FATE-X. יש לקרוא אותם כפי שהם: מודל הנמדד מול מערכת פורמלית, שבה תשובה שגויה היא כישלון בקומפילציה ולא אי-הסכמה לגבי איכות. זו תכונה נדירה. רוב הטענות בדבר בנצ'מרקים בבלוג הזה נשענות על מעריך שיש לתת בו אמון; זו נשענת על אריתמטיקה שמכונה מבצעת.

הצד שטרם קיים, ומדוע האימות שלו שונה

העובדות היחידות הניתנות לאימות לגבי AREX-2 הן הארגון, השם וחותמת הזמן. דבר לא הועלה ו-BAAI לא אמרה דבר. עם זאת, המשפחה שמאחורי השם אכן קיימת, והיא שוחררה ב-23 ביולי 2026 בשם AREX-Base — תערובת מומחים עם 122 מיליארד פרמטרים ו-10 מיליארד פרמטרים פעילים על בסיס Qwen3.5-122B-A10B — יחד עם AREX-Turbo, 4B צפוף. שניהם Apache 2.0, שניהם סוכנים ולא מודלים לשיחה.

עיצוב AREX הוא מסגרת מחקר בעלת שתי לולאות, והלולאה החיצונית היא שלב אימות. לולאה פנימית אוספת ראיות מחיפוש וגלישה, משלבת אותן, ומפיקה תשובה מועמדת עם נתון ביטחון מצורף. הלולאה החיצונית אז בודקת את המועמדת מול האילוצים המקוריים ומחליטה: לקבל אותה, לחדד אותה, או לזרוק את המסלול ולהתחיל מחדש. בין איטרציות המודל מתחזק בלוק הקשר של ממצאים מאומתים, מועמדים פתוחים, אילוצים לא פתורים והתוכנית הבאה, וזה מה שמאפשר לו לעקוב אחר קו חקירה ארוך בלי לאבד את החוט. BAAI מדווחת 82.5 ב-BrowseComp, 85.4 ב-GAIA ו-89.9 ב-DeepSearch QA עבור ה-Base, ו-70.7 / 81.6 / 78.5 עבור ה-Turbo — המספרים של הספק עצמו, שלא שוחזרו.

זו צורה אמיתית ושימושית של בדיקה עצמית. היא גם חלשה באופן קטגורי מקומפיילר. כאשר הלולאה החיצונית של AREX מחליטה שתשובה עומדת באילוצים שלה, השיפוט מגיע ממודל שפה שקורא את האילוצים. כאשר Lean מקבל פורמליזציה של MathForm-8B, השיפוט מגיע מבודק טיפוסים שמיישם חשבון קבוע. אף אחד מהשניים אינו חף משגיאות — פורמליזציה יכולה להיות Lean תקף שלוכד את המשפט הלא נכון — אבל רק אחד מהשניים יכול להיות שגוי בלי שאיש ישים לב, וההבדל אינו עניין של מידה.

• זמינות — ניתן להוריד את MathForm-8B מ-OpenBMB עם כרטיס מפורסם. AREX-2 הוא מאגר שאין בו קבצים.

• פרמטרים — 8B צפוף עבור MathForm-8B. לא ידוע עבור AREX-2; המשפחה משתרעת על תערובת מומחים של 122B ו-4B צפוף.

• מה הוא מייצר — הצהרות משפטים ב-Lean 4 עבור MathForm-8B, כאשר ההוכחה מושארת פתוחה בכוונת מכוון. לא ידוע עבור AREX-2; הגנרציה הראשונה הפיקה תשובה מבוססת מחקר עם ציון ביטחון.

• כיצד זה נבדק — מהדר Lean, עבור MathForm-8B. לולאת אימות בתוך אותו מודל, על סמך הראיות של AREX-Base.

• רישיון — התנאים של OpenBMB עצמה עבור MathForm-8B; טרם הוצהר דבר עבור AREX-2. הדור הראשון של AREX היה Apache 2.0.

• נתונים עיקריים — 88.06% נבדקו תחבירית ו-72.37% נבדקו לעקביות Pass@8 עבור MathForm-8B, לפי דיווח הספק. לא קיימים עבור AREX-2.

שתי עבודות שמחסנית יכולה להחזיק בו-זמנית

מודלים אלה אינם חופפים בתפקודם, וכדאי לומר זאת לפני שמישהו מפרש "השוואה" כבחירה. MathForm-8B הוא ממשק קדמי לעוזר הוכחה. הפלט שלו הוא הצהרת משפט שעליה עובד לאחר מכן מתמטיקאי או מוכיח אוטומטי. מקומו הטבעי הוא בתוך צינור אימות למתמטיקה, שיטות פורמליות, או עבודת אפיון, כאשר הערך הוא שכלי במורד הזרם יכול לצרוך את הפלט בלי לסמוך על המודל.

AREX-2, אם הוא ממשיך את המשפחה שלו, הוא בקאנד לשאלות שאין להן מהדר. "איזו מבין שלוש ההגשות האלה אינה עקבית עם שתי האחרות" אין מערכת פורמלית שכנגדה אפשר לבדוק אותה, וההגנה היחידה הזמינה היא איסוף ראיות נוספות ובחינה מחודשת של ההיגיון שלך — וזה בדיוק מה שהלולאה החיצונית של AREX היא. צוות שזקוק לשניהם יפעיל אותם במקומות שונים: פורמליזציה עבור החלק של הבעיה שאפשר להפוך לפורמלי, וסוכן חיפוש ואימות עבור החלק שאי אפשר.

הפיצול הזה הוא גם התשובה הכנה לשאלה על איזה מהם אפשר לפעול השבוע. MathForm-8B הושק, מתועד ושמיש כעת. AREX-2 הוא רק שם.

איך נראה סיפור הניתוב כשהאימות הוא הנושא

מכיוון שהשניים משמשים בדרכים כה שונות, גם שאלת התשתית מתפצלת.

עבור MathForm-8B עומס העבודה הוא פרץ של הפקות קצרות ודטרמיניסטיות שהפלט שלהן נכנס ישירות למהדר. מה שחשוב הוא שהמודל נגיש ושקריאה שנכשלה מנוסה מחדש, כי צינור פורמליזציה שמפיל בקשה נראה זהה לצינור פורמליזציה שנכשל — ורק אחד מאלה הוא עובדה לגבי המודל. מעבר אוטומטי בין ספקים הוא התכונה הספציפית שמבדילה בין השניים. OrcaRouter אינה כוללת היום לא את MathForm-8B ולא את AREX-2, ולכן המשקולות של OpenBMB מגיעות מההפצה של OpenBMB עצמה וכל נקודת קצה מתארחת היא של מישהו אחר; מה שאנחנו מציעים הוא הניתוב שבחזית, כשמחיר המחירון של הספק מועבר כמו שהוא ולא מתווסף דבר לכל טוקן.

עבור סוכן כמו AREX-Base הצורה קשה יותר והטיעון בעד ניתוב חזק יותר. מסלול מחקר עמוק מבצע עשרות קריאות למודל בכל שאילתה, שכל אחת מהן קוראת מחדש את ההקשר שגדל ככל שהראיות מצטברות, ואופני הכשל מצטברים: ספק שמגיע לפסק זמן בשלב תשע עשרה מתוך עשרים וחמש לא מדרדר את התשובה, הוא מייצר תשובה שגויה ובטוחה. זה הטיעון לשים את הלולאה מאחורי API אחד עבור יותר מ-200 מודלים עם כלל מעבר-לגיבוי שמחליט בזמן ריצה, כך שספק רע בודד הוא ניסיון חוזר ולא ציטוט שגוי.

הדבר האחד שכדאי לצפות בו, והדבר האחד שלא כדאי לצפות בו

שלוש עובדות יענו על רוב השאלות הפתוחות בנוגע ל-AREX-2, וכל השלוש גלויות מבחוץ: האם קבצים מופיעים באותו מאגר, מהו מספר הפרמטרים שהכרטיס טוען, והאם הוא נושא את תג Apache 2.0 כפי שנשאו שני קודמיו. עד שהן יענו, ההצהרה היחידה הניתנת להגנה בנוגע ל-AREX-2 היא ש-BAAI שמרה את השם ב-29 בספטמבר 2026 ולא הודיעה דבר.

הדבר שאסור להניח הוא שדור שני יורש את הצורה של הראשון. "2" הוא שם מוצר, לא ארכיטקטורה. הוא יכול להיות גדול יותר מ-122B Base, או שהוא יכול להיות זיקוק קטן של אותה מסגרת — ובהתחשב בכך שהמשפחה כבר השיקה בעת ובעונה אחת גם שכבת איכות וגם שכבת עלות-שירות, שתי הפרשנויות סבירות. מה שאינו סביר, ברגע זה, הוא לפרסם מפרט עבורו.