Beam 1.0 לעומת MathForm 8B: שגיאותיו של מודל אחד נתפסות על ידי מהדר

בקש מ־MathForm 8Bלנסח משפט באופן פורמלי, והתשובה היא או הצהרת Lean 4 שמתקמפלת או כזו שלא. בקש מ־Beam 1.0לתקן באג והתשובה היא דיף שרץ או כזה שלא, והמרחק בין שני הדברים האלה הוא כל ההבדל בין המודלים האלה. MathForm 8B הוא מודל אוטופורמליזציה של OpenBMB עם 8.19 מיליארד פרמטרים, שנבנה על Qwen3-8B של Alibaba ואומן על FormalVerse, קורפוס של כ־367,000 דוגמאות Lean 4 מאומתות, באמצעות כוונון עדין מפוקח שלאחריו למידת חיזוק על קומפילציה של Lean ומשוב של עקביות סמנטית; הוא פורסם ב־14 באוגוסט 2026 תחת Apache 2.0. Beam 1.0 הוא מודל תערובת מומחים דלילה של Reflection עם 501.3 מיליארד פרמטרים ו־23.4 מיליארד פרמטרים פעילים לכל טוקן, שהוכרז ב־5 באוקטובר 2026 ויצא כקבצי משקולות להורדה ב־16 באוקטובר 2026, גם תחת Apache 2.0. יחס הגדלים הוא 61 ל־1 וזה המספר הכי פחות מעניין בעמוד.

המעניין הוא ש-MathForm 8B מפיק פלט שמכונה יכולה לשפוט בלי לסמוך על איש, ואילו Beam 1.0 לא. כל מה שלהלן נובע מכך.

מה כל מודל מתבקש להפיק

ל-MathForm 8B יש חוזה פלט אחד. הוא מקבל הצהרה מתמטית הכתובה בפרוזה רגילה ומחזיר הצהרת Lean 4 — כותרת, משפט בעל שם, ההנחות והמטרה. צינור האימון בנוי סביב הצורה הזו: שליפת ידע מ-Mathlib כדי לעגן את ההצהרה בהגדרות קיימות, הידור ואימות סמנטי כדי לפסול מועמדים גרועים, עידון איטרטיבי כדי לתקן אותם, ואז שחזור מסלולים כדי להפוך את הדוגמאות ששרדו לנתוני אימון. המאמר מדווח שהמודל השיג 88.06% בממוצע Pass@8 בבדיקת תחביר ו-72.37% בבדיקת עקביות על פני שישה בנצ'מרקים. אלה המספרים של OpenBMB, שלא שוחזרו על ידי אף אחד אחר, ומוטים לטובת הקבוצות הקלות יותר בהערכה — אבל אלה מספרים על משימה שיש לה תשובה נכונה.

ל-Beam 1.0 אין חוזה כזה. זהו מודל כללי: הכרטיס שלו מתאר את תבנית הצ'אט, את פורמט החיווט בסגנון Harmony עם ערוצי ניתוח וסופיים, שש רמות של מאמץ חשיבה הממופות לתקציבי טוקנים של 8, 32, 64, 128, 256 ו-512, ואת מוסכמת קריאה לכלים שבה פונקציות מוצהרות כ-TypeScript שטוח ומופעלות בגופי XML. ההערכה שלו מכסה קידוד סוכני (SWE-bench Verified 81.6% על BF16, Terminal Bench v2.1 80.1, SWE Bench Pro v1 66.1, DeepSWE v1.1 43.3), חשיבה (GPQA Diamond 90.6, AIME 2026 97.7, LiveCodeBench 88.3), שימוש בכלים (MCP Atlas 80.8) ויכולת כללית (LongBench v2 67.5, IFBench 79.6). כל נתון הוא של Reflection עצמה. האם הקוד שהוא כותב הוא *נכון* נקבע על ידי הרצתו, סקירתו, או הפצתו וגילוי התוצאה.

אז כך: הכשלים של מודל אחד מכריזים על עצמם. ואילו של האחר הם כשלי תוכנה רגילים שמגיעים מאוחר יותר, בסקירה או בפרודקשן, ונראים כמו כל באג אחר שאי פעם היה לך.

המדדים אינם חופפים, וזהו הממצא.

הציבו את שתי ערכות ההערכה זו מול זו, וכמעט אין מה להחסיר.

• על מה Beam 1.0 מקבל ניקוד — פתרון בעיות בהיקף של מאגר קוד, משימות מסוף, תכנות תחרותי, שאלות מדע ברמת תואר שני, תזמור כלים, שליפה בהקשר ארוך וציות להוראות.

• מה נמדד עבור MathForm 8B — דיוק פורמליזציה Pass@8 תחת בודק תחביר ותחת בודק עקביות סמנטית, על פני שישה בנצ'מרקים מתמטיים, מול קווי הבסיס המיוחדים של המאמר מ-7B עד 32B.

• החפיפה — כמעט אפס. אין שורה שבה שני המודלים נמדדו על ידי אותו גורם באותה משימה, וגם לא תהיה, משום שאחד נמדד על יכולת כללית והאחר על טרנספורמציה אחת ניתנת לאימות.

• הממד המשותף היחיד שקיים מבחינה מושגית — הסקה — נמדד על אוכלוסיות שונות. הציון 90.6 של Beam 1.0 ב-GPQA Diamond הוא ציון במדעים במבחן רב-ברירתי. שיעור העקביות של 72.37% של MathForm 8B הוא בדיקת פורמליזציה. אף אחד מהם אינו מנבא את האחר.

זו הסיבה לכך שהשוואת גדלים כאן תהיה מטעה ולא רק לא מחמיאה. Beam 1.0 גדול פי שישים ואחד מהמודל, והוא אינו יכול לבצע את העבודה של MathForm 8B כלל בלי שאומן לכך — חוזה הפלט צר מספיק לכך שיכולת כללית אינה מהווה לו תחליף. מודל כללי בגודל 501B שמתבקשים ממנו להפיק משפט Lean בעל שם עם כותרת נכונה יפיק משהו שנראה סביר ולעיתים קרובות שגוי, ושעבור עוזר הוכחות זהו מצב הכשל הגרוע ביותר האפשרי.

מה אתה צריך שיהיה לך כדי להריץ כל אחד מהם

MathForm 8B יורש את הרישיון של Qwen3-8B, שנרשם ב-Hub כ-Apache 2.0, וזהו הטיעון המעשי בעדו: 8.19 מיליארד פרמטרים צפופים, מודל באנגלית בלבד, צמצום תקציב היצירה לפלט Lean במקום לחשיבה כללית, והורדה במקום אשכול. הבסיס שלו, Qwen3-8B, הוא מה שקורא היה מארח בעצמו אחרת — 8B כללי עם חלון הקשר מקורי של 32K הניתן להרחבה ל-131K וכיסוי של 119 שפות. MathForm 8B מוותר כמעט על כל זה תמורת מיומנות אחת.

Beam 1.0 צריך מקום להתארח בו. כרטיס המודל מפרט 52 שכבות, 256 מומחים עם שמונה מנותבים לכל טוקן, אוצר מילים של 152,000 טוקנים, נקודת חיתוך ידע של 30 ביוני 2026 וחלון הקשר של 1,000,000 טוקנים. הוא מגיע בשלושה משקלים — BF16 עם 501.3B, FP8 עם 501.3B, NVFP4 עם 255B — ובנוסף DFlash2 בגודל 2B כ-drafter לפענוח ספקולטיבי. אין המלצת פריסה על הכרטיס ואין מחיר API מפורסם בשום מקום בנכסים של Reflection; העמוד של Artificial Analysis עבור המודל מציין שדות מחיר כלא זמינים ומציין שלא קיים API זמין לציבור. גרסת ארבעת הסיביות היא מה שהופך את זה לרכישה סבירה ולא היפותטית, וזו עדיין שיחה שדורשת GPU.

OrcaRouter לא מנתב אף אחד משני המודלים, והדף הזה אינו מרמז אחרת. מה שאנחנו מנתבים הוא שכבת השירות ששני אלה נמצאים מחוצה לה: יותר מ-200 מודלים מאחורי מפתח אחד תואם OpenAI במחיר מחירון של הספק עם 0% תוספת, כך שהורדת מחיר של ספק מגיעה לחשבון שלך ביום שבו היא מוכרזת. עבור צוות שהצורך האמיתי שלו הוא מודל שעונה היום ולא צ'קפוינט שמתקמפל מחר, זו השורה שהשוואה זו אינה יכולה לספק.

ההבדל ביכולת האימות, במילים פשוטות

הנה הא-סימטריה מנוסחת כעובדה תפעולית ולא כבנצ'מרק.

פלט של MathForm 8B נכנס לצינור שיש בו שער. מהדר Lean או מקבל את הטענה או דוחה אותה. בדיקת עקביות סמנטית או עוברת או נכשלת. פלט שגוי יכול להיזרק אוטומטית, ואפשר להשאיר את המודל בלולאת סוכן שמנסה שוב עד שמשהו מאומת — וזה בדיוק מה ששלב ה-RL אימן אותו לעשות. המחיר של תשובה שגויה הוא דגימה שנדחתה, לא פגם שנשלח. זוהי תכונה נדירה באמת בתחום המשקלים הפתוחים כיום, והיא הסיבה לכך שמודל 8B מתמחה יכול להיות שימושי יותר ממודל כללי גדול פי מאה ממנו בתוך צינור שמעוצב כמו מתמטיקה פורמלית.

לפלטים של Beam 1.0 אין שער כזה. טבלת ההערכה יכולה לומר לך באיזו תדירות הוא פתר בעיה ב-GitHub ב-SWE-bench, אבל היא לא יכולה לומר לך אם הטלאי שהוא כותב עבור המאגר שלך נכון, כי זו שאלה שנוגעת לבדיקות שלך. כרטיס המודל מפרט באופן יוצא דופן את פורמט החיווט ושותק באופן יוצא דופן בשאלת הדיוק, וזה תיאור הוגן של מצב התחום: הכלים סביב מודלי קידוד סוכניים טובים בהרצת קוד ורעים בהסמכתו.

אם לתחום שלך יש בודק — מערכת טיפוסים, עוזר הוכחות, סכימה, סימולטור — מודל מומחה שמכוון לאותו בודק הוא לעתים קרובות ההורדה בעלת המינוף הגבוה יותר. אם אין כזה, אתה קונה יכולת ומשלם על ההערכה בעצמך, והמודל הכללי הגדול יותר הוא זה שנותן לך יותר ממנה.

לבחור ביניהם

בחר ב־MathForm 8B אם העבודה היא פורמליזציה ותו לא — הפיכת קורפוס של טקסט מתמטי ל־Lean 4 שמערכת עזר להוכחות תקבל, בהיקף שבו אדם לא יכול לבדוק כל אחד מהם. טביעת הרגל של 8.19 מיליארד פרמטרים, תנאי Apache 2.0 וצורת הפלט המצומצמת הם כולם יתרונות שם. אל תבחר בו לשום דבר אחר: הוא לא משוחח, הוא לא כותב פרוזה שראויה להפצה, הוא לא מטפל ב־119 שפות כפי שמודל הבסיס שלו עושה, ואין לו יכולת מתועדת מחוץ לטרנספורמציה האחת שאומן עבורה.

בחרו Beam 1.0 אם העבודה היא מהסוג הסוכני הכללי — פתרון בעיות במאגרים גדולים, הפעלת כלים, ביצוע תוכניות רב-שלביות ארוכות — ואם יש לכם החומרה או שותף שירות עבור 501B MoE. הקונטקסט של 1M טוקנים, טבלת ההערכה שפורסמה ונקודת הבדיקה של ארבעה ביטים — כולם מכוונים לעומס העבודה הזה. הקצו תקציב לטוקני החשיבה: לתבנית אין מתג כיבוי, ברירת המחדל המוגשת היא רמת המאמץ המקסימלית, והסרת החשיבה מהתור הקודם מתועדת כפוגעת בפלט.

בחר את שניהם אם אתה בונה את הפייפליין שהמאמר הזה באמת עוסק בו. התבנית ההגיונית היא מודל כללי שיבצע את העבודה הדו-משמעית ומומחה שניתן לאמת שיבצע את החלק עם השער — ושני התפקידים נכשלים בדרכים שונות, וזו הסיבה היחידה ששווה להחזיק את שניהם.

איפה ההשוואה הזו תיראה שונה בעוד שלושה חודשים

שתי שורות חסרות, ושתיהן ניתנות לתיארוך. הראשונה היא הערכה בלתי תלויה של המשקלים של Beam 1.0, שהתאפשרה ב-16 באוקטובר 2026 וטרם התרחשה; כל נתון שהעמוד הזה מייחס ל-Reflection הוא עדיין ממקור יחיד. השנייה היא המחיר של Beam. מודל עם טבלת הערכה של 501 מיליארד פרמטרים ובלי תעריף מדוד הוא מודל שרוב הצוותים לא יכולים לתקצב, ועד ש-Reflection או שותף הגשה יפרסמו מחיר, השוואת העלויות הכנה בין השניים היא הורדה מול השכרה שלא פורסם עבורה מחיר.

הפער של MathForm 8B הוא שונה ולא ייסגר בהמתנה. נתוני 88.06% בבדיקת התחביר ו-72.37% בעקביות שדווחו הם מספרים של ספק במשימה עם מאמת, והאימות הוא המוצר — כל מי שיש לו את המודל והתקנת Lean יכול למדוד אותו בעצמו, וזה יותר ממה שאפשר לומר על רוב המספרים בעמוד הזה. זה מה שחוזה צר קונה לך.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.