Kolibri לעומת MathForm-8B: אחת מטענות הדיוק הללו ניתנת לבדיקה על ידי מהדר

Kolibri ו-MathForm-8B חולקים רישיון וכמעט שום דבר אחר. שניהם ברישיון Apache 2.0, שניהם בעלי משקלים פתוחים, שניהם שוחררו בשלושת החודשים האחרונים — Kolibri של Aleph Alpha ב-3 באוקטובר 2026, MathForm-8B של OpenBMB ב-14 באוגוסט 2026 — ושניהם מקדישים חלק ניכר מכרטיסי המודל שלהם למתמטיקה. שם הדמיון נגמר. Kolibri הוא מודל תערובת מומחים גרמני-אנגלי בעל 78.1 מיליארד פרמטרים, שמפעיל 3.46 מיליארד פרמטרים לכל טוקן ומיועד לפעול בזרימת עבודה רגולטורית של מסמכים. MathForm-8B הוא מודל צפוף בעל 8 מיליארד פרמטרים שעבר כוונון עדין מ-Qwen3-8B עם משימה אחת: לקחת בעיית מתמטיקה הכתובה באנגלית רגילה ולהפיק הצהרת Lean 4 תקינה פורמלית שלה. ההבדל שמשנה למי שמעריך את אחד מהשניים אינו מספר הפרמטרים. ההבדל הוא שטענת הדיוק של MathForm-8B ניתנת להרצה. אפשר לבדוק את הפלט שלו עם מהדר. את הפלט של Kolibri לא ניתן לבדוק בשום דבר מלבד הרצת בנצ'מרק נוספת.

האסימטריה הזו היא כל המאמר, והיא מכלילה היטב הרבה מעבר לשני המודלים האלה. טבלת בנצ'מרקים של ספק היא טענה. עוזר הוכחה שמקבל פורמליזציה הוא תוצאה. כאשר כל מרחב הפלט של מודל הוא משהו שמכונה יכולה לאמת, שכבת השיווק נעלמת — או שמהדר Lean מקבל את ההצהרה או שהוא לא, ושום מידת מסגור בפוסט השקה לא משנה זאת.

מה MathForm-8B למעשה מפיק

אוטופורמליזציה היא משימה צרה, לא זוהרת וקשה באמת, וכרטיס המודל ספציפי באופן מרענן לגבי התצורה.

• קלט ופלט — הצהרה מתמטית בשפה טבעית נכנסת, ופורמליזציה ב-Lean 4 יוצאת, כולל כותרת משפט.

• מודל בסיס — Qwen/Qwen3-8B, עבר כיוונון עדין; Apache 2.0 עם שאר ההפצה של OpenBMB.

• אימון — כיוונון עדין מפוקח שלאחריו למידת חיזוק על מערך הנתונים FormalVerse, כאשר הידור Lean ומשוב של עקביות סמנטית מניעים את אות החיזוק.

• צינור נתונים — שליפת ידע של Mathlib, הידור ואימות סמנטי, עידון איטרטיבי, ולאחר מכן שחזור מסלול. תרשים הצינור בכרטיס המודל הוא הדבר האינפורמטיבי ביותר במהדורה.

• הערכה — שיעורי ההצלחה של Pass@8 בשתי בדיקות נפרדות, בדיקת תחביר ובדיקת עקביות, על פני שישה מדדי ביצוע, המדווחים כממוצע מאקרו משוקלל באופן שווה בתרשים שעל הכרטיס ולא כטבלה שנוכל לצטט שורה אחר שורה.

• שרשרת כלים — שרת Kimina Lean פעיל לבדיקות הקומפילציה, Lean 4.21.0 לניסויים, ורצף מקסימלי של 16,384 טוקנים עם טמפרטורה 0.6 ו-top-p 0.95.

• הגשה — vLLM או SGLang בחלון הקשר של 16,384 אסימונים, נחשפים דרך ממשק צ'אט תואם OpenAI. הפרט האחרון הזה חשוב יותר ממה שהוא נראה, כי זה אומר שהמודל משתלב בצינור עיבוד קיים כנקודת קצה רגילה.

שימו לב לשתי הבדיקות הנפרדות. Syntax Check הוא האם הצהרת ה-Lean בכלל מנותחת תחבירית ועוברת בדיקת טיפוסים. Consistency Check הוא האם ההצהרה הפורמלית אומרת את אותו הדבר כמו הבעיה בשפה טבעית — תכונה קשה בהרבה, כי הצהרת Lean תקינה תחבירית שמפרמלת את המשפט השגוי גרועה יותר משגיאת קומפילציה. OpenBMB מדווחת על שתיהן, וזו בדיוק הדרך הנכונה לעשות זאת, וזו הסיבה שלמשימה הזו יש סיפור אימות שאין לחשיבה כללית.

מה Kolibri עושה עם מתמטיקה, ומדוע זהו סוג אחר של מספר

Kolibri טוב במתמטיקה במובן של בנצ'מרק. במערכת הבדיקות שלאחר האימון של Aleph Alpha עצמה, ברמת מאמץ חשיבה גבוהה, הוא משיג 96.9 ב-AIME 2025 באנגלית ו-87.5 בגרמנית, 96.0 ו-90.0 ב-AIME 2026, וממוצע של 96.5 באנגלית על פני חבילת מבחני המתמטיקה שלו, לעומת 88.8 בגרמנית. לשם הקשר, באותה טבלה, 96.9 של Kolibri ב-AIME 2025 באנגלית נמצא מעל Nemotron 3 Super 120B-A12B עם 91.7 ו-Qwen3.6 35B-A3B עם 84.6, וממש מתחת ל-Qwen3.8 27B עם 97.9.

כל אחד מהנתונים האלה מדווח על ידי הספק, על סביבת בדיקה של הספק, ללא שחזור בלתי תלוי, ואין דף Artificial Analysis עבור Kolibri שניתן להצליב איתו. זו אינה ביקורת על המספרים; זו הצהרה על סוג האובייקט שהם. ציון AIME הוא אחוז של תשובות סופיות נכונות במבחן רב-ברירה. הוא אומר לך שהמודל יכול להגיע למספר שלם. הוא לא אומר לך דבר על האם ההיגיון שהפיק אותו היה תקין, ואין ארטיפקט שנשאר מאחור שצד שלישי יכול לבדוק.

כשמציבים את זה לצד הפלט של MathForm-8B, ההבדל בולט לעין. התשובה של Kolibri לבעיית AIME היא מספר. הפלט של MathForm-8B הוא הצהרת משפט ב-Lean 4 שמתקמפלת מול Mathlib או שלא. אם אתם בונים מערכת שבה טענה מתמטית חייבת להיות ניתנת להגנה — צינור אימות פורמלי, זרימת עבודה של עוזר הוכחות, נתיב ביקורת — התוצר השני שווה considerably יותר מהראשון, ואף שורת בנצ'מרק לא מבטאת זאת.

היכן שהשניים בעצם ייפגשו

אם ממסגרים את זה כקרב, ההתמודדות הזו אינה מעניינת: מומחה 8B מנצח כללן 78B בפורמליזציה של מתמטיקה ומפסיד בכל השאר, כולל פרוזה מנהלית גרמנית, הסקת מסמכים בהקשר ארוך והפעלת כלים לאורך מסלול סוכן של מאה צעדים. אבל השניים אינם תחליפים, והשאלה המועילה היא איך נראה צינור עיבוד הבנוי משניהם.

ההרכב הטבעי הוא הרכב של ניתוב. גנרליסט עם הסקה חזקה וקריאה לכלים מטפל בקליטה, בהבחנה ובאחזור; מומחה מגויס לשני האחוזים של המקרים שדורשים תוצר פורמלי. לעשות זאת ידנית פירושו שני ספקים, שני חוזים, שני SDK-ים, שתי קבוצות הרשאות ושכבת הפצה שמישהו מתחזק. זה המקרה שבו נקודת קצה אחת מצדיקה את עצמה: מפתח אחד תואם OpenAI, כלל ניתוב ששולח את הבקשות בעלות הצורה המתמטית לנקודת הקצה של הפורמליזר ואת כל השאר לגנרליסט, ומעבר לגיבוי כשאחד מהם איטי. זהו תפקידה של שפת ה-DSL לניתוב — להרכיב כמה מודלים לקריאה אחת במקום לחבר בחירה קשיחה בזמן הפיתוח — ובמקום שבו פאנל של מודלים שעונים יחד מועיל, מיזוג מודלים מכסה זאת. לא Kolibri ולא MathForm-8B נמצאים ב-OrcaRouter היום; בדקנו את הקטלוג עבור שניהם תחת כל איות אפשרי של ספק ושל מודל, ואף אחד מהם אינו שם. טיעון ההרכב עוסק בצורת הבעיה, לא בשתי נקודות הקצה הספציפיות האלה.

מה שמופיע בקטלוג הוא החצי הגנרליסטי של התבנית הזאת במחיר שאפשר למדוד. Qwen3.8-27B רשום במחיר של $0.33 למיליון טוקנים בקלט ו-$2.40 בפלט עם חלון של 262,144 טוקנים, ו-Qwen3.8-Max ב-$2.00 ו-$6.00 עם חלון של מיליון טוקנים. עבור צוות שבוחן אם בכלל כדאי להוסיף שלב פורמליזציה לצינור עיבוד מסמכים, הניסוי הזול הוא לנתב לשם את העבודה הגנרליסטית, למדוד את נפח הבקשות שבאמת זקוקות לארטיפקט Lean, ורק אז להחליט אם נקודת קצה ייעודית של 16,384 טוקנים שווה להקצות. מחיר המחירון של הספק מועבר הלאה בלי שום תוספת לכל טוקן, כך שהמספרים משתנים ביום שספק משנה אותם.

רישיון הוא השורה היחידה שבה הם זהים

שניהם ברישיון Apache 2.0, ובקטגוריה שבה רישיונות מחקר מותאמים אישית וסעיפי שימוש מקובל נלווים הם דבר נפוץ, זוהי נקודת שוויון אמיתית שראויה לציון — כלומר, אף אחד מהמודלים אינו מחייב בדיקה משפטית לפני שניתן להשתמש בו מסחרית, לשנותו או להפיצו מחדש.

ההתחייבויות מתפצלות במקום אחר. Kolibri מביא טביעת רגל של משקולות של ~78 GB ורצפת חומרה של שני כרטיסי A100 80 GB, שני H100 SXM5, H200 אחד, B200 אחד או B300 אחד, בתוספת חבילת aleph-alpha-inference של הספק ותוסף vLLM. MathForm-8B ב-bfloat16 הוא בקירוב 16 GB של משקולות ופועל על מאיץ מודרני יחיד בהקשר של 16,384 טוקנים; התלויות שלו הן שרשרת כלים של Lean, ועבור צינור ההערכה, שרת Kimina Lean פעיל. אחת מהפריסות האלה נכנסת בתחנת עבודה. האחרת לא.

נתוני ההקשר חותכים לכיוון ההפוך, ובפער גדול. החלון המקורי של Kolibri הוא 262,144 טוקנים, ומאומת עד 1,048,576, וזה מה שהופך אותו למודל מסמכים: תיק רגולטורי גרמני מלא או מדריך תחזוקה של תעופה וחלל נכנסים בקריאה אחת. MathForm-8B מוגבל ל-16,384 טוקנים בתכנון, כי בקשת פורמליזציה היא הצהרת בעיה בודדת ואין סיבה שהיא תהיה ארוכה יותר. אף אחד מהמספרים אינו חיסרון. הם פשוט מתארים עבודות שונות.

בחירה, ושאלת האימות שמתחת

• בחר ב-MathForm-8B אם הפלט שלך חייב להיות ניתן לבדיקה. אם מערכת במורד הזרם צורכת Lean 4, או אם כל העניין הוא שעוזר הוכחה יאשר את התוצאה, שום מודל כללי אינו מהווה תחליף לו, ומספרי Pass@8 תחת Syntax Check ו-Consistency Check הם אלה שצריך לחקור, ולא שורת AIME כלשהי.

• בחרו ב-Kolibri אם אתם זקוקים למודל אחד שקורא מסמכים בגרמנית ובאנגלית בהקשר ארוך, מבצע הסקה חוצת־מסמכים, מפעיל כלים, נמנע מלהשיב כאשר ההקשר אינו תומך בתשובה, וניתן לפרוס אותו בתוך הסביבה שלכם תחת רישיון שאפשר לנסח בשורה אחת. מתמטיקה היא יכולת שיש לו, לא מוצר שהוא.

• שקול את שניהם אם אתה בונה צינור פורמליזציה. לא כחלופות, אלא כשתי נקודות קצה מאחורי כלל ניתוב אחד, כאשר המומחה נקרא עבור הפרוסה הצרה של הבקשות שזקוקות לו.

ואם אתם מעריכים את מי מהשניים על סמך מספר בנצ'מרק, הפעילו קודם כול מבחן אחד: שאלו איזה ארטיפקט המספר מותיר אחריו. עבור MathForm-8B יש קובץ Lean ומהדר שמקבל אותו או לא, ואפשר להריץ את שניהם בעצמכם כבר אחר הצהריים. עבור Kolibri יש אחוז בטבלת השקה, מדווח על ידי הספק, לא משוחזר, בלי עמוד אינדקס עצמאי שמולו אפשר לבדוק אותו — והדרך היחידה להפריך אותו היא להוריד 78 GB של משקלים, לשכור את החומרה ולהריץ מחדש את ההרנס. האסימטריה הזאת שווה יותר מהציון עצמו כשאתם מחליטים מה להעלות לפרודקשן.