AesCode-8B לעומת MathForm-8B: שניהם כיוונונים עדינים של 8B שאת פלטם ניתן לבדוק באמצעות מכונה

AesCode-8B ו-MathForm-8Bהושקו בהפרש של שמונה שבועות זה מזה, שניהם ממאגרי קוד ולא מהודעות לעיתונות, והצירוף המקרים מעניין יותר ממה שהוא נראה במבט ראשון. שניהם מתחילים מצ'קפוינט ממשפחת Qwen3. שניהם מוציאים את כל תקציב האימון שלהם על צורת פלט צרה. ושניהם נבנו סביב מנגנון בדיקה: MathForm-8B מאומן מול פסיקתו של מהדר Lean 4, ו-AesCode-8B מדורג על ידי רינדור כל עמוד מועמד בדפדפן מבודד וקריאה חוזרת של ה-DOM, הסגנונות המחושבים וצילום מסך. אף אחד מהם אינו צ'אטבוט ואף אחד מהם לא מנסה להפוך לכזה. מה שמבדיל ביניהם הוא מה שמכונה יכולה לאמת ומה שהיא לא יכולה — ובמקרה של החדש מבין השניים, מה קורה כשמחצית מהניקוד מגיעה משופט שאיש לא נקב בשמו.

רשומות הפרסום אינן סימטריות. MathForm-8B הגיע מ-OpenBMB וכרטיס המודל שלו מתארך את השחרור ל-2026-08-14; הוא בנוי על Qwen3-8Bואומן על FormalVerse, קורפוס של כ-367,000 דוגמאות Lean 4 מאומתות, עם כיוונון עדין מפוקח ואחריו למידת חיזוק המשתמשת בקומפילציה של Lean ובבדיקות עקביות סמנטית כאות התגמול שלה. AesCode-8B אינו נושא תאריך שחרור בשום מקום בקבציו. מיקרוסופט יצרה את מאגר Hugging Face ב-2026-09-29, ביצעה קומיט למשקולות בשעה 03:35 UTC ב-2026-10-07 תחת ההודעה "Release AesCode-8B", ופרסמה את קוד האימון ב-GitHub ב-2026-10-08. שום הכרזה לא ליוותה אף אחד מהאירועים, הציטוט בכרטיס המודל הוא "Under review, 2027", והמאגר הציג שתי הורדות נכון למועד כתיבת הדברים. הוא עבר כיוונון עדין מ-Qwen3-VL-8B-Instruct, מה שראוי לציון בדיוק משום שהוא אינו אותו אב קדמון כמו זה של MathForm-8B.

המוצא מסביר את רוב הפיצול

Qwen3-8B ו-Qwen3-VL-8B-Instruct חולקים דור ושם משפחה, אבל לא תפקיד. Qwen3-8B הוא מודל כללי לטקסט בלבד: כ-8.2 מיליארד פרמטרים בסך הכול, מתוכם כ-7 מיליארד שאינם embedding, קשב grouped-query, הקשר מקורי של 32K טוקנים שניתן להרחבה ל-131K באמצעות YaRN, ואימון על פני 119 שפות וניבים. Qwen3-VL-8B-Instruct הוא האח החזותי-לשוני, והוא ה-checkpoint שממנו מתחיל AesCode-8B — תצורת ה-AesCode שפורסמה היא מתכון Qwen3-VL ישיר עם 36 שכבות נסתרות, גודל נסתר 4,096, 32 ראשי קשב עם 8 ראשי key-value, ואוצר מילים של 151,936 טוקנים.

ההסתעפות הזו קובעת את צד הקלט של שני המומחים לפני שכל אחד מהם אומן. MathForm-8B מקבל טקסט ופולט טקסט בתחביר פורמלי. AesCode-8B מקבל טקסט בתוספת תמונת ייחוס אופציונלית ופולט מסמך.

• בסיס — MathForm-8B: Qwen3-8B, טקסט בלבד. AesCode-8B: Qwen3-VL-8B-Instruct, תמונה וטקסט כקלט.

• פרמטרים — MathForm-8B: כ-8.2B. AesCode-8B: כ-8.8B ב-bf16 על פני ארבעה שרדים, ש-Hugging Face מעגל ל-9B.

• נתוני אימון — MathForm-8B: FormalVerse, כ-367K דוגמאות Lean 4 מאומתות. AesCode-8B: 3,000 הדגמות התחלה קרה, ואז למידת חיזוק GDPO על פני 7,408 הנחיות במשך 400 צעדים.

• מה בודק את הפלט — MathForm-8B: מהדר Lean 4, וכן בדיקת עקביות סמנטית מול הבעיה המקורית. AesCode-8B: רינדור Playwright בארגז חול עם שישה מאמתים דטרמיניסטיים ורובריקה אחת שנמדדת על ידי מודל.

• רישיון — שניהם Apache 2.0, שניהם ללא הגבלות, ושניהם יורשים מעמוד השדרה של משפחת Qwen3.

• אחסון בכל מקום — לא זה ולא זה, עד כמה שיכולנו לגלות.

שתי משמעויות שונות של "verifiable"

זו ההבחנה שכדאי להקדיש לה זמן, כי ״ניתן לבדיקה על ידי מכונה״ משמש לשניהם וזה לא אומר את אותו הדבר.

הבודק של MathForm-8B הוא עוזר הוכחה. Lean 4 או שמקבל הצהרה או שלא, והפסיקה אינה עניין של דעה, מחוון או טעם של שופט. לולאת האימון מכוונת לאות הזה: שלב ה-SFT על FormalVerse מלמד את המיפוי מבעיה לא-פורמלית להצהרת משפט פורמלית עם כותרת imports ומשפט בעל שם, ושלב ה-RL מחדד אותו באמצעות קומפילציה בתוספת בדיקת עקביות ששואלת אם הפורמליזציה עדיין אומרת את מה שהבעיה המקורית אמרה. קומפילציה היא בינארית וניתנת לשחזור על ידי כל מי שיש לו אותה גרסת Lean. בדיקת העקביות היא החצי הרך יותר, והוא החצי שבו המספרים המדווחים נעשים חלשים — וזה בדיוק מה שהתוצאות המפורסמות מראות.

הבודק של AesCode הוא מרנדר. הפלט המרונדר נוצר בדפדפן Playwright בארגז חול עם בקשות חיצוניות חסומות, וההרנס קורא בחזרה את תיבות התיחום, צילום מסך, וה-DOM. שש בדיקות דטרמיניסטיות מפרסרות את הדברים הניתנים לפרסור — הרצה, טקסט מדויק, התנהגות גבולית, נתוני טבלאות ותרשימים, פריסה סמנטית, רווחים — והשביעית, Visual Graph Rubric, מדרגת גאומטריה ומיקום באמצעות שאלות כן/לא מבוססות גרף. טבלאות חייבות להיות טבלאות HTML אמיתיות ותרשימים חייבים להיות מפרטי ECharts, וזהו אילוץ שעושה עבודה אמיתית: הוא כופה על הפלט צורה שמאמת יכול לפרסר. החצי הדטרמיניסטי הוא באמת בר-שחזור. החצי החזותי נשפט על ידי מודל שפה-חזון שהתיעוד אינו נוקב בשמו, מה שאומר שאיש מחוץ למעבדה לא יכול לשחזר אותו.

אז ההשוואה הכנה היא לא "אחד מאומת ואחד לא". היא שהאות הראשי של MathForm-8B הוא מהדר, והאות המשני שלו הוא בדיקת עקביות, בעוד שהאות הראשי של AesCode-8B הוא קבוצה של טענות DOM דטרמיניסטיות, והאות המשני שלו הוא דעתו של מודל — ארוזים בתוך אותו ציון כולל.

מה כל אחד מהם מדווח, ומה זה שווה

MathForm-8B מדווח על Pass@8 ממוצע של 88.06% תחת בדיקת התחביר ו-72.37% תחת בדיקת העקביות על פני שישה בנצ'מרקים. הפיזור בין הבנצ'מרקים הוא החלק המעניין: עקביות של 95.06% ב-FormalIMATH ו-94.83% ב-ProverBench, ואז 63% ב-FATE-H ו-37% ב-FATE-X. השניים האחרונים הם ההצהרות הקשות והמציאותיות, והנפילה מאמצע שנות ה-90 לאמצע שנות ה-30 באחוזים היא הצורה הכנה של היכולת. כל הנתונים הללו מדווחים על ידי הספק ואינם משוחזרים, ותערובת הבנצ'מרקים מוטָה לכיוון הקבוצות הקלות יותר.

AesCode-8B מדווח על ציון כולל של 82.94 במחוון האינפוגרפיקות של Microsoft המבוסס על 300 דגימות — טקסט 94.06, גבול 88.36, תרשים 87.79, כלל 90.07, תוכן 86.41, פריסה 87.80, סגנון 53.21, חזותי 75.80 — עם שלוש יצירות לכל פרומפט וללא בחירה. Microsoft גם מדווחת שהוא עוקף את GPT-5.5 המותנה בהפניית ייחוס בציון 81.28 ואת Claude Opus 4.8 בציון 80.39 באותו מחוון, שכשל חמור של גלישת קנבס חוזר ב-4.3% מ-300 הדגימות, וש-22.4 נקודות חזותיות מפרידות בין דגם ה-32B הנלווה לבין עמוד השדרה של עצמו. כל מספר הוא של הספק, במשימה של הספק, בניקוד מול ערוצים שהספק עיצב.

לא ניתן כלל להשוות בין שתי קבוצות המספרים זו לזו. אין משימה משותפת, אין מדד משותף ואין שופט משותף. הצבת 88.06% לצד 82.94 תהיה השוואה בין שיעור הצלחה של פורמליזציה ב-Lean לבין ציון כולל של אינפוגרפיקה, ואף אחד מהמודלים לא הוערך מעולם על מה שהשני עושה.

יש אי־סימטריה אחת שראויה להיקרא בשמה, מפני שהיא פועלת נגד המודל החדש יותר. למדד הראשי של MathForm-8B מובנה שופט חיצוני: כל אחד יכול להתקין את Lean, לטעון את אותם מבחני ביצועים ולבדוק אם ההצהרות עוברות קומפילציה. למדד הראשי של AesCode-8B אין דבר כזה — המאמתים הדטרמיניסטיים יכלו להיות מורצים מחדש בידי גורם חיצוני נחוש, אבל החצי החזותי של הציון תלוי בשופט שהמאמר לא זיהה. שיעור מעבר קומפילציה שלא שוחזר הוא טענה חלשה יותר מטבלת מבחני ביצועים, ועדיין חזקה יותר מציון רובריקה שלא שוחזר, ששוכן בתוכו מעריך אנונימי.

להריץ אותם זו שאלה שונה מכל אחד משני הציונים.

שניהם החלטות של אירוח עצמי (self-host) היום. MathForm-8B הוא הזול מבין השניים בפער עצום: צ'קפוינט טקסטואלי בלבד בן כ-8.2B עם תקציב יצירה של כ-16K טוקנים של פלט Lean, שניתן לכמת אותו לכרטיס בינוני בודד. AesCode-8B הוא מודל ראייה-שפה בן 8.8B שנתיב ההגשה שלו נושא תמונות כמו גם טקסט; הפקודה של הכרטיס עצמו היא vllm serve microsoft/AesCode-8B --limit-mm-per-prompt image=2 --max-model-len 24576, ו-17.5 GB של משקולות bf16 בתוספת מטמון KV עבור 24,576 טוקנים ושתי תמונות משמעם שכרטיס של 24 GB הוא צר מדי, ו-40–48 GB הם הרף הריאלי. תקצבו גם ערימת רינדור אם ברצונכם לדרג את הפלטים שלכם, כי כך נעשו כל טענות האיכות על המודל.

העלות הסמויה הגדולה יותר היא ששני המודלים הם מומחים שתיישמו לצמיתות. צוות שזקוק לפורמליזציה ולהפקת מסמכים מריץ כעת שני נתיבי הגשה של 8B, שתי קבוצות של פורמטים של פרומפטים, שני פרופילי כשל, ואף אחד מהמודלים לא יכול לספוג את העבודה של האחר. זה בדיוק המקרה שלשמו קיימת שכבת ניתוב: להשאיר את המומחים במקום שבו הכלכלה וטיפול הנתונים מצדיקים החזקת GPU, ולהפנות את התעבורה הכללית למשהו המתארח מאחורי אותה נקודת קצה. באופן קונקרטי, האחים הגנרליסטיים של שני הבסיסים האלה ניתנים לקריאה — Qwen3-VL-8B-Instruct במחיר של $0.18 למיליון טוקני קלט ו-$0.70 למיליון טוקני פלט בהקשר של 131,072 טוקנים, לצד משפחת Qwen 3.8 וצ'קפוינטים פתוחים אחרים — הכול דרך ה-API האחד של OrcaRouter המכסה יותר מ-200 מודלים, כאשר מחיר המחירון של הספק מועבר הלאה בתוספת של 0% ומעבר אוטומטי בין ספקים. אף אחד מהמומחים אינו ניתן לניתוב כאן או בכל מקום אחר שמצאנו; מה שכן ניתן לניתוב הוא הגנרליסט שאליו אתם נופלים בחזרה כשהמשימה הצרה מסתיימת, וזה ההבדל בין להתנסות בצ'קפוינט מחקרי לבין הפיכתו לתלות נושאת עומס.

לבחור ביניהם, אם אתה ממש חייב

בחר ב-MathForm-8B כאשר הארטיפקט חייב לעבור קומפילציה. המרת בנק בעיות, קורפוסים פורמליים עבור מוכיח, פרה-פורמט של הצהרות עבור כלים מבוססי Lean — זה כל תיאור התפקיד, והוא היחיד מבין השניים שאומן לכך. קח ברצינות את מספרי FATE כשאתה מגדיר את ההיקף: בהצהרות הריאליסטיות הקשות ביותר, בערך שליש יוצאות עקביות, ובין כך ובין כך תצטרך לבנות שלב של ביקורת אנושית.

בחר ב-AesCode-8B כשצריך לרנדר את הארטיפקט. בריף נכנס, מסמך HTML שניתן לעריכה יוצא, טבלאות הן טבלאות ותרשימים הם מפרטי תרשים, וכל הדבר עובר diff ב-Git. קבל את תקרת ה-Style — 53.21, ממד שמוגדר ככזה שאינו דורש עוד תיקון חזותי לפני מסירה — כמדד כן למידת העריכה שנותרה, וקבל שהקשר של 24,576 טוקנים אומת רק על עמודי אינפוגרפיקה בודדים ולא על מצגות מרובות שקופיות שאנשים באמת רוצים.

הבחירה שרוב הצוותים ייתקלו בה בפועל היא, בכל זאת, לא זו ולא זו, אלא האם אחד מהמומחים הצרים האלה מצדיק בכלל פריסה, או האם הגנרליסט שמאחוריו, שנקרא דרך API, מספיק טוב לנפח שיש לכם. מדובר באחר צהריים של בדיקות פרומפטים ולא ברכישת GPU, והמספרים של שני הכרטיסים עצמם מספקים לכם את הסיבה להריץ את זה: העקביות של MathForm-8B בסט הקשה עומדת על 37%, וציון ה-Style של AesCode-8B עומד על 53%, כך שאף אחד מהם אינו מודל שתכניסו לפייפליין בלי השגחה.

מה שתי ההשקות מלמדות אותך על איך מודלים מופצים כיום

שני פיין-טיונים של 8B, בהפרש של שמונה שבועות, משתי מעבדות שונות, שוחררו בלי הכרזה, בלי דף מוצר ובלי הערכה עצמאית, שניהם בנויים סביב לולאת אימות, שניהם תחת Apache 2.0, ואף אחד לא מספק אותם כשירות. הדפוס הזה הוא הסיפור יותר מכל אחד מהמודלים. שיטת המחקר עברה אל פונקציית התגמול — אות המהדר של OpenBMB, הערוצים הבין-מודאליים המנותקים של מיקרוסופט — והארטיפקטים המפורסמים הפכו למתכון האימון בתוספת המשקולות, כשהמאמר מגיע מאוחר יותר, אם בכלל.

מה שזה אומר לכל מי שקורא השוואה כמו זו הוא שהמספרים של הספק עצמו הם כל מה שיש לך למשך זמן מה, והשאלה השימושית אינה עד כמה הם גבוהים אלא עד כמה ניתן לבדוק אותם. שיעור ה-overflow של AesCode-8B ותקרת ה-Style שלו הם טענות ניתנות לבדיקה בתחפושת של כשלים. נתון העקביות FATE-X של MathForm-8B הוא אותו הדבר. אלה המספרים שכדאי לקרוא, ואלה שכדאי לחזור ולהריץ בעצמך ברגע שהבודקים ניתנים לשחזור מקצה לקצה.