כרטיס כותרת שנוצר, שעליו נכתב 'Aion-1.0-Instruct-2.3B vs MiniCPM5 2B', עם כותרת המשנה 'לזה שכבר יש לוח תוצאות — כבר יש עליו מתחרה', מעל שני כרטיסים: MiniCPM5-2B עם '966K הורדות', '35 בנצ'מרקים פורסמו' ו-'GGUF, MLX, GPTQ', ו-Aion-1.0-Instruct-2.3B עם '0 הורדות, 3 לייקים', '11 בנצ'מרקים פורסמו' ו-'Safetensors בלבד'.
Guides & Insights

Aion-1.0-Instruct-2.3B מול MiniCPM5 2B: לזה שכבר יש לוח תוצאות כבר יש יריב עליו

מחבר

Elias Hawthorne

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

כרטיס המודל של MiniCPM5-2B מגיע עם טבלת השוואה ובה שמונה קווי בסיס, וAion-1.0-Instruct-2.3B אינו אחד מהם. זו אינה עלבון; זה חותם זמן. הטבלה של OpenBMB נבנתה סביב מודלים שהיו קיימים כשהמשקולות הועלו ב-6 בספטמבר 2026. הצ'קפוינט של מיקרוסופט הופיע ב-Hugging Face ב-18 בנובמבר 2026, שבעים ושלושה ימים לאחר מכן, בלי הכרזה ושלושה לייקים. איש לא העמיד את השניים זה לצד זה, כי ביום הראשון לחייו איש לא יכול היה. MiniCPM5-2B, לעומת זאת, הוא המודל המורד ביותר במחלקה הזו בפער ניכר — כ-966,000 הורדות לעומת אפס של Aion.

אז זו לא השוואה בין שני מודלים שנמדדו. זו השוואה בין מודל שהגיע עם לוח תוצאות ועם קהל מעריצים לבין מודל שהגיע עם קובץ קונפיגורציה ועם הבטחה לגבי ינואר 2027. בהמשך נעשה שימוש במספרים שפרסמה OpenBMB עבור MiniCPM5-2B היכן שהם קיימים, בכרטיס של Microsoft עבור Aion-1.0-Instruct-2.3B, ונאמר בפשטות כאשר לתא אין דבר בו.

שני מודלים בני שניים וחצי מיליארד פרמטרים שאינם נראים דומים זה לזה

גדלי הכותרות קרובים מספיק כדי להזמין השוואת מפרטים, ואז גיליונות המפרט מסרבים להתיישר.

• פרמטרים — MiniCPM5-2B הוא 2.52B בסך הכול, מתוכם 1.98B אינם פרמטרי הטמעה; Aion-1.0-Instruct-2.3B הוא 2.29B כאשר הטמעות הקלט והפלט מקושרות זו לזו.

• עומק — 42 שכבות עבור MiniCPM5-2B, בארכיטקטורת LlamaForCausalLM סטנדרטית; 28 שכבות עבור Aion, בקוד מידול מותאם אישית שמצריך trust_remote_code.

• קשב — 16 ראשי שאילתה ו-2 ראשי מפתח/ערך עבור MiniCPM5-2B; 24 ראשי שאילתה ו-8 ראשי מפתח/ערך במימד ראש 128 עבור Aion, לאורך תבנית היברידית של 21 שכבות חלון הזזה ב-2,048 אסימונים ו-7 שכבות קשב מלא.

• הקשר — 131,072 טוקנים לעומת 32,768.

• שפות — אנגלית וסינית עבור MiniCPM5-2B; שמונה שפות עבור Aion, עם נתונים רב-לשוניים בכ-6% מהאימון.

• רישיון — Apache 2.0 לעומת MIT. שניהם מתירניים, ושניהם בטוחים לשימוש מסחרי.

• אקוסיסטם — GGUF, MLX, GPTQ, צ'קפוינטים מסוג base, SFT, midtrain וטיוטה, בתוספת מערכי הנתונים לאימון, לעומת safetensors והבטחה שבנייות מכומתות יגיעו בהמשך.

השורה האחרונה היא המקום שבו הפער מפסיק להיות קשור לאיכות המודל. MiniCPM5-2B היא גרסה שאפשר לפרוס בארבע סביבות הרצה שונות כבר אחר הצהריים. Aion-1.0-Instruct-2.3B היא גרסה שאפשר לפרוס בסביבת הרצה אחת, עם מאגר אחות ONNX-WebGPU שהועלה באותו ערב, ופורמט GGUF שמופיע בכרטיס אך נעדר מרשימת הקבצים.

המספרים ש-OpenBMB פרסמה, ואלה שהיא לא פרסמה

הכרטיס של MiniCPM5-2B טוען למעמד של המוביל בקוד פתוח בקטגוריית 2B, ו{{1}}לאחר מכן, באופן יוצא דופן,{{/1}} מציג {{2}}את ההוכחות{{/2}} על פני 35 מבחנים בתשע קטגוריות. הנתונים הבולטים: AIME 2025 עם 86.5, AIME 2026 עם 86.5, MMLU-Pro 70.8, GPQA-Diamond 70.2, IFEval 86.7, LiveCodeBench v6 69.1, SWE-bench Verified 46.4, BFCL v4 66.6, τ²-Bench Telecom 97.1, AA-LCR 59.0 ו-NoLiMa 68.1.

הכרטיס גם מפרסם ממוצע מסכם על פני כולם — 53.9 עבור MiniCPM5-2B, 51.1 עבור Qwen3.5-4B, 42.7 עבור Granite 4.2 3B, 33.2 עבור LFM2.5-2.6B. אלה הן הרצות של כלי ההערכה של הספק עצמו על בחירת הבנצ'מרקים שלו, והבחירה מעדיפה בדיוק את מה שהמודל אומן עבורו: שימוש בכלים אגנטיים, קידוד, הקשר ארוך. ספק שבוחר את המבחנים יכול לבחור את הדירוג. יש לקרוא את הטבלה כהצהרה על סדרי עדיפויות באימון — שהיא כנה לגביהם — ולא כפסק דין בלתי תלוי, כפי שהיא אינה.

מה שכרטיס המודל של MiniCPM5-2B אינו מכיל הוא כל בנצ'מרק שבו מופיע Aion-1.0-Instruct-2.3B, ומה שכרטיס המודל של Aion אינו מכיל הוא אף אחת מתשע הקטגוריות של MiniCPM5-2B. החפיפה אמיתית אך צרה: MMLU-Pro, ‏GPQA, ‏IFEval וגרסאות AIME הם המקומות היחידים שבהם שתי הטבלאות שפורסמו מדברות באותה שפה, וגם שם תצורות ההרצה שונות. בשורות המשותפות הללו הפער רחב — 70.8 לעומת 33.35 ב-MMLU-Pro, ‏70.2 לעומת 28.18 ב-GPQA — אך זהו השוואה בין מודל שאומן לחשיבה ולעבודה סוכנית ובין מודל שאומן להבנת מסמכים ולשכתוב, והמספרים אומרים בדיוק את זה.

כשהכנות של Aion היא כל הסיפור

המאפיין המעניין בכרטיס של Microsoft אינו הציונים שלו. אלא העובדה שהציונים אינם מחמיאים והכרטיס מפרסם אותם בכל זאת, בטבלה שמציינת גם את מודל השופט שלו, את מערך ההרצה שלו, ושני בנצ'מרקים שהגדרות הניקוד שלהם גורמות להם להיראות טובים יותר ממה שהכותרת מרמזת. כרטיס שנכתב כדי למכור משהו אינו כולל שורה שבה כתוב MMLU-Pro 33.35.

ציון 33.35 ב-MMLU-Pro אינו מספר שצוות השקה בוחר בו. גם 28.18 ב-GPQA אינו כזה. עצם הופעתם היא עדות לכך שהטבלה הזו יצאה מצינור הערכה ולא מצינור שיווקי, וזו סיבה אמיתית לסמוך על הטענות הסובבות — חלון האסימונים של 32,768, שמונת השפות, מועד חיתוך הידע 2025-12, ומספר הפרמטרים 2.29B שנגזר מתצורת הטמעה קשורה.

אותה כנות נוכחת גם במגבלות. הכרטיס אומר בגלוי שמודל בגודל כזה "עלול להחמיץ פרטים עדינים, לספק אמירות שגויות או להפגין חוסר יכולת לבצע הסקה מורכבת רובת-שלבים", שהוא "לא אומן להצטיין בידע עולמי", וששאיכות הפלט משתנה בין שמונה השפות. השוו זאת לטבלה של 35 מבחני ייחוס הטוענת לביצועים מתקדמים ביותר, ואתם מסתכלים על שתי תאוריות שונות לגבי מה תפקידו של כרטיס מודל. אף אחת מהן אינה לא ישרה. האחת היא טענת יכולת והאחרת היא גילוי.

הפיץ' של עיבוד על-המכשיר, ומלכודת ההקשר הארוך

הניסוח של מיקרוסופט חד-משמעי: Aion Instruct הוא "מודל השפה הקטן (SLM) הבסיסי באקוסיסטם של Windows", שנבנה עבור משימות טקסט ומשימות מערכת הפעלה על המכשיר, כאשר גרסה חזקה יותר ובנוסף לה מודל לסינון תוכן יהפכו ל-SLM של מערכת ההפעלה Windows עד סוף ינואר 2027. ההעלאה מתוארת כ"הקדמה למה שעתיד לבוא".

המיצוב של MiniCPM5-2B רחב יותר: עוזרים מקומיים, סוכני קידוד, זרימות עבודה של שימוש בכלים והסקה, בטלפונים, במחשבים אישיים ובקוקפיטים חכמים, עם מערך אימון לסוכנים של 500,000 דגימות ויותר מ-80,000 דגימות RL שמשוחרר לצד המשקולות. זהו מודל שנבנה לפעול, לא רק להשיב.

פער ההקשר של 131K מול 32K הוא המקום שבו ההבדל הזה מורגש בצורה החזקה ביותר, ול-MiniCPM5-2B יש את הקבלות: AA-LCR 59.0 ו-NoLiMa 68.1 הם בנצ'מרקים להקשר ארוך, שניהם הורצו על ידי הספק, ושניהם פורסמו עם הסמן הוויזואלי שכרטיס הדגם שלו משתמש בו לתוצאות שנמדדו על ידי שופט. ל-Aion יש חלון של 32,768 טוקנים שהקונפיגורציה שלה עצמה מרמזת שהוא מושג באמצעות YaRN scaling מטווח מקורי של 2,048 טוקנים, ובלי שום הערכה של הקשר ארוך. אם עומס העבודה כרוך במסמכים ארוכים, הבחירה כבר נעשתה עבורך, והיא נעשתה על ידי הראיות ולא על ידי מספר הפרמטרים.

מערכי סוכנים הם המקום שבו ההשוואה משנה צורה

MiniCPM5-2B אומן עבור לופים של כלים: 500 אלף דגימות SFT של סוכנים, RL בסגנון GRPO על משימות ניתנות לאימות, ושורות בנצ'מרק עבור SWE-bench Verified, Terminal-Bench, BFCL וריצת τ³ בתחום הבנקאות. Aion-1.0-Instruct-2.3B מתעד פורמט לקריאה לכלים ואינו מפרסם בנצ'מרק סוכני, משום שהוא נבנה לסיכום, שכתוב וצ'אט על מערכת הפעלה.

כדאי לחשוב על האסימטריה הזו מבחינה ארכיטקטונית ולא כעל ציון. לולאת סוכן אינה קריאת מודל אחת; היא תוכנית, קריאת כלי, תוצאה, תכנון מחדש, ולעיתים קרובות חוות דעת שנייה, וכל שלב הוא בקשה נפרדת עם השהיה והסתברות כשל משלו. זו השכבה שבה הניתוב מפסיק להיות הערת שוליים בתשתית ומתחיל להיות חלק מהעיצוב. אצל OrcaRouter, מיזוג מודלים מריץ פאנל של מודלים על אותה בקשה ומשלב את תשובותיהם, וה-routing DSL שלו מרכיב כמה מודלים לקריאה אחת — שני הפרימיטיבים שחשובים כשהצורה "מודל קטן אחד, תשובה אחת" אינה מתאימה למשימה. לא Aion-1.0-Instruct-2.3B ולא MiniCPM5-2B נמצאים בקטלוג שלנו היום, מכיוון ששניהם משקלים באירוח עצמי ולא נקודות קצה מתארחות; הטענה היא על הבקשות שהסוכן המקומי שלך אינו יכול להשלים לבדו, ולא על שני הצ'קפוינטים האלה.

הגרסה המעשית: השתמשו במודל הקטן לשלבים הזולים, והפכו את מסלול ההסלמה למפורש במקום לקוות שמודל ה-2B יעשה זאת נכון בניסיון הרביעי. מודל כמו MiniCPM5-2B עם 46.4 ב-SWE-bench Verified מרשים לגודלו ועדיין טועה יותר ממחצית מהפעמים, ושום מידת הנדסת פרומפטים לא משנה את האריתמטיקה של לופ בן חמישה שלבים.

מה שאפשר למעשה לאמת היום

זה המשפט שמכריע את רוב ההשוואות האלה. עם MiniCPM5-2B אפשר להוריד קובץ GGUF, לטעון אותו ב-llama.cpp, להריץ את פקודות הבנצ'מרק של הכרטיס עצמו, ולבדוק אם משחזרים 86.5 ב-AIME. עם Aion-1.0-Instruct-2.3B אפשר להוריד safetensors מסוג bfloat16, להתקין transformers 5.x, לאשר trust_remote_code=True, ולהריץ את אותה מערכת בדיקה על אחד-עשר הבנצ'מרקים שלה — מה שכרוך ביותר עבודה אבל בהחלט אפשרי, ואף אחד בציבור לא עשה זאת.

מה שאינך יכול לעשות עם Aion הוא להריץ אותו בסביבת ההרצה שסביר ביותר שתהיה במחשב שאליו אתה מכוון. הכרטיס מפרט את GGUF כשם ספרייה; המאגר מכיל safetensors, קובצי טוקנייזר, שני מודולי מידול מותאמים אישית ותבנית צ'אט. מאגר האח ONNX-WebGPU קיים, מה שהופך פריסה בדפדפן וב-DirectML לאפשרית, אבל בניין GGUF מובטח ולא מסופק. אם יעד הפריסה שלך הוא llama.cpp או LM Studio, הקובץ החסר הבודד הזה הוא כל ההחלטה עד שהוא יופיע.

שני דברים נוספים שכדאי שתבדוק בעצמך במקום לסמוך עליהם. ראשית, חלון ה-32K: מלא אותו וראה אם זנב המסמך שורד את שכבות החלון המחליק. שנית, מסלול קריאות הכלים: הפורמט של Aion עוטף סכמות וקריאות בתגים מותאמים אישית, והשאלה עד כמה הוא מתאושש בחן מקריאה פגומה אינה משהו שכרטיס יכול לספר לך.

A screenshot of OpenBMB's MiniCPM5-2B model card, showing the 2.52B total and 1.98B non-embedding parameter counts, 42 layers, a 131,072-token context, the 35-benchmark table with AIME 2025 86.5, MMLU-Pro 70.8, GPQA-Diamond 70.2, SWE-bench Verified 46.4, AA-LCR 59.0 and NoLiMa 68.1, and the GGUF, MLX and GPTQ checkpoints listed alongside.

הכרטיס של OpenBMB הוא היחיד מבין השניים שמפרסם בכלל תוצאות הקשר ארוך ותוצאות סוכניות — AA-LCR 59.0, NoLiMa 68.1, SWE-bench Verified 46.4 — לצד חלון של 131,072 טוקנים וארכיטקטורת Llama סטנדרטית.

שני מקרי שימוש כנים

בחר ב-MiniCPM5-2B عندما تتضمن המשימה כלים, קוד, מסמכים ארוכים או סינית. הכרטיס שלו נכתב עבור המשימות האלה, מדדי הביצועים שלו מכסים אותן, הכימותים שלו קיימים, והרישיון שלו הוא Apache 2.0. הסיכון הוא שהטענה לחזית הטכנולוגיה מבוססת על סט ההשוואה של הספק עצמו, ומודלים עם 2 מיליארד פרמטרים בלולאות סוכן עדיין נכשלים בדרכים שעולות טוקנים אמיתיים.

בחר ב-Aion-1.0-Instruct-2.3B כאשר המשימה היא אפליקציית Windows שמסכמת, משכתבת או מסווגת מסמכים מקומיים באחת משמונה שפות, במצב לא מקוון, כאשר הנתונים לעולם אינם עוזבים את המכשיר. הוא קטן יותר מבחינת חלון ההקשר, חלש יותר בכל מדד משותף, ומגובה בכרטיס שאומר זאת. מה שהוא מציע הוא חוזה מתועד על המכשיר ונתיב סביר אל תוך מערכת ההפעלה עד ינואר 2027 — ובינתיים, מספר קטן מאוד של אנשים שהריצו אותו.

ההשוואה תיקרא אחרת בעוד חודש. אם יופיע GGUF, ההתנגדות בנוגע ל-runtime תיעלם. אם תופיע הרצה של harness עצמאי, המספרים יפסיקו להיות של מיקרוסופט בלבד. אף אחד מהדברים האלה עדיין לא קרה, ולהעמיד פנים אחרת הוא הדבר היחיד שהכתבה הזו לא יכולה לעשות.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description as the foundational Small Language Model in the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35 and GPQA 28.18, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

הכרטיס של Microsoft, שמציג את הציונים החלשים של עצמו ומתייג את הגדרות הניקוד הרופפות — הסיבה לסמוך על טענות המפרט גם במקרים שבהם טענות הבנצ'מרק אינן מרשימות.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, MMLU-Pro 33.35, GPQA 28.18, safetensors only and 0 downloads, against MiniCPM5-2B, with 2.52B total parameters, a 131,072-token context, MMLU-Pro 70.8, GPQA 70.2, GGUF, MLX and GPTQ formats and about 966K downloads. Footnoted that both columns are vendor-reported and neither model has an independent evaluation.

לוח התוצאות לפי הראיות הקיימות: 35 בנצ'מרקים שפורסמו וארבעה פורמטי ריצה מצד אחד, 11 בנצ'מרקים ו-safetensors מצד שני.