כרטיס כותרת שנוצר עם הכיתוב 'Aion-1.0-Instruct-2.3B vs Gemma 4 12B' וכתובית המשנה 'פי חמישה מהמשקלים ופי עשרה מהראיות', מעל השוואת פסים אופקית של 2.29B מול 11.95B פרמטרים ושלושה תגים: 'יום אחד של ראיות קהילתיות', '7 חודשים של ראיות קהילתיות' ו'שניהם לפי דיווח הספק'.
Guides & Insights

Aion-1.0-Instruct-2.3B לעומת Gemma 4 12B: פי חמישה משקלים ופי עשרה הוכחות

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הציבו Aion-1.0-Instruct-2.3B לצד G​emma 4 12B והפער בפרמטרים הוא הדבר הפחות מעניין בהם. נקודת הבידוק של מיקרוסופט היא בת 2.29 מיליארד פרמטרים והיא עלתה ל-Hugging Face ב-18 בנובמבר 2026 בלי שום הודעה; זו של G​oogle DeepMind היא בת 11.95 מיליארד, ברישיון Apache 2.0, וניתנת להורדה מאז מאי 2026 עם כרטיס מודל שמציג טבלת הערכה מלאה וקהילה שכבר הורידה את המשקולות יותר ממיליון פעמים. הפער המעניין הוא שאחד מהמודלים האלה נבחן בידי זרים והאחר לא נבחן בידי אף אחד.

זוהי השוואה בין שתי מהדורות פתוחות ולא בין שני ממשקי API, ולכן כל טענה להלן ניתנת לבדיקה על ידי הורדת משהו. הנתונים של Aion-1.0-Instruct-2.3B מגיעים מכרטיס המודל ומקובץ ה-config.json במאגר שלו, ושניהם נקראו ישירות היום. הנתונים של G​emma 4 12B מגיעים מכרטיס המודל של G​oogle, ומספרי הבנצ'מרק שלו הם של היצרן עצמו — מדווחים, ולא משוחזרים באופן עצמאי, וזו הבחנה שחשובה לשני המודלים כאן.

טבלת ההשוואה שאיש לא מצליח למלא באופן מאוזן

שישה ממדים, שני הצדדים, והערה במקום שבו לצד אחד פשוט אין מה לשים בתא.

• פרמטרים — Aion-1.0-Instruct-2.3B הוא ~2.29B צפוף עם הטמעות קשורות; G​emma 4 12B הוא 11.95B צפוף לאורך 48 שכבות.

• רישיון — MIT עבור Aion, Apache 2.0 עבור G​emma. מבחינה מסחרית, שניהם למעשה ללא הגבלות; MIT פשוט יותר במידה מזערית לציות, מפני שהוא אינו כולל הענקת פטנט שצריך לשקול.

• הקשר — 32,768 אסימונים לעומת 256K, הבדל של פי שמונה שקובע אם מאגר שלם נכנס לפרומפט אחד.

• קלטים — טקסט בלבד לעומת טקסט, תמונה ושמע, כאשר הטריק המגדיר של G​emma 4 12B הוא שאין לו מקודדים נפרדים: פיסות תמונה וצורות גל קול מוקרנות ישירות אל מרחב ההטמעה של הפענח.

• שפות — שמונה עבור Aion (אנגלית, גרמנית, ספרדית, פורטוגזית, איטלקית, צרפתית, סינית, יפנית, עם נתונים רב־לשוניים בכ־6% מהאימון); למעלה מ־140 נטענות עבור G​emma.

• הערכה שפורסמה — Aion: 11 מבחנים על גבי מערכת בדיקות בשם מוגדר, כולם הורצו על ידי הספק. G​emma: יותר מ-15 מבחנים בתוספת שורות של ראייה, שמע והקשר ארוך, כולם הורצו על ידי הספק.

מה אומרים אחד־עשר המספרים של מיקרוסופט

כרטיס ה-Aion גלוי יותר מרוב השחרורים השקטים. הוא מציין שהבנצ'מרקים הורצו על lm-evaluation-harness של EleutherAI כאשר קיים מימוש למשימה, ואחרת על המאגר של כל בנצ'מרק עצמו, ש-GPT-4o שפט את אלו התלויים בשופט, ולאחר מכן מציג את הציונים: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

שניים מאלה כוללים הסתייגות בעמודת ההערות — GSM8K היא "התאמה רופפת", IFBench היא "רופפת ברמת הפרומפט" — והכרטיס אינו מסתיר אותן. זה סוג החשיפה שצוות שיווק מסיר וצוות הערכה משאיר. זה גם אומר שיש לקרוא את המספרים כרצפה ולא כמסר שיווקי: 33.35 ב-MMLU-Pro ו-28.18 ב-GPQA אינם נתונים שמישהו היה בוחר להוביל איתם.

הכרטיס ישיר באותה מידה לגבי מה שהמודל אינו יכול לעשות. בסעיף המגבלות שלו נאמר שמודל קטן בגודל הזה "עלול להחמיץ פרטים עדינים, לספק אמירות שגויות, או להראות חוסר יכולת לבצע הסקה מורכבת מרובת שלבים", ובסעיף ההמלצות נאמר שהמודל "לא אומן להצטיין בידע עולמי". אלה מילות הספק, לא שלנו, והן תואמות את הציונים ולא סותרות אותם.

לאן באמת הולכים תשעת מיליארד הפרמטרים הנוספים של G​emma

הכרטיס של G​emma 4 12B מפרט MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 ללא כלים 77.5, LiveCodeBench v6 72.0, Codeforces ELO 1659, Tau2 בממוצע על פני שלוש הרצות ב-69.0, BigBench Extra Hard 53.0 ו-MMMLU 83.4. הוא גם מציג MMMU Pro 69.1 ו-MATH-Vision 79.7 עבור ראייה, CoVoST 38.5 ו-FLEURS 0.069 עבור אודיו, ו-55.3 ב-RULER ב-128K.

השוואתן ישירות לטבלה של Aion תהיה לא ישרה, כי כמעט אף אחד מהבנצ'מרקים אינו משותף, מערכות ההרצה שונות, ואחד הוא מודל טקסט בלבד שנמדד מול מודל מולטימודלי במשימות שמתגמלות אימון שונה. מה שכן אפשר לומר הוא כיווני ובוטה: בשתי השורות שבהן שמות הבנצ'מרקים חופפים, MMLU-Pro ו-MMMLU, Gemma מדווחת על 43.8 ו-37.9 נקודות יותר בהתאמה. זו אינה מוזרות של ניקוד. זה מה ש-9.7 מיליארד פרמטרים נוספים ושבעה חודשים נוספים של אימון לאחר האימון קונים.

ההבחנה השימושית יותר היא מה ש-G​emma עושה עם הגודל שלו. מנגנון הקשב ההיברידי שלו משזר שכבות של חלון הזזה מקומי בגודל 1,024 טוקנים עם קשב גלובלי מלא, והשכבות הגלובליות חולקות מפתחות וערכים ומיישמות RoPE פרופורציונלי — הנדסה שמכוונת ישירות לשמירה על זיכרון הקשר ארוך שטוח. Aion עושה דבר דומה בהיקף קטן יותר עם חלון הזזה של 2,048 טוקנים ב-21 מתוך 28 השכבות שלו. שני המודלים פותרים את אותה בעיה; לאחד יש תקציב גדול פי חמישה כדי לפתור אותה.

טביעת הרגל היא העמודה היחידה שבה Aion מנצח באופן מוחלט

ברמת דיוק bfloat16, המודל Aion-1.0-Instruct-2.3B תופס כ-4.6 GB. G​emma 4 12B תופס בערך 24 GB לפני שנוגעים בכלל במכמת, מה שמציב אותו על GPU של תחנת עבודה או על מחשב נייד שעבר כימות כבד, ולחלוטין מחוץ לטלפון. זו אינה ביקורת על G​emma — הוא מעולם לא נועד לטלפון — אבל זו כל הסיבה שהמודל של Microsoft קיים. המסגור של הכרטיס הוא Windows על המכשיר: משימות טקסט ומערכת הפעלה, על המכונה, כשהנתונים לעולם לא יוצאים ממנה.

ההסתייגות הכנה היא שחלון ה-32K מושג באמצעות סקיילינג, ולא באמצעות אימון באורך. התצורה מתעדת original_max_position_embeddings של 2,048 עם מקדם YaRN של 16 בשכבות הקשבה מלאה בלבד, ולא פורסמה הערכה של המודל בהקשר ארוך. לכן "32K" הוא תקרה מוגדרת, ולא יכולת מוכחת. ל-G​emma עם 256K יש לפחות שורת RULER מאחוריה, שהורצה על ידי הספק ועומדת על 55.3 — צנוע, אך קיים.

החלטת הפירוק לגורמים, לא החלטת המודל

שני אלה שייכים לשכבות שונות של אותו מוצר, וזה בדרך כלל האופן שבו צוותים מגיעים להשתמש בהם. Aion-1.0-Instruct-2.3B מטפל במעבר שעל המכשיר: השחרה, תמצות, כתיבה מחדש, סיווג, ושמירת המסמך באופן מקומי. G​emma 4 12B מטפל במקרים שדורשים קריאת צילום מסך, תמלול קליפ אודיו, בסיס קוד של 100K טוקנים שנשמר בהקשר, או שפה מחוץ לשמונה של Aion. אף אחד מהם לא מחליף את השני, והטעות שיש להימנע ממנה היא לבחור במודל הקטן למשימה שדורשת את הגדול כי הקטן חינמי להורדה.

כששניהם נקראים מאותו בסיס קוד, העלות התפעולית אינה הטוקנים — אלא ה-SDK השני, מדיניות הניסיון החוזר השנייה וקבוצת פרטי הכניסה השנייה. כאן נתב מצדיק את מקומו: OrcaRouter מציב 200+ דגמים מאחורי מפתח אחד בתוספת של 0% מעל מחיר המחירון של הספק, עם מעבר אוטומטי לגיבוי ו-DSL לניתוב שיכול לשלוח בקשה בשרשרת של דגמים ולא לדגם אחד. ליתר דיוק לגבי מה שכן ומה שלא נמצא בקטלוג שלנו היום: משפחת G​emma 4 נוכחת חלקית — הגרסאות 26B A4B ו-31B רשומות — בעוד G​emma 4 12B ו-Aion-1.0-Instruct-2.3B לא רשומים, כי הראשון הוא מהדורת משקלים באירוח עצמי ולשני אין נקודת קצה באירוח בשום מקום. טיעון הניתוב חל על כל דגמי אחות של הדגמים האלה שתערבבו איתם בסופו של דבר, ולא על שני הצ'קפוינטים האלה עצמם.

פקודת פריסה שנכשלת בבטחה

התחל עם G​emma 4 12B על עומס העבודה שכבר יש לך, כי אתה יכול למדוד אותו. הכרטיס שלו נותן לך מכנה, המשקלים שלו יציבים, וכל רגרסיה שאתה רואה היא הרגרסיה שלך ולא ארטיפקט של העלאה מלפני שלושה ימים.

אז קח את Aion-1.0-Instruct-2.3B והרץ אותו מול הפרוסה הצרה שאותה אתה מתכוון להעביר למכשיר — נניח סיכום שרשור דוא"ל או השחרת מסמכים — באמצעות הנתונים שלך ורף הדיוק שלך. אל תשתמש ב-MMLU שלו כפרוקסי למשימה שלך; כרטיס המודל עצמו מזהיר שהוא לא אומן לידע עולמי, וציון 55.15 ב-MMLU מספר לך יותר על טריוויה מאשר על האם הסיכומים שלך ישרדו סקירה.

רק אז החלט אם המעבר המקומי מחליף קריאה לשירות מתארח או עומד לפני קריאה כזו. הדפוס שעובד הוא המשעמם: מודל קטן מבצע את המעבר הראשון באופן מקומי, עם סף ביטחון, כשהמקרים הקשים מועברים למשהו גדול יותר. זה מעניק לך את תכונת הפרטיות על רוב התעבורה ושומר על תקרת האיכות במקום שבו היא צריכה להיות.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

הכרטיס של Google מציג את המספרים שאליהם הכרטיס של Aion עדיין לא יכול להיות מושווה בצורה הוגנת: MMLU Pro 77.2, GPQA Diamond 78.8, MMMU Pro 69.1 וחלון של 256K, הכול כפי שדווח על ידי הספק.

מה יהפוך את זה למאמר אחר?

הרצת harness עצמאית של Aion-1.0-Instruct-2.3B תעשה את העבודה. בזמן כתיבת שורות אלה למאגר היו שלושה לייקים ואפס הורדות מתועדות, כך שאין שום עדות קהילתית — אין שרשורי פורום, אין גרסאות מכומתות ואין הערכות של צד שלישי. הכרטיס מבטיח שגרסאות מכומתות יגיעו בהמשך; כשקובץ GGUF יגיע, הסיפור המקומי מפסיק להיות תיאורטי ומנייני ההורדות מתחילים לומר משהו.

עד אז ההשוואה עומדת במקומה: G​emma 4 12B הוא גודל ידוע עם עלות אמיתית, ו-Aion-1.0-Instruct-2.3B הוא מודל קטן מאוד, חדש מאוד, מתועד בכנות, שתכונתו היקרה ביותר היא שהוא פועל במקום שבו הרשת לא מגיעה.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

הכרטיס של מיקרוסופט הוא המקור לספירת 2.29B הפרמטרים, לשמונה השפות הנתמכות ולמועד הידע של 2025-12; חותמות הזמן שלו הן אות השחרור היחיד שקיים.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

זה לצד זה: הממד שבו Aion מנצח (טביעת רגל) ואלה שבהם הוא לא (הקשר, מודאליות, שפות, ועומק הראיות שמאחורי המספרים).