HiRO-ACEv2 מול Gemma 4 12B: ההשוואה מקבלת משמעות רק כשמפסיקים לספור פרמטרים

HiRO-ACEv2 וGemma 4 12B הם שניהם הורדות Apache 2.0 עם מספר בשם ודו"ח טכני מאחוריהם, ושם בערך נגמר הדמיון. Gemma 4 12B הוא המודל הלשוני המולטימודלי של Google עם 11.95 מיליארד פרמטרים — טקסט, תמונות ואודיו נכנסים, טקסט יוצא, חלון הקשר של 256K טוקנים, שוחרר ביוני 2026 והורד הרבה יותר ממיליון פעמים. HiRO-ACEv2 הוא אמולטור האקלים מהדור השני של Ai2, שהועלה למאגר Hugging Face ב-12 באוקטובר 2026 עם כ-10.9 GB של צ'קפוינטים ונתוני כפייה, בלי הודעה מוקדמת, ומאמר שהופיע למחרת. האחד הוא מודל לשימוש כללי שאתה קורא לו; האחר הוא מסגרת פיזיקלית שאתה מתקין ומריץ על המכונה שלך.

כשממסגרים את זה כהשוואה ראש בראש על איכות, ההתמודדות הזאת חסרת משמעות, ולהעמיד פנים אחרת יהיה הכשל הקל שאליו עמוד כזה עלול להיגרר. אבל כשממסגרים את זה כשאלה על מה משקולות פתוחות באמת קונות לך ב-2026, זה מאלף באמת — מפני ששני השחרורים נמצאים בקצוות מנוגדים של ספקטרום הפתיחות, אף ששניהם נושאים את אותו תג רישיון, וההבדלים מתגלים בשעה הראשונה של ניסיון להשתמש באחד מהם.

למה כל אחד מיועד, במשפט אחד לכל אחד

Gemma 4 12B מקבל פרומפט — טקסט, תמונה, קטע אודיו — ומייצר טקסט. יש לו ארכיטקטורה נטולת מגדל ראייה ונטולת מקודד, שמקרינה טלאי תמונה ישירות אל מרחב ההטמעה של מודל השפה דרך שכבות ליניאריות, 48 שכבות, אוצר מילים של 262K, חלון מחליק בגודל 1024 המשולב עם קשב, וכ-11.95 מיליארד פרמטרים ב-bf16. זהו מודל צפוף, והשחרור כולל טבלת בנצ'מרק מלאה מטעם היצרן.

HiRO-ACEv2 מקבל מצב אקלים ברזולוציה של 100 ק"מ ומייצר שדות ברזולוציה של 3 ק"מ — משקעים, רוחות מזרחיות וצפוניות בגובה 10 מטר, ולחץ ממוצע בגובה פני הים, בתדירות של אחת לשש שעות. זוהי מערכת דו-שלבית: אמולטור אוטו-רגרסיבי של X-SHIELD שעובר הגבסה לרזולוציה של 100 ק"מ, ואחריו מודל דיפוזיה שמבצע דאונסקיילינג של התוצאה לרזולוציה של 3 ק"מ. הוא מפיק שדות מסורגלים בסגנון NetCDF, לא טקסט, ואין לו כלל טבלת בנצ'מרק.

זה כל ההשוואה במונחים מבניים. האחד ממפה שפה לשפה. האחר ממפה אווירה גסה לאחת עדינה.

המימד היחיד שבו השניים באמת ניתנים להשוואה

פרמטרים הם הציר הלא נכון, ואורך ההקשר חסר משמעות עבור אחד מהם. הממד שכן עובר הוא כמה מהשחרור הושלם.

• מסגרות שיכולות לטעון אותו — Gemma 4 12B פועל על Transformers, vLLM, SGLang, llama.cpp, MLX וזנב ארוך של בניות קהילתיות מכוילות; HiRO-ACEv2 פועל דרך חבילת ה-Pythonfme של Ai2 עצמה, עם קונפיגים שמכוונים למאגר ai2cm/ace ולא לשום דבר אחר.

• המחיר של תשובה אחת — Gemma 4 12B מוגש במחיר של כ־0.10 דולר למיליון טוקני קלט ו־0.30 דולר למיליון טוקני פלט על ידי הספקים שמפעילים אותו; ל-HiRO-ACEv2 אין מחירון, מפני שאין בו שום דבר שנמדד לפי בקשה. העלות שלו היא שעות GPU על החומרה שלך, והטענה של המאמר היא ששעות אלה מסתכמות ביותר מפי 300 פחות מאשר מודל מספרי גלובלי קונבנציונלי לפתרון סופות.

• מי שחזר על כך — המספרים של Gemma 4 12B מדווחים על ידי הספק, אך הפריסה שלה אינה כזו: מאות אלפי הורדות וגוף גדול של עבודת מתרגלים עצמאית עומדים מאחורי כל טענה בדבר האופן שבו היא מתנהגת; המספרים של HiRO-ACEv2 הם של המחברים עצמם, בני יומיים בלבד, ולמאגר יש אפס הורדות נכון לכתיבת שורות אלה.

• למה מוצמדת תגית הרישיון — שניהם Apache 2.0. ההענקה של Gemma 4 12B היא הרישיון הרגיל; ההענקה של HiRO-ACEv2 מגיעה עם הנחיות השימוש האחראי של Ai2, שמציינות כוונת מחקר וחינוך, ועם תנאי שימוש חלים משלה שמתווספים מעליהם.

• פלט שניתן לבדוק אותו באופן מכני — תשובה של Gemma 4 12B נבדקת על ידי קריאתה, או על ידי חבילת בדיקות שאתה כותב; שדה HiRO-ACEv2 נבדק מול התפלגות, וזו הסיבה שהמאמר עוסק באחוזון ה-99.9999 ולא בציון ממוצע.

טבלת הבנצ׳מרק היא ההבדל הבולט ביותר

Google פרסמה טבלה מלאה עבור Gemma 4 12B Unified. MMLU Pro ב-77.2%, AIME 2026 ללא כלים ב-77.5%, LiveCodeBench v6 ב-72.0%, דירוג ELO ב-Codeforces של 1659, GPQA Diamond ב-78.8%, MMMLU ב-83.4%, MMMU Pro ב-69.1%, MATH-Vision ב-79.7%, ואת נתון MRCR v2 eight-needle של 43.4% ב-128k. אלה המספרים של היצרן עצמו, שלא שוחזרו על ידי המתחרים של Google, וחלה ההסתייגות הסטנדרטית: בנצ'מרק בכרטיס דגם הוא טענה לגבי תצורה, לא מדידה של הדגם שתריצו. אבל כל אחת מהשורות האלה היא מספר שצד שלישי יכול לנסות להפריך בתוך אחר צהריים, וכמה מהן מודדות יכולות שמופיעות בשימוש רגיל.

הכרטיס של HiRO-ACEv2 אינו מכיל טבלה כזו. הוא מציג הצהרה כמותית אחת — שהדאונסקיילר משחזר קצב משקעים על פני השטח, רוחות בגובה 10 מטרים והתפלגויות לחץ בגובה פני הים עד לאחוזון ה-99.9999 — ולאחר מכן מפרט מגבלות שהן אינפורמטיביות יותר מרוב טבלאות הבנצ'מרק. תשע שנים של נתוני אימון, 2014 עד 2022. פלטים המשחזרים את X-SHIELD ולא תצפיות. אין תחולה מחוץ ל-66°S עד 70°N, ואין יכולת לפעול מעבר ל-88°S או 88°N. אי-רציפויות בגבולות טלאים באזורים גדולים יותר מטלאי האימון בגודל 16 על 16 ברזולוציית מעלה אחת. הערה שנקודת הביקורת ACE2S-X-SHIELD הכלולה נבדקה פחות ביסודיות מאשר סדרת ACE2-ERA5 הקודמת.

אף אחת מהעמדות אינה לא-ישרה. גוגל מוכרת מודל, ולכן היא מפרסמת את מה שהמודל משיג. Ai2 מפרסמת חפץ מחקרי, ולכן היא מפרסמת את מה שהחפץ אינו יכול לעשות. קורא שמתייחס להיעדר טבלת בנצ'מרק כראיה למודל חלש, ההיגיון שלו הפוך — הקריאה הנכונה היא שההערכה שהמסגרת הזו צריכה היא התפלגותית, ואף לוח תוצאות ציבורי לא מריץ אותה.

היכן שהם נפגשים בפייפליין אמיתי

יש מקום אחד שבו שני הדברים האלה באמת שייכים לאותו משפט, וזה לא יריבות. זרימת עבודה של אמולציית אקלים מייצרת כמות גדולה של טקסט וקוד סביבה: תסריטים שמריצים אנסמבל על פני עשורים של ריצות, כלים שמאמתים צורות NetCDF לפני שריצה שורפת שעות GPU, צבירה של סטטיסטיקות התפלגות על פני מאות הרצות, והעבודה הרגילה של הפיכת מאמר לצ'קליסט. שום דבר מזה אינו דאונסקיילינג, וכל זה הוא עבודת מודלי שפה — מהסוג שבו קריאה למודל בכל בקשה, ולא אירוח של מודל, היא ברירת המחדל הסבירה.

זו השכבה ש-OrcaRouter מכסה. HiRO-ACEv2 אינו בקטלוג שלנו ולא יכול להיות — אין נקודת קצה מחויבת לפי טוקנים עבור מנמיך דיפוזיה — לכן אין לקרוא בדברים כאן כהצהרת זמינות לגביו. Gemma 4 12B גם אינו אחד ממודלי G​emma שאנו מגישים כיום; הקטלוג שלנו כולל את הצ'קפוינטים Gemma 4 26B-A4B ו-31B, ומסלול ההסקה של 12B יגיע מהמקום שבו תארחו אותו. מה שאנו מציעים הוא השכבה הסובבת: מפתח API אחד עבור יותר ממאתיים מודלים, מחיר המחירון של הספק מועבר כמו שהוא ללא תוספת מחיר, ומעבר אוטומטי לגיבוי בין ספקים כך שצינור עיבוד שנמשך על פני עשורים, אשר גם קורא למודל שפה, לא ייתקע בגלל שלאחד מהספקים במעלה הזרם הייתה שעה רעה.

איך להחליט בפחות מדקה

שאל איזו צורה לובשת התשובה שלך. אם הפלט הוא טקסט, חילוץ מובנה, שינוי בקוד או כיתוב, אתה רוצה את Gemma 4 12B — או אחד מאחיו הגדולים יותר — וה-12B במיוחד הוא הבחירה הנכונה כאשר אתה זקוק לקלט מולטימודלי בגודל שמתאים למאיץ בודד עם מקום להקשר ארוך. אם הפלט הוא שדה משובץ ברזולוציית 3 ק"מ המתאר משקעים, רוח ולחץ על פני עשורים של אקלים מדומה, שום מודל שפה לא יפיק אותו ו-Gemma 4 אינו רלוונטי לבעיה שלך; אתה רוצה את HiRO-ACEv2, הורדה של 10.9 GB, סביבת Python ו-GPU.

המלכודת בהשוואה המסוימת הזו היא מספר הפרמטרים. ל-Gemma 4 12B יש אחד; HiRO-ACEv2 לא מפרסמת אחד, ו-10.9 GB של אחסון במאגר הם בעיקר נתוני כפייה ותנאי התחלה ולא משקלים — שתי נקודות הביקורת יחד הן כ-4.3 GiB. שיפוט שני המודלים האלה זה לצד זה לפי גודל, או לפי כל מספר בודד, מייצר תשובה בטוחה לשאלה שאיש לא שאל.

גם בהשוואות כמו זו מתגלים מצבי הכשל: התקריות המתועדות ב-AI וכשלי סוכנים מאחורי מודלים בקטגוריה הזו נאספים ב-OrcaRouter AI Incident Archive, שם כל רשומה נושאת את מקורותיה, החומרה, דרגת הוודאות ודגל המחלוקת שלה.