כרטיס כותרת שנוצר, שעליו כתוב NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB לעומת Google Gemma 4 26B A4B, עם פאנלים שעליהם כתוב Artificial Analysis Intelligence Index 21 לעומת 17, סך הפרמטרים והפרמטרים הפעילים 74B ו-9B לעומת 25.2B ו-3.8B, דיוק מקורי של 2 ביטים לכל משקל לעומת 16-ביט עם גרסאות 4-ביט, והקשר של 262,144 אסימונים בשניהם. הערת שוליים מציינת שנתוני Artificial Analysis Index נמדדו באופן עצמאי, שכל ציון בטבלת ההשוואה של NVIDIA עצמה מדווח על ידי הספק, ושאין צד שלישי שפרסם הרצת השהיה על הצ'קפוינט של 24GB.
Engineering & Research

Nemotron 3.5 Bolt 74B מול Gemma 4 26B A4B: שמונה נקודות אינדקס ואי-התאמה ברוחב סיביות

מחבר

Alistair Wren

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

כבר יש השוואה ראש-בראש בין N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GBלבין G​oogle Gemma 4 26B A4B, ו-N​VIDIA פרסמה אותה. היא מופיעה בטבלת הבנצ'מרקים בכרטיס הדגם של Bolt, שבה עמודת G​emma היא קו בסיס שהחברה בחרה. קריאה מדוקדקת של הטבלה הזו היא הדרך המהירה ביותר להבין מהם באמת שני המודלים האלה, כי שני הצ'קפוינטים לא מתחרים על אותה משימה, והמסגור של הספק עצמו אומר זאת בקול רם: מודלי ההשוואה נבחרו בשל היכולת שלהם להיכנס לתוך 24GB של זיכרון עם כימות של 4 סיביות. Bolt נכנס לתוך 24GB בדרך אחרת — 2.0625 סיביות לכל משקל בשכבות המומחים שלו — והפער בין שתי האסטרטגיות האלה הוא כל הסיפור.

שני המספרים שבכותרת אמיתיים. Artificial Analysis מדדה את Bolt ב-21 במדד Intelligence Index שלה, ואת Gemma 4 26B A4B — בתצורת ההסקה שלו — ב-17. אף אחד מהנתונים אינו מגיע מספק, ושניהם היו זמינים בדפי המודלים של הפאנל בזמן כתיבת שורות אלה.

ההשוואה ש-N​VIDIA ערכה, והעמודה שהיא בחרה

הטבלה של N​VIDIA עבור Bolt כוללת ארבעה עמודות: Qwen3.6-35B-A3B ב-BF16, Gemma 4 26B-A4B ב-BF16, N​emotron 3.5 Lightning 30B-A3B ב-BF16, ו-Bolt ב-IQ2. כל מספר בה מדווח על ידי הספק ולא שוחזר על ידי אף גורם עצמאי. הנה עמודת G​emma לעומת זו של Bolt, בנצ'מרק אחר בנצ'מרק.

• GDPVal-AA-V2 — G​emma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — G​emma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE ללא כלים — G​emma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, B​olt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• אחזור הקשר ארוך AA-LCR — Gemma 57.56, Bolt 64.06

• PinchBench — Gemma 74.70, Bolt 87.82

• חזון WebArena — G​emma 38.2, Bolt 50.86

• דיוק AA-Omniscience — G​emma 22.17, Bolt 16.90. G​emma מנצחת בשורה הזו, וזו השורה היחידה בטבלה שבה זה קורה.

• אי-הזיה ב-AA-Omniscience — Gemma 14.22, Bolt 61.27. זהו הפסד גדול וספציפי לשושלת של Gemma, וכדאי לעצור על כך: מדד אי-ההזיה של Omniscience מעניש מודל שעונה בביטחון כאשר הוא לא יודע משהו, והגרסה של Gemma שתועדה כאן מקבלת בערך רבע מהנתון של Bolt.

הסתייגות אחת חלה על כל הבלוק. NVIDIA הריצה את כולו, כולל עמודת Gemma, על בילד BF16 של Gemma מול בילד 2-bit של המודל שלה, ואז דיווחה על התוצאה בכרטיס המודל שלה.

שתי נקודות ביקורת, שני משטרי דחיסה

Gemma 4 26B A4B הוא מוצר שהושק, ועומדת מאחוריו כבר שנת שימוש. הוא נחת ב-Hugging Face ב-11 במרץ 2026 תחת רישיון Apache 2.0, עם 25.2 מיליארד פרמטרים בסך הכול ו-3.8 מיליארד פעילים לכל טוקן, עם מחסנית קשב היברידית המשזרת שכבות חלון הזזה מקומיות עם שכבות גלובליות, חלון הקשר של 256K, תמיכה מובנית בהנחיית מערכת ויכולות ראייה בכל גודל במשפחה. זהו מודל שאפשר לקחת, לכמת בעצמכם ל-4 סיביות ולהריץ, וכבר קיים אקוסיסטם גדול של כימותים מוכנים מראש.

Bolt הוא תוצאת דחיסה העוטה כרטיס דגם. N​VIDIA לקחה את Nemotron 3.5 Super VL 120B-A12B — צ'קפוינט מולטימודאלי מאותו דור — והריצה עליו את Star Elastic, חיפוש ארכיטקטורה מונחה-ראוטר שחייב לעמוד בתקציב פריסה קשיח, במקרה הזה מתחת ל-24GB בגודל אצווה 1 ובחלון הקשר של 128K. ה-top-K של המומחים ירד מ-22 במודל האב ל-9. משקלי המומחים עברו לאחר מכן כימות ל-IQ2-XXS ב-2.0625 ביטים לרכיב, עם זיקוק מודע לכימות כדי להשיב את הדיוק, שכבות Mamba הושארו ב-NVFP4, שכבות ההטמעה והפלט ב-Q8_0, ומגדל הראייה חובר מחדש לאחר מכן.

התוצאה היא 74 מיליארד פרמטרים בקובץ של 24GB. זו אינה קוונטיזציה של מודל ששוחרר; זו רשת בעלת צורה שונה, שעבורה בוצע חיפוש תחת אילוץ זיכרון ולאחר מכן אומנה לשחזר.

למה רוחב הסיביות חשוב יותר מהפרמטרים

הצבו את השניים זה לצד זה והקריאה האינטואיטיבית היא שמודל 74B מנצח מודל 26B. הקריאה הזו כנראה נכונה במקרה הזה, והיא גם לא החלק המעניין, כי שני המודלים מתבקשים לעשות דברים שונים עם אותם 24GB.

• פרמטרים — Bolt 74B סה״כ, 9B פעילים לכל טוקן. Gemma 4 26B A4B: 25.2B סה״כ, 3.8B פעילים לכל טוקן.

• ארכיטקטורה — Bolt: LatentMoE היברידי Mamba-2–Transformer עם מקודד ראייה C-RADIO v4-H. G​emma: MoE עם קשב היברידי מקומי/גלובלי עם מגדל ראייה, ובגדלים אחרים במשפחה, אודיו.

• דיוק מאוחסן — Bolt מגיע באופן מקורי ב-2.0625 סיביות לכל משקל מומחה. המאגר של Gemma הוא 16-ביט, כאשר גרסאות 4-ביט ואימון מודע לכימות פורסמו בנפרד.

• הקשר — Bolt תומך בעד 256,000 טוקנים. Gemma 4 26B A4B: 256,000 טוקנים. השורה הזו היא תיקו, וזה מפתיע אנשים שמניחים שמודל ה-2-bit ויתר כאן על משהו. הוא לא ויתר.

קלטים — Bolt מקבל טקסט, תמונות וווידאו. Gemma 4 26B A4B מקבל טקסט ותמונות; וידאו מגיע כפריימים, ואודיו מוגבל לחברי המשפחה הקטנים יותר.

• רישיון — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, כאשר לצידו ניצבת מדיניות השימוש האסור של G​oogle.

• פענוח ספקולטיבי — Bolt מגיעה עם דראפטר LiLiCorr, המחובר דרך DFlash עם שבעה טוקנים ספקולטיביים במתכון הייחוס של NVIDIA. ל-Gemma 4 26B A4B אין דראפטר מסופק על ידי הספק; חיזוי רב-טוקני מופיע במודלים מכווננים עדין של הקהילה ולא בגרסת הבסיס.

ההשלכה המעשית של שורת הדיוק היא שההורדה של Bolt היא כבר הקטנה. אין עוד בילד 2-ביט למצוא, כי בילד ה-2-ביט הוא המודל. ה-26B של Gemma הוא צ'קפוינט 16-ביט שמצופה ממך לדחוס, וגרסת ה-4-ביט שרוב האנשים יגישו בפועל היא המרה שמישהו עשה ממנו.

כאשר הדגם הקטן יותר הוא הקנייה המשתלמת יותר

הטבלה של NVIDIA עצמה נותנת ל-Gemma שני דברים שראוי להתייחס אליהם ברצינות. דיוק AA-Omniscience נוטה לטובת Gemma עם 22.17 לעומת 16.90, והקריאה הישרה של זה היא שכיווץ ל-2 סיביות גבה מחיר מדיד מהשליפה העובדתית גם לאחר זיקוק. כל מי שעומס העבודה שלו אנציקלופדי ולא סוכני צריך לתת לשורה הזו משקל רב.

רישוי הוא השני. Apache 2.0 היא האפשרות הפחות מוגבלת הזמינה לפריסה מסחרית, ואילו OpenMDW-1.1, אף שנכתב להיות מתירני ואושר במפורש על ידי NVIDIA לשימוש מסחרי, הוא כלי חדש יותר שסביבו פחות ספרות ואין החלטות בתי משפט שמפרשות אותו. צוותים משפטיים ראו בעבר אחד מאלה ולא את האחר.

השלישי הוא בגרות. את Gemma 4 26B A4B ניתן להוריד מאז מרץ ולקרוא לו מנקודת קצה מתארחת מאז האביב. גרסאות מכומתות, כיוונונים עדינים, מתכוני הגשה ושחזורי בנצ'מרק — כולם קיימים. המאגר של Bolt עלה לאוויר באוקטובר. לא פורסם דבר עצמאי על ההשהיה שלו, ואין כימותים קהילתיים שאפשר להישען עליהם, כי אין מה לכמת.

רביעית, וקל לפספס: הדגמים האחים של G​emma בגודל 21B ומטה תומכים באודיו באופן מובנה. אם הפייפליין כולל דיבור, ה-26B A4B הוא הדגם הלא נכון מבין בני משפחתו, ואף דגם של N​emotron אינו הנכון.

A screenshot of the Hugging Face repository page for nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB, showing the model title, the Image-Text-to-Text task label, the Transformers, Safetensors, PyTorch and 8-bit precision tags, the nemotron_h_omni architecture tag, and an accuracy chart headed Benchmark Accuracy Across Open Models that opens the description on the model card.

מה העלות בפועל של החזקת כל אחד מהם

ל-Bolt אין מחיר, וזו אינה שגיאה בנתונים. אין נקודת קצה מתארחת עבורו בשום מקום, אין תעריף מחויב בדף המודל של Artificial Analysis עבורו, ואין ספק שמשרת אותו. להריץ אותו משמעו להחזיק במכונה, והמתכון הרפרנסי של NVIDIA הוא סוף שבוע ולא אחר צהריים: תמונת vLLM nightly מוצמדת, חבילת הקרנל b12x, תוסף מנתח הסקה (reasoning-parser) שנטען כקובץ נפרד, ואז הגדרות מפורשות עבור ה-v2 model runner, ה-backends הלינאריים וה-MoE, ה-backends של ה-attention וה-Mamba, סוגי ה-cache של Mamba, chunked prefill וקונפיגורציית speculative-decoding שמצביעה על ה-LiLiCorr drafter.

ל-Gemma 4 26B A4B יש מחיר בשני מקומות. בקטלוג שדרכו אנחנו מנתבים, google/gemma-4-26b-a4b-it רשום במחיר של $0.06 למיליון טוקני קלט ו-$0.33 למיליון טוקני פלט, בחלון הקשר של 262,144 טוקנים, עם זמן p50 עד לטוקן הראשון בסביבות 2.8 שניות — זה נתון שמדדנו בעצמנו בשבעת הימים האחרונים, לא טענה של ספק. Artificial Analysis עוקב אחר תמהיל ספקים שונה עבור אותו מודל ורושם $0.10 בקלט ו-$0.40 בפלט, וזה מסוג הפערים שמעידים שהמחיר הוא תכונה של נקודת הקצה ולא של המשקולות. שני המספרים כנים; הם מחירים של דברים שונים.

OrcaRouter מציב את המודלים שאנחנו כן מנתבים מאחורי מפתח אחד במחיר המחירון של הספק עם 0 אחוזי תוספת, כך שהורדת מחיר של ספק על מודל מנותב נכנסת לתוקף אצלנו באותו היום, ומעבר אוטומטי בין ספקים (failover) פירושו שבעיית קיבולת במעלה הזרם מנוסה שוב במקום להיחשף בפני המשתמשים שלך. אנחנו לא מארחים שום צ׳ק פוינט של Nemotron — הקטלוג נבדק ולא הונח כמובן מאליו, והמשפחה הזו אינה נמצאת בו — כך שבעמוד הזה הערבויות האלה מכסות את חצי ה-Gemma של ההשוואה ושום דבר מעבר לכך. מה שהן שוות בפועל הוא דרך לנסות את המודל הקטן יותר על תנועה אמיתית בלי חוזה נוסף, בזמן שאתם מחליטים אם הגדול יותר שווה את החומרה.

בחירה בין קובץ לשירות

ההשוואה הזו אינה צמודה מבחינת יכולות, וזה גם לא אמור להיות כך. Bolt הוא מודל גדול יותר ובעל יכולות גבוהות יותר, שעבר דחיסה חזקה ואינו ניתן להשכרה. Gemma 4 26B A4B הוא מודל חלש יותר במקצת שאפשר לשכור היום, ושחולשותיו מתועדות בידי אנשים שאין להם אינטרס בו.

בחר ב-Bolt אם עומס העבודה כולל צילומי מסך, קובצי PDF, פריימים של וידאו או דפדפן, אם הוא צריך לפעול ללא רשת, ואם מכונה עם מאיץ בדרגת Blackwell כבר נמצאת בחדר. קבל את העובדה שאתה זה שיגלה את התפוקה שלו, כי אף אחד לא פרסם אותה. בחר ב-Gemma 4 26B A4B אם אתה רוצה מודל טקסט ותמונה שאתה יכול לשלם עליו לפי מיליון טוקנים כבר אחר הצהריים, אם אתה צריך Apache 2.0, או אם שליפה עובדתית על מערך שאלות רחב חשובה יותר מהשלמת משימות סוכניות.

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs Google Gemma 4 26B A4B. The left column reads Intelligence Index 21 independently measured, parameters 74B total and 9B active, stored precision 2.0625 bits per expert weight, context 262,144 tokens, inputs text images and video, and vision benchmark 50.86. The right column reads Intelligence Index 17 independently measured, parameters 25.2B total and 3.8B active, stored precision 16-bit with separate 4-bit builds, context 262,144 tokens, inputs text and images, and vision benchmark 38.2. A footer notes that the Index and price figures are independently sourced and that every benchmark row is vendor-reported by NVIDIA against a BF16 Gemma baseline.

המדידה שתכריע את העניין היא זו שאיש עוד לא ביצע: הרצה בלתי תלויה של תפוקה ושהיה על הצ'קפוינט של 24GB, והרצה חוזרת בלתי תלויה של הטבלה של NVIDIA עם Gemma מכומתת לאותם 4 ביטים שהיצרן אומר שבחר בהם. עד שהם יתקיימו, הטיעון בעד Bolt נשען על טבלת יצרן ועל מספר פרמטרים, והטיעון בעד Gemma נשען על שנה של תוצאות של אנשים אחרים.

A screenshot of the OrcaRouter model page for Gemma 4 26B A4B, showing the google/gemma-4-26b-a4b-it model ID, a 262K-token context badge, text, image and video input modalities with vision, tool and JSON support, a published rate of 0.06 dollars per million input tokens and 0.33 dollars per million output tokens, and a p50 time to first token of 2.83 seconds.

השוואות כמו זו הן גם המקום שבו מצבי הכשל מתגלים: תקריות AI מתועדות וכשלי סוכנים שמאחורי מודלים מהסוג הזה נאספים בארכיון תקריות AI של OrcaRouter, שבו כל רשומה נושאת את מקורותיה, החומרה, דירוג הביטחון ודגל המחלוקת שלה.