כרטיס כותרת שנוצר המציג NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB מול NVIDIA Nemotron 3.5 Lightning 30B-A3B, עם פאנלים המציגים מדד אינטליגנציה 21.4 לעומת 12.9, מהירות פלט לא נמדדה לעומת 305 טוקנים לשנייה, הקשר 262,144 לעומת 1,000,000 טוקנים, ומחיר: לא פורסם לעומת 0.06 דולר בקלט ו-0.20 דולר בפלט למיליון טוקנים. כותרת תחתונה מציינת שהנתונים של Artificial Analysis נמדדים באופן עצמאי ושכל מספר בנצ'מרק של NVIDIA בהשוואה הוא מדווח על ידי הספק ולא משוחזר.
Engineering & Research

Nemotron 3.5 Bolt 74B מול Nemotron 3.5 Lightning 30B-A3B: אותו מתכון, שתי תקרות זיכרון

מחבר

Alistair Wren

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

זוהי ההשוואה היחידה בעץ המשפחה של NVIDIA Nemotron 3.5 שבה שני הצדדים נבנו על ידי אותו צוות לאותה משימה בשני גדלים שונים, והספק כבר הריץ בעצמו את ההתמודדות ראש בראש. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB וNVIDIA Nemotron 3.5 Lightning 30B-A3B שניהם צ'קפוינטים היברידיים של תערובת מומחים Mamba-2 עם ראשי פענוח ספקולטיבי, שניהם שוחררו תחת OpenMDW-1.1 לשימוש מסחרי, ושניהם מיועדים להרצה על ידי האדם שקורא עליהם ולא להשכרה ממרכז נתונים. Lightning שוחרר ב-11 באוגוסט 2026. המשקלים של Bolt הועלו ב-7 באוקטובר 2026 ו-NVIDIA הכריזה על כך ב-15 באוקטובר.

ההבדל טמון בתקרת זיכרון: 24GB עבור האחד, כ-16GB עבור האחר בגרסתו המקוונטטת, ושמונה הנקודות של Artificial Analysis Intelligence Index ביניהם הן מה שתקרה זו קונה.

מתכון אחד, פועל בשני גדלים

Lightning הגיע ראשון, והוא קבע את הצורה שכל דור ה-3.5 עוקב אחריה: מחסנית היברידית המשזרת בלוקים של מרחב-מצב של Mamba-2 עם שכבות תערובת-מומחים ושכבות קשב, ראשי חיזוי מרובי-טוקנים כך שהמודל יכול לנסח כמה טוקנים בבת אחת ולאמת אותם במקביל, ודרפטרים נלווים נפרדים — DSpark לפריסות מרכזי נתונים עם מקביליות נמוכה, DFlash, ומאוחר יותר הדרפטר LiLiCorr — שהופכים פענוח ספקולטיבי לתצורה נתמכת ולא לטריק מחקרי. זיקוק מהמורה N​emotron 3 Ultra הוא החצי השני של המתכון.

Bolt הוא אותו מתכון המכוון לתקציב הרבה יותר הדוק. 74B הפרמטרים שלו נדחסים ל-24GB על ידי Star Elastic, חיפוש הארכיטקטורה מונחה-הראוטר של NVIDIA, שלוקח נקודת ביקורת אב ומחפש את מספר המומחים לכל שכבה ואת רוחב ה-MoE הביניימי שמספקים טביעת פריסה קשיחה תוך מזעור אובדן זיקוק הידע. במקרה של Bolt החיפוש הוגבל מתחת ל-24GB בגודל אצווה 1 ובהקשר של 128K, ה-top-K של המומחים ירד מ-22 באב ל-9, ומשקולות המומחים עברו לאחר מכן כימות ל-IQ2-XXS ב-2.0625 סיביות לרכיב עם זיקוק מודע לכימות כדי לשחזר את הדיוק. שכבות Mamba נמצאות ב-NVFP4, שכבות ההטמעה והפלט ב-Q8_0.

המודל האב של Bolt אינו Lightning. הוא Nemotron 3.5 Super VL 120B-A12B, המודל הרב-מודלי בעל 120 מיליארד פרמטרים ש-NVIDIA השיקה באותו יום, ולכן Bolt מגיע עם מקודד חזותי C-RADIO v4-H ואילו Lightning לא.

A screenshot of the Hugging Face repository page for nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB, showing the model summary rows for 74B total parameters with 9B active, a Mamba-2 Transformer hybrid LatentMoE architecture with a C-RADIO v4-H vision encoder, IQ2 quantisation with quantization-aware training, up to 256K tokens of context, text images and video in with text out, and the OpenMDW-1.1 licence.

ניגוד המפרט, שני הצדדים על שורה אחת

• סך הפרמטרים והפרמטרים הפעילים — Bolt: 74B בסך הכול, 9B פעילים לכל טוקן. Lightning: 30B בסך הכול, בערך 3B פעילים לכל טוקן.

• ארכיטקטורה — Bolt: LatentMoE היברידי של Mamba-2–Transformer בתוספת מקודד חזותי C-RADIO v4-H. Lightning: Mamba-2 MoE היברידי עם קשב, ללא מגדל חזותי.

• דיוק וטביעת רגל — Bolt: IQ2 ב-2.0625 סיביות לרכיב, ארוז מתחת ל-24GB. Lightning: BF16, NVFP4 וגרסאות מכוימות אחרות מפורסמות בנפרד.

• הקשר — Bolt: עד 256,000 טוקנים, כאשר מתכוני פריסה בודדים חופשיים להשתמש בפחות. Lightning: עד 1,000,000 טוקנים באופן עקרוני, כאשר כ-256,000 הם התקרה המעשית ב-H100 בודד.

• קלטים ופלטים — Bolt: טקסט, תמונות ווידאו נכנסים, טקסט יוצא. Lightning: טקסט נכנס, טקסט יוצא.

• רישיון — OpenMDW-1.1 לשניהם, מאושר על ידי N​VIDIA לשימוש מסחרי ולא מסחרי.

• פענוח ספקולטיבי — Bolt: מנסח LiLiCorr באמצעות DFlash, שבעה טוקנים ספקולטיביים במתכון הייחוס. Lightning: ראשי MTP בתוספת מנסחי DFlash ו-DSpark.

• מדד האינטליגנציה — Bolt: 21.4, רביעי מתוך 67 בקבוצת הגודל שלו, נמדד באופן בלתי תלוי על ידי Artificial Analysis. Lightning: 12.9, נמדד באופן בלתי תלוי.

• מחיר — Bolt: אין תעריף מדוד בשום מקום; Artificial Analysis אינה מפרטת מחיר קלט או פלט ואין נקודת קצה מתארחת שפורסמה. Lightning: $0.06 למיליון טוקני קלט ו-$0.20 למיליון פלט כפי שמתועד על ידי Artificial Analysis, כאשר קלט במטמון עומד על כ-$0.006.

• מהירות פלט — Bolt: לא פורסמה מדידה עצמאית. Lightning: 305 אסימוני פלט לשנייה עם 0.57 שניות עד לאסימון הראשון, שניהם נמדדו באופן עצמאי, מה שנמנה עם המספרים המהירים ביותר בלוח של הפאנל.

ההשוואה ראש בראש של הספק עצמו, קראו בעיון

כרטיס המודל של N​VIDIA עבור Bolt מפרסם טבלה שבה Lightning הוא אחד משלושה קווי בסיס, וכדאי לקרוא אותה כטיעון ולא כלוח תוצאות, מפני שהחברה בחרה בנצ'מרקים שבהם המודל החדש שלה מנצח.

• Terminal-Bench 2.1 — Bolt 50.98 לעומת 23.46 של Lightning. שניהם הורצו על ידי הספק, ושניהם על גרסת ה-BF16 של Lightning.

• GPQA Diamond — Bolt 86.43 לעומת 75.57 של Lightning.

• BrowseComp — Bolt 66.75 מול 36.81 של Lightning.

• HLE ללא כלים — Bolt 25.30 לעומת 10.47 של Lightning.

• PinchBench — Bolt 87.82 לעומת 83.43 של Lightning, פער צר בהרבה מאשר אצל האחרים, ותואם את הטענה של NVIDIA ש-Bolt הוא המודל הפתוח מספר אחת במחלקה שלו במבחן הזה.

• אי-הזיה ב-AA-Omniscience — Bolt 61.27 לעומת 68.81 של Lightning. Lightning זוכה כאן, וזו השורה ש-N​VIDIA בחרה לפרסם בכל זאת, מה שמהווה נקודה לזכות הטבלה.

• דיוק AA-Omniscience — Bolt 16.90 לעומת 16.63 של Lightning. בפועל תיקו, וצמד המספרים החלש ביותר בטבלה במונחים מוחלטים.

כל נתון ברשימה הזו דווח על ידי הספק בכרטיס המודל ולא שוחזר. מאז מדדה Artificial Analysis את שני ציוני המדד באופן עצמאי — 21.4 ו-12.9 — והכיוון תואם, וזה המקסימום שניתן לומר היום.

כאשר המודל הקטן יותר הוא התשובה הטובה יותר

פער האינדקס הוא אמיתי, והוא אינו הציר היחיד. Lightning מנצחת בשלוש שורות שחשובות לפריסות ספציפיות.

זה מהיר יותר בפקטור שאיש לא מדד בצד של Bolt. 305 אסימוני פלט לשנייה עם זמן תת-שנייה לאסימון הראשון הם סוג אחר של היענות מכל מה שאפשר להניח שנקודת ביקורת 2-bit 74B שלא נמדדה מסוגלת כרגע להגיע אליו, וזה נמדד. התפוקה המפורסמת של Bolt עצמו, 83.99 אסימונים לשנייה ב-AIPerf SPEED-Bench-Coding עם ה-drafter LiLiCorr פעיל, מגיעה מדף המחקר של NVIDIA על מכונה בדרגת מחשב נייד ואינה ברת-השוואה למערכת של הפאנל.

יש לו הקשר גדול פי ארבעה. מיליון טוקנים מול 256,000, וההבדל בא לידי ביטוי בציון אחזור בלתי־תלוי להקשר ארוך: Lightning רושם 49.19 ב־AA-LCR בטבלה של N​VIDIA, Bolt 64.06 — Bolt טוב יותר בשימוש בהקשר ארוך, אבל Lightning הוא היחיד מבין השניים שמצהיר על חלון של מיליון טוקנים, כך שאם עומס העבודה הוא "לקרוא את כל המאגר", התקרה עשויה להיות חשובה יותר מאיכות האחזור שבתוכו.

זה היחיד מבין השניים עם מחיר. Lightning זמין במחיר של $0.06 לקלט ו-$0.20 לפלט למיליון טוקנים, מה שהופך אותו לתשתית ניתנת לקריאה ולא לפרויקט חומרה. איש לא פרסם תעריף אירוח עבור Bolt, כך שהדרך היחידה להריץ אותו היא להיות הבעלים של המכונה.

מה ש-Lightning לא מסוגל לעשות הוא לראות. הוא טקסט בלבד, ואילו Bolt מקבל תמונות ווידאו דרך המקודד C-RADIO v4-H, ומשיג 50.86 ב-WebArena vision, שבו ל-Lightning אין רשומה. אם הסוכן קורא צילומי מסך, פותח קובצי PDF או מפעיל דפדפן, השורה הזו לבדה מכריעה את הבחירה — והיא השורה שבאה מהורות ה-Super VL של Bolt ולא ממספר הפרמטרים שלו.

כמה זה עולה להריץ את Bolt בפועל

מתכון ה-serving הרפרנסי של NVIDIA עבור צ'קפוינט של 24GB אינו פקודה אחת שמדביקים. הוא מקבע image nightly ספציפי של vLLM, מתקין את חבילת הקרנל b12x ומוריד את הקרנלים, מביא בנפרד קובץ plugin של מפענח reasoning, ואז מגדיר את ה-model runner v2, את ה-backends linear ו-MoE ל-b12x, את ה-backends attention ו-Mamba ל-FlashInfer, dtypes מפורשים ל-Mamba cache, דגל chunked-prefill וקונפיגורציית speculative-decoding שמצביעה על ה-drafter LiLiCorr עם שבעה draft tokens. מפענחי tool-call ו-reasoning מצוינים במפורש, ומגבלות המדיה מגבילות כל בקשה לתמונה אחת ווידאו אחד עם קצב גיזום וידאו של 0.5.

סיפור הפריסה של Lightning הוא קונטיינר Docker, נקודת קצה תואמת OpenAI ושם מודל שאפשר לקבל גם מספק מתארח בשישה סנט למיליון טוקנים. בפועל, ההבדל הזה הוא כל ההשוואה: Bolt הוא סוף שבוע של עבודה ומכונה בבעלותך, Lightning הוא אחר צהריים וחשבונית.

איך לבחור, ומה יכריע את העניין

בחר ב־Lightning אם עומס העבודה שלך הוא טקסט, אם תקציב ההשהיה שלך הדוק, ואם צורכי ההקשר שלך גדולים או שאתה מעדיף לשלם לפי טוקן במקום לקנות חומרה. הפרופיל העצמאי שלו — מהירות הפלט הנמדדת המהירה ביותר בקטגוריה שלו, טוקן ראשון בפחות משנייה, ומחיר מפורסם — הופך אותו לאפשרות בעלת הסיכון הנמוך ביותר במשפחה, וציון הבינה הנמוך יותר מתומחר בהתאם. הוא גם ברירת המחדל הנכונה אם אתה מתכנן לזווג מבצע מקומי קטן עם מתכנן מתארח גדול יותר, וזו בדיוק הדרך שבה N​VIDIA ממקמת אותו.

קח את Bolt אם הסוכן שלך נוגע בפיקסלים או פועל ללא רשת. שורת הראייה היא בלעדית לו, היכולת ההסקתית בקנה מידה של 74B מקדימה בשמונה נקודות מדד, ומעטפת ה-24GB היא היחידה במשפחה שמסוגלת להכיל נקודת ביקורת מזוקקת ממורה בת 74B על מאיץ יחיד בדרגת צרכן. קבל את העובדה שאתה מריץ את המתכנן המתארח ב-GPU באופן מקומי, ומשלם על כך בזמן השהיה שאתה עדיין לא יכול לחזות.

עבור החלק המתארח של כל אחת מהארכיטקטורות, OrcaRouter מציב את המודלים שאנחנו כן מנתבים מאחורי מפתח יחיד במחיר המחירון של הספק עם 0 אחוזי תוספת, ומעבר אוטומטי (failover) בין ספקים משמעו שבעיית קיבולת במעלה הזרם מנוסה מחדש ולא מוצגת. איננו מארחים שום מודל N​emotron — הקטלוג נבדק ולא הונח כהנחה, והמשפחה אינה נמצאת בו — כך שהצד המקומי של השוואה זו אינו מושפע מדבר שאנו עושים. מה שתצורת ניתוב קונה הוא תוכנית ב׳ למתכנן בזמן שאתם מעריכים, וזה חשוב כאן משום שלאף אחד משני הצ׳קפוינטים האלה אין פרופיל השהיה עצמאי מפורסם שאפשר להתאים לפיו נתיב ייצור.

מה שיכריע את הבחירה הוא מספר אחד שעדיין לא קיים: הרצה בלתי תלויה של תפוקה וזמן השהיה על נקודת הביקורת של 24GB בגודל אצווה של 1. עד שמישהו יפרסם אותו, הטיעון בעד Bolt נשען כולו על שני הדברים שאין ל-Lightning יכולת להשתוות להם — היקף הפרמטרים וראייה — והטיעון בעד Lightning נשען על ארבעה מספרים שנמדדו באופן בלתי תלוי.

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs NVIDIA Nemotron 3.5 Lightning 30B-A3B — the scoreboard. The left column reads Intelligence Index 21.4, output speed not measured independently, context 262,144 tokens, vision text image and video in, no published price, and IQ2-XXS quantisation at 2.0625 bits per element. The right column reads Intelligence Index 12.9, output speed 305 tokens per second, context 1,000,000 tokens, text only with no vision tower, 0.06 dollars in and 0.20 dollars out per million tokens, and BF16 and NVFP4 builds. A footer notes that Artificial Analysis figures are independently run, all NVIDIA benchmark and throughput figures are vendor-reported and unreproduced, and no independent latency run on the 24GB checkpoint exists.A screenshot of the Artificial Analysis model page for Nemotron 3.5 Lightning, showing an Intelligence Index of 12.9, an output speed of about 305 tokens per second with a median time to first token under a second, a 1,000,000-token context window, and published input and output prices of 0.06 and 0.20 dollars per million tokens.

מה שהמספרים לא יכולים לספר לך הוא אם משהו מזה השתבש בשטח: תקריות ה-AI המתועדות וכשלי סוכנים סביב מודלים מהסוג הזה נאספים בOrcaRouter AI Incident Archive, שבו כל ערך נושא מקורות משלו, חומרה, דירוג ביטחון וסימון מחלוקת.