Nemotron 3.5 Bolt 24GB: מה NVIDIA באמת שמה בקובץ של 24GB

המספר בכותרת אינו מספר הפרמטרים. זה מספר הבתים. ב-15 באוקטובר 2026 שחררה NVIDIA NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, מודל סוכן חזותי-לשוני ש-74 מיליארד הפרמטרים שלו תופסים 23.75GB בפורמט שרוב האנשים יורידו בפועל — GGUF בנפח 22.02GB בתוספת קובץ מקרן חזותי בנפח 1.73GB. שני הנתונים מגיעים מרשימת הקבצים של המאגר שפורסם עצמו, לא מפוסט הבלוג, והם הסיבה לכך שהשם מסתיים במספר. זה מה שהמספר הזה קונה, מה שהוא מסתיר, ומה שהוא לא כולל.

מה שוחרר, ומתי

חדר החדשות של NVIDIA הציג את 15 באוקטובר כהרחבת משפחה ולא כהשקת דגם בודד: Nemotron 3.5 Super VL, מודל מולטימודלי בן 120 מיליארד פרמטרים עם 12 מיליארד פרמטרים פעילים, הגיע לצד צ'קפוינט Bolt, ואח קטן בהרבה, Nemotron 3.5 Bolt E4B 4GB, מתוארך ל-23 באוקטובר. Bolt מצטרף ל-Nemotron 3.5 Lightning (אוגוסט) ול-Nemotron 3 Ultra במשפחה שכיום מכסה הסקה במרכזי נתונים, הגשה בתפוקה גבוהה וסוכני קצה מקומיים.

השחרור אכן חדש, והוא גם מעט ישן יותר מההכרזה. מאגר Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB נוצר ב-7 באוקטובר 2026; כרטיס המודל שבתוכו נושא תאריך שחרור של 15 באוקטובר, אותו תאריך שבו גם עמוד המחקר של NVIDIA עצמה מסומן "Published". שמונה ימים שבהם קבצים ישבו לעיני הציבור לפני מילה אחת של הסבר הם דפוס רגיל עבור ספק שמשיק בתיאום אמברגו עם חומרה — מחשבי נייד RTX Spark מתוארכים ל-16 באוקטובר, יום לאחר ההכרזה — וכדאי לדעת איזה חצי מהרשומה הציבורית של המודל בא מהחלטה שיווקית ואיזה בא מרישום קבצים.

איך 74 מיליארד פרמטרים נכנסים ל-24 גיגה-בייט

שני מנגנונים, והם ניתנים להפרדה.

הראשון הוא מבני. Bolt אינו מודל קטן יותר שאומן מאפס; הוא מודל האב Super 3.5 VL שנדחס באמצעות אלגוריתם ש-NVIDIA מכנה Star Elastic, חיפוש ארכיטקטורה מונחה-נתב שהיה צריך לעמוד באילוץ אחד — טביעת רגל לפריסה מתחת ל-24GB בגודל אצווה 1 ובחלון הקשר של 128K — תוך אובדן מינימלי ככל האפשר של דיוק זיקוק ידע. מה שהוא יצר הוא מודל היברידי מסוג תערובת מומחים של 74B סה"כ / 9B פעילים, כאשר ה-top-K של המומחים קבוע על 9, בעוד שהמודל האב השתמש ב-22. הניסוח של NVIDIA עצמה לתוצאה הוא בוטה וניתן לבדיקה: בתקציב זיכרון קבוע, דחיסת מודל גדול עדיפה על אימון מודל קטן.

השני הוא דיוק, ושם נמצא רוב החיסכון.

• משקולות מומחים — שכבות FC1 ו-FC2 מנותבות ומשותפות, מכומתות ל-IQ2_XXS ב-2.0625 סיביות לרכיב, שמהוות את עיקר המודל לפי מספר הפרמטרים.

• שכבות Mamba — NVFP4, פורמט נקודה צפה של 4 סיביות, ורק בשכבות שבהן הדיוק הנוסף מצדיק יותר בתים.

• אמבדינגים, ראש הפלט, קשב ומשקלות ה־MoE הלטנטיים — Q8_0.

• התאוששות — דיסטילציה מודעת-כימות במקום מעבר עיגול-להקרוב בדיעבד, שמהווה את ההבדל בין מודל דחוס למודל שבור.

קִראו את אלה יחד וה־"24GB" מפסיק להיות סיכום שיווקי והופך להקצאת תקציב. המומחים של 2 סיביות זולים לכל בית ומרובים; השכבות שחשובות ליציבות נשארות עם 4 או 8 סיביות.

הנתון של 24GB, לאחר בדיקה מול הקבצים

הטענה עומדת בביקורת, מה שלא תמיד נכון.

• משקלי GGUF — 22,018,326,528 בייטים, או 22.02GB עשרוני, בקובץ בודד.

• מקרן חזון — 1,733,692,736 בתים, או 1.73GB, נשלח בנפרד בתור mmproj, וזו הדרך שבה llama.cpp מקבל קלט של תמונות וווידאו.

• גרסת Safetensors — אותו מודל בפלחים מוכנים ל-vLLM מסתכם ב-24.12GB על פני 90 קבצים, מעט מעל הנתון הכותרתי.

• רפרנס BF16 — 149.8GB על פני 63 רסיסים, פורסם בנפרד לכל מי שרוצה לבצע כוונון עדין במקום לבצע הסקה.

על כל אלה מונחות שתי הסתייגויות כנות. ראשית, משקלים אינם מודל שרץ. מתכון ה-vLLM ש-NVIDIA מפרסמת מקבע את מטמון ה-KV ל-fp8 ומגדיר את ההקשר המוגש ל-262,144 טוקנים עם max-num-seqs 1 — רצף מקבילי בודד. זה ההבדל בין להיכנס ל-24GB לבין לרוץ מהר בתוך 24GB, וזה בדיוק מסוג הפרטים שכותרות גודל הזיכרון לעולם אינן נושאות. שנית, 24GB הוא המספר שניתן לחיפוש הארכיטקטורה, ולא מספר שנמדד במכונה שלך: תקורת מנהלי ההתקן, מערכת ההפעלה וכל מה שעוד נמצא על המחשב הנייד — כולם מחוץ לו, וזו בדיוק הסיבה שהמסר השיווקי הוא "להרצה לצד האפליקציות שלך" ולא "להרצה במקומן".

טענת המהירות, והמכונה שעליה היא נמדדה

NVIDIA תוכננה למהירות של לפחות 80 טוקנים לשנייה ומדווחת על 83.99 ב-AIPerf SPEED-Bench-Coding. למספר הזה דרושים שלושה חלקי הקשר לפני שהוא אומר משהו: הוא הופק עם llama.cpp ב-Windows 11 ARM x64, על Surface Laptop Ultra עם 128GB זיכרון, עם המנסח הספקולטיבי LiLiCorr מצורף ושבעה טוקנים מנוסחים בכל צעד. המנסח אינו קישוט אופציונלי — הוא צ'קפוינט נלווה של 1.13B שכל מטרתו היא להעלות את אורך הקבלה (NVIDIA מדווחת על ממוצעים של 4.68 בפענוח חמדני ו-4.25 עם דגימה במקביליות 64 ב-vLLM). הסר את המנסח ותמדוד מודל אחר.

הנתון השני של המהירות הוא המעניין יותר, מפני שהוא זמן השלמה ולא קצב: 600.80 שניות של משך הפעלה חוזרת ב-AA-AgentPerf Local, לעומת 453.97 עבור Qwen3.6 35B-A3B, 480.68 עבור Gemma 4 26B-A4B ו-1,043.28 עבור Qwen3.8 27B — הכול מהטבלה של NVIDIA עצמה, הכול על אותה חומרה. Bolt מנצחת בשורה הזו בכך שהיא מסיימת את אותם מסלולי סוכן מהר יותר ממודל קטן יותר, ומפסידה בשורת התפוקה לשני האחרים עם 83.99 לעומת 96.63 ו-100.56 אסימונים לשנייה. מהיר וזריז אינם אותה מדידה, וזהו מודל שמחליף את הזריזות במהירות.

מה שאומרת המדידה העצמאית

מספר אחד ברשומה הציבורית על Bolt לא הופק על ידי NVIDIA: מדד ה-Artificial Analysis Intelligence Index נותן לו ציון של 21, מה שממקם אותו במקום הרביעי מבין 67 מודלים בקטגוריה שלו. אותו פאנל גם לא מדווח על מהירות ולא על עלות עבורו, כי אין API ציבורי לפנות אליו — והוא מפרט את מודאליות הקלט של המודל כטקסט ותמונה, לא וידאו, וזו פרשנות מצומצמת יותר מזו של הספק.

אותו עמוד מציין שהמודל יצר 230M טוקנים בזמן שהוערך, מה שהוא מתייג כוורבוזי מאוד לעומת חציון של 100M. הסקה שמייצרת יותר טוקנים באותה משימה אינה בהכרח גרועה יותר, אבל יש לה מחיר במכשיר מקומי שבו כל טוקן נוצר על ידי מאוורר.

כל דבר אחר שנמצא בתפוצה הוא דיווח של הספק. הטבלה של NVIDIA עצמה עם שלושה־עשר מבחנים, שבה Bolt מוביל בקטגוריית הזיכרון שלו ב-PinchBench וממוקם שני ב-WebArena וב-BrowseComp, משווה מול מודלים שנבחרו בין השאר משום שהם נכנסים ל-24GB ב-4-bit — קבוצת עמיתים שמוגדרת לפי אילוץ ש-Bolt תוכנן לעמוד בו. זה לא חוסר יושר; זה גם לא דירוג של מודלי סוכנים באופן כללי, והתא האחד שהולך בכיוון ההפוך הוא מלמד: ב-16.90 בדיוק של AA-Omniscience, Bolt מפגר אחרי Gemma 4 26B-A4B עם 22.17 באותה טבלה.

מה לא נמצא בקופסה

אין נקודת קצה. אין תעריף מדוד, אין ספק שמגיש אותה, ואין דרך להעריך אותה על התעבורה שלך בלי להשלים את הפריסה. מה שכן קיים במקום זה הוא תמיכת ריצה שנחתה עם השחרור ולא חודשים לאחר מכן: llama.cpp ונקודת הביקורת GGUF,‏ Ollama,‏ LM Studio,‏ Unsloth לכוונון עדין, ו-vLLM עבור נקודת הביקורת המכומתת על DGX Spark ונקודת הביקורת BF16 במקומות אחרים. הבלוג של NVIDIA עצמה מפרט את חמשת אלה בשמם, והרוחב הוא המוצר האמיתי כאן — קובץ של 24GB מועיל רק אם הדבר שטוען אותו כבר קיים במכונה שלך.

היקף החומרה רחב יותר ממה שמשתמע מסיפור יום ההשקה על מחשבים ניידים RTX Spark: מחשבי GeForce RTX, ‏DGX Spark, ‏DGX Station ותחנות עבודה RTX PRO כולם מוזכרים, וכרטיס המודל מפרט את Ampere, Hopper ו-Blackwell עבור מסלול vLLM.

הרישיון הוא OpenMDW-1.1, שהוא מתירני דיו כדי לבנות עליו, ולא מוכר דיו עד כדי כך שסקירה משפטית היא צעד של ממש ולא פורמליות גרידא — כדאי לדעת זאת לפני שהחלטה ארכיטקטונית תלויה בו.

מעידה בהעתק־הדבק בבלוג הטכני של NVIDIA עצמה מציבה את רשימת הצ'קפוינטים תחת הכותרת "Nemotron 3.5 Super VL 74B-A9B 24GB" ולא תחת Bolt. זוהי שגיאת הקלדה בשילוח מהיר, לא פיצול במשפחה, אך היא תזכורת שימושית לכך שדפי ספקים שנכתבים ביום ההכרזה הם בגדר טיוטות שעליהן מתנוסס תאריך פרסום.

עבור צוותים שקוראים גם למודלים שאינם בבעלותם

החצי המקומי של סטאק סוכנים והחצי המתארח הם בדרך כלל אותו פרויקט, ו-Bolt מטפל רק באחד מהם. OrcaRouter לא מארח שום צ'קפוינט של Nemotron — זה נבדק מול הקטלוג שלנו במקום להניח — כך שאין כאן פיץ' למודל שאנחנו מספקים. מה שאנחנו עושים הוא הצד השני של פריסה משולבת: מפתח אחד ליותר מ-200 מודלים במחיר המחירון של הספק עם אפס תוספת, מעבר אוטומטי לגיבוי כאשר ספק מתערער באמצע בקשה, ו-DSL לניתוב לתיאור שרשרת גיבוי כתצורה במקום קוד יישום. אם Bolt מריץ את החצי המקומי, זה החצי שלעולם לא מופיע בחשבון; שאלת הניתוב היא מה קורה לשאר.

מה לצפות

שלושה דברים יכריעו את המוניטין של המודל הזה, ואף אחד מהם לא נמצא בהכרזה.

הראשון הוא השהיה בלתי תלויה על חומרה אמיתית. 83.99 טוקנים לשנייה של NVIDIA הוא מדד מבוקר עם מודל טיוטה ספקולטיבי מצורף; מישהו בסופו של דבר יפרסם מה הוא עושה על מחשב נייד שמריץ דפדפן ועורך בו-זמנית, והמספר הזה יהיה חשוב יותר מזה. השני הוא וריאנט E4B ב-23 באוקטובר, שבוחן האם מתכון הדחיסה מתאים גם בקנה מידה קטן יותר או עובד רק בגודל אחד. השלישי הוא האם מישהו מחוץ ל-NVIDIA מבצע פוסט-אימון לנקודת הביקורת BF16 — מכיוון שארטיפקט פריסה של 24GB עם רישיון פתוח וארטיפקט התאמה אישית של 150GB לצידו הוא שחרור דו-מסלולי מכוון, והמסלול השני הוא זה שקובע אם זה הופך לפלטפורמה או לנקודת ביקורת.

לעת עתה העובדה עומדת בפני עצמה. סוכן מולטימודלי בעל 74 מיליארד פרמטרים נכנס לזיכרון של מחשב נייד שעולה פחות מתחנת עבודה, פועל בקצב של כ-84 טוקנים לשנייה עם מודל טיוטה מצורף, מקבל ציון 21 במדד העצמאי היחיד שמדד אותו, ואיש אינו יכול לקרוא לו כ-API. זהו שילוב ספציפי ויוצא דופן, וכדאי לדייק לגבי איזה חצי ממנו אתה צריך.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.