Nemotron 3.5 Bolt 24GB לעומת Nemotron 3.5 Bolt 74B: מודל אחד, שני ארטיפקטים

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

מה הם בעצם שני הארטיפקטים

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

שניהם מתוארכים ל-15 באוקטובר 2026 בכרטיסי המודל שלהם. שניהם נושאים את אותו רישיון OpenMDW-1.1, את אותו חלון הקשר של 256,000 אסימונים, את אותו עמוד שדרה Mamba-2 היברידי LatentMoE ואת אותו מקודד ראייה C-RADIO v4-H. המטא-נתונים של המאגר מבהירים את היחס בשדה אחד: הכרטיס של נקודת הבדיקה בגודל 24GB מפרט base_model_relation: quantized לעומת מהדורת BF16.

מה ששונה הוא למה כל אחד מהם מיועד. כרטיס ה-24GB מגדיר את מקרה השימוש שלו כהרנסים של סוכנים מקומיים — קריאה לכלים, גלישה, עבודה בטרמינל — ואת הפריסה שלו כ-vLLM על Ampere, Hopper או Blackwell. כרטיס ה-BF16 מגדיר את מקרה השימוש שלו כאימון-משך עם NeMo RL ו-NeMo Gym, התאמת תחום, זיקוק, ויצירת וריאנטים מכומתים משלך, ומזהיר באותה פסקה שלהסקה מותאמת השהיה ותפוקה כדאי להשתמש בגרסת ה-24GB במקום. כשספק אומר לך לא להריץ צ'קפוינט שהרגע הורדת, שווה לקרוא את זה כפשוטו.

ההבדל בגודל, כפי שנקרא מרשימות הקבצים

• BF16 — 149.8GB בסך הכול על פני 63 שברי safetensors, השבר הגדול ביותר 3.71GB, ובנוסף מגדל ראייה של 228MB.

• 24GB safetensors — 24.12GB על פני 90 שברים ב-build המוכן ל-vLLM, שזה מעט מעל המספר שבשם המודל.

• 24GB GGUF — 22.02GB בקובץ בודד, בתוספת מקרן חזותי נפרד בנפח 1.73GB, בסך כולל של 23.75GB.

• יחס — כשישה לאחד בבתים, ממומחים של 16 סיביות למומחים של 2 סיביות, בתוספת טיפול בדיוק מעורב בכל השאר.

שישים ושלושה שברים מול תשעים הם גם הבדל בצורה, לא רק בגודל. מהדורת BF16 בנויה להיטען על ידי מסגרת אימון בכל פריסת מקביליות שיש לך; מהדורת 24GB בנויה להיטען על ידי GPU אחד, או על ידי llama.cpp על מכונה אחת, ומספר השברים משקף את העבודה השונה.

שלושה גיגה-בייט מתוך פריסת ה-24GB כדאי להבין לפני שאתם מתכננים אחסון. מקרן הראייה הוא קובץ נפרד בבניית GGUF, כי כך llama.cpp מטפל בקלט מולטימודאלי, וכל מי שמוריד רק את המשקולות ואז תוהה למה תמונות לא עובדות דילג עליו. בבניית safetensors מגדל הראייה נמצא בתוך השארדים והסכום הכולל חוצה את קו ה-24GB.

What the quantisation cost, on N​VIDIA's own numbers

כרטיס ה-BF16 מפרסם את שתי העמודות זו לצד זו, וזו פתיחות יוצאת דופן: אותה טבלת ביצועים מכילה את נתוני IQ2 24GB ואת נתוני BF16 עבור אותן שלוש עשרה הערכות. מדווח על ידי הספק, לא משוחזר, ועדיין הראיה הישירה ביותר הזמינה לגבי מהו המחיר של שני ביטים לכל מומחה.

• Terminal-Bench 2.1 — 50.98 ב-IQ2 לעומת 53.93 ב-BF16, הפסד של 2.95 נקודות.

• BrowseComp — 66.75 לעומת 70.00, הפסד של 3.25.

• GPQA Diamond — 86.43 לעומת 88.83, הפסד של 2.40.

• הסקת הקשר ארוך AA-LCR — 64.06 לעומת 67.38, ירידה של 3.32.

• HLE ללא כלים — 25.30 לעומת 28.73, הפסד של 3.43.

• דיוק AA-Omniscience — 16.90 לעומת 21.80, הפסד של 4.90, הגדול ביותר בטבלה.

• PinchBench — 87.82 לעומת 90.35, הפסד של 2.53.

• GDPVal-AA-V2 — 28.47 לעומת 31.13, הפסד של 2.66.

שתי שורות שוברות את התבנית, והן המעניינות. במדד אי-הזיה של AA-Omniscience המודל המקוונט משיג ציון גבוה יותר, 61.27 לעומת 56.14 — דחיסת המומחים הפכה את המודל לפחות סביר להשיב בביטחון כשהוא אינו יודע, וזה בדיוק סוג הממצא שהופך טבלה לראויה לפרסום במלואה. ב-WebArena vision השניים שווים, 50.86 לעומת 50.25, מה שמרמז שמסלול הראייה שרד את הדחיסה פחות או יותר ללא פגע, ואימון מחדש של מתאם הראייה המתואר בכרטיס המודל הוא כנראה הסיבה.

בקריאה משותפת: מס של שתיים עד חמש נקודות על רוב שורות היכולות, כמעט אפסי בעיגון חזותי, ושיפור במדד כיול אחד. זו תוצאה חיובית עבור דחיסה של שש לאחד, וזה עדיין מס שצריך לקחת בחשבון ולא לבטל בהינף יד.

איזה אחד אתה באמת יכול להגיש

לארטיפקט של 24GB יש סיפור זמן ריצה, ולזה של BF16 יש סיפור אימון, והם לא אותו סיפור עם דגל שונה.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

סיפור ההגשה (serving) של נקודת הבדיקה (checkpoint) מסוג BF16 הוא הבעיה שעליך לפתור. הוא דורש בערך פי שישה זיכרון לעומת הגרסה המקווננת, עוד לפני כל מטמון KV, מה שמוציא מאיץ בודד של 80GB מכלל אפשרות והופך ריבוי מעבדים גרפיים או ריבוי צמתים להנחת ברירת המחדל. זהו האיזון הנכון לאימון-מחדש (post-training) והאיזון השגוי להסקה (inference), וזה בדיוק מה שכתוב בכרטיס.

ההחלטה, באומרה בפשטות

אם אתה רוצה להריץ סוכן היום על חומרה שבבעלותך, הורד את גרסת ה-24GB, קבל את המס של 2–5 נקודות, ותקצב גם את הדרפטר והפרוג'קטור וגם את המשקולות.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

היכן משתלב שער בסטאק מקומי

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

זו השכבה שאנחנו מפעילים. מפתח אחד ליותר מ-200 מודלים מתארחים במחיר המחירון של הספק, עם ללא תוספת מחיר; מעבר אוטומטי לגיבוי כאשר ספק מתדרדר באמצע בקשה; DSL לניתוב שהופך את "נסה את Bolt מקומית, הסלם למודל מתארח כשהמשימה חורגת ממנו" להגדרה ולא לקוד. חצי ה-24GB של הסטאק נקבע על ידי החומרה שלך והסובלנות שלך לקונטיינר לילי. החצי שבצד השני של ההסלמה נקבע על ידי מי שמחזיק במפתח.

מה היה משנה את התמונה הזו

שני דברים, ושניהם צפויים.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

השני הוא כל הערכה עצמאית של אחד משני הארטיפקטים. פאנל Artificial Analysis מדד את המודל בגודל 24GB בציון 21 במדד ה-Intelligence Index שלו, כאשר לא פורסמו מהירות ועלות, כי אין דבר שלפיו אפשר למדוד מחיר. איש לא פרסם הרצה ניתנת לשחזור של ה-BF16 checkpoint בכלל, וזה לא מפתיע עבור הורדה בגודל 150GB שמיועדת לאימון. עד שמישהו יעשה זאת, הפער בין שתי העמודות שלמעלה הוא דיווח של ספק על הדחיסה שלו עצמו, והדרך ההגונה לקרוא אותו היא כטענה שבמקרה זוכה לתמיכה טובה במיוחד מצורת הראיות.

תוצאה כמו זו היא גם תזכורת לכך שטעויות של מודלים כבר מתועדות: תקריות AI וכשלי סוכנים מאחורי מודלים בקטגוריה הזו נאספים בה-OrcaRouter AI Incident Archive, שבו כל רשומה נושאת את המקורות, חומרת האירוע, דירוג הביטחון ודגל המחלוקת שלה.