Nemotron 3.5 Bolt E4B 4GB: מה למעשה יצא לשוק, ולמה השם מטעה

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB עלה לאוויר ב-Hugging Face ב-23 באוקטובר 2026, והדבר הראשון שראוי לומר עליו הוא אריתמטיקה: הקובץ הוא 6.18GB. השם אומר 4GB. שני המספרים אמיתיים, הם מודדים דברים שונים, והפער ביניהם הוא העובדה השימושית ביותר בהשקה.

הבלוג הטכני של NVIDIA מכנה 4GB מעטפת הזיכרון המיועדת עבור עומסי העבודה המיועדים של המודל — תקציב למה שהמודל אמור לתפוס בזמן שאפליקציה פועלת לצידו. זה אינו מספר פרמטרים ולא גודל הורדה. הצ'קפוינט עצמו הוא 8B בסך הכול עם 4B פרמטרים אפקטיביים, לאחר אימון-המשך מ-Gemma-4-E4B-it, והוא פורסם בדיוק בשתי דיוקים: גרסת BF16 בנפח 15.88GB וגרסת Q4_K_M GGUF בנפח 6.18GB. אם הגעתם לחפש קובץ של ארבעה גיגה-בייט להעתיק למכשיר, אין כזה במאגר.

כדאי לומר זאת בפשטות, כי שאר הפרסום קריא באופן יוצא דופן. כרטיס המודל מפורט, הדוח הטכני פומבי, וטבלת השהיה הנמדדת מכסה ארבעה מכשירים. מה שחסר הוא אימות בלתי תלוי, והכרטיס עצמו אומר זאת.

הגרסה, משוחזרת ממידע פומבי

זה לא זכה להשקה. הוא קיבל הערת שוליים ואחר כך פוסט בבלוג.

5 באוקטובר 2026 — מאגרי Hugging Face עבור בניות Q4_K_M ו-BF16 נוצרו. אף אחד מהם אינו מאוכלס במשקלים.

• 15 באוקטובר 2026 — NVIDIA מכריזה על משפחת Nemotron 3.5: Super VL 120B-A12B ו-Bolt 74B-A9B 24GB, שניהם זמינים באותו יום. ה-E4B זוכה לשני משפטים ותאריך: מגיע ב-23 באוקטובר.

• 23 באוקטובר 2026 — משקולות Q4_K_M ו-BF16 מפורסמות, כרטיס המודל עולה, ומעבדת המחקר של NVIDIA מפרסמת בלוג טכני ודו"ח טכני. אין הודעה לעיתונות תאגידית, והסיקור ההשקתי שהופיע לאחר ההכרזה מ-15 באוקטובר אינו חוזר במקרה הזה.

אז "הושק בשקט" הוא תיאור מדויק, אבל "סודי" לא יהיה. NVIDIA נתנה למודל שם, תיארכה אותו, ואז תיעדה אותו כראוי באותו יום. מה שהיא לא עשתה היה להציג את ה-E4B בפני אותם כתבים שסיקרו את אחיו. ההשלכה המעשית עבור כל מי שקורא את זה בשבועות הראשונים היא שכמעט כל טענה שלהלן מגיעה ממקור אחד: NVIDIA.

ארבעה גיגה-בייט הם תקציב, לא הורדה

גדלי הקבצים שפורסמו חד-משמעיים ברגע שמסתכלים על המאגר ולא על השם.

• Q4_K_M GGUF — 6,180,446,208 בייטים, או 6.18GB במונחים עשרוניים, בקובץ בודד בשם Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• קבצי BF16 safetensors — 15,882,494,698 בייטים, או 15.88GB, בשרד אחד, בנוסף לקובץ משותף קפוא של KV בגודל 110MB.

• אין ארטיפקט של 4GB — אין כימות קטן יותר במאגר, והכרטיס אינו מפרסם קובץ שמגיע למספר שבשם.

מה ש-NVIDIA כן מפרסמת הוא מדידת llama.cpp עם batch-1 בארבעה התקנים, והטבלה הזו היא המקום שבו הטענה בדבר 4GB הופכת למוחשית:

• RTX 5070 12GB — 3.5 עד 4.3GB של VRAM, 548 עד 1,238ms זמן עד לאסימון הראשון, 106.2 עד 133.4 אסימונים לשנייה.

• RTX Spark 32GB — 3.1 עד 4.2GB של VRAM, 930 עד 1,988ms לאסימון הראשון, 52.0 עד 67.0 אסימונים לשנייה.

• Jetson Orin Nano 8GB — 4.2 עד 4.9GB של VRAM, 5,785 עד 6,259ms לאסימון הראשון, 13.0 עד 15.5 אסימונים לשנייה.

• Jetson AGX Orin 32GB — 4.2 עד 5.0GB של זיכרון VRAM, 3,687 עד 4,091ms עד לאסימון הראשון, 20.3 עד 24.0 אסימונים לשנייה.

נתוני ה-VRAM נמוכים מגודל הקובץ של 6.18GB, מה שאומר שה-runtime אינו מחזיק את הקובץ כולו כתושב בזיכרון ה-GPU באותן הרצות. הכרטיס אינו מסביר את המנגנון, וזה מקום טוב להימנע מלהמציא מנגנון כזה: משקולות memory-mapped, offload חלקי וגודל KV-cache – כולם משפיעים זה על זה, ו-NVIDIA לא פרסמה את החלוקה. מה שכן אפשר לומר הוא שמעטפת ה-4GB היא תוצאה מדודה על חומרה ספציפית תחת runtime ספציפי, ולא תכונה של ההורדה.

שורת Orin Nano היא זו שכדאי לקרוא פעמיים אם ההצעה היא סיוע קולי. שלושה עשר עד חמישה עשר טוקנים לשנייה עם כמעט שש שניות עד הטוקן הראשון הם סוכן מוטמע סביר ובן שיח גרוע לשיחה בזמן אמת. שורת RTX 5070 היא ההיפך: מהירה מספיק לשימוש אינטראקטיבי, על GPU שולחני.

מה NVIDIA בעצם שינתה ב-Gemma 4 E4B

הארכיטקטורה נלקחת כמות שהיא. זהו Gemma-4-E4B, תערובת בעלת 8B פרמטרים בסך הכול ו-4B פרמטרים אפקטיביים, ותרומתה של NVIDIA היא בשלב שלאחר האימון ולא בשלד חדש. הכרטיס מפרט את העבודה כלימוד חיזוק מפרסים ניתנים לאימות וממשוב אנושי דרך NeMo-RL ו-NeMo-Gym, על פני קריאת כלים וסכמות, עמידה בהוראות והיררכיה, פלטים מובנים, עיצוב חופשי ומידול פרסים גנרטיבי. אצוות האימון הכילו יחס של 2:1 בין דגימות ללא הסקה לדגימות עם הסקה, ו-NVIDIA הגבירה את קנסות האורך כדי לשלוט במילוליות — פרט שמופיע בהמשך בטבלת הבנצ'מרקים.

בניית Q4_K_M הופקה עם llama.cpp תוך שימוש בכיול imatrix על כמיליון טוקנים של רולאאוטים של RL. קיים גם drafter בשם DFlash עבור פענוח ספקולטיבי, ולפי NVIDIA הוא סיפק עד 21% יותר תפוקה מאשר ה-drafter המקורי לחיזוי ריבוי טוקנים של Gemma-4-E4B. ה-drafter הוא מאגר נפרד, ובזמן הבדיקה הוא החזיר HTTP 401 לבקשות אנונימיות, לכן יש להתייחס אליו כאל שלב גישה נוסף ולא כהורדה באותו יום.

שני מתגי תבנית צ'אט עושים את רוב העבודה ההתנהגותית. enable_thinking מפעיל או מכבה הסקה ומקבל תקציב חשיבה בזמן ריצה; conversational_mode מוסיף הוראת מערכת לשיחה מדוברת עבור תשובות קצרות עם מיעוט עיצוב. המתג השני הוא הסימן המסגיר. המודל הזה בנוי לדבר, לא למלא חלון הקשר בניתוח.

ההקשר הוא 64K בקלט ו-64K בפלט. כיסוי השפות הוא 34 במטא-הנתונים של Hugging Face ו-35 בבלוג הטכני — אי-התאמה קטנה, לא מהותית, וכרטיס השלב שלאחר האימון מפרט את אנגלית, צרפתית, גרמנית, איטלקית, יפנית, ספרדית וסינית כשפות עיקריות.

הרישיון הוא מקבץ ולא מסמך יחיד: OpenMDW-1.1 עבור התרומה של NVIDIA, ו-Apache 2.0 עבור רכיב Gemma 4. בכרטיס נאמר שהמודל מוכן לשימוש מסחרי או לא-מסחרי. OpenMDW הוא מתירני אך אינו מאושר על ידי OSI, מה שחשוב לצוותים משפטיים יותר מאשר למפתחים.

טבלת הבנצ'מרק, כשהיא נקראת מול המודלים שהיא מפרטת

NVIDIA העריכה את הדגם מול Gemma4 E4B-it, Qwen3.5 4B ו-Nemotron 3 Nano-4B שלה, במסגרת הרנס NeMo-Gym אחיד. כל נתון שלהלן מדווח על ידי הספק ולא שוחזר. בכרטיס נאמר שהמספרים "עשויים להיות שונים מהמספרים שהספקים דיווחו עליהם בעצמם", וזו הסתייגות כנה וגם תזכורת שקבוצת ההשוואה היא בחירה של NVIDIA.

ההישגים מתרכזים בשיחה ובשליטה:

• RoleBench Custom — 67.05 עבור Bolt E4B לעומת 53.66 עבור Qwen3.5 4B, 49.95 עבור Gemma4 E4B-it, ו-12.02 עבור Nano-4B. זהו מדד הפרסונה, והפער הוא הרחב ביותר בטבלה.

• IHEval, היררכיית הוראות — 84.79 לעומת 60.57, 67.04 ו-51.31. יתרון של 17 נקודות על פני המתחרה הקרוב ביותר הוא יוצא דופן בגודל כזה.

• When2Call Multi-Turn — 63.36 לעומת 37.85 עבור Qwen3.5 4B, 62.90 עבור Gemma4, ו-27.70 עבור Nano-4B. לדעת מתי לא לקרוא לכלי היא מיומנות שיחתית לא פחות מאשר מיומנות סוכנית.

• RelyToolBench — 63.16 לעומת 43.35, 61.60 ו-41.20. התבססות על פלט הכלי, שוב מיומנות הקרובה לשיחה.

• MultiChallenge — 53.10 לעומת 51.76, 42.08 ו-35.30. ניצחון דחוק בטיפול באתגרים מרובי תורים.

ההפסדים ברורים באותה מידה, והם אלה שחשובים אם רוצים סוכן ולא דמות:

Tau2-Bench — 55.10 לעומת 75.06 עבור Qwen3.5 4B. זהו פער של 20 נקודות בהשלמת משימות סוכניות מרובות-תורות, ושום רמת איכות פרסונה לא תסגור אותו.

• RULER ב-64K — 86.99 לעומת 95.15 עבור Qwen3.5 4B ו-91.51 עבור Nano-4B. המודל מקבל 64K של הקשר; הוא אינו מאחזר לאורכו באותה אמינות כמו עמיתיו.

• LongBench v2 ב-48K — 50.50 לעומת 59.93 עבור Qwen3.5 4B. אותה תמונה גם בהסקה על מסמכים ארוכים.

• BFCL-v3 — 68.51 לעומת 70.95 עבור Qwen3.5 4B. פער קטן בקריאה לפונקציות, וניצחון על 66.39 של Gemma4.

• EQ-Bench v3 — 39.40 לעומת 41.17 עבור Gemma4 E4B-it. השורה היחידה בתחום האינטליגנציה הרגשית שבה ההורה מנצח את הילד.

העמודה Q4_K_M מעניינת יותר מכפי שטבלת קוונטיזציה בדרך כלל מעניינת. הדחיסה לא גרמה לירידת דיוק אחידה: MultiChallenge עולה מ־53.10 ל־55.60, RoleBench מ־67.05 ל־71.21, ToolSandbox מ־68.77 ל־74.13, ו־RelyToolBench מ־63.16 ל־69.29. הציונים יורדים ב־Tau2 מ־55.10 ל־52.32, ב־LongMemEval מ־72.10 ל־69.92, וב־RULER מ־86.99 ל־85.76. בנייה של ארבעה ביטים שמשפרת כמה ציוני שיחה היא סבירה כאשר נתוני הכיול מגיעים מהרצות RL של המודל עצמו, אבל זו עדיין מדידת ספק, והרעש ברמת הבנצ'מרק במודל 4B גדול מספיק כדי שלא לפרש את הדלתות האלה כסולם דיוק.

שתי שורות ראויות לדגל משלהן. Brevity Bench ו-When2Call Multi-Turn הן הערכות ש-NVIDIA מתארת ככאלה שמטפלות בפערים בבנצ'מרקים קיימים, והבלוג אומר שהן ישוחררו במועד מאוחר יותר. הן אינן ניתנות לשחזור עצמאי כיום — מה שחשוב ביותר במקרה של Brevity, משום שזו השורה שנושאת את הסיפור של פחות טוקנים בפלט.

הטענה המרכזית של NVIDIA היא שהמודל טוב בממוצע בכ-40% מ-Nemotron 3 Nano-4B וטוב בערך ב-10% ממודלים דומים, עם עד 80% פחות טוקני פלט בהשוואות שבהן מופעלת חשיבה. הנתון של 80% הוא טענה בדבר מילוליות, לא טענת דיוק, והוא מתיישב עם ציון Brevity Benchmark של 82.52 — ש-NVIDIA בנתה לתוך החבילה שלה. התייחסו לכיוון ברצינות ולאחוז המדויק בקלילות.

מה שהמאגר לא יגיד לך

הכרטיס גלוי לב באשר לפערים של עצמו, וכדאי למנות את הפערים משום שהם מגדירים את מידת הביטחון שהגרסה מאפשרת.

• ללא הערכה בלתי־תלויה. ל-Artificial Analysis אין דף דגם עבור E4B בזמן כתיבת שורות אלה, ואף גורם שלישי לא פרסם שחזור של טבלת הבנצ'מרקים בת 21 השורות.

• אין מחיר לשירות מתארח. הכרטיס מציין את הרישום ב-Build.NVIDIA.com כ-23 באוקטובר, אך לא מפורסם מחיר לכל טוקן שם או בכרטיס. אם אתם רוצים API, אתם מנהלים משא ומתן או משתמשים בשכבה חינמית, לא קוראים כרטיס תעריפים.

• הפריסה מסומנת כ"llama.cpp (מתכון בהמתנה)" למרות שמדריך ההתחלה המהירה מכיל פקודות llama.cpp שעובדות. זו סתירה בתיעוד, לא סתירה טכנית, אבל זה בדיוק מסוג הדברים שמכשילים צינור פריסה אוטומטי.

• יעד ה-4GB אינו מודגם כקובץ. מעטפת ה-VRAM הנמדדת היא הראיה; ההורדה היא 6.18GB.

• קיימים קבצים נפרדים של כרטיסי משנה בנושאי בטיחות, הטיה, יכולת הסבר ופרטיות. מאמר זה אינו עורך בהם ביקורת, וגם לא שום גוף עצמאי עדיין.

שום דבר מזה לא הופך את השחרור לבלתי אמין. זה הופך אותו למוקדם. כרטיס מודל שנכתב על ידי הצוות שאימן את המודל הוא התיאור הזמין הטוב ביותר של מה שהמודל נועד לעשות; הוא אינו ראיה לכך שהמודל אכן עושה זאת.

היכן מודל 4B מקומי נעצר, ומה להציב מאחוריו

הארכיטקטורה הכנה עבור סוג זה של מודלים היא ארכיטקטורה מפוצלת. צ'קפוינט שיחתי בגודל 4B על Jetson או על כרטיס RTX מצוין בשכבת הרפלקס: תגובות למילת השכמה, דיאלוג פרסונה, קריאות כלים קצרות, עיגון קלט, החלקים של ממשק שלא יכולים להרשות לעצמם סבב רשת. הוא לא הדבר שתרצו שיענה על שאלה שדורשת 200K של הקשר או תוכנית סוכנית בת עשרה שלבים, וטבלת הבנצ'מרקים של עצמו אומרת זאת.

זה משאיר כל פריסה עם שאלה שנייה: מה מטפל בבקשות שהמודל המקומי לא אמור לטפל בהן. הצבת מודל מתארח מאחורי אותה אפליקציה דרך OrcaRouter משמעה API אחד ליותר מ-200 מודלים, 0% תוספת על מחיר המחירון של הספק, ומעבר אוטומטי לגיבוי כאשר ספק נחלש — כך שמסלול ההסלמה הוא החלטת ניתוב ולא SDK שני, מפתח שני ויחס חיוב שני. המודל המקומי נשאר המסלול המהיר; המודל המתארח הוא הגיבוי למקרים שה-E4B מעולם לא אומן עבורם.

מה היה משנה את התמונה הזו

שלושה דברים, לפי סדר התועלת. הרצת בנצ׳מרק עצמאית על אותו הרנס תכריע אם פרופיל עתיר-השיחות שורד מחוץ להערכה של NVIDIA. ארטיפקט מפורסם בגודל 4GB או פחות יהפוך את השם למילולי. ומחיר על נקודת הקצה Build יהפוך את המודל מהורדה לשירות שאפשר להשוות.

עד אז, הקריאה הנכונה היא צרה ושימושית: NVIDIA ביצעה אימון נוסף (post-training) ל-Gemma 4 E4B והפכה אותו למודל שיחתי קטן וטוב יותר באופן מובהק, פרסמה את הראיות ואת הפערים באותו מסמך, והשיקה אותו שבוע לאחר השקת המשפחה כמעט בלי רעש. ה-4GB בשם הוא יעד שסביבת ההרצה הנמדדת עומדת בו, אך ההורדה לא. תכננו את האחסון סביב 6.18GB ואת הציפיות סביב 13 עד 133 אסימונים לשנייה, בהתאם למכשיר שבאמת יש לכם.