כרטיס כותרת שנוצר עם הכיתוב Nemotron-Labs-Sigma-distill-8B-nfe4 מול Nemotron-Labs-Sigma, עם כתובית משנה של אותו קו משפחתי, שני חוזי פענוח, וארבע אריחי נתונים: הבסיס עם 8.49B פרמטרים ושלבי DDIM ניתנים להגדרה, המזוקק עם 9.03B וארבע הערכות הסרת רעש קבועות לכל בלוק, 106 הורדות לבסיס לעומת 5 למזוקק, ובתחתית הערה שכל הנתונים מגיעים מכרטיסי המודל של NVIDIA ושאין בנצ'מרק עצמאי לאף אחד מהשניים.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 לעומת Nemotron-Labs-Sigma: אותה שושלת משקלים, שני חוזי פענוח

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הדבר המבלבל ב-Nemotron-Labs-Sigma-distill-8B-nfe4 הוא שהוא אינו Nemotron-Labs-Sigma-8B טוב יותר. זהו קובץ אחר עם מפרט אחר, שנוצר ממודל מורה באותה שושלת, וההבדל בין השניים אינו דיוק — אלא כמה פעמים הרשת מופעלת כדי להפיק מילה. מודל ה-8B הבסיסי פורסם ב-5 באוקטובר 2026 כמודל מחקר מאומן מראש: 8.49B פרמטרים, צעדי הסרת רעש הניתנים להגדרה, הנחיה ללא מסווג (classifier-free guidance) שיש לכוונן ידנית, וכרטיס שלא מפרסם שום ציונים ובמקום זאת מפנה ל-ArXiv:2610.02665. ה-nfe4 המזוקק הגיע ב-12 בנובמבר 2026 עם 9.03B פרמטרים, מספר צעדים שנצרב לתוך ה-checkpoint, והטבלה היחידה לפי בנצ'מרקים ש-NVIDIA שמה על כרטיס Sigma. שניהם באנגלית בלבד, שניהם מוגבלים ל-4,096 טוקנים, ושניהם תחת אותו רישיון. הבחירה ביניהם היא בחירה לגבי האופן שבו תרצו שהמודל ינצל את כוח החישוב שלו.

מה בעצם שונה, קובץ אחר קובץ

שני המאגרים מגיעים עם אותו model_type — nemotron_labs_sigma — ושניהם נטענים באותה דרך, עם trust_remote_code וקובץ מידול בגודל 40 KB מהמאגר. הקונפיגורציות נבדלות בדרכים שמשנות בהסקה וכמעט לא כלל בשלד:

• עמוד שדרה — צורה זהה בשניהם: 34 שכבות, גודל מוסתר 4,096, FFN 14,336, 32 ראשי שאילתה ו-8 ראשי מפתח-ערך, SwiGLU, RoPE, אוצר מילים של 131,072 טוקנים.

• פרמטרים — 8.49B (8,489,947,136 ב-BF16 ועוד 2,097,186 ב-F32) עבור מודל הבסיס, ו-9.03B (9,026,818,048 ב-BF16 ועוד אותו מספר של F32) עבור מודל הזיקוק. תוספת ה-537M היא ראש הקריאה האוטורגרסיבי העזר שמודל הזיקוק שומר לצד ראש הדיפוזיה.

• משקלים בדיסק — 16.99 GB לעומת 18.06 GB, ארבעה שרדים כל אחד.

• הקשר — 4,096 טוקנים עבור הן ה-base והן ה-distill. גרסת ה-instruct באותו אוסף מעלה זאת ל-8,192 ומוסיפה תבנית צ'אט; לאף אחד מהמודלים כאן אין תבנית כזו.

• שלבים — ה-base חושף את steps ואת block_length בזמן הקריאה, והכרטיס שלו מפרסם טבלה לפי תקציב; ה-distill אינו מקבל שום דריסה כלל.

• הנחיה — הבסיס זקוק להנחיה ללא מסווג (3.0 ב-32 וב-16 צעדים, 2.0 ב-4) ולטמפרטורת ניקוד מכווננת; המודל המזוקק פועל ב-CFG 1 ובטמפרטורת ניקוד 1, כלומר ללא הנחיה וללא כיוונון.

• סמפלר — הבסיס מתועד עבור DDIM על גריד log_snr עם בלוקים של 64 טוקנים כברירת מחדל; ה-distill משתמש ב-fresh_x0 עם self-conditioning המועבר בין שלבים ובלוקים של 32 טוקנים.

מספר הצעדים אינו הגדרה במודל המזוקק

זהו המשפט בכרטיס המודל שממסגר מחדש את כל ההשוואה: "מספר שלבי הסרת הרעש נקבע על ידי האימון: וריאנט זה אומן עבור NFE=4 בלבד, וקוד האינפרנס המצורף אינו חושף במכוון עקיפה שרירותית של מספר השלבים (מספרי שלבים אחרים היו מעריכים נקודות קצה של פאזה שלא אומנו)."

Phased DMD מזקק מסלול, ולמסלול מזוקק יש נקודות קצה של שלב ברמות רעש מסוימות. אם מבקשים מתלמיד ארבע-שלבי לבצע שמונה צעדים, לא מפעילים אותו לאט יותר כדי לקבל איכות טובה יותר — אלא מבקשים ממנו להעריך ברמות רעש שהוא מעולם לא התאמן עליהן. הכרטיס אומר שהפלט נפגע. אין חוגה.

הבסיס הוא ההפך. הכרטיס שלו נותן לך את הטבלה — DDIM-32 עם CFG 3 וטמפרטורת ניקוד 0.3, DDIM-16 עם CFG 3 ו-0.4, DDIM-8 עם CFG 3 ו-0.6, DDIM-4 עם CFG 2 ו-0.8 — ואז מוסיף את האזהרה שמתחת לכ-16 צעדים המודלים המאומנים מראש מאבדים מאיכותם באופן מורגש, ושעבור יצירה במעט צעדים יש להשתמש במקום זאת בגרסאות המזוקקות.

כשקוראים אותן יחד, שתי ההצהרות האלה מאותו ארגון הן חלוקת עבודה: ה־base הוא הדבר שאותו מכוונים, וה־distill הוא הדבר שאותו לא. אם אתם רוצים כפתור כיוונון, קחו את ה־base. אם אתם רוצים קבוע, קחו את ה־distill.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

האריתמטיקה שמפרידה ביניהם

הבא את שני החוזים לאותן יחידות והסיבה לקיומו של הקובץ המזוקק נעשית ברורה.

• Base בהגדרה המומלצת שלו — 33 קריאות דנואיזר לכל בלוק של 64 טוקנים (32 צעדים ועוד קריאה), שהם 1.9 טוקנים לכל מעבר קדימה.

• בסיס ב-4 צעדים — 5 קריאות לכל בלוק של 64 טוקנים, 12.8 טוקנים בכל מעבר, אך הכרטיס מזהיר שהאיכות יורדת באופן ניכר מתחת ל-16 צעדים.

• זקק את nfe4 — 5 קריאות לכל בלוק של 32 אסימונים, 6.4 אסימונים בכל מעבר, באיכות שהכרטיס מפרסם.

• זיקוק nfe8 — 9 קריאות לכל מקטע של 32 טוקנים, 3.6 טוקנים בכל מעבר, ועדיף ב-4 נקודות בממוצע שש המשימות.

אז ה-nfe4 המזוקק נמצא בין נקודת ההפעלה הבטוחה של הבסיס לזו הלא בטוחה שלו: פי שלושה פחות מעברי קדימה לכל טוקן מאשר תצורת הבסיס המומלצת, עם מספר צעדים שהמודל אכן אומן עבורו. זו כל ההנחה של השחרור, והיא הנחה לגבי מחשוב, לא לגבי אינטליגנציה.

מה שזה אינו הוא תפוקה מדודה. כרטיס הבסיס מדווח על כ-120–140 אסימונים לשנייה עבור 256 אסימונים שנוצרו על H100 אחד עם DDPM ב-32 שלבים לכל בלוק של 64 אסימונים. הכרטיס המזוקק אינו מפרסם נתון של אסימונים לשנייה. יחסי ספירת הקריאות שלעיל הם אריתמטיקה על ספירות שלבים שפורסמו; התייחסו אליהם ככאלה.

לאיזה מהם יש מספרים, וכמה הם שווים?

כאן שני הקלפים מתפצלים בחדות, ובכיוון שלא נוח לבסיס.

Nemotron-Labs-Sigma-8B אינו מפרסם טבלת בנצ'מרקים. פרק ההערכה שלו הוא שתי משפטים בלבד שאומרים שהתוצאות "מדווחות בדוח הטכני". כל מה שאפשר לדעת על הדיוק שלו, צריך לקחת מ־arXiv:2610.02665 — מאמר שמכסה את משפחת 3B ו־8B, גם גרסאות בסיס וגם גרסאות מזוקקות, ושהתקציר שלו טוען שהמודלים עולים על מודלי דיפוזיה עם מיסוך ועל קווי בסיס אוטורגרסיביים, עם הרווחים העקביים הגדולים ביותר בקוד.

כרטיס ה-nfe4 המזוקק אכן מפרסם מספרים, עבור עשרה זרעים עם שתי שגיאות תקן: GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, ממוצע שש המשימות 66.36 ± 0.46. תשעה מעשרת ערכי הזרעים נמצאים בטווח 42 עד 51, ולכן הפרוטוקול מתואר בדיוק מספיק כדי לשחזר.

לכן, שני הכרטיסים יחד אינם יכולים לספר לך מה עלות הדיסטילציה. זהו המספר השימושי ביותר בהשוואה הזו והוא חסר, מכיוון שבכרטיס של המורה אין טבלה שממנה אפשר לחסר. המאמר הוא המקום היחיד שבו הטענה מופיעה, והניסוח שלו כיווני: האצה של בערך פי 8 במתמטיקה ופי 4 בקוד מדיסטילציה של התאמת התפלגות "עם אובדן דיוק קל". המכפילים האלה מדווחים במאמר, לא בכרטיס, והם מתייחסים לניסויים של המשפחה עצמה ולא להשוואה מבוקרת של שני הצ'קפוינטים המדויקים שנמצאים היום ב-Hub.

עוד קמט בקו ה-distill עצמו: האח nfe16 מסומן כ-pending_ten_seed_six_task_validation. הממוצע שלו על שלוש משימות, 74.50, מגיע מהרצה אחת עם seed-42, והכרטיס אומר שלא להשוות אותו לממוצעים על עשרה seeds של הווריאנטים האחרים. לכן "הגדול ביותר הוא הטוב ביותר" הוא פירוש שהכרטיס מסרב במפורש לתמוך בו.

האפשרות השלישית שאיש לא נוקב בשמה

האוסף מכיל וריאנט שאינו אף אחד משני המודלים בהשוואה הזו, ואפשר לטעון שהוא הקובץ המעניין ביותר בו: Nemotron-Labs-Sigma-distill-spec-8B. זהו אותו מורה MS-SUSReg-8B, שעבר זיקוק עם מטרת קבלה נוספת, ובמקום לפעול כדגם-צעדים טהור של כמה צעדים הוא מנסח בלוק של 32 טוקנים באמצעות ראש הדיפוזיה שלו ומאמת אותו באמצעות ראש אוטורגרסיבי משל עצמו. כל סבב עולה קריאת דיפוזיה אחת, וטוקנים שהתקבלו נפלטים בלי מעבר קדימה נוסף. הכרטיס מציין שהטקסט המוחזר הוא בדיוק הפלט האוטורגרסיבי החמדני — הקבלה משנה את קצב העיבוד, ולעולם לא את התוכן.

נתוני הקבלה שפורסמו, תמונת מצב אחת: אורך מקובל ממוצע 7.91 ב-HumanEval, 11.86 ב-GSM8K, 13.37 ב-MBPP, כולל אסימון בונוס, ללא סבב bootstrap. אלו מדדי תפוקה, לא מדדי דיוק, והם אינם ניתנים להשוואה לטבלת הדיוק של nfe4 — הבחנה שהכרטיס מדגיש במודגש.

באופן מעשי, זהו הווריאנט שכדאי לשים לב אליו אם השאלה היא "האם ראש דיפוזיה יכול להאיץ מודל בלי לשנות את מה שהוא אומר". הוא אינו תחליף ישיר לאף אחד מהמודלים בהשוואה הזו: הוא דורש generate_speculative, את שני הראשים, ואת self-conditioning במצב כבוי.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

איך לבחור בפועל

ההחלטה מצטמצמת לארבע בדיקות, והראשונה מבטלת צד אחד לחלוטין עבור רוב הקוראים:

• האם אתה חוקר את תהליך הדגימה עצמו — לוחות הנחיה, מספרי צעדים, היגוי מסלול, התנהגות הנחיה ללא מסווג? הבסיס הוא המודל, משום שהוא זה עם הכפתורים ועם הטבלה לפי תקציב.

• האם אתם בונים משהו שמייצר טקסט בעלות קבועה לכל טוקן ואתם לא רוצים משטח כוונון? ה-nfe4 distill הוא המודל, כי CFG 1 וטמפרטורת ציון 1 הם תצורה שלמה.

• האם אתה צריך עוזר? גם לא. אין תבנית צ'אט באף אחד משני המאגרים, אין הנחיית מערכת, אין קריאה לכלים, וכרטיס הבסיס אומר בפשטות שהוא אינו עוקב אחרי הוראות. וריאנטים מסוג instruct עם 8,192 אסימוני הקשר הם אלה שמתאימים לכך.

• צריך בנצ'מרק שאפשר לצטט? רק ל-distill יש אחד כזה, והוא של NVIDIA עצמה.

אף אחד מהארבעה לא שואל על מספר הפרמטרים, וזה הסימן לכך שזו לא השוואת גדלים. ההפרש של 537M פרמטרים הוא המחיר של השארת הראש האוטורגרסיבי בקובץ, והוא אינו מוסיף דבר למסלול הדיפוזיה הטהור של nfe4 — הוא נמצא שם משום שאותה ארכיטקטורה גם עומדת בבסיס גרסת ה-spec.

הנקודה של הזוג

NVIDIA בנתה עמוד שדרה אחד ושחררה אותו פעמיים: פעם כדבר שנועד לחקר ופעם כדבר שנועד להרצה. זו אסטרטגיה קוהרנטית, וזה הסיבה ששני הכרטיסים נראים כה שונים כשקוראים אותם — כרטיס הבסיס נכתב עבור חוקר שיחליף את הסמפלר, וכרטיס ה-distill עבור מפתח שלא יעשה זאת.

מה שעדיין חסר לזוג הוא הדבר שיאפשר לבדוק את התמורה ביושר: ציון של מורה. כל עוד כרטיס ה-8B הבסיסי לא נושא את אותה טבלת שש משימות שנושא ה-distill, כל טענה درباره מה שהדיסטילציה הביאה היא טענה על הניסויים ברמת המשפחה של המאמר ולא על שני הקבצים האלה. אם NVIDIA תוסיף את הטבלה הזו — והעריכה האחרונה של כרטיס הבסיס ב-16 בנובמבר מרמזת שהמאגרים עדיין מתוחזקים — ההשוואה הזו תהפוך לחיסור במקום לשחזור.

בינתיים, הקריאה המעשית צרה ושימושית: בחרו ב-base אם ברצונכם לחקור כיצד מודל שפה בדיפוזיה רציפה מתנהג תחת תקציבי צעדים שונים, בחרו ב-nfe4 אם ברצונכם ב-6.4 טוקנים קבועים לכל מעבר קדימה ברמת דיוק שפורסמה, ודלגו על שניהם אם אתם זקוקים למודל צ'אט או לחלון הקשר ארוך מתזכיר ארוך. אף אחד מהם אינו בקטלוג של OrcaRouter היום, ואף אחד מהם לא יהיה עד שיהיה מסלול שירות לארכיטקטורת דיפוזיה של בלוקים — מה שכן יש ל-OrcaRouter הוא יותר מ-200 מודלים אוטורגרסיבייםשאליהם הייתם משווים כל אחד משניהם, תחת מפתח אחד לפי מחיר המחירון של הספק ללא תוספת, ומעבר אוטומטי לגיבוי אם תרצו לבודד את הניסוי ממסלול הייצור.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.