כרטיס כותרת שנוצר עבור Nemotron-Labs-Sigma-distill-8B-nfe4, המציין פרסום ב-12 בנובמבר 2026, 8 מיליארד פרמטרים, 4 הערכות דנואיזינג קבועות לכל בלוק של 32 טוקנים, חמש הורדות ואפס לייקים בחודש האחרון, וכותרת תחתונה הקובעת שכל הנתונים מגיעים מכרטיס המודל של NVIDIA ואינם מאומתים באופן עצמאי.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 הושק ללא הכרזה ועם חמש הורדות

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

Hugging Face ספרה חמש הורדות של nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 בשלושים הימים האחרונים, ואפס לייקים, בעת כתיבת שורות אלה ב-17 בנובמבר 2026. זו כל התגובה עד כה למודל שפה עם 8 מיליארד פרמטרים ש-NVIDIA פרסמה שישה ימים קודם לכן. לא היה פוסט בבלוג, לא רישום ב-build.nvidia.com, לא שרשור השקה, לא טבלת בנצ'מרקים בהודעה לעיתונות. הכרטיס של ה-checkpoint עצמו מתארך את הפרסום ל-11/12/2026; הקומיט הראשון במאגר הוא מ-9 בנובמבר בשעה 05:47 UTC, והעריכה האחרונה בו הייתה ב-16 בנובמבר, אשר כתבה מחדש את ההמרה כדי לשמר טנסורים גיאומטריים מסוג fp32. כל מה שלהלן נקרא מתוך המאגר הזה, קבצי התצורה שלו והדוח הטכני שהוא מצטט, והחלקים שאינם מאומתים מסומנים ככאלה ולא ממולאים בניחושים.

המאגר הוא המקור הראשוני היחיד, והוא מפורש באופן יוצא דופן.

רוב השחרורים השקטים משאירים כרטיס שלד. זה לא. הוא כולל קובץ מקוריות, מניפסט שלמות של נקודת ביקורת עם SHA-256, גיבוב שלמות עבור הטוקנייזר, ארבעה כרטיסי משנה של Model Card++, וקונפיגורציית יצירה שמצמידה את הדוגם. רמת תיעוד כזו היא מה שמקבלים כשמודל עבר תהליך שחרור פנימי ואז פשוט לא הוכרז — כל הארטיפקטים שפוסט השקה היה מסכם קיימים, למעט הפוסט.

המאמר שמאחוריו אמיתי ומתוארך: arXiv:2610.02665, מודלים של דיפוזיה רציפה לשפה גדולה, מאמר NVIDIA בן שבעה־עשר מחברים שה־v2 שלו יצא ב־12 בנובמבר, באותו יום שבו הכרטיס אומר שהמשקולות עלו. המאמר מתאר את Nemotron-Labs-Sigma כמשפחה הראשונה של מודלי שפה גדולים מסוג דיפוזיה רציפה בגדלים 3B ו־8B. סעיף ההערכה בכרטיס מייחס את המספרים שלו ל"סטטיסטיקות מאומתות של עשרה זרעים ושש משימות ממסירת ההפצה המוגבלת של 10 בנובמבר" — משפט שאומר לך שהקובץ הופץ באופן פרטי לפחות יומיים לפני שהמאגרים הציבוריים הופעלו.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

מה בעצם נמצא בצ'קפוינט?

הסר את הפרוזה, וגיליון המפרט קצר. כל שורה למטה היא מ-config.json, מ-generation_config.json או מהכרטיס:

• Backbone — טרנספורמר decoder-only בסגנון Ministral: 34 שכבות, גודל מוסתר 4,096, FFN 14,336, 32 ראשי שאילתה ו-8 ראשי מפתח-ערך בממד ראש 128, SwiGLU, RoPE עם בלוק סקיילינג YaRN בקונפיגורציה.

• ראש יצירה — ראש דיפוזיה רציף בן 16 ממדים להטמעת טוקנים, כאשר ראש הקריאה האוטורגרסיבי המשני נשמר בנקודת הביקורת ולא מגוזם.

• מספר הפרמטרים — 8.0B לפי שם הכרטיס, 9.03B לפי ספירת קבצי ה-safetensors (9,026,818,048 טנסורי BF16 ועוד 2,097,186 טנסורי F32), 18.06 GB בארבעה מקטעים. הפער בין שני המספרים הוא ראש העזר.

• חוזה פענוח — בלוקים של 32 טוקנים, בדיוק 4 הערכות של פונקציית הסרת רעש ועוד קריאה אחת, כלומר 5 קריאות מסיר-רעש לכל בלוק, שהם 6.4 טוקנים שנוצרים בכל מעבר קדמי.

• דוגם — נתיב fresh_x0 המקורי עם התניה עצמית המועברת בין שלבים, הנחיה ללא מסווג קבועה על 1, טמפרטורת ניקוד קבועה על 1.

• הקשר — 4,096 טוקנים עבור פרומפט ועוד יצירה. אנגלית בלבד. ללא עצירת EOS של מזהה טוקן; אתה עוצר על מחרוזות או על תקציב טוקנים.

• סביבת ריצה — PyTorch 2.4 ואילך, Transformers 4.55 ואילך, trust_remote_code, כרטיס GPU מסוג CUDA ב-bfloat16.‏ CPU אינו נתמך במפורש, והכרטיס מפרט את הסיבה: הדוגם (sampler) יורד ברמתו המספרית על CPU ומייצר פלט שאינו שמיש.

• רישיון — NVIDIA Nemotron Open Model License, שלפי הכרטיס מתיר שימוש מסחרי ולא מסחרי. הכרטיס גם מציין, בסעיף תרחישי השימוש, שהמודל פועל באופן לא מקוון על החומרה שלך ושאין NVIDIA מארחת שירות.

השורה האחרונה הזו חשובה לכל מי שהניח שקיים אי-שם endpoint של Sigma. הוא אינו קיים. אין רשומה של Nemotron-Labs-Sigma ב-build.nvidia.com, והמודל נעדר מקטלוג OrcaRouter יחד עם שאר קו ה-Nemotron — כך שאין היום מה לפנות אליו, רק מה להוריד.

ארבעה צ'קפוינטים, ארבעה מודלים שונים

השמות גורמים לווריאנטים להיראות כמו מודל אחד בארבע הגדרות. הם לא: כל ערך NFE הוא תלמיד מזוקק בנפרד, והכרטיס אומר בגלוי שמספר הצעדים קבוע מראש. "הווריאנט הזה מאומן עבור NFE=4 בלבד, וקוד האינפרנס המצורף אינו חושף בכוונה עקיפה שרירותית של מספר הצעדים" — מכיוון שמספרי צעדים אחרים היו מעריכים נקודות קצה של שלב שהתלמיד מעולם לא אומן עליהן. לכן אין לכוונן את nfe4 למטה לשני צעדים בזמן אינפרנס; מורידים את nfe2.

הממוצעים שפורסמו של שש המשימות, כולם על פני עשרה זרעים עם שתי שגיאות תקן, הופכים את הפשרה למובנת לראשונה במשפחה הזו:

• NFE 2 — GSM8K 80.17, MATH 55.72, HumanEval 48.17, MBPP 37.52; ממוצע שש משימות 53.02. 3 קריאות denoiser לכל בלוק, 10.7 טוקנים לכל קריאה.

• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; ממוצע שש משימות 66.36. 5 קריאות לכל בלוק, 6.4 טוקנים לקריאה.

• NFE 8 — GSM8K 88.44, MATH 64.40, HumanEval 65.18, MBPP 62.60; ממוצע שש משימות 70.34. 9 קריאות לכל בלוק, 3.6 טוקנים לכל קריאה.

• NFE 16 — GSM8K 89.61, HumanEval 67.68, MBPP 66.20, ממוצע שלוש המשימות 74.50. 17 קריאות לכל בלוק, 1.9 טוקנים לכל קריאה. ועוד הסתייגות שאין בשלושת האחרים: הצ'קפוינט הזה מסומן pending_ten_seed_six_task_validation, הנתונים שלו הם ריצה בודדת ב-seed 42 על שלוש משימות, והכרטיס אומר להתייחס אליהם כזמניים וככאלה שאינם ניתנים להשוואה ישירה.

צורת הסולם היא החלק המעניין. הכפלת הצעדים מ-2 ל-4 מניבה 13.3 נקודות בממוצע על פני שש משימות. הכפלה נוספת ל-8 מניבה 4.0. המעבר ל-16 מניב כ-4 נוספים בשלוש המשימות שהורצו — מהערכה אחרת וחלשה יותר. במילים אחרות, עקומת הזיקוק משתטחת בחדות בדיוק במקום שבו המודל הופך לתחרותי, ונקודת הביקורת nfe4 נמצאת ממש מעבר לברך.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

מאיפה המספרים מגיעים, ואיפה הם נעצרים

כל נתון לעיל הוא של NVIDIA, הופק על ידי NVIDIA, על מערכת ההערכה של NVIDIA עצמה, ומדווח עם מספר זרעים שגורם לו להיראות עצמאי יותר ממה שהוא. עשרה זרעים עם שתי שגיאות תקן הם פרוטוקול רציני — הוא אומר לך שלציון nfe4 HumanEval של 60.61 יש מרווח של ±1.43, רחב מספיק כדי שלא תקרא פער של שתי נקודות מול משהו כמציאותי. אבל עשרה זרעים של אותה מערכת הערכה אינם עשרה מעבדות.

מה לא קיים נכון ל-17 בנובמבר: עמוד Artificial Analysis עבור אף מודל Sigma, אף רשומה בקטלוג ציבורי של מחירי מודלים, אף תמיכה ב-vLLM או ב-SGLang, ואף רפרודוקציה מצד שלישי. הבדיקה מהירה והיא חוזרת ריקה. במרשם המודלים של vLLM בענף main אין ארכיטקטורת nemotron_labs_sigma; בקשות ה-pull של SGLang שמזכירות Nemotron diffusion מיועדות לשושלת הוותיקה יותר Nemotron-Labs-Diffusion-8B ועדיין פתוחות. ל-Transformers אין מודול nemotron_labs_sigma מקורי, ולכן הכרטיס אומר לך לטעון עם trust_remote_code ולשלוח את קובץ המידול בגודל 40 KB של המאגר יחד עם המשקולות.

אז הסטטוס הכנה הוא: צ'קפוינט שפורסם עם פרוטוקול הערכה מפורסם ואפס אימות חיצוני. זהו המצב הרגיל עבור מודל שפה דיפוזי בנובמבר 2026, וזו אינה ביקורת על המודל — זהו תיאור של מידת היכולת שלך לתכנן על בסיס הכרטיס.

להריץ אותו זה סקריפט Python, לא מחסנית שרת.

ההתחלה המהירה שבכרטיס היא אחת עשרה שורות: לטעון את הטוקנייזר ואת המודל עם קוד מרוחק, להמיר ל-bfloat16, לקרוא ל-generate עם מספר טוקנים מקסימלי ומחרוזות עצירה אופציונליות, ולקרוא בחזרה את ספירת ה-NFE שהמודל מדווח עליה. אין תבנית צ'אט במאגר הזה, אין הנחיית מערכת, אין קריאה לכלים ואין מצב JSON — הכרטיס אומר בפשטות שזו הנחיה בסגנון בנצ'מרק ושהמודל הוא התלמיד המזוקק של נקודת ביקורת בסיס, לא עוזר. אם אתם רוצים שיחה, האוסף כולל וריאנט instruct של ההורה עם 8,192 טוקנים של הקשר.

שני פרטים תפעוליים ינשכו כל מי שרק מרפרף. ראשית, העצירה: אין עצירת EOS לפי token-ID, כך שבקשה שלעולם אינה מפיקה את מחרוזת העצירה שלכם רצה עד לתקציב הטוקנים, והתקציב משותף עם הפרומפט בתוך חלון של 4,096 טוקנים. שנית, זיכרון: 18 GB של משקולות bfloat16 לפני כל KV cache, על מודל שהנתיב הנתמך היחיד שלו הוא קוד PyTorch eager מהמאגר עצמו — אין paged attention, אין continuous batching, ואין גרסה מכומתת באוסף. בקשה בודדת על GPU אחד היא התצורה הנתמכת כיום.

התפוקה היא המספר שאנשים ירצו, והכרטיס לא מספק אותו עבור הצ'קפוינט הזה. הכרטיס של מודל האב מדווח על כ-120–140 אסימונים לשנייה עבור 256 אסימונים שנוצרו על H100 אחת, בשימוש בדוגם DDPM עם 32 צעדים לכל בלוק של 64 אסימונים. ה-nfe4 המזוקק מבצע 5 קריאות לכל 32 אסימונים במקום 33 קריאות לכל 64, שלפי מספר הקריאות זה קצת יותר מפי ארבעה פחות מעברי forward לכל אסימון — אבל זו אריתמטיקה על ספירת צעדים, לא מדידה של הצ'קפוינט הזה, והכרטיס לא מפרסם עבורו נתון של אסימונים לשנייה.

מה שלא אושר

שלושה דברים שפוסט השקה היה מבהיר, והגרסה הזו לא:

• האם NVIDIA מתכוונת לכך כמוצר או כארטיפקט מחקרי. הרישיון מתיר שימוש מסחרי והכרטיס כתוב בשפה של מוצר, אך אין endpoint מתארח, אין הצהרת תמיכה ואין אזכור באף פוסט בלוג של NVIDIA עד 16 בנובמבר.

• מה שווי המורה. הכרטיס אומר שהתלמיד נוצר באמצעות דיסטילציה ממורה "MS-SUSReg-8B" מאותה משפחת ארכיטקטורה, וקובץ המקור מציין את הריצה 8b_ms_susreg_n4_20261109 בצעד התלמיד 1200. ה-Nemotron-Labs-Sigma-8B הבסיסי ששוחרר מתואר כבן אותה שושלת — אבל כרטיס הבסיס אינו מפרסם מספרים כלל, רק הפניה למאמר, ולכן לא ניתן לקרוא את הפסד הדיסטילציה משני הכרטיסים זה לצד זה.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• האם הצ'קפוינט nfe16 הוא הטוב במשפחה או תוצר של הערכה שלא הושלמה. המספרים שלו הם הגבוהים ביותר בכרטיס והפחות מהימנים, והכרטיס עצמו אומר זאת, וזה יותר גילוי לב ממה שרוב הערות השחרור מצליחות להשיג.

למה השחרור השקט הוא הסיפור

NVIDIA השיקה הרבה בסתיו הזה — Bolt, Super VL, Transcribe, קו Dory, כולם עם פוסטים בבלוג ועמודי build.nvidia.com. Sigma מגיעה בלי שום דבר מזה, מאותו ארגון, עם מאמר, רישיון, ארבעה כרטיסי משנה של Model Card++ ומונה של חמש הורדות. הסבירות הגבוהה ביותר היא שמדובר במהדורת מחקר שנשמרה במכוון מחוץ למשטח המוצר: השימוש המיועד של הכרטיס הוא "מחקר יצירה רגיש להשהיה, מחקרי פענוח ספקולטיבי ומקבילי", וזו השפה של פריט מעבדה.

עבור קורא שמחליט אם בכלל אכפת לו, השאלה המעשית אינה אם המודל טוב באופן מופשט — אלא אם מודל LM דיפוזי רציף עם 4-NFE בהקשר של 4K וללא serving stack מנצח את המודל האוטורגרסיבי שכבר נמצא בצינור שלך. כדי לענות על כך צריך להריץ אותו, והחשבון שהופך את זה לשווה שעת GPU הוא פשוט: 6.4 טוקנים לכל מעבר קדימה, לעומת אחד עבור מפענח סטנדרטי. האם זה שורד מפגש עם עומס העבודה שלך הוא בדיוק מה שבנצ'מרק עצמאי חסר היה אומר לך.

OrcaRouter לא מגיש את הצ'קפוינט הזה, והוא גם לא עתיד להופיע מאחורי מחיר לפי טוקן עד שמישהו יבנה מסלול הגשה לארכיטקטורת דיפוזיה של בלוקים עם מספר צעדים קבוע — מודל העלויות לא מתמפה לטוקני קלט ופלט כפי ש-API אוטורגרסיבי עושה. מה שכן פעיל ב-OrcaRouter הוא סט ההשוואה: יותר מ-200 מודלים אוטורגרסיביים מאחורי מפתח אחד במחיר המחירון של הספק ללא תוספת מחיר, כך שניתן לענות על שאלת Sigma מול בסיס השוואה אמיתי ולא מול כרטיס. ניתוב של שניהם דרך נקודת קצה אחת הוא גם הדרך הזולה ביותר להרחיק את הניסוי ממסלול הייצור שלך בזמן שאתה מחליט.