כרטיס כותרת שנוצר עם הכיתוב Nemotron-Labs-Sigma-distill-8B-nfe4 לעומת Nemotron 3.5 Lightning 30B A3B, עם כותרת משנה שאומרת שאחד הוא צ'קפוינט מחקר לדיפוזיה עם חמש הורדות והשני הוא מודל MoE לשימוש בייצור עם 962,098 הורדות, ובתחתית נכתב ששתי קבוצות הנתונים מדווחות על ידי הספק ושאין בנצ'מרק משותף ביניהם.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 לעומת Nemotron 3.5 Lightning 30B A3B: שתי השקות של NVIDIA שלעולם לא מתחרות זו בזו

מחבר

Gideon Frost

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

אם שמים את Nemotron-Labs-Sigma-distill-8B-nfe4 ואת Nemotron 3.5 Lightning 30B A3B באותו משפט, האינסטינקט הוא לשאול איזה מהם חכם יותר. לשאלה הזאת אין תשובה, ולא משום שהנתונים דלים — אלא משום ששני המודלים אינם חולקים שום בנצ'מרק, שום אורך הקשר, שום מערך הגשה ושום תהליך שחרור. Nemotron-Labs-Sigma-distill-8B-nfe4 הוא מודל דיפוזיה רציפה בן 8B ש-NVIDIA פרסמה ב-12 בנובמבר 2026 בלי שום הכרזה, והוא הורד חמש פעמים. Nemotron 3.5 Lightning 30B A3B הוא מודל היברידי של Mamba-2 וקשב מסוג תערובת מומחים, עם 30B פרמטרים בסך הכול ו-3B פעילים, שיצא באוגוסט עם כרטיס מודל, נקודת קצה ב-build.nvidia.com ו-962,098 הורדות בחודש שעבר. ההשוואה השימושית אינה שורת ניקוד. היא איזה מהם אפשר באמת להעמיד מול משתמש, ולשם מה.

שני הכרטיסים מתארים מוצרים שונים, לא דרגות שונות

קרא את מקטעי תרחישי השימוש זה לצד זה והפער מפסיק להיות עניין של יכולת. הכרטיס של Sigma-distill אומר שהוא מיועד ל"מחקר יצירה רגיש לזמן השהיה, מחקרי פענוח ספקולטיבי ומקבילי, והתנסות מכוונת פריסה", ומציין שהמודל "פועל במצב לא מקוון על החומרה של המשתמש עצמו; NVIDIA אינה מארחת שירות." הכרטיס של Lightning מצביע על נקודת קצה תואמת OpenAI ב-integrate.api.nvidia.com, על תג מכולה של vLLM, על צמד דגימה מומלץ של temperature 1.0 ו-top_p 0.95, על מתג מצב חשיבה בתבנית הצ'אט, ועל שלושה צ'קפוינטים נפרדים לטיוטה של פענוח ספקולטיבי.

האחד הוא קובץ. האחר הוא שירות שמאחוריו קובץ. ההבדל הזה מניע כמעט כל דבר אחר בקטע הזה:

• פרמטרים — 8B צפוף (9.03B בספירת ה-safetensors לאחר ספירת ראש הקריאה המשני) לעומת 30B בסך הכול עם 3B פעילים לכל טוקן.

• ארכיטקטורה — מפענח בסגנון Ministral עם ראש דיפוזיה רציפה ב-16 ממדים לעומת שכבות Mamba-2, MoE וקשב סלקטיבי משתלבות עם ראשי חיזוי מרובי-טוקנים.

• הקשר — 4,096 אסימונים עבור פרומפט ופלט יחד לעומת עד 1,000,000, עם הסתייגות שכרטיס H100 בודד מגיע רק לכ־256,000 והמיליון המלא דורש שמונה כרטיסי H100, GB200 או B200.

• שפות — אנגלית בלבד לעומת אנגלית בתוספת שפות תכנות, ספרדית, צרפתית, גרמנית, איטלקית ויפנית, עם סינית בשלב שלאחר האימון.

• מבנה השחרור — כרטיס ומשקולות בלבד, ללא נקודת קצה של ספק, ללא הכרזה מול נקודת קצה מתארחת, בניית ייחוס BF16, בניית NVFP4, ושלושה מודלי טיוטה לפענוח ספקולטיבי.

• הורדות בשלושים הימים האחרונים — חמש לעומת 962,098 במאגר BF16 בלבד, לפני ספירת 901,381 בגרסת NVFP4.

• רישיון — NVIDIA Nemotron Open Model License לשניהם, אף שכרטיס ה-Lightning מכנה אותו OpenMDW-1.1.

אין מדד משותף, ולכן אין שורת תוצאה.

זה החלק שרוב דפי ההשוואה היו מטשטשים. הכרטיס של Sigma-distill מדווח על GSM8K, ‏MATH (Minerva), ‏HumanEval, ‏HumanEval+, ‏MBPP ו-MBPP+ על פני עשרה זרעים עם שתי שגיאות תקן, ובנוסף ממוצע של 66.36 על פני שש משימות. הכרטיס של Lightning מדווח על MMLU Pro, ‏GPQA Diamond, ‏HLE, ‏SciCode, ‏SWE-bench Verified, ‏SWE-bench Multilingual, ‏Terminal-Bench 2.1, ‏PinchBench, ‏BrowseComp, ‏τ³-bench Banking, ‏GDPval-AA-V2, ‏IFBench, ‏AA-LCR ו-AA-Omniscience. החיתוך הוא הקבוצה הריקה. אף לא מבחן אחד מופיע בשני הכרטיסים.

זו אינה תקלה בדיווח. שתי ההערכות בודקות דברים שונים בכוונה. שש המשימות של Sigma הן חשיבה בתשובות קצרות והשלמת קוד באורך של כמה מאות טוקנים; אלה של Lightning הן הנדסת תוכנה אג'נטית, אחזור הקשר ארוך וידע מקצועי. מודל עם חלון של 4,096 טוקנים וללא תבנית צ'אט אינו יכול להשתתף בהרנס של SWE-bench, ומודל שאומן להשלים גוף של פונקציה לא נשאל שאלות GPQA.

אז הקו ההגון היחיד שאפשר לשרטט הוא זה: בשש המשימות של עצמו, Sigma-distill nfe4 מגיע בממוצע ל-66.36 על פני עשרה זרעים, וזה מספר אמיתי תחת פרוטוקול אמיתי, והוא לא אומר דבר על איך הוא יתפקד בכל דבר ש-Lightning נמדד עליו. כל מי שאומר לך שאחד מנצח את השני משווה כלום.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

המהירות היא הנקודה שבה ההשוואה הופכת למעניינת — ושבה היא נשארת בלתי מוכרעת

שני המודלים מהירים בדרכים שקשה למקם על ציר אחד, וזהו המקום היחיד שבו לעימות יש תוכן ממשי.

Sigma-distill מייצר 32 טוקנים בכל בלוק בדיוק ב-4 הערכות דנואיזינג ועוד קריאה אחת. חמישה מעברי קדימה, 32 טוקנים: 6.4 טוקנים לכל מעבר קדימה. מכיוון שמספר הצעדים נקבע על ידי האימון, היחס הזה אינו משתנה עם אורך הפרומפט או אורך הפלט — הוא קבוע, וקוד האינפרנס של הכרטיס מסרב לאפשר לך לעקוף אותו. הכרטיס של מודל האב מדווח על 120–140 טוקנים לשנייה על H100 אחד ב-32 צעדים לכל בלוק של 64 טוקנים; הגרסה המזוקקת אינה מפרסמת נתון טוקנים לשנייה כלל, ולכן האריתמטיקה של פי 6.4 פחות מעברים אינה תפוקה מדודה.

Lightning הולך בדרך האחרת. זהו MoE עם 3B פרמטרים פעילים, כך שכל מעבר קדימה הוא זול, ו-NVIDIA מספקת את DSpark כברירת המחדל המומלצת לפענוח ספקולטיבי, עם DFlash וראשי חיזוי ריבוי-הטוקנים שלה עצמה כאלטרנטיבות. גם נתוני התפוקה שלו לא מופיעים על הכרטיס בטוקנים לשנייה — אבל ההורדות שלו ומתכון ההגשה שלו מספרים לך שהוא הורץ בייצור, מה שלא קרה עם Sigma.

ההבחנה שחשובה: ההאצה של Sigma היא מבנית וקבועה לכל טוקן, בעוד שזו של Lightning היא ספקולטיבית ותלוית עומס עבודה. חוזה קבוע של 5 קריאות לכל 32 טוקנים הוא צפוי באופן ששיעורי קבלת טיוטות לעולם אינם. הוא גם אינו מדיד היום, מפני שאף אחד לא פרסם אפילו נתון תפוקה אחד עבור נקודת הבדיקה nfe4.

כמה עולה לך להפעיל כל אחד מהם

Sigma-distill הוא 18.06 GB של משקולות bfloat16 על פני ארבעה שברים, הנטענים דרך קוד PyTorch eager מתוך המאגר עצמו עם trust_remote_code, על GPU של CUDA, ללא paged attention, ללא continuous batching וללא build מכומת באוסף. אין מחיר לכל טוקן כי אין endpoint: הכרטיס של NVIDIA מציין שהמודל רץ על החומרה שלך ושה-NVIDIA אינה מארחת שירות.

ל-Lightning צורה הפוכה. משקלי BF16 הם 31.6B פרמטרים; ההמלצה הייצורית של NVIDIA עצמה היא להשתמש במקום זאת בגרסת ה-NVFP4, והכרטיס שלה מגיע עם מתכון vLLM (תג מכולה vllm/vllm-openai:v0.27.1) עם backend של FlashInfer Mamba, מטמון FP16 SSM ו-prefix caching, וכן תמונת SGLang עבור Hopper ו-Blackwell. אין מחיר מחירון לכרטיס או ב-build.nvidia.com — נקודת הקצה כפופה לתנאי ניסוי ה-API של NVIDIA — אך פלטפורמות צד שלישי מציגות את המודל במחיר של בערך $0.05 למיליון טוקני קלט ו-$0.20 למיליון טוקני פלט. נתון זה הוא תצפית מהשוק, לא מחיר של ספק.

אף אחד מהמודלים אינו נמצא בקטלוג של OrcaRouter, וזה יהיה לא ישר לרמוז אחרת. מה שכן זמין ב-OrcaRouter הוא מערך ההשוואה הסובב: יותר מ-200 מודלים תחת מפתח אחד, מחיר המחירון של הספק מועבר ללא תוספת מחיר, כך שהורדת מחיר במעלה הזרם מופיעה באותו יום ולא בעדכון רבעוני של מחירון. אם הסיבה שאתם קוראים את זה היא שאתם צריכים לבחור בסיס השוואה שמולו תבדקו את Sigma, זה המקום שממנו מגיע בסיס ההשוואה.

בחר לפי המעטפה, לא לפי הניקוד

ארבע שאלות מיינות את זה בפחות מדקה, ואף אחת מהן אינה נוגעת לדיוק של בנצ'מרק:

• האם המשימה נכנסת ל־4,096 טוקנים? אם לא, Sigma-distill מחוץ לתמונה והשאלה סגורה. חלון מיליון הטוקנים של Lightning — 256K על H100 בודד — גדול בשלושה סדרי גודל.

• האם המשימה דורשת שיחה, כלים או פלט מובנה? ל-Sigma-distill אין מכל אלה: אין תבנית צ'אט, אין הנחיית מערכת, אין מצב JSON, ומחרוזות עצירה ותקציב טוקנים הם מנגנוני העצירה היחידים. Lightning מגיעה עם תבנית צ'אט הכוללת מתג חשיבה.

• האם עליך לשרת יותר מבקשה אחת בו-זמנית? ל-Sigma אין מחסנית שירות — המסלול הנתמך הוא סקריפט Python על GPU אחד. ל-Lightning יש שתי אינטגרציות מנוע ומתכון מקביליות מפורסם.

• האם העניין שלך הוא במנגנון הפענוח עצמו — דיפוזיה של בלוקים, זיקוק במעט צעדים, ספקולציה עצמית? אז Sigma-distill הוא היחיד מבין השניים שמעניין, ו-Lightning הוא ההשוואה הלא נכונה לחלוטין.

כל השאר נובע מהארבעה האלה. צוות שמעריך את Sigma עבור מוצר בעצם שואל אם אפשר להפוך צ'ק-פוינט מחקרי לשירות; צוות שמעריך את Lightning שואל אם MoE היברידי עם 3B פעילים נכנס לתקציב. אלה שיחות שונות.

היכן שההתמודדות תהפוך לאמיתית

שני דברים יהפכו את העמוד הזה לעימות ראש בראש אמיתי, ושניהם עדיין לא קיימים.

הראשון הוא מבחן משותף. אם Sigma אי פעם תקבל ציון MMLU Pro או GPQA, או אם Lightning אי פעם תקבל ציון GSM8K או HumanEval בפורמט פרומפט דומה, יהיה משהו להשוות. עד אז העמדה הכנה היא זו שלמעלה: שתי ערכות הערכה נפרדות לחלוטין שדווחו על ידי אותו ספק, על מודלים שאינם יכולים לגשת למבחנים זה של זה.

השני הוא נתיב שירות. Sigma-distill הוא כיום מאגר שמְשַׁכְפְּלִים (clone) וסקריפט שמריצים; בקשות ה-pull של SGLang שמזכירות דיפוזיה של Nemotron מכוונות לדור הישן יותר Nemotron-Labs-Diffusion-8B ועדיין פתוחות נכון ל-17 בנובמבר, ולרישום של vLLM אין כלל ארכיטקטורת nemotron_labs_sigma. ברגע שמודל דיפוזיה מבוסס בלוקים עם מספר צעדים קבוע יקבל paged attention וקיבוץ (batching), היתרון שלו של 6.4 טוקנים בכל מעבר הופך למספר שאפשר להציב לצד שיעור הקבלה של פענוח ספקולטיבי — וההשוואה הזו תהיה שווה פרסום.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

עד אז, הקריאה המעשית היא ש-NVIDIA שחררה שני מודלים לשני קהלים באותו סתיו, ורק אחד מהם היה מוצר. Lightning הוא זה שאפשר לפנות אליו היום, עם התנהגות המטמון, חלון ההקשר ותמיכת המנוע שמשתמעת משירות. Sigma-distill הוא זה שמורידים אם אכפת לכם אם דיפוזיה רציפה ב-8B יכולה להחזיק 66.36 בשש משימות עם חמישה מעברי קדימה לכל 32 טוקנים — שאלה של פענוח, לא של יכולת, ושאלה ששום כמות של השוואה מול 30B MoE לא תענה עליה.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.