NVIDIA Nemotron 3.5 Super VL Base BF16: הצ'קפוינט בנפח 249 GB ש-NVIDIA רשמה אך מעולם לא קישרה אליו

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 הוא הארטיפקט בN​VIDIA N​emotron 3.5 Super VL מהדורה ש-N​VIDIA מעולם לא קישרה אליה. בפוסט ההכרזה של החברה מ-15 באוקטובר נאמר, בפסוקית אחת, כי "המהדורה כוללת צ'קפוינטים base, post-trained ו-NVFP4-quantized עם מתכוני אימון, נתונים וסביבות למידת חיזוק." כל קישור למאגר בעמוד ההוא מפנה אל nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4. המחרוזת "Base-BF16" אינה מופיעה בפוסט כלל.

המאגר אמיתי וציבורי. Hugging Face מתעד את הקומיט הראשוני שלו ב-2026-10-12T15:31:49Z, את רסיסי המשקל שלו שהועלו ב-2026-10-13T04:55Z, ואת שדה תאריך השחרור של כרטיס המודל שלו עצמו שקורא "Hugging Face - 10/15/2026". הוא לא מגודר, הוא לא דורש טוקן להורדה, והוא שוקל בדיוק כמו ה-build ה-post-trained של nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16 ששוקל: 248.9 GB על פני 63 רסיסי BF16 לעומת 248.9 GB של ה-build ה-post-trained על פני 64, שני קבצי האינדקס במרחק 16 בתים זה מזה. שלושה ימים לאחר שהמשקלים נחתו הוא הורד 4 פעמים, לעומת 142 עבור המאגר ה-post-trained בדיוק מלא ו-81 עבור ה-NVFP4 האח. אלה המונים של Hugging Face עצמם, כפי שנקראו ב-16 באוקטובר.

אז זה לא דליפה ולא שמועה. המשקלים הם הדבר הלא-נכון לטעות בו — הם פשוט הארטיפקט הפחות מפורסם במהדורה שאחרת היא רועשת, וכרטיס המודל שמאחוריהם סותר את עצמו באופן שחשוב אם אתה מהסוג של אנשים שהיו מורידים צ'קפוינט של 249GB מלפני שלב הפוסט-אימון. הסתירה הזו מובאת להלן.

מה נחת, והמשפט שמזכיר אותו

שלושה מאגרים עיקריים ומנסח אחד עלו לאוויר באותו חלון זמן, כולם רשמיים מבית N​VIDIA, כולם תחת רישיון OpenMDW-1.1, אף אחד מהם לא מוגבל בגישה:

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16, המאגר נוצר ב-2026-10-12T15:31:49Z, המשקלים 2026-10-13T04:55Z, README עודכן לאחרונה ב-2026-10-15T15:22:08Z.

• BF16 שעבר פוסט-אימון — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, נוצר ב-2026-10-12T15:32:06Z, שבע עשרה שניות לאחר מאגר הבסיס.

• NVFP4 לאחר אימון — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, נוצר ב-2026-10-12T15:32:30Z, ובסך הכול 75.1 GB במקום 248.9 GB.

• מודל טיוטה NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, שנוצר עוד יום קודם לכן, ב-2026-10-11T20:20:59Z.

ההתאמה בין המאגרים האלה לבין הניסוחים של NVIDIA היא המקום שבו זה נהיה לא אחיד, וכדאי לבדוק אותה במקום להניח. כל עוגני הפריסה בהודעה מפנים לבנייה של NVFP4. הערת הפתיחה של כרטיס הבסיס עצמו מפנה החוצה לשניים האחרים — "מחפשים מודל שעבר אימון-המשך? ראו את מהדורת BF16 להתאמה אישית או את מהדורת NVFP4 לפריסה מיטבית" — כך שמאגר הבסיס יגיד לכם לאן ללכת במקום, כבר בשורה הראשונה שלו. ההפך אינו מתקיים. כרטיס BF16 שעבר אימון-המשך אינו מכיל קישור למאגר הבסיס בשום מקום, וכך גם כרטיס NVFP4. צ'קפוינט הבסיס הוא הארטיפקט היחיד במהדורה שהתיעוד של NVIDIA עצמה אף פעם לא מפנה אתכם אליו; אתם מוצאים אותו בקריאת המשפט בן תשע המילים בהודעה ואז בגלישה ברשימת הקבצים של הארגון, וכך הוא נמצא כאן. שום דבר בטקסט של NVIDIA לא מסביר מדוע צ'קפוינט בסיס מפורסם באותו 249 GB כמו המודל שלמעשה עבר אימון-המשך, או מה אתם אמורים לעשות איתו, דבר שהמודל שעבר אימון-המשך לא יכול לעשות.

היעדרות הזו היא הסיפור. שחרור במשקולות פתוחות שבו הספק מקשר שניים מתוך שלושה צ׳קפוינטים ומתאר את השלישי בתשע מילים אינו מסתיר דבר — המשקולות נמצאות ממש שם — אבל זה כן אומר שהתיעוד שאתם זקוקים לו אינו נמצא בהכרזה. הוא נמצא במאגר.

מה המשמעות של "base" בגרסה הזו

שני כרטיסי המודל עונים על כך, וההבדל ביניהם מספק קריאה ברורה של מה שפוסט-אימון השיג כאן.

כרטיס הבסיס מתעד שלושה שלבי אימון. שלב 1 בונה את עמוד השדרה הלשוני על גבי N​emotron 3 Super Base ומאמן ראש MTP משותף עבור 100 מיליארד טוקנים כנגד עמוד שדרה קפוא, ואז מזקק עבור טריליון טוקנים מ-N​emotron 3 Ultra Base. שלב 2 כולל 100 מיליארד טוקנים של המשך אימון מקדים בשפות הודיות, הרחבה של 35 מיליארד טוקנים להקשר של מיליון טוקנים, 67 מיליארד טוקנים של אימון ביניים בהנדסת תוכנה בהקשר של 256 אלף טוקנים, ושלב התאוששות להקשר ארוך של 9 מיליארד טוקנים. שלב 3 מרכיב את מקודד החזות C-RADIO ואת המחבר החזותי-לשוני.

כרטיס המודל שעבר אימון-על (post-trained) מתעד שישה, והשלושה שכרטיס הבסיס חסר הם בדיוק השלושה שהופכים מודל לשמיש: שלב 4 – כיוונון עדין מפוקח על חזון, הסקה, קוד, כלים, צ'אט, בטיחות ונתוני הקשר ארוך, תוך שימוש ברצפים ארוזים של עד 524,288 אסימונים; שלב 5 – למידת חיזוק עם תגמולים ניתנים לאימות בתוספת RLHF בתוספת זיקוק לפי-מדיניות מרובה-מורים; ושלב 6 – הגברת ראש ה-MTP כנגד עמוד השדרה הקפוא שעבר אימון-על, כך שפענוח ספקולטיבי באמת משתלם.

כרטיס הבסיס אומר זאת בעצמו, במדור ההסקה: "מודל הבסיס מיועד כנקודת מוצא לאימון נוסף. עבור יישומי צ'אט, הסקה וקריאה לכלים, השתמשו בגרסת ה-BF16 או NVFP4 שעברה אימון-בהמשך ובהוראות הפריסה שלה." מקרה השימוש המוצהר שלה הוא "מפתחים וחוקרים הבונים מודלים חזותיים-לשוניים מותאמים אישית באמצעות אימון מקדים מתמשך, כיוונון עדין מפוקח, למידת חיזוק וזיקוק."

זו הצהרת אי־אחריות ישירה באופן יוצא דופן, וזו הקריאה הנכונה של הארטיפקט. מה שמסופק כ"base" כאן אינו מודל צ'אט חלש יותר. זה המצע ששלבים 4 עד 6 הורצו מולו, ושפורסם לצידם כדי שמישהו אחר יוכל להריץ שלבים 4 עד 6 שונים — על הנתונים שלו, בתנאי הרישיון שלו, בלי להריץ מחדש אימון מקדים של 20 טריליון טוקנים.

טענת ה-1M טוקנים שהקונפיגורציה אינה נושאת

זו אי-ההתאמה ששווה את 249 הג'יגה-בייט של תשומת לבך.

כרטיס המודל הבסיסי מציין, בתיאור שלו, שהמודל "תומך באורכי הקשר של עד 1M טוקנים", וחוזר על כך בקטע עיצוב המודל: "המודל תומך בעד 1M טוקנים של הקשר." מתודולוגיית האימון מגבה את הכוונה — שלב 2 כולל במפורש "הרחבה של 35B טוקנים להקשר של 1M, ואחריה שלב שחזור הקשר ארוך של 9B טוקנים."

המסופק config.json אומר משהו אחר. הערך של max_position_embeddings הוא 262,144 — 256K, לא 1M. אין rope_scaling בלוק ואין original_max_position_embeddings שדה, כך שסכמת המיקום גם אינה מצהירה על הרחבה. הקונפיג של המאגר המותאם לאחר אימון, לעומת זאת, מצהיר על max_position_embeddings של 1,048,576. שני צ'קפוינטים אחים, אותה מחרוזת ארכיטקטורה, אותה פריסת שכבות, והבדל של פי ארבעה במגבלת המיקום שהפרוזה של כרטיס הבסיס אינה מזכירה.

קרא את שלוש העובדות יחד, והמסקנה המוצדקת ביותר היא לא שמודל הבסיס הוא קצר-הקשר. היא שמאגר הבסיס מגיע עם מגבלה מוצהרת שמרנית ומצפה שתשנה אותה. הרחבת ה-1M אומנה. הקונפיגורציה שפורסמה אינה חושפת אותה. אם תוכנית האימון-המשך שלך מניחה אורך רצף של 1M טוקנים ישר מהקופסה, ההנחה הזו מגיעה מהכרטיס, לא מהקובץ שזמן-הריצה יקרא בפועל — והתיקון הוא עריכת קונפיגורציה שעליך לדעת לבצע.

שווה להדגיש מאותה סיבה: טבלת סיכום המודל של כרטיס הבסיס פשוט אינה קיימת. הכרטיס שעבר פוסט־אימון מכיל אחת — סך הפרמטרים, ארכיטקטורה, דיוק, אורך הקשר, יעד פריסה, פענוח ספקולטיבי, מצב חשיבה, דגימה מומלצת, מתאים ביותר ל־, רישיון. כרטיס הבסיס עובר ישירות מתיאור לרישיון, ואז לטבלת בנצ'מרק. אין שורת דגימה מומלצת בשום מקום, ואין שורת פריסה, כך ששום דבר בכרטיס הבסיס לא אומר לך לאיזו חומרה הוא זקוק.

הארכיטקטורה, כפי שנקראת מתוך קובץ התצורה הנשלח

מכיוון שתיאור הספק של הארכיטקטורה הבסיסית הוא פסקה, והצורה האמיתית נמצאת בקובץ, הנה מה שהקובץ אומר. כל זה ממקור ראשון מתוך config.json במאגר הבסיס, ולא מתוך סיכום כלשהו.

• עומק והרכב — 88 בלוקים בשלד השפה. 40 הן שכבות Mamba-2, 40 הן שכבות תערובת-מומחים, ו-8 הן שכבות קשב מלא, באינדקסים 7, 16, 25, 36, 47, 58, 69 ו-78. בלוק קשב אחד בערך בכל תשע שכבות הוא כל מנגנון ההקשר הארוך.

• MoE — 512 מומחים מנותבים לכל שכבת MoE, 22 נבחרים לכל טוקן, מומחה משותף אחד, גודל לטנט של 1024, וגודל ביניים של המומחה המשותף של 5376 לעומת 2688 עבור המומחים המנותבים. זו האריתמטיקה שמאחורי הכותרת "120B סה״כ, 12B פעילים".

• קשב — 32 ראשי שאילתה לעומת 2 ראשי מפתח-ערך בממד ראש של 128, כלומר קשב מקובץ שאילתות ביחס של 16:1. גודל חבוי 4096.

• MTP — שכבת חיזוי אחת של האסימון הבא, שמורכבת בעצמה מבלוק קשב ובלוק MoE, בסגנון ראש חיזוי רב-אסימונים של DeepSeek. צעד חיזוי אחד, לא כמה.

• ראייה — מגדל C-RADIO ViT-H: 32 שכבות, גודל נסתר 1280, 16 ראשים, גודל טלאי 16, 7 אסימוני רישום, 3 אסימוני מחלקה, גודל תמונה מקסימלי של 2048 ותקציב טלאים בין 1024 ל-13312. המחבר מקרין ל-20,480, ואז יחס דגימה מטה של 0.5 וגודל תמונה כפוי של 512 מצמצמים את מספר האסימונים בחזרה.

• וידאו — גודל טלאי זמני של 2 ושיעור גיזום מוצהר של 0.7.

• שתי מוזרויות — התצורה מצהירה על אסימון הקשר <audio> בעוד שsound_config שלה הוא null, כך שצנרת האודיו קיימת בארכיטקטורה הזו והצ'קפוינט הזה אינו נושא ממנה דבר. ו-tie_word_embeddings הוא false, שזה סטנדרטי למודל בגודל כזה וכדאי לדעת אם אתה מתכנן לשנות את גודל אוצר המילים.

לצורך קנה מידה: המטא-נתונים של safetensors של המאגר עצמו מסתכמים ב-124,453,395,974 פרמטרים, בספירה של בית אחד של טנזור בכל פעם, לעומת הכותרת של NVIDIA על 120B סה"כ / 12B פעילים. שני המספרים מדווחים על בסיסים שונים — הנתון של הספק הוא האריתמטיקה של מנותבים פלוס משותפים של מודל השפה, והנתון של הקובץ הוא כל מה שמאוחסן במאגר, כולל מגדל הראייה וראש ה-MTP. אל תתייחסו לפער כאי-התאמה; תקצבו עבור הקובץ.

מה שטבלת הבנצ'מרק למעשה מודדת

הכרטיס הבסיסי מפרסם 24 שורות בנצ'מרק, ולזכותה של N​VIDIA, עמודה שאומרת מהי כל אחת מהן:

• MMLU 84.14 התאמה מדויקת · MMLU-Pro 76.25 · AGIEval-En 75.65 CoT · SuperGPQA 47.65 CoT · GPQA Diamond 66.16 בהתאמה מדויקת ב-5-shot CoT

• GSM8K 91.74 ב-8-shot CoT · Minerva MATH 87.66 · MATH-500 81.56 pass@1 עם דגימה n=32 · HumanEval 81.31 EvalPlus sanitized · MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench 48.42 complete ו-49.39 instruct

• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39

• Global MMLU 86.56 בממוצע על פני 8 שפות · MGSM 87.53 ב-8-shot CoT מקורי על פני 6 שפות

שני דברים בנוגע לטבלה הזו קל לפספס — ושניהם חשובים.

ראשית, משפט המסגור של הכרטיס עצמו אומר שהתוצאות "מעריכות את עמוד השדרה הבסיסי הטקסטואלי בלבד של N​emotron 3.5 Super, לפני אימון ראייה-שפה." יהיה מה שיהיה, המשמעות היא שהמספרים האלה אינם כרטיס תוצאות מולטימודלי — אין בנצ'מרק OCR, אין שורת הבנת מסמכים, ואין שורת וידאו בשום מקום בכרטיס הבסיס, אף על פי שכניסות וידאו ומסמכים מתוארות שני סעיפים קודם לכן. אם הסיבה שלך לרצות את צ'קפוינט הבסיס היא מגדל הראייה שלו, הכרטיס לא נותן לך שום דבר אמפירי שאפשר לתכנן לפיו.

שנית, בטבלה אין עמודות בסיס. הטבלה של הכרטיס שעבר אימון-משנה משתרעת על שבע עמודות — N​emotron 3.5 Super GA מול Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, N​emotron 3 Ultra, Inkling-Small ו-GLM-5.3-Flash. לכרטיס הבסיס יש עמודה אחת בדיוק. והתמהיל של מה שהורץ מלמד משהו: הכרטיס שעבר אימון-משנה משמיט לחלוטין את MMLU לטובת MMLU-ProX, בעוד שכרטיס הבסיס מריץ גם את MMLU וגם את MMLU-Pro, ולא את MMLU-ProX ואף לא את חבילות הבדיקה הסוכניות וברמת ה-harness שהכרטיס שעבר אימון-משנה נשען עליהן. אי אפשר להשיב מהכרטיס לשאלה "האם הבסיס הזה טוב יותר מהבסיס ההוא". יהיה עליכם להריץ את שניהם.

כל נתון שלמעלה הוא של N​VIDIA, שהופק באמצעות מערכת ההרצה NeMo Gym של N​VIDIA עצמה — כרטיס המודל שעבר אימון-המשך אומר זאת במפורש, וכרטיס המודל הבסיסי אינו מפרסם שום הערה על מערכת ההרצה כלל. שום דבר באף אחת מהטבלאות לא שוחזר באופן בלתי תלוי.

בסיס לעומת מאומן-סופית, בבנצ'מרק היחיד שהם חולקים

שני הכרטיסים לא חולקים טבלת בנצ'מרק, אבל יש להם בדיוק שורה אחת שאפשר להעמיד זו לצד זו, והיא זו שהכי חשובה.

• GPQA Diamond — 66.16 בכרטיס הבסיס, בהתאמה מדויקת של 5-shot chain-of-thought. 89.52 בכרטיס שלאחר האימון. פער של 23.36 נקודות, משני המסמכים של N​VIDIA עצמה, כאשר הנתון הבסיסי מתויג במפורש כשלד טקסטואלי בלבד.

זו הכותרת הכנה של מה ששווים שלבים 4 עד 6 בהסקה מדעית ברמת תואר שני: אימון־פוסט אינו סבב ליטוש על המודל הזה; הוא בערך עוד מחצית מהיכולת. זה גם אומר לך את כיוון הפשרה. אם התוכנית שלך היא לאמן־פוסט בעצמך את צ'קפוינט הבסיס, אתה מתחיל בפיגור של 23 נקודות מאחורי המודל ש-NVIDIA מוכרת ומהמר שהנתונים שלך ואות התגמול שלך יסגרו את הפער הזה בתחום שלך — וזה בדיוק ההימור שמתארים מספרי הלקוחות של NVIDIA עצמה: Scale AI מדווחת על הפחתה של פי 40 בעלויות ההסקה לעיבוד זיכויי ספקים, ו-Ramp מצפה לתפוקה גבוהה בעד 50% ולשהות נמוכה פי 10 בחילוץ מקבלה ל-JSON. אלו תוצאות שנמסרו על ידי הספק והלקוחות בלי מדידה בלתי תלויה, והן הראיות המפורסמות היחידות לכך שסגירת הפער היא ברת־השגה.

שימו לב למלכודת שבקריאת שני הכרטיסים יחד. ה-"MMLU-Pro" של כרטיס הבסיס ב-76.25 וה-"MMLU-ProX" של הכרטיס שעבר אימון-משך ב-76.91 נראים כמו פער של 0.66 נקודות ואינם ברי-השוואה — בנצ'מרקים שונים, ואחד מהם עם שיטת חילוץ TigerLab מוצהרת. ל-"MMLU" של כרטיס הבסיס ב-84.14 אין מקבילה כלל בכרטיס שעבר אימון-משך. אם אתם רוצים דלתא של אותו בנצ'מרק, GPQA Diamond הוא זה שתקבלו, ו-LiveCodeBench הוא זה שלא: כרטיס הבסיס מדווח על CodeGen ב-47.61 ואילו הכרטיס שעבר אימון-משך מדווח על LiveCodeBench v6 ב-88.22, שזו גרסה שונה של אותה משפחת בנצ'מרקים ולא דלתא.

מה 249 GB קונה, ומה לא

ההורדה עצמה היא פקודה אחת, והיא הפקודה היחידה בכל כרטיס המודל הבסיסי:

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

זה כל ה-Quick Start. כרטיס הבסיס מכיל בלוק קוד אחד; הכרטיס המותאם-לאחר-אימון מכיל עשרים ושניים. אין vllm serve שורה, אין השקת SGLang, אין הנחיות tensor-parallel, אין --max-num-seqs, אין דגל reasoning-parser, אין תצורת MTP לפענוח ספקולטיבי, ואין דוגמת לקוח API. הכרטיס המותאם-לאחר-אימון מכיל את כל זה, כולל מתכון 4×H100 עם --enable-mamba-shared-prefix-checkpoint ומתכון 2×GB200 ב-TP2.

• מנועי ריצה — הכרטיס הבסיסי מציין PyTorch, Megatron-LM ו-NeMo, וסעיף ההסקה שלו מציין PyTorch בלבד. הכרטיס שעבר אימון-גמר מציין vLLM ו-SGLang. אלה שמות של מסגרות אימון מצד אחד ושמות של מנועי הגשה מצד שני, והפיצול מכוון ולא מקרי.

• חומרת בדיקה — Hopper H100 ו-H200, Grace Blackwell GB200 ו-GB300, Blackwell B200 ו-B300. הכרטיס לאחר אימון-המשך מצטמצם ל-4×H100 או 2×GB200 לצורך פריסה.

• דיסק — 248.9 GB על פני 63 shards, זהה לגרסת הדיוק המלא לאחר האימון המשלים. הגרסה התאומה ב-NVFP4 היא 75.1 GB. אם אתם מורידים את הבסיס כדי לבדוק או להתאים אותו ולא כדי להריץ אותו, אתם משלמים פי 3.3 מהורדת ה-NVFP4 בשביל הזכות לא לקבל מתכון הגשה.

מה שכן מקבלים ושימושי באמת: המאגר מספק chat_template.jinja שלם בגודל 12,513 בייט, והוא מכיל את מתג ה-enable_thinking, כולל וריאנט המאמץ הבינוני. הוא גם מספק generation_config.json עם temperature 1.0, top_p 0.95 ו-do_sample true. השוואת התבנית הזו מול זו שלאחר האימון נותנת הבדל של 414 בייט, כולו בטיפול ברווחים הלבנים סביב מצייני המקום של התמונה והווידאו — מלבד זאת, שתי התבניות הן אותו קובץ.

אז התשתית לשוחח עם צ'קפוינט הבסיס כמודל צ'אט קיימת וכמעט זהה למודל הצ'אט שסופק. מה שחסר הוא כל הצהרה שכך ראוי לנהוג. אין שורת דגימה מומלצת בכרטיס הבסיס, אין שורת מצב חשיבה, ואין מבחן ביצועים עבורו בתצורת צ'אט. אתה יכול להפעיל אותו כמודל צ'אט בתוך כעשר דקות. האם הפלט ראוי לצאת מרתמת בדיקה היא שאלה אחרת, והתשובה של הכרטיס היא שלא.

חשיפת הקורפוס שאיש לא מדבר עליה

הנה החלק ממהדורת הבסיס שלעתים אפשר לטעון שהוא שימושי יותר מהמשקלים, והוא כמעט לא זכה לתשומת לב מכיוון שהוא נמצא בטבלאות במאגר שמעולם לא קושר.

כרטיס הבסיס מפרסם את קורפוס האימון בפירוט שכרטיס ה-post-trained אינו כולל: קורפוס בסיס של יותר מ-20 טריליון טוקנים שנאספו בין 2013 לדצמבר 2025, מפורט לפי מקור — N​emotron-CC-v2 ו-v2.1 בהיקף של 9.1T, N​emotron-CC-Code-v1 בהיקף של 427.9B, סטי N​emotron-Pretraining-Code בהיקף כולל של 1.7T, N​emotron-CC-Math-v1 בהיקף של 133.3B, הסטים הסינתטיים המקצועיים וה-SFT בהיקף של 660B, וסט משפטי בהיקף של 4.3B. אנגלית, 19 שפות מדוברות נוספות, 43 שפות תכנות.

ואז שתי טבלאות שרוב ההפצות במשקלים פתוחים פשוט אינן מפרסמות. האחת מפרטת מאגרי נתונים פרטיים שאינם נגישים לציבור, בבעלות צדדים שלישיים, ומציינת את המודלים שהפיקו את התוויות שלהם — Qwen3.5-122B-A10B במגוון רחב של משימות תיוג מחדש של OCR ומענה על שאלות חזותיות, D​eepSeek-OCR על תת-קבוצה מסוננת של OCR בסינית, Qwen3.5 על תת-קבוצה שאומתה כנכונה, Gemini 3 ו-GPT-5 על נתוני RL לחיפוש. האחרת מפרטת את מאגרי הנתונים הפרטיים של N​VIDIA עצמה, ושוב מציינת את המחוללים: Kimi K3 עבור נתוני SFT של שרשרת מחשבה במתמטיקה, DeepSeek-V4-Pro עבור OCR של תכנות תחרותי, gpt-oss-120b עבור RL של פלט מובנה, GLM-5.2 עבור עידון, MiniMax-M2 עבור הליכות בגרף חיפוש, וזנב ארוך של אחרים.

ואז שתי טבלאות שרוב שחרורי המשקלים הפתוחים פשוט אינם מפרסמים. האחת מפרטת מערכי נתונים פרטיים שאינם נגישים לציבור, שבבעלות צדדים שלישיים, ומציינת את המודלים שהפיקו את התוויות שלהם — Qwen3.5-122B-A10B במגוון רחב של משימות תיוג מחדש של OCR ושל שאלות-תשובות חזותיות, DeepSeek-OCR על תת-קבוצה מסוננת של OCR בסינית, Qwen3.5 על תת-קבוצה שאומתה כנכונה, Gemini 3 ו-GPT-5 על נתוני RL לחיפוש. האחרת מפרטת את מערכי הנתונים הפרטיים של NVIDIA עצמה, ושוב מציינת את המחוללים: Kimi K3 עבור נתוני SFT של שרשרת-מחשבה מתמטית, DeepSeek-V4-Pro עבור OCR של תכנות תחרותי, gpt-oss-120b עבור RL של פלט מובנה, GLM-5.2 עבור ליטוש, MiniMax-M2 עבור מהלכים בגרף חיפוש, וזנב ארוך של אחרים. הטבלאות המזווגות הן תזכורת לאופן שבו התעשייה באמת עובדת — אות האימון של מודל חזית כולל באופן שגרתי פלטים ממודלים של מתחרים, ו-NVIDIA היא אחת המעבדות הבודדות שיאמרו אילו מהם ולשם מה.

המאגר כולל גם Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf, שנוסף ב-15 באוקטובר, והוא גילוי תוכן האימון המיועד לאיחוד האירופי. תערובת האימון הבינוני נחשפת באותה רמת פירוט, ושורה אחת ממנה רלוונטית ישירות אם אתם מתכוונים לבצע כיוונון עדין לעבודת תוכנה: שלב הנדסת התוכנה בן 67 מיליארד הטוקנים מורכב מ-20% מאגרים שלמים, 41% זוגות של issue ו-pull request, 3% דיפים של קומיטים, 1% יומני build ו-CI, 10% עקבות סוכנים, 20% שידור חוזר של קדם-אימון ו-5% נתוני הקשר ארוך, ומקורותיו עברו דה-קונטמינציה מול מאגרי SWE-bench ו-Terminal-Bench. הצהרת הדה-קונטמינציה הזו היא השורה היחידה בכרטיס שאומרת לכם מה הערך של ציון באחד משני הבנצ'מרקים הללו.

הרישיון, ולמי מיועד הצ'קפוינט הבסיסי

OpenMDW-1.1, אותו רישיון כמו הגרסאות שעברו אימון-המשך, כאשר כרטיס המודל מצהיר בפשטות: "מודל זה מוכן לשימוש מסחרי או לא-מסחרי." המאגר אינו מוגבל בגישה ואין צורך באסימון של Hugging Face לצורך ההורדה, אף שמתכוני הקונטיינרים של N​VIDIA עצמה במקומות אחרים במשפחה מניחים שקיים כזה.

שים את הרישיון לצד מקרה השימוש, והקהל המיועד חד-משמעי. אף אחד לא מוריד צ׳קפוינט של 249 GB לפני פוסט-טריינינג כדי לחסוך כסף באינפרנס — גרסת ה-NVFP4 קטנה פי 3.3, מהירה יותר, וטובה ב-23 נקודות ב-GPQA Diamond. צ׳קפוינט הבסיס מיועד לצוות שמתכוון לקחת בעלות על שלב הפוסט-טריינינג: תחום אחר, אות תגמול אחר, או מדיניות נתונים אחרת מזו ש-NVIDIA הריצה. תחת OpenMDW-1.1, עם שימוש מסחרי מותר ומשקולות ללא הגבלת גישה, זה דבר לגיטימי לבנות עליו מוצר, וזו בדיוק הסיבה שהתיעוד החסר עולה משהו.

וכדאי להפריד כאן בין שני סוגי הקוראים. אם השאלה שלך היא "מה עליי לקרוא השבוע לניתוח מסמכים או להבנת וידאו", ה-checkpoint הבסיסי אינו התשובה שלך ומעולם לא היה; המודל שעבר אימון נוסף (post-trained) הוא התשובה, והשאלה הפתוחה שם היא אימות בנצ'מרקים ולא זמינות. ואם השאלה שלך היא "האם אני יכול להשיג שלד (backbone) היברידי Mamba-MoE בדרגת 120B לחזון-ושפה, עם רישיון מתירני, כנקודת התחלה להרצת האימון שלי", אז המאגר הזה הוא התשובה — והוא יושב בלי קישור מאז 12 באוקטובר.

אם היית עומד להעריך את זה

הטעות היקרה עם צ'קפוינט כמו זה היא להתייחס להורדה כאל המבחן. היא לא: 249 GB, 63 שרדים ועריכת קונפיג לפני המעבר קדימה הראשון לא אומרים לך דבר בשאלה אם מגדל הראייה עובר למחלקת המסמכים שלך.

הבדיקה הזולה היא לבסס תחילה את שאלת היכולת על מודל מוגש, ורק לאחר מכן להשקיע בדיסק. שער ניתוב מועיל לשם כך, ולא לשום דבר אחר בהחלטה הזו — מפתח אחד ונקודת קצה אחת על פני כמאתיים מודלים במחיר המחירון של הספק, עם 0% תוספת מחיר שעוברת הלאהמאפשר לך להעמיד את הבילד של N​emotron 3.5 Super VL שעבר אימון משלים מול כל מודל ראייה שבו אתה כבר משתמש, על התמונות שלך, בתוך אחר צהריים ובמחיר של הטוקנים. מעבר אוטומטי לגיבוי בין ספקיםחשוב כאן מסיבה צרה: הרצת הערכה שמתה בבקשה 4,000 מתוך 5,000 גורמת לך לאבד את כל ההרצה, ושער שמנסה שוב במקום אחר בעת שגיאת ספק הוא ההבדל בין אחר צהריים אחד לשניים.

להיות ישירים בנוגע לדבר האחד שאחרת היה דו־משמעי: NVIDIA Nemotron 3.5 Super VL אינו בקטלוג שלנו. אנחנו לא מספקים את המודל הזה כיום, וה־base checkpoint בפרט לא סביר שנקודת קצה מתארחת תכלול אותו בכלל, מכיוון ש־base checkpoints אינם מוצרי אינפרנס. מה ששער (gateway) נותן לך הוא החצי הזול של הניסוי — ההשוואה שאומרת לך אם כדאי לשלם על 249 GB.

מה עדיין לא מבוסס?

ארבעה דברים, מנוסחים כפערים ולא כסיכונים.

• איזו מגבלת הקשר היא אמיתית. הכרטיס אומר 1M, התצורה המסופקת מצהירה 262,144, ותיאור האימון אומר שבוצעה הרחבה של 1M. אין הצהרה מפורסמת שמיישבת בין השלושה. כל מי שמתכנן ריצת אימון-מקדים ממשיך עם הקשר ארוך צריך להתייחס לערך התצורה כברירת מחדל ולאמת מול סביבת ההרצה שלו ולא מול הכרטיס.

• מה שמגדל הראייה יכול לעשות. כרטיס הבסיס אינו מפרסם הערכה רב-מודאלית מכל סוג. אין OCR, אין מסמך, אין תרשים, אין שורת וידאו — עבור הצ'ק-פוינט היחיד במשפחה שכל מטרתו היא לעבור כיוונון עדין על אותן מודאליות. זהו החור הגדול ביותר בראיות שפורסמו.

• כיצד משתווה הבסיס לכל דבר אחר. טבלת בנצ'מרק בעלת עמודה אחת, ללא קווי בסיס, ללא הערת הרנס. הנתון 66.16 של GPQA Diamond ניתן לשחזור באופן עקרוני באמצעות NeMo Gym, וטרם שוחזר על ידי איש מחוץ ל-NVIDIA.

• האם הבסיס מספק בכלל את מתכוני הפריסה של 1M.כרטיס המודל לאחר אימון מכיל פקודות הפעלה של 4×H100 ו-2×GB200 עבור החלון המלא. כרטיס הבסיס מכיל פקודה אחת hf downloadלא ברור אם זה פער בתיעוד או הצהרה שהרצת הבסיס ב-1M אינה משהו ש-N​VIDIA מתכוונת לתמוך בו.

שום דבר מכל זה לא הופך את השחרור לפחות מעניין. זה הופך את צ'קפוינט הבסיס לארטיפקט הפחות מתועד במשפחה, ולסוג צר וספציפי של צוות — לארטיפקט השימושי ביותר שלה; ההבדל הוא אם הצעד הבא שלך הוא קריאת API או הרצת אימון.

עבור מודל שדפוסי הכשל שלו עדיין אינם מתועדים, המקבילה השימושית היא התיעוד של מה שכבר השתבש במקומות אחרים: התקריות המתועדות של בינה מלאכותית וכשלי סוכנים סביב מודלים במחלקה הזו נאספים תחת the OrcaRouter AI Incident Archive, שבו כל רשומה נושאת את המקורות שלה, חומרה, דירוג מהימנות ודגל מחלוקת.