NVIDIA Nemotron Labs Dory 1.0 4B נחת ב-Hugging Face עם ארבעה צ'קפוינטים וללא הכרזה

NVIDIA Nemotron Labs Dory 1.0 4B נמצא כרגע ב-Hugging Face, בארבע קוונטיזציות, ו-NVIDIA לא אמרה על כך מילה. נקודת השמירה nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 עלתה יחד עם כרטיס מודל שמחתים את הבנייה כ-"GA (10/16/2026)"; שלושת אחיה — NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16, NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 ו-NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — נדחפו באותו חלון של 36 דקות, משני צדי חצות UTC ב-16–17 באוקטובר 2026. אין פוסט מקביל בבלוג המפתחים של NVIDIA, אין רשומה בדף הנחיתה של מחקר Nemotron, ואין שום אזכור למודל בשם Dory באף אחד מהם. הכרטיס עצמו שלם באופן יוצא דופן — טבלת בנצ'מרקים מלאה, הוראות הרצה לשני מנועים, סכום ביקורת — אבל התשתית השיווקית שסביבו, הדבר שבדרך כלל מודיע לך שמודל קיים, נעדרת לחלוטין.

אז כדאי להיות מדויקים לגבי מה זה מתיר לך לומר ומה זה לא מתיר. מה שידוע: המשקלים קיימים, הם ניתנים להורדה, הרישיון מצוין, הארכיטקטורה מתוארת בפירוט מספיק כדי לשחזר, והספק פרסם את המספרים שלו לצד הערה שהוא מדד אותם בעצמו. מה שטרם אושר: האם זה ההתחלה של משפחת N​emotron Labs או ניסוי חד-פעמי, האם מאמר או פוסט בבלוג עתידים לבוא, והאם המספרים מחזיקים מעמד תחת מערכת הבדיקה של מישהו אחר. N​VIDIA לא הציגה זאת כהשקה, וגם הקטע הזה לא. זו קריאה של מאגר שהופיע בין לילה.

מה נמצא בפועל במאגר

התוצרים הם ארבעה צ׳קפוינטים וכרטיס מודל אחד. הכרטיס הוא המסמך המהותי, והוא המקור לכמעט כל מה שמופיע בהמשך.

• פורמטים — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) וייצוא Q5_K_M GGUF עבור llama.cpp. צ'קפוינט ה-MXFP8 הוא נושא הקטע הזה רק משום שהוא זה שנושא את מזהה המאגר הקנוני; המדדים בכרטיס נמדדו על BF16.

• גודל וצורה — 4B פרמטרים בסך הכול, מחסנית צפופה ולא תערובת של מומחים, המחולקת לבלוק קלט בן 8 שכבות, בלוק רקורנטי בן 20 שכבות ובלוק פלט בן 8 שכבות.

• הקשר — עד 256K טוקנים, עם 262,144 פוזיציות שאומתו ב-vLLM תחת פקודת ההפעלה ש-NVIDIA מספקת עם הכרטיס.

• רישיון — OpenMDW 1.1, רישיון מודל מתירני הניתן להפצה מחדש, כשהנוסח מקושר מהכרטיס. הכרטיס מציין במפורש שהמודל "מוכן לשימוש מסחרי או לא-מסחרי".

• שפה — אנגלית בלבד, אם כי נתוני אימון מוקדם מכסים 43 שפות תכנות.

• תקציב האימון — 6 טריליון אסימוני אימון מקדים, שמתוכם כ-4.5 הטריליון הראשונים הורצו באופן ילידי ב-NVFP4 לפני שהשאר עבר ל-BF16, ולאחר מכן שלב הרחבת הקשר של 300 מיליארד אסימונים. הנתונים משתרעים מ-2013 עד דצמבר 2025. האימון שאחרי האימון המקדים הוא כיוונון עדין מפוקח על סט שנאצר על ידי NVIDIA, ולאחריו למידת חיזוק רב-סביבתית עם GRPO.

• פעילות במאגר — שמונה קומיטים על `main` ושני תורמים בזמן כתיבת שורות אלה, והחדש שבהם הוא עריכת README. הראשון, "Upload Dory 4B MXFP8 checkpoint and tokenizer", בן שעות ספורות. זה אינו מאגר שישב בשקט בפומבי במשך חודשים ורק עכשיו הבחינו בו; זהו מאגר שאוכלס היום.

פרט אחד שהכרטיס עושה נכון ורוב הכרטיסים לא: הוא מפרט את הגודל המדויק בבייטים ואת ה-SHA-256 של ייצוא ה-GGUF כדי שתוכל לאמת את מה שהורדת. 3,673,288,864 בייטים, כשההאש מודפס בהוראות ההפעלה.

הארכיטקטורה היא הסיבה היחידה שצריך להתעניין.

אם שמים בצד את טבלת הבנצ'מרק, העובדה המעניינת לגבי NVIDIA Nemotron Labs Dory 1.0 4B היא שהוא אינו מודל קבוע אחד. זוהי רשת לולאתית, או רקורנטית-חבויה: הבלוק הרקורנטי בן 20 השכבות מופעל שוב ושוב בין בלוקי הקלט והפלט, והקלט מוזרק מחדש בכל לולאה. אותו צ'קפוינט מתנהג אפוא אחרת בהתאם למספר הלולאות שמבקשים, ואת זה בוחרים בזמן ההגשה ולא בזמן האימון.

שלוש השלכות נובעות מכך, וכולן מכרטיס המודל ולא מבדיקות של מישהו:

• מחשוב הסקה אלסטי — קובץ משקלים אחד משרת כמה תקציבי חישוב. מספר לולאות 1 עבור השהיה, 2 כברירת המחדל המומלצת, 4 כאשר הדיוק במשימות סוכניות חשוב יותר מטוקנים לשנייה. ללא אימון מחדש, ללא צ׳קפוינט שני שיש להוריד ולשמור מסונכרן.

• יעילות טוקנים — N​VIDIA טוענת שהחישוב הנוסף לכל טוקן מופנה לחשיבה סמויה במקום לשרשרת חשיבה גלויה ארוכה יותר, כך שמספר סבבים גבוה יותר יכול להפיק פחות טוקני פלט עבור אותה משימה. הכרטיס מגיע עם תרשים גורם טוקני פלט כדי לבסס את הטענה הזו. לטענה הזו יש השלכה ישירה על עלויות, וזו הסיבה שראוי לסמן אותה ולא לבטל אותה.

• לולאה חסכונית בזיכרון — זה מה שעונה להתנגדות המתבקשת. לולאה רגילה שומרת מטמון KV נפרד לכל לולאה, כך שהזיכרון גדל עם כל מעבר נוסף. ב-Dory קיים מצב מטמון KV של הלולאה האחרונה, ששומר מטמון יחיד לכל שכבת קשב רקורנטית ודורס אותו בכל מעבר, ובכך משאיר את טביעת הזיכרון בגודל של לולאה אחת בקירוב, לא משנה כמה לולאות מריצים. N​VIDIA אומרת שהדיוק עם מטמון של הלולאה האחרונה נשאר קרוב לדיוק עם מטמון לכל לולאה, עם אורכי פלט כמעט ללא שינוי, ומתארת זאת כתוצאה ניסויית משלה.

מערך הקשב הוא היברידי: שכבות משולבות של חלון הזזה וקשב מלא — אותה תבנית רחבה שדור המודלים הקטנים עם הקשר ארוך של 2026 התכנס אליה. שום דבר מזה אינו אקזוטי כשלעצמו. מה שפחות נפוץ הוא לספק את מספר הלולאות כמתג פריסה במודל 4B עם חלון של 256K.

טבלת הבנצ'מרק, בקריאה כטבלת ספקים

כל נתון כאן הופק על ידי N​VIDIA במסגרת מה שהכרטיס מכנה "הרנס עקבי (NeMo Gym / Nemo Evaluator SDK)". אף גורם חיצוני לא שחזר דבר ממנו, המודל בן בערך יום, ומוני ההורדות בכל ארבעת המאגרים עומדים על אפס. התייחסו למספרים כאל טענה על כיוון, לא כלוח תוצאות.

קבוצת ההשוואה ש-N​VIDIA בחרה היא כשלעצמה מאלפת: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B ו-Qwen3.6-35B-A3B. ראוי לציון ששני המשווים בדרגת 4B הם מהדור הקודם של Q​wen, וכל משווה אחר גדול באופן משמעותי. קראו לרוחב שלוש הגדרות הלולאה:

• SWE-bench Verified — 50.3 בלולאה אחת, 59.5 בשתי לולאות, 61.8 בארבע לולאות, לעומת 54.7 עבור Qwen3.5-4B, 61.0 עבור Qwen3.5-9B, 57.40 עבור Gemma 4 26B A4B ו-73.4 עבור Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 לעומת 15, 24, 35 ו-43. זו השורה שבה הלופינג מניב את הרווח הגדול ביותר, ושבה Dory עדיין הרחק מאחורי השדה.

• τ³-bench (בנקאות) — 11.6 / 12.89 / 14.69 לעומת 5.03 עבור Qwen3.5-4B, 7.22 עבור Qwen3.5-9B, 13.66 עבור Gemma 4 26B A4B ו-9.54 עבור Qwen3.6-35B-A3B. Dory מוביל כאן את דגמי Qwen 4B ו-9B בפער גדול.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 מול 424, 546, 751.6 ו-987. הזינוק מלולאה אחת לשתיים הוא 131 נקודות Elo, וזו התנועה הגדולה ביותר בין לולאה ללולאה בכל הטבלה.

• GPQA Diamond, ללא כלים — 69.19 / 72.41 / 72.16 מול 77.71, 80.93, 80.43 ו-85.35. דורי מפסיד בנקודה הזו לכל משווה, כולל Qwen 4B.

HLE, טקסט בלבד, ללא כלים — 8.25 / 10.89 / 10.43 לעומת 11.31, 15.43, 17.79 ו-19.18. אותו סיפור.

• IFBench — 74.29 / 77.94 / 79 לעומת 53.83, 59, 77.89 ו-57.44. מעקב אחר הוראות הוא התוצאה היחסית החזקה ביותר של Dory; בארבע לולאות הוא עוקף במעט את 26B Gemma 4.

• AA-LCR — 63 / 71 / 73 לעומת 64.7, 68.4, 64.6 ו-68.5. אחזור בהקשר ארוך משתפר באופן ניכר עם לולאות ובסופו של דבר עוקף את כל ארבעת גורמי ההשוואה.

• AA-Omniscience (דיוק) — 10.03 / 10.08 / 10.03 מול 15.02, 18.05, 21.13 ו-19.95. לופינג לא עושה למעשה כלום לידע מאוחסן, וזו התוצאה הצפויה ובדיקת שפיות שימושית על שאר הטבלה.

הצורה של התבנית היא מה שחשוב. הלולאה מניבה את המרב במשימות סוכניות ובמשימות שימוש בכלים, ואת המעט ביותר בשליפה אנציקלופדית, והלולאה השנייה שווה הרבה יותר מהשלישית והרביעית בכל מקום. זה עולה בקנה אחד עם ההמלצה של הכרטיס עצמו להשתמש כברירת מחדל בשתי לולאות.

ארבע הסתייגויות שנמצאות בתוך הערות השוליים של NVIDIA עצמה

זה המקום שבו הכרטיס כנה יותר מרוב הכרטיסים, וכאן קורא שמעיין במהירות בטבלה עלול ללכת שולל.

• נתוני AA אינם נתוני Artificial Analysis. ההשוואה של NVIDIA מול מדד ציוני AA מסומנת במפורש כ"אומדנים פנימיים המחושבים תחת מסגרת הערכה עקבית", ש"עשויים לסטות מציוני Artificial Analysis (AA) הרשמיים". מדובר במדידה פנימית בתנאים זהים, ולא בדירוג חיצוני.

• עמודת ההקשר הארוך משתמשת בהגדרה היברידית. עבור AA-LCR, הכרטיס אומר שהיא השתמשה במפתחות תשובות מתוקנים מ-AA-LCR v1.1 אך שמרה על מודל שופט ישן יותר ולא על החדש יותר. ערבוב של סט מפתחות מתוקן עם מודל שופט ישן יותר הופך את העמודה הזו לניתנת להשוואה לשורות האחרות של N​VIDIA, ולא בהכרח לשורות של אף אחד אחר.

• מספרי החזרות אינם אחידים בעליל. SciCode רץ שמונה פעמים, AA-LCR שש עשרה, AA-Omniscience עשר, GDP.pdf חמש, ו-HLE, Terminal-Bench 4.0 וגרסאות ה-GDPval-AA רצים פעם אחת. הרצה בודדת בבנצ'מרק עם שונות משמעותית היא אומדן נקודתי, לא ציון.

• שורה אחת בטבלה מסומנת בסימן הפגיון כנתון מדווח ולא כנתון נמדד — 73.4 של Qwen3.6-35B-A3B ב-SWE-bench Verified. מה שאומר שהמספר שנראה הגדול ביותר בלוח הוא זה ש-N​VIDIA לא הריצה בעצמה.

שום דבר מזה לא הופך את הטבלה לשגויה. זה הופך אותה לתמונת מצב פנימית של מעבדה אחת, והקריאה הכנה היא שדורי נראית תחרותית באופן אמיתי מול מודלים של 4B ו-9B מהדור הקודם של Qwen במשימות סוכניות, בעוד שהיא נותרת מאחורי המודלים של 26B ו-35B שלצדם היא מוצבת.

מה אפשר להריץ היום, ומה אי אפשר

אין נקודת קצה מתארחת עבור המודל הזה שאנו יכולים לאמת, לא מצד N​VIDIA ולא מצד אף גורם אחר. Dory היא משקולות בלבד, ושני נתיבי ההגשה בכרטיס מחייבים בנייה מבקשת משיכה שלא מוזגה:

• vLLM — התמיכה "בבדיקה" בבקשת משיכה 60149. עד שהיא תיכנס לגרסה, מתקינים את vLLM מאותו ענף, ואז מפעילים שרת עם דריסות שקובעות את מספר הלולאות ואת מצב KV-cache. הכרטיס מציין שדגל הסביבה precompiled-kernel מונע בנייה מקומית של CUDA.

• llama.cpp — התמיכה נמצאת ב-pull request 30306, והכרטיס מקבע רוויזיה ספציפית במקום ראש ה-PR המשתנה, וזה האינסטינקט הנכון להגדרת ייחוס. ההוראות מיועדות ל-macOS נייטיבי ARM64 על Apple Silicon, ונתיב ה-GGUF מצפה לייצוא Q5_K_M בגודל הבתים שהודפס למעלה.

שום דבר בכרטיס לא מרמז שאחד מהפרויקטים מוזג, ואין רשומה בהערות השחרור של אף אחד מהמנועים שמרמזת אחרת. אם אתם רוצים להריץ את Dory השבוע, אתם בונים מ-PR.

הערות חומרה ששווה לשמור: N​VIDIA נבדקה על H100, B200, B300 ו-DGX Spark, ומספרי המהירות היחידים שפורסמו הם האצות קוונטיזציה ב-Spark ולא נתוני תפוקה. במכשיר הזה MXFP8 מציג פי 1.69 ו-1.84 לעומת BF16 בהתאם לשילוב אורכי הקלט/הפלט, ו-NVFP4 מגיע לפי 2.17 ו-2.44. הדגימה המומלצת היא temperature 1.0 עם top-p 0.95, והחשיבה תמיד פעילה במסלול vLLM.

למה שחרור 4B שקט עדיין שווה את אחר הצהריים שלך

הדבר המעניין במודל שמגיע בלי השקה הוא שהטענה שלו ניתנת לבדיקה באופן שטענת השקה אינה ניתנת לבדיקה בו. אין נאום מרכזי שמצהיר על ניצחון בקטגוריה; יש כרטיס שמצהיר על מנגנון ספציפי ובר־הפרכה — שצ׳קפוינט 4B יחיד מגדיל את הדיוק של עצמו עם כוח החישוב בזמן הסקה. אפשר לבדוק זאת על GPU אחד עם דגל ספירת הלולאות, והתשובה או שנראית בהערכה שלך או שלא.

זו גם הסיטואציה שלשמה נבנית שכבת ניתוב, וכדאי להיות מדויקים לגבי מה שאנחנו עושים כאן במקום לרמוז על כך. OrcaRouter לא מגיש את N​VIDIA N​emotron Labs Dory 1.0 4B — המודל לא נמצא בקטלוג שלנו ואין נקודת קצה מתארחת עבורו בשום מקום שנוכל לאשר. מה שמפתח יחיד כן נותן לך הוא החצי השני של ההשוואה: המודלים המתארחים שמולם היית מריץ בנצ'מרק ל-4B באירוח עצמי נגישים דרך API אחד במחיר המחירון של הספק עם 0% תוספתכך שניסוי באירוח עצמי לא צריך חוזה שני או SDK שני. מעבר אוטומטי (failover) מכסה את החלון שבו מאגר ה-GPU שלך רווי, וה-DSL של הניתוב מאפשר לקריאה באירוח עצמי לשבת לצד קריאות מתארחות מאחורי נקודת קצה אחת. אם אתה בודק אם עומק אלסטי שווה את המורכבות התפעולית, לפחות קבוצת הביקורת נמצאת במרחק מפתח אחד.

מה יהפוך את זה לסיפור אמיתי

שלושה דברים, שאף אחד מהם עדיין לא נוכח.

ראשית, הכרזה. הכרטיס מתוארך ל-16 באוקטובר והמאגרים אוכלסו במהלך הלילה; פיד המפתחים של N​VIDIA הציג פוסט N​emotron ב-15 באוקטובר שעסק במודל אחר לחלוטין. פוסט בבלוג, מאמר או עמוד של משפחת N​emotron Labs עשויים להופיע בכל רגע, וסביר להניח שהם יכללו את פרטי האימון ואת התפקיד המיועד של המודל, שהכרטיס מותיר מרומזים.

שנית, תמיכת מנועים. גם vLLM וגם llama.cpp יושבים על בקשות משיכה שלא מוזגו. ביום שאחד מהם ימוזג, "אפשר להריץ את זה" יפסיק להיות "אפשר לבנות את זה מענף".

שלישית, והחשובה מכל, הערכה עצמאית. הטענות שכדאי ביותר לשחזר הן אלו שהספק הדגיש: השינוי ב-SWE-bench וב-Terminal-Bench לפי מספרי הלולאות, והטענה שמטמון KV של הלולאה האחרונה משמר את הדיוק. שתיהן ניתנות לבדיקה עם כלים שפורסמו, ואף אחת מהן לא נבדקה על ידי איש מחוץ ל-NVIDIA.

הסיכום המדויק להיום הוא זה: משקלים אמיתיים בארבעה פורמטים, רישיון מתירני, ארכיטקטורה יוצאת דופן באמת, מסלול הגשה שקיים רק בתור שני pull requests פתוחים, וגיליון בנצ׳מרק שהוא ההרנס של מעבדה אחת בלבד, כשההסתייגויות מודפסות בהערות השוליים שלו. זהו מודל ה-4B המעניין ביותר ש-NVIDIA פרסמה השנה, והחברה טרם החליטה לספר עליו לאיש.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.