Nemotron 3.5 Super מול DeepSeek V4 Pro: טבלת הבנצ'מרקים ש-NVIDIA לא פרסמה

פתחו את כרטיס המודל של NVIDIA עבור NVIDIA Nemotron 3.5 Super VL — הצ'קפוינט הפתוח בעל 120 מיליארד הפרמטרים שהספק מפרט גם בתור NVIDIA Nemotron 3.5 Super ושאותו Ollama מפיצה בשם nemotron-3.5-super — וגללו אל טבלת ההערכה. תמצאו בה כארבעים מדדי הערכה ושבע עמודות בסיס. אחת מהעמודות האלה היא DeepSeek: היא מסומנת בתור DeepSeek-V4-Flash0731. השכבה הזולה של DeepSeek עצמה. DeepSeek V4 Pro, הדגם המוביל עם 1.6 טריליון פרמטרים שהחליף את התצוגה המקדימה מאפריל בגרסת 0813, אינו מופיע בשום מקום בטבלה.

היעדרות זו היא העובדה השימושית ביותר בהשוואה הזו, והיא אינה מחדל. V4 Pro מפעיל 49 מיליארד פרמטרים לכל טוקן. הצבתו באותה טבלה עם מודל עם 12 מיליארד פרמטרים פעילים הייתה מייצרת סט מספרים שלא מחמיא לאף אחד ולא מספק מידע לאף אחד, כי שני המודלים אינם אותו מוצר. מה שהספק עשה במקום זה הוא הגרסה הכנה של התרגיל: לערוך בנצ'מרק מול הדרג שאתה באמת מתכוון להחליף.

אז הדף הזה עושה שני דברים. הוא קורא את ההשוואה ש-NVIDIA פרסמה — Nemotron 3.5 Super מול שכבת ה-Flash של DeepSeek — ואז הוא מפורש, במקומות שבהם שני המודלים באמת מתחרים, לגבי מה שאפשר ומה שאי אפשר להסיק על דגם הדגל.

שני הארטיפקטים, זה לצד זה

• סך הפרמטרים והפרמטרים הפעילים — Nemotron 3.5 Super VL עם 120B בסך הכול ו-12B פעילים לכל טוקן, 512 מומחים מנותבים בכל שכבת MoE, שילוב היברידי של Mamba-2 ו-Transformer · DeepSeek V4 Pro עם 1.6T בסך הכול ו-49B פעילים, טקסט בלבד.

• הקשר ומגבלת פלט — 1,048,576 טוקנים של הקשר עבור Super VL ללא מגבלת פלט מפורסמת · 1,048,576 טוקנים של הקשר עבור V4 Pro עם 384,000 טוקנים של פלט מרבי.

• מודאליות — טקסט, תמונה ווידאו נכנסים עם טקסט יוצא, דרך מקודד חזותי C-RADIO ומחבר חזותי-לשוני · טקסט נכנס, טקסט יוצא. אין נתיב תמונה בכלל.

• משקלים ורישיון — OpenMDW-1.1 על הצ'קפוינט של NVIDIA, שימוש מסחרי מותר · DeepSeek מפרסמת משקלים משלה ומתירה שימוש מסחרי גם כן.

• מחיר בנקודת קצה בתשלום לפי שימוש — לא פורסם מחיר; המודל מיועד לאירוח עצמי בלבד · $0.66 למיליון טוקנים בקלט ו־$1.98 למיליון בפלט, עם קריאות מטמון ב־$0.022.

• טביעת הרגל של ההשקה — המשקולות ב-Hugging Face ב-12 באוקטובר 2026, הכרזת הספק ב-15 באוקטובר 2026 · V4 Pro משמשת כפלאגשיפ, כאשר מהדורת 0813 המתוארכת זמינה לקוראים שצריכים לנעוץ גרסה.

שניים מהקווים האלה מכריעים את רוב הפריסות האמיתיות. הראשון הוא מודאליות: אם הקלט שלך הוא צילום מסך, חוזה סרוק, תרשים או פריים וידאו, חצי מההשוואה הזו נגמרת עוד לפני שהיא מתחילה, כי ל-DeepSeek V4 Pro אין מסלול תמונות ואין תוכנית מוצהרת לאחד כזה. השני הוא קו המחיר, והוא מעניין יותר ממה שהוא נראה — NVIDIA לא מפרסמת תעריף עבור הדגם הזה בכלל, מה שאומר שהדרך היחידה לדעת את העלות שלך היא לדעת את נפח הטוקנים שלך ואת חשבון החומרה שלך.

קריאת הטבלה ש-NVIDIA פרסמה בפועל

ההשוואה ברמת ה-flash קרובה יותר ממה שמספרי הפרמטרים מרמזים, והיא אינה שלילית באופן אחיד כלפי NVIDIA. בשורות שבהן שני המודלים הם הקרובים ביותר, התמונה היא תיקו אמיתי בידע וחיסרון ממשי בביצוע סוכני.

• תיקו סטטיסטי במדעים ברמת תואר שני — GPQA-Diamond 89.52 עבור Super VL לעומת 89.6 עבור DeepSeek-V4-Flash. ארבע מאיות הנקודה מפרידות בין מודל 120B לבין בסיס מסדר 1e12 בשורה זו, ושניהם הורצו על ידי הספק.

• פער בהסקה הקשה ביותר — Humanity's Last Exam במצב טקסט בלבד 31.79 לעומת 35.8, ו-MMLU-ProX 76.91 לעומת 85.5.

• פער בקידוד תחרותי — LiveCodeBench v6 88.22 לעומת 94.6.

• פער בעבודת תוכנה אג'נטית — SWE-bench Verified 71.10 לעומת 75.4, Terminal-Bench 2.1 66.70 לעומת 76.80, DeepSWE 24.65 לעומת 42.3.

• פער חד באחזור הקשר ארוך — AA-LCR v1.1 68.62 לעומת 79.7. שני המודלים מצהירים על מיליון טוקנים; בשורת האחזור היחידה בסגנון עצמאי, שכבת ה-flash מקדימה ביותר מאחת עשרה נקודות. זהו המספר המשמעותי ביותר על השולחן עבור כל מי שמתכנן להשתמש בהקשר המוצהר ולא רק שיהיה לו אותו זמין.

• שורות שבהן NVIDIA מנצחת — GraphWalks 89.71 מול 65.4, פרוקסי LMArena v3 52.67 מול 49.8, ו-tau2-bench retail ב-69.24 לעומת 73.8; זה קרוב מספיק כדי להיחשב לרעש בבנצ'מרק כה רועש. AA-Omniscience הוא הניצחון המשמעותי יותר: שיעור ההזיות של NVIDIA עומד על 30.0 לעומת 95.9 של DeepSeek, ומדד חיובי של 4.03 לעומת מינוס 7.8. מודל שנמנע מלהשיב שווה יותר ממודל שמצהיר, ובשורה הזו הפער אינו שולי.

• כלים אג'נטיים — tau2-bench: תחום התעופה 76.50 מול 83.5 וטלקום 73.19 מול 98.2, שניהם הפסדים. בתחום הטלקום שכבת ה-flash כמעט סוחפת.

כל אחד מאלה מדווח על ידי הספק דרך מערכת הבדיקה NeMo Gym של NVIDIA עצמה, עם מתכון מפורסם. זהו תקן גבוה יותר מאשר טענה בלבד, ונמוך יותר מאשר הרצה חוזרת בלתי תלויה, ובטבלה המסוימת הזו כיוונן של רוב השורות הוא נגד המודל המוכרז, מה שלפחות מעיד שמערכת הבדיקה לא כווננה כדי להחמיא.

מה שלא ניתן להסיק על V4 Pro, ולמה זה בכל זאת חשוב

אינך יכול לקרוא את כל האמור לעיל כתחזית של המפגש המוביל, משלוש סיבות שראוי לציין ולא להחליק על פניהן.

ראשית, קו הבסיס אינו דגם הדגל. מספרי הסוכן שפרסמה DeepSeek בעצמה עבור גרסת 0813 של V4 Pro נמצאים בסולם אחר לחלוטין: 87.9 ב-Terminal Bench 2.1, 83.3 ב-Cybergym, 74.1 ב-Toolathlon Verified, 62.7 ב-DeepSWE, 61.5 ב-NL2Repo, ו-42.7 ב-Humanity's Last Exam ללא כלים, כשהוא עולה ל-60.0 איתם. לעומת 66.70 של NVIDIA ב-Terminal-Bench 2.1 ו-31.79 ב-HLE טקסט בלבד, פער דגם הדגל רחב בהרבה מפער שכבת ה-Flash, והוא הולך ומתרחב על ידי הספק של המודל האחר, מה שלא הופך אותו לאמין יותר — אלא רק מחודד יותר.

שנית, עמודת שכבת הפלאש היא תמונת מצב של שכבה שנעה בעצמה. שורה שנקראת היטב היום עלולה להיקרא רע בחודש הבא מבלי שאף אחד מהמודלים ישתנה, כי ההשוואה תלויה באיזו נקודת ביקורת הספק בחר להריץ.

שלישית, התמונה הבלתי־תלויה של הצ'קפוינט של NVIDIA דקה מספיק כדי להיות כמעט חסרת תועלת כשובר־שוויון: הפאנל של צד שלישי שמדרג את המודלים האלה מציב אותו באמצע שנות העשרים במדד שלו, עם מספר גבוה באופן יוצא דופן של טוקני פלט לכל משימה, והערה שהמודל די רב־מילים. נקודת נתונים אחת, מפאנל אחד, ארבעה ימים לאחר שהמשקולות הופיעו.

אז סיכום כן של מקרה הבנצ'מרק הוא זה: לפי מספרים שהספק מריץ, מודל חזותי פתוח עם 12B פרמטרים פעילים נמצא בערך באותה רמה כמו השכבה הזולה של DeepSeek בידע, אבל הוא מאחוריה בביצוע סוכני ובשליפה בהקשר ארוך; שום דבר בטבלה ההיא לא מתייחס לדגם הדגל, והמספרים שפורסמו של דגם הדגל עצמו טובים יותר בכל ציר שבו אפשר בכלל להשוות בין השניים.

הציר היחיד שבו ההשוואה טריוויאלית

תמונות. לא מפני ש-Nemotron טוב בראייה — איש לא פרסם הערכה עצמאית של מסלול הראייה שלו, וברירות המחדל של סביבת ההרצה שנשלחה דוגמות בטמפרטורת טקסט של הכרטיס ולא בטמפרטורת הראייה שלו, וזו מלכודת חיה לראשון שינסה זאת — אלא מפני ש-DeepSeek V4 Pro לא מקבל אותן.

לחוסר-הסימטריה הזה יש השלכת עלות שקל לפספס. מודל מתארח בעל יכולת ראייה מחייב דף של מסמך סרוק לפי מספר הטוקנים שלו, ודף ברזולוציית 300 dpi אינו מספר טוקנים קטן. צ'קפוינט 120B בהתארחות עצמית מחייב את אותו דף בשניות GPU. בעומס עבודה של כמה אלפי דפים בחודש ההבדל הוא רעש; בכמה מאות אלפים הוא כל שיחת התקציב. שורות הראייה של NVIDIA עצמה — 62.82 ב-MMLongBench-Doc, 78.16 ב-MathVision, 80.82 ב-CharXiv reasoning, 68.12 ב-OCRBench v2 English — הן מספרי ספק, אך הן מבססות שהיכולת קיימת ולא נומינלית.

הציר האחר שבו ההשוואה מתהפכת הוא זה שכולם שואלים עליו ומעטים מודדים: זיכרון. V4 Pro עם 1.6 טריליון פרמטרים בסך הכול לא מתקרב להיכנס למכונה בודדת. Super VL בגודל 82.3 GiB בתג ברירת המחדל שלו של 4-bit נכנס על כרטיס אחד של 96 GB עם מקום להקשר עבודה. זה לא טיעון לגבי איכות. זה ההבדל בין מודל שהצוות שלך יכול למשוך ולהריץ כבר הלילה לבין מודל שאתה שוכר.

מריצים את החישוב ולא את הבנצ'מרק

הנה החישוב ששווה לעשות לפני שקוראים עוד טבלה. קחו עומס עבודה של מיליון טוקנים של קלט ומאה אלף טוקנים של פלט — חודש של מה בכך עבור צינור עיבוד מסמכים, יום כבד עבור מוצר צ׳אט.

לפי התעריף המפורסם של DeepSeek V4 Pro, מדובר ב-$0.66 של קלט ועוד $0.198 של פלט: פחות מדולר, לפני שהנחות המטמון מורידות עוד יותר את צד הקלט. ב-checkpoint של NVIDIA אין תעריף, מפני שאין endpoint. העלות היא אותו שבריר משעת GPU שהנפח הזה צורך, ובנפחים האלה התשובה מתעגלת לאפס — אבל העלות הקבועה שמאחוריה לא. ארבעה H100s לא הופכים לזולים כי התעבורה בחודש הראשון שלך קטנה.

זו הצורה האמיתית של ההתמודדות הזאת, וזו שאלה של נפח, לא שאלה של איכות. מתחת לתפוקה מסוימת, ה-API המחויב לפי שימוש של מודלים במשקלים פתוחים פשוט זול יותר מהחשמל ומהפחת של החומרה, למרות ששני המודלים פתוחים. מעל תפוקה מסוימת, העלות הקבועה מתהפכת והצ'קפוינט המתארח בעצמך מנצח מבחינת עלות, לא משנה איזה מהם מקבל ציון גבוה יותר ב-Terminal-Bench. נקודת ההצטלבות תלויה בניצול שלך, לא באף אחד מהספקים.

ומה זה אומר לגבי שאלת הניתוב: אם אתם מעדיפים בכלל לא להריץ את האשכול, אפשר להגיע אל DeepSeek V4 Pro דרך OrcaRouter במחיר המחירון של הספק, כשהוא מועבר הלאה בלי תוספת מחיר לכל טוקן — $0.66 ו-$1.98, אותם מספרים ש-DeepSeek מפרסמת, כי אנחנו לא מוסיפים להם. שינוי מחיר של ספק נכנס לתוקף אצלנו באותו יום, ולא בחידוש החוזה הבא. Nemotron 3.5 Super לא נמצא במפתח שלנו; אנחנו מנתבים קצת יותר ממאתיים מודלים, וזה לא אחד מהם, אז אם אתם צריכים בדיוק את הצ'קפוינט הזה, הערוצים של הספק עצמו והמשיכה המקומית הם הנתיב שלכם.

מה לעשות בפועל

אם הקלט שלך הוא טקסט ועומס העבודה שלך הוא סוכני — שרשראות כלים ארוכות, עריכות בקנה מידה של מאגר קוד, הפעלות מסוף — DeepSeek V4 Pro הוא המודל הטוב יותר והזול יותר, וה-checkpoint של NVIDIA אינו מתחרה רציני מולו לפי השורות המפורסמות של הספק עצמו. הרץ את עומס העבודה על V4 Pro תחילה, השג עלות אמיתית ליחידת עבודה, ורק אז החלט אם אשכול מוצדק.

אם הקלט שלכם הוא תמונות, וידאו או מסמכים ארוכים, ההשוואה מתמוטטת לשאלה אחת של נפח, מפני ש-V4 Pro כלל אינו יכול לקלוט את הקלט. מתחת לכמה אלפי עמודים בחודש — הישארו עם הגרסה המתארחת. מעל לזה, נקודת ביקורת של 4-bit על כרטיס בודד של 96 GB היא חלקת תשתית אמינה — עם שתי הסתייגויות שכדאי לחזור עליהן: לגרסה שרוב האנשים יריצו אין הערכה מפורסמת, וברירות המחדל של הדגימה של סביבת ההרצה עצמה מכווננות לחצי הטקסטואלי של מה שהספק מפרסם כמודל ראייה.

ואם אתם כן מציבים צ׳קפוינט בן ארבעה ימים מאחורי נתיב בקשה, הציבו מאחוריו גם מנגנון גיבוי. הביטוח הזול ביותר הזמין עבור מודל ללא היסטוריה תפעולית הוא מודל שני באותה קריאה.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.