Nemotron 3.5 Super vs DeepSeek V4 Pro: de benchmarktabel die NVIDIA niet publiceerde

Open de modelkaart van NVIDIA voor NVIDIA Nemotron 3.5 Super VL — het open checkpoint met 120 miljard parameters dat de leverancier ook vermeldt als NVIDIA Nemotron 3.5 Super en dat Ollama levert als nemotron-3.5-super — en scroll naar de evaluatietabel. Je vindt er ongeveer veertig benchmarks en zeven baselinekolommen. Een van die kolommen is DeepSeek: die is gelabeld als DeepSeek-V4-Flash0731. DeepSeeks eigen goedkope tier. DeepSeek V4 Pro, het vlaggenschip met 1,6 biljoen parameters dat de april-preview in de 0813-revisie opvolgde, komt nergens in de tabel voor.

Die afwezigheid is het nuttigste feit in deze vergelijking, en dat is geen omissie. V4 Pro activeert 49 miljard parameters per token. Het in dezelfde tabel zetten als een model met 12 miljard actieve parameters zou een reeks cijfers opleveren die niemand vleit en niemand informeert, omdat de twee modellen niet hetzelfde product zijn. Wat de leverancier in plaats daarvan deed, is de eerlijke versie van de oefening: benchmarken tegen het segment dat je daadwerkelijk wilt verdringen.

Dus deze pagina doet twee dingen. Ze leest de vergelijking die NVIDIA heeft gepubliceerd — Nemotron 3.5 Super tegen DeepSeek's flash-tier — en is vervolgens expliciet, op de plekken waar de twee modellen echt met elkaar concurreren, over wat wel en niet kan worden geconcludeerd over het vlaggenschip.

De twee artefacten, naast elkaar

• Totale en actieve parameters — Nemotron 3.5 Super VL 120B totaal met 12B actief per token, 512 gerouteerde experts per MoE-laag, hybride Mamba-2 en Transformer · DeepSeek V4 Pro 1.6T totaal met 49B actief, alleen tekst.

• Context en uitvoerlimiet — 1.048.576 tokens context voor Super VL zonder gepubliceerde uitvoerlimiet · 1.048.576 tokens context voor V4 Pro met 384.000 tokens maximale uitvoer.

• Modaliteit — tekst, afbeelding en video in met tekst uit, via een C-RADIO visie-encoder en een visie-taalconnector · tekst in, tekst uit. Helemaal geen beeldpad.

• Gewichten en licentie — OpenMDW-1.1 op het NVIDIA-checkpoint, commercieel gebruik toegestaan · DeepSeek publiceert zijn eigen gewichten en staat commercieel gebruik eveneens toe.

• Prijs voor een metered endpoint — geen gepubliceerde prijs; het model is uitsluitend voor self-hosting · $0,66 per miljoen inputtokens en $1,98 per miljoen output, met cache-reads tegen $0,022.

• Release-omvang — gewichten op Hugging Face 12 oktober 2026, aankondiging van de leverancier 15 oktober 2026 · V4 Pro fungeert als het vlaggenschip, met de gedateerde 0813-revisie beschikbaar voor aanroepers die op een specifieke versie willen vastpinnen.

Twee van die regels bepalen de meeste echte implementaties. De eerste is modaliteit: als je invoer een schermafbeelding, een gescand contract, een grafiek of een videoframe is, is de helft van deze vergelijking al voorbij voordat die begint, omdat DeepSeek V4 Pro geen beeldpad heeft en geen aangekondigd plan daarvoor. De tweede is de prijsregel, en die is interessanter dan hij lijkt — NVIDIA publiceert helemaal geen tarief voor dit model, wat betekent dat de enige manier om je kosten te kennen is om je tokenvolume en je hardwarefactuur te kennen.

Het lezen van de tabel die NVIDIA daadwerkelijk heeft gepubliceerd

De flash-tier-vergelijking ligt dichter bij elkaar dan de parameteraantallen doen vermoeden, en ze is niet in alle opzichten onflatteus voor NVIDIA. Op de rijen waar de twee het dichtst bij elkaar liggen, is het verhaal een echt gelijkspel qua kennis en een reëel tekort qua agentische uitvoering.

• Een statistisch gelijke uitslag op wetenschap op masterniveau — GPQA-Diamond 89,52 voor Super VL tegenover 89,6 voor DeepSeek-V4-Flash. Vier honderdsten van een punt scheiden een 120B-model van een baseline uit de 1e12-klasse in deze rij, beide door de leverancier uitgevoerd.

• Een tekort bij de moeilijkste redeneeropgaven — Humanity's Last Exam text-only 31,79 tegen 35,8, en MMLU-ProX 76,91 tegen 85,5.

• Een tekort op het gebied van competitief programmeren — LiveCodeBench v6 88,22 tegen 94,6.

• Een tekort bij agentisch softwarewerk — SWE-bench Verified 71,10 tegen 75,4, Terminal-Bench 2.1 66,70 tegen 76,80, DeepSWE 24,65 tegen 42,3.

• Een fors tekort bij long-contextretrieval — AA-LCR v1.1 68,62 tegenover 79,7. Beide modellen adverteren met een miljoen tokens; op de enige recall-rij in onafhankelijke stijl loopt de flash-tier meer dan elf punten voor. Dat is het meest bepalende cijfer in de tabel voor iedereen die van plan is de geadverteerde context te gebruiken in plaats van die alleen maar beschikbaar te hebben.

• Rijen waarin NVIDIA wint — GraphWalks 89,71 tegen 65,4, LMArena v3-proxy 52,67 tegen 49,8, en tau2-bench retail met 69,24 tegen 73,8 komt dicht genoeg in de buurt om op een zo ruisgevoelige benchmark als ruis te gelden. AA-Omniscience is de veelzeggendere overwinning: NVIDIA's hallucinatiepercentage van 30,0 tegen DeepSeek's 95,9, en een positieve index van 4,03 tegen min 7,8. Een model dat zich onthoudt is meer waard dan een model dat beweert, en op deze rij is het verschil niet marginaal.

• Agentische tools — tau2-bench airline 76,50 tegen 83,5 en telecom 73,19 tegen 98,2, beide verlies. Op het telecom-domein wint de flash-tier bijna alles.

Elk van deze is door de leverancier gerapporteerd via NVIDIA's eigen NeMo Gym-harness met een gepubliceerd recept. Dat is een hogere standaard dan een blote bewering en een lagere dan een onafhankelijke hertest, en in deze specifieke tabel gaat de richting van de meeste rijen in tegen het model dat wordt aangekondigd, wat op zijn minst een teken is dat de harness niet was afgestemd om het model te vleien.

Wat niet kan worden geconcludeerd over V4 Pro, en waarom het toch van belang is

U kunt niets van het bovenstaande lezen als een voorspelling van het vlaggenschipduel, om drie redenen die het vermelden waard zijn in plaats van ze te verdoezelen.

Ten eerste is de baseline niet het vlaggenschip. DeepSeeks eigen gepubliceerde agentcijfers voor de 0813-revisie van V4 Pro liggen op een volledig ander niveau: 87,9 op Terminal Bench 2.1, 83,3 op Cybergym, 74,1 op Toolathlon Verified, 62,7 op DeepSWE, 61,5 op NL2Repo, en 42,7 op Humanity's Last Exam zonder tools, oplopend naar 60,0 met tools. Tegenover de 66,70 van NVIDIA op Terminal-Bench 2.1 en 31,79 op HLE tekst-only is de kloof voor het vlaggenschip veel groter dan de kloof voor de flash-tier, en die wordt vergroot door de leverancier van het andere model, wat de kloof niet betrouwbaarder maakt — alleen maar scherper.

Ten tweede is de flash-tier-kolom een momentopname van een tier die zelf is opgeschoven. Een rij die vandaag goed leest, kan volgende maand slecht lezen zonder dat een van beide modellen verandert, omdat de vergelijking afhangt van welke checkpoint de leverancier heeft gekozen om te draaien.

Ten derde is het onafhankelijke beeld voor de NVIDIA-checkpoint zo mager dat het als tiebreaker bijna onbruikbaar is: het panel van derden dat deze modellen beoordeelt, zet het in de midden-twintig op zijn index, met een ongewoon hoog aantal outputtokens per taak en een opmerking dat het model nogal verbose is. Eén datapunt, van één panel, vier dagen nadat de gewichten verschenen.

Dus de eerlijke samenvatting van de benchmarkcase is deze: op door leveranciers aangeleverde cijfers zit een open visiemodel met 12B actieve parameters ongeveer op hetzelfde niveau als de goedkope tier van DeepSeek wat kennis betreft, en erachter wat betreft agentische uitvoering en het terugvinden bij lange context; niets in die tabel zegt iets over het vlaggenschip, en de eigen gepubliceerde cijfers van het vlaggenschip zijn beter op elke as waarop de twee überhaupt vergeleken kunnen worden.

De enige as waarop de vergelijking triviaal is

Afbeeldingen. Niet omdat Nemotron goed is in vision — niemand heeft een onafhankelijke evaluatie van zijn vision-pad gepubliceerd, en de meegeleverde runtime-standaardinstellingen samplen op de teksttemperatuur van de kaart in plaats van zijn vision-temperatuur, wat een gevaarlijke val is voor de eerste persoon die het probeert — maar omdat DeepSeek V4 Pro ze niet accepteert.

Die asymmetrie heeft een kostenconsequentie die gemakkelijk over het hoofd wordt gezien. Een gehost model met visionmogelijkheden factureert een pagina van een gescand document op basis van het aantal tokens, en een pagina van 300 dpi is geen klein aantal tokens. Een zelfgehost 120B-checkpoint factureert dezelfde pagina in GPU-seconden. Bij een werklast van een paar duizend pagina's per maand is het verschil ruis; bij een paar honderdduizend is het de hele budgetdiscussie. NVIDIA's eigen vision-rijen — 62,82 op MMLongBench-Doc, 78,16 op MathVision, 80,82 op CharXiv reasoning, 68,12 op OCRBench v2 English — zijn leverancierscijfers, maar ze bevestigen dat de capaciteit aanwezig is en niet louter nominaal.

De andere as waarop de vergelijking omslaat, is degene waar iedereen naar vraagt en weinigen meten: geheugen. V4 Pro met 1,6 biljoen totale parameters past bij lange na niet op één enkele machine. Super VL met 82,3 GiB in zijn standaard 4-bit-tag past op één kaart van 96 GB, met ruimte voor een werkcontext. Dat is geen kwaliteitsargument. Het is het verschil tussen een model dat je team vanavond kan ophalen en draaien en een model dat je huurt.

De berekening uitvoeren in plaats van de benchmark

Hier is de berekening die de moeite waard is voordat je nog een tabel leest. Neem een werklast van een miljoen tokens aan invoer en honderdduizend tokens aan uitvoer — een triviale maand voor een documentpijplijn, een zware dag voor een chatproduct.

Tegen het gepubliceerde tarief van DeepSeek V4 Pro is dat $0,66 aan input plus $0,198 aan output: minder dan een dollar, voordat cachekortingen de inputkant verder omlaag brengen. Voor het NVIDIA-checkpoint bestaat er geen tarief, omdat er geen endpoint is. De kosten zijn de fractie van een GPU-uur die dat volume verbruikt, en bij dergelijke volumes komt het antwoord neer op niets — maar de vaste kosten daarachter niet. Vier H100's worden niet goedkoop omdat het verkeer in je eerste maand klein is.

Dat is de werkelijke vorm van deze confrontatie, en het is een volumekwestie, geen kwaliteitskwestie. Onder een bepaalde doorvoer is de naar verbruik gefactureerde open-weight-API simpelweg goedkoper dan de elektriciteit en afschrijving van de hardware, ook al zijn beide modellen open. Boven een bepaalde doorvoer keert de vaste kostenpost om en wint de zelfgehoste checkpoint op kosten, ongeacht welke van de twee hoger scoort op Terminal-Bench. Het omslagpunt hangt af van je benutting, niet van een van beide leveranciers.

Wat dat betekent voor de routeringsvraag: als je het cluster liever helemaal niet draait, is DeepSeek V4 Pro bereikbaar op OrcaRouter tegen de lijstprijs van de provider, doorgegeven zonder markup per token — $0,66 en $1,98, dezelfde getallen die DeepSeek publiceert, omdat wij er niets aan toevoegen. Een prijswijziging van een leverancier gaat bij ons dezelfde dag in, in plaats van bij de volgende contractverlenging. Nemotron 3.5 Super staat niet op onze key; we routeren iets meer dan tweehonderd modellen en dit is er niet een van, dus als je specifiek dat checkpoint nodig hebt, zijn de eigen kanalen van de leverancier en de lokale pull je route.

Wat je daadwerkelijk moet doen

Als je invoer tekst is en je workload agentisch is — lange toolketens, bewerkingen op repositoryschaal, terminalsessies — dan is DeepSeek V4 Pro het betere model en het goedkopere model, en de NVIDIA-checkpoint is geen serieuze concurrent daarvoor op de eigen gepubliceerde rijen van de leverancier. Draai de workload eerst op V4 Pro, bepaal de werkelijke kosten per eenheid werk, en beslis pas daarna of een cluster gerechtvaardigd is.

Als je invoer afbeeldingen, video of lange documenten betreft, reduceert de vergelijking tot één enkele vraag over volume, omdat V4 Pro de invoer helemaal niet kan verwerken. Onder een paar duizend pagina's per maand kun je het gehost houden. Daarboven is het 4-bit-checkpoint op één 96GB-kaart een geloofwaardig stuk infrastructuur — met twee kanttekeningen die het herhalen waard zijn: de versie die de meeste mensen zullen draaien heeft geen gepubliceerde evaluatie, en de eigen sampling-standaardwaarden van de runtime zijn afgestemd op de teksthelft van wat de leverancier als een vision-model adverteert.

En als je toch een vier dagen oud checkpoint achter een requestpad zet, zet er dan ook een fallback achter. De goedkoopste verzekering die beschikbaar is voor een model zonder operationele geschiedenis is een tweede model op dezelfde call.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.