Nemotron 3.5 Super vs DeepSeek V4 Pro: benchmark-tabellen som NVIDIA inte publicerade

Öppna NVIDIAs modellkort för NVIDIA Nemotron 3.5 Super VL — den öppna checkpointen med 120 miljarder parametrar som leverantören även listar som NVIDIA Nemotron 3.5 Super och som Ollama levererar som nemotron-3.5-super — och scrolla till utvärderingstabellen. Du hittar ungefär fyrtio benchmarks och sju baslinjekolumner. En av dessa kolumner är DeepSeek: den är märkt DeepSeek-V4-Flash0731. DeepSeeks egen billiga nivå. DeepSeek V4 Pro, flaggskeppet med 1,6 biljoner parametrar som ersatte aprilförhandsversionen i 0813-revisionen, förekommer inte någonstans i tabellen.

Den frånvaron är det mest användbara faktumet i den här jämförelsen, och den är inte ett förbiseende. V4 Pro aktiverar 49 miljarder parametrar per token. Att placera den i samma tabell som en modell med 12 miljarder aktiva parametrar skulle ge en uppsättning siffror som inte smickrar någon och inte upplyser någon, eftersom de två modellerna inte är samma produkt. Vad leverantören gjorde i stället är den ärliga versionen av övningen: att benchmarka mot den nivå du faktiskt tänker tränga undan.

Så den här sidan gör två saker. Den läser jämförelsen som NVIDIA publicerade – Nemotron 3.5 Super mot DeepSeeks flash-nivå – och är sedan explicit, på de ställen där de två modellerna verkligen konkurrerar, om vad som kan och inte kan dras för slutsatser om flaggskeppet.

De två artefakterna, sida vid sida

• Totala och aktiva parametrar — Nemotron 3.5 Super VL 120B totalt med 12B aktiva per token, 512 routade experter per MoE-lager, hybrid Mamba-2 och Transformer · DeepSeek V4 Pro 1,6T totalt med 49B aktiva, endast text.

• Kontext och utdatatak — 1 048 576 tokens kontext för Super VL utan publicerat utdatatak · 1 048 576 tokens kontext för V4 Pro med maximalt 384 000 tokens utdata.

• Modalitet — text, bild och video in med text ut, genom en C-RADIO-visionencoder och en vision-språk-connector · text in, text ut. Ingen bildväg alls.

• Vikter och licens — OpenMDW-1.1 för NVIDIA-checkpointen, kommersiell användning tillåten · DeepSeek publicerar sina egna vikter och tillåter även kommersiell användning.

• Pris för en mätarbaserad slutpunkt — inget publicerat; modellen är endast för egen drift · 0,66 USD per miljon indatatoken och 1,98 USD per miljon utdatatoken, med cacheläsningar till 0,022 USD.

• Släppavtryck — vikter på Hugging Face 12 oktober 2026, leverantörens tillkännagivande 15 oktober 2026 · V4 Pro fungerar som flaggskeppet, med den daterade 0813-revisionen tillgänglig för anropare som behöver låsa en version.

Två av dessa rader avgör de flesta verkliga driftsättningar. Den första är modalitet: om dina indata är en skärmbild, ett skannat avtal, ett diagram eller en videobild, är halva den här jämförelsen över innan den ens har börjat, eftersom DeepSeek V4 Pro inte har någon bildväg och ingen aviserad plan för en sådan. Den andra är prisraden, och den är mer intressant än den verkar – NVIDIA publicerar ingen taxa alls för den här modellen, vilket innebär att det enda sättet att veta din kostnad är att känna till din tokenvolym och din hårdvarukostnad.

Läser tabellen som NVIDIA faktiskt publicerade

Jämförelsen på flash-nivå är jämnare än parameterantalen antyder, och den är inte genomgående ofördelaktig för NVIDIA. På de rader där de två ligger närmast varandra är det ett genuint oavgjort resultat när det gäller kunskap och en verklig brist när det gäller agentisk exekvering.

• Ett statistiskt oavgjort resultat inom naturvetenskap på forskarnivå — GPQA-Diamond 89,52 för Super VL mot 89,6 för DeepSeek-V4-Flash. Fyra hundradelar av en poäng skiljer en 120B-modell från en baslinje i 1e12-klass på den här raden, båda körda av leverantören.

• En brist i den svåraste resonemangsförmågan — Humanity's Last Exam endast text 31,79 mot 35,8, och MMLU-ProX 76,91 mot 85,5.

• En brist inom tävlingsprogrammering — LiveCodeBench v6 88,22 mot 94,6.

• Ett underskott i agentiskt mjukvaruarbete — SWE-bench Verified 71.10 mot 75.4, Terminal-Bench 2.1 66.70 mot 76.80, DeepSWE 24.65 mot 42.3.

• Ett markant underskott vid hämtning i långa kontexter — AA-LCR v1.1 68,62 mot 79,7. Båda modellerna utlovar en miljon tokens; på den enda recall-raden av oberoende slag ligger flash-nivån mer än elva punkter före. Det är den enskilt mest avgörande siffran i tabellen för alla som planerar att använda den utlovade kontexten i stället för att bara ha den tillgänglig.

• Rader där NVIDIA vinner — GraphWalks 89,71 mot 65,4, LMArena v3 proxy 52,67 mot 49,8, och tau2-bench retail på 69,24 mot 73,8 är tillräckligt nära för att vara brus i ett så här brusigt benchmark. AA-Omniscience är den mer talande vinsten: NVIDIAs hallucinationsfrekvens på 30,0 mot DeepSeeks 95,9, och ett positivt index på 4,03 mot minus 7,8. En modell som avstår är värd mer än en modell som påstår, och i den här raden är gapet inte marginellt.

• Agentiska verktyg — tau2-bench airline 76,50 mot 83,5 och telecom 73,19 mot 98,2, båda förluster. Inom telecom-domänen tar flash-nivån nästan allt.

Vart och ett av dessa är rapporterat av leverantören genom NVIDIAs egen NeMo Gym-harness med ett publicerat recept. Det är en högre standard än ett bart påstående och en lägre än en oberoende omkörning, och i just den här tabellen är riktningen för de flesta rader emot den modell som tillkännages, vilket åtminstone är ett tecken på att harnessen inte var trimmad för att smickra.

Vad man inte kan dra för slutsatser om V4 Pro, och varför det ändå spelar roll

Du kan inte tolka något av ovanstående som en förutsägelse om flaggskeppsmatchen, av tre skäl som förtjänar att nämnas snarare än att förbigås.

För det första är baslinjen inte flaggskeppet. DeepSeeks egna publicerade agentsiffror för 0813-revisionen av V4 Pro ligger på en helt annan skala: 87,9 på Terminal Bench 2.1, 83,3 på Cybergym, 74,1 på Toolathlon Verified, 62,7 på DeepSWE, 61,5 på NL2Repo och 42,7 på Humanity's Last Exam utan verktyg, vilket stiger till 60,0 med dem. Jämfört med NVIDIAs 66,70 på Terminal-Bench 2.1 och 31,79 på HLE i enbart textläge är flaggskeppsgapet mycket större än flash-tier-gapet, och det vidgas av den andra modellens leverantör, vilket inte gör det mer trovärdigt – bara mer spetsigt.

För det andra är flash-tier-kolumnen en ögonblicksbild av en nivå som själv har förflyttat sig. En rad som ser bra ut idag kan se dålig ut nästa månad utan att någon av modellerna förändras, eftersom jämförelsen beror på vilken checkpoint leverantören valde att köra.

För det tredje är den oberoende bilden av NVIDIA-checkpointen så tunn att den nästan är oanvändbar som utslagsgivare: den tredjepartspanel som betygsätter dessa modeller har den i mitten av tjugotalet på sitt index, med ett ovanligt högt antal output-tokens per uppgift och en anmärkning om att modellen är något mångordig. En datapunkt, från en panel, fyra dagar efter att vikterna dök upp.

Så den ärliga sammanfattningen av benchmarkfallet är denna: med siffror som leverantören själv tagit fram ligger en öppen visionsmodell med 12B aktiva parametrar ungefär i nivå med DeepSeeks billiga nivå när det gäller kunskap och efter den när det gäller agentisk exekvering och återkallning i lång kontext; inget i den tabellen säger något om flaggskeppet, och flaggskeppets egna publicerade siffror är bättre på varje axel där de två över huvud taget kan jämföras.

Den enda axeln där jämförelsen är trivial

Bilder. Inte för att Nemotron är bra på vision – ingen har publicerat en oberoende utvärdering av dess visionsväg, och den levererade körtidens standardvärden samplar vid kortets text-temperatur i stället för dess visionstemperatur, vilket är en levande fälla för den första som testar det – utan för att DeepSeek V4 Pro inte tar emot dem.

Asymmetrin har en kostnadskonsekvens som är lätt att förbise. En hostad modell med bildstöd fakturerar en sida av ett skannat dokument efter sitt antal tokens, och en sida i 300 dpi är inte ett litet antal tokens. En självhostad 120B-checkpoint fakturerar samma sida i GPU-sekunder. Vid en arbetsbelastning på några tusen sidor i månaden är skillnaden brus; vid några hundra tusen är den hela budgetdiskussionen. NVIDIAs egna bildrader – 62,82 på MMLongBench-Doc, 78,16 på MathVision, 80,82 på CharXiv-reasoning, 68,12 på OCRBench v2 English – är leverantörssiffror, men de visar att förmågan finns snarare än är nominell.

Den andra axeln där jämförelsen vänder är den som alla frågar om och få mäter: minne. V4 Pro med 1,6 biljoner parametrar totalt får inte plats i närheten av en enda maskin. Super VL på 82,3 GiB i sin standardtagg på 4 bitar får plats på ett 96 GB-kort med plats för en arbetskontext. Det är inte ett kvalitetsargument. Det är skillnaden mellan en modell som ditt team kan hämta och köra i kväll och en modell som du hyr.

Att utföra aritmetiken snarare än benchmarken

Här är beräkningen värd att göra innan du läser ännu en tabell. Ta en arbetsbelastning på en miljon tokens i indata och hundra tusen tokens i utdata – en trivial månad för en dokumentpipeline, en tung dag för en chattprodukt.

Enligt den publicerade taxan för DeepSeek V4 Pro är det 0,66 USD för indata plus 0,198 USD för utdata: under en dollar, innan cacherabatter sänker indatasidan ytterligare. För NVIDIA-checkpointen finns ingen taxa, eftersom det inte finns någon slutpunkt. Kostnaden är den andel av en GPU-timme som den volymen förbrukar, hur liten den än är, och vid dessa volymer avrundas svaret till ingenting – men den fasta kostnaden bakom gör det inte. Fyra H100:or blir inte billiga bara för att trafiken under din första månad är liten.

Det är den verkliga formen av den här matchen, och det är en fråga om volym, inte om kvalitet. Under en viss genomströmning är det avgiftsbaserade API:et med öppna vikter helt enkelt billigare än elen och avskrivningen av hårdvaran, även om båda modellerna är öppna. Över en viss genomströmning inverteras den fasta kostnaden och den självhostade checkpunkten vinner kostnadsmässigt oavsett vilken av dem som får högre poäng på Terminal-Bench. Skärningspunkten beror på din utnyttjandegrad, inte på någon av leverantörerna.

Vad det innebär för routingfrågan: om du helst inte vill köra klustret alls går DeepSeek V4 Pro att nå på OrcaRouter till leverantörens listpris, vidarebefordrat utan påslag per token – 0,66 $ och 1,98 $, samma siffror som DeepSeek publicerar, eftersom vi inte lägger till något på dem. En prisändring från leverantören slår igenom hos oss samma dag i stället för vid nästa avtalsförnyelse. Nemotron 3.5 Super finns inte på vår nyckel; vi routar drygt tvåhundra modeller och den här är inte en av dem, så om du behöver just den checkpointen är leverantörens egna kanaler och den lokala hämtningen din väg.

Vad man faktiskt ska göra

Om din indata är text och din arbetsbelastning är agentisk – långa verktygskedjor, redigeringar i repositorieomfattning, terminalsessioner – är DeepSeek V4 Pro den bättre modellen och den billigare, och NVIDIA-checkpointen är inte en seriös utmanare mot den på leverantörens egna publicerade rader. Kör arbetsbelastningen på V4 Pro först, få en verklig kostnad per arbetsenhet och avgör först därefter om ett kluster är motiverat.

Om din indata är bilder, video eller långa dokument kollapsar jämförelsen till en enda fråga om volym, eftersom V4 Pro inte kan ta emot indata alls. Under några tusen sidor i månaden: behåll det hostat. Däröver är 4-bitarscheckpointen på ett 96 GB-kort en trovärdig infrastrukturkomponent – med två förbehåll värda att upprepa: versionen som de flesta kommer att köra har ingen publicerad utvärdering, och körtidens egna standardvärden för sampling är anpassade för textdelen av det som leverantören marknadsför som en visionsmodell.

Och om du nu placerar en fyra dagar gammal checkpoint bakom en förfrågningsväg, placera även en fallback bakom den. Den billigaste försäkringen som finns för en modell utan drift­historik är en andra modell i samma anrop.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.