Nemotron 3.5 Super vs DeepSeek V4 Pro : le tableau de benchmarks que NVIDIA n'a pas publié

Ouvrez la fiche modèle de NVIDIA pour NVIDIA Nemotron 3.5 Super VL — le checkpoint ouvert de 120 milliards de paramètres que le fournisseur répertorie également sous le nom de NVIDIA Nemotron 3.5 Super et qu'Ollama distribue sous le nom de nemotron-3.5-super — et faites défiler jusqu'au tableau d'évaluation. Vous y trouverez environ quarante benchmarks et sept colonnes de référence. L'une de ces colonnes est DeepSeek : elle est intitulée DeepSeek-V4-Flash0731. La propre offre économique de DeepSeek. DeepSeek V4 Pro, le modèle phare de 1 600 milliards de paramètres qui a remplacé l'aperçu d'avril dans la révision 0813, n'apparaît nulle part dans le tableau.

Cette absence est l’élément le plus utile de cette comparaison, et ce n’est pas un oubli. V4 Pro active 49 milliards de paramètres par token. Le placer dans le même tableau qu’un modèle à 12 milliards de paramètres actifs produirait une série de chiffres qui ne flatterait personne et n’informerait personne, car les deux modèles ne sont pas le même produit. Ce que le fournisseur a fait à la place est la version honnête de l’exercice : se comparer au segment que vous avez réellement l’intention de détrôner.

Ainsi, cette page fait deux choses. Elle analyse la comparaison publiée par NVIDIA — Nemotron 3.5 Super face à la gamme flash de DeepSeek — puis elle est explicite, là où les deux modèles se concurrencent réellement, sur ce que l’on peut et ne peut pas conclure au sujet du modèle phare.

Les deux artefacts, côte à côte

• Paramètres totaux et actifs — Nemotron 3.5 Super VL : 120 B au total avec 12 B actifs par token, 512 experts routés par couche MoE, hybride Mamba-2 et Transformer · DeepSeek V4 Pro : 1,6 T au total avec 49 B actifs, texte uniquement.

• Contexte et limite de sortie — 1 048 576 tokens de contexte pour Super VL, sans limite de sortie publiée · 1 048 576 tokens de contexte pour V4 Pro, avec 384 000 tokens de sortie maximale.

• Modalité — texte, image et vidéo en entrée avec texte en sortie, via un encodeur visuel C-RADIO et un connecteur vision-langage · texte en entrée, texte en sortie. Aucun chemin d'image du tout.

• Poids et licence — OpenMDW-1.1 sur le checkpoint NVIDIA, utilisation commerciale autorisée · DeepSeek publie ses propres poids et autorise également l'utilisation commerciale.

• Prix sur un endpoint facturé à l'usage — aucun prix publié ; le modèle est uniquement en auto-hébergement · $0.66 par million de jetons en entrée et $1.98 par million en sortie, les lectures de cache étant à $0.022.

• Empreinte de publication — poids sur Hugging Face le 12 octobre 2026, annonce du fournisseur le 15 octobre 2026 · V4 Pro faisant office de produit phare, avec la révision 0813 datée disponible pour les appelants qui ont besoin d'épingler.

Deux de ces lignes décident de la plupart des déploiements réels. La première est la modalité : si votre entrée est une capture d’écran, un contrat numérisé, un graphique ou une image vidéo, la moitié de cette comparaison est déjà jouée avant même de commencer, car DeepSeek V4 Pro n’a aucune voie de traitement d’image et aucun projet annoncé en ce sens. La seconde est la ligne de prix, et elle est plus intéressante qu’elle n’y paraît — NVIDIA ne publie absolument aucun tarif pour ce modèle, ce qui signifie que le seul moyen de connaître votre coût est de connaître votre volume de tokens et votre facture matérielle.

Lire le tableau que NVIDIA a réellement publié

La comparaison dans la catégorie flash est plus serrée que ne le suggèrent les nombres de paramètres, et elle n’est pas uniformément peu flatteuse pour NVIDIA. Sur les lignes où les deux sont les plus proches, le constat est une véritable égalité sur les connaissances et un vrai déficit sur l’exécution agentique.

• Une égalité statistique en sciences de niveau troisième cycle — GPQA-Diamond 89,52 pour Super VL contre 89,6 pour DeepSeek-V4-Flash. Quatre centièmes de point séparent un modèle 120B d'une référence de classe 1e12 sur cette ligne, tous deux exécutés par les fournisseurs.

• Un déficit sur le raisonnement le plus difficile — Humanity's Last Exam en version texte : 31,79 contre 35,8, et MMLU-ProX : 76,91 contre 85,5.

• Un déficit en programmation compétitive — LiveCodeBench v6 88,22 contre 94,6.

• Un déficit sur le travail logiciel agentique — SWE-bench Verified 71,10 contre 75,4, Terminal-Bench 2.1 66,70 contre 76,80, DeepSWE 24,65 contre 42,3.

• Un net déficit sur la récupération en contexte long — AA-LCR v1.1 68,62 contre 79,7. Les deux modèles annoncent un million de tokens ; sur la seule ligne de rappel de type indépendant, le palier flash devance de plus de onze points. C'est le chiffre le plus déterminant sur la table pour quiconque envisage d'utiliser le contexte annoncé plutôt que de simplement l'avoir à disposition.

• Lignes où NVIDIA l’emporte — GraphWalks 89,71 contre 65,4, le proxy LMArena v3 52,67 contre 49,8, et tau2-bench retail à 69,24 contre 73,8 est suffisamment proche pour être du bruit sur un benchmark aussi bruité. AA-Omniscience est la victoire la plus révélatrice : le taux d’hallucination de NVIDIA de 30,0 contre 95,9 pour DeepSeek, et un indice positif de 4,03 contre moins 7,8. Un modèle qui s’abstient vaut mieux qu’un modèle qui affirme, et sur cette ligne, l’écart n’est pas marginal.

• Outils agentiques — tau2-bench compagnie aérienne 76,50 contre 83,5 et télécom 73,19 contre 98,2, deux défaites. Dans le domaine des télécoms, le niveau flash l'emporte presque partout.

Chacun de ces éléments est rapporté par le fournisseur via le propre harnais NeMo Gym de NVIDIA, avec une recette publiée. C’est une norme plus élevée qu’une simple affirmation et plus basse qu’une réexécution indépendante, et sur ce tableau particulier, l’orientation de la plupart des lignes va à l’encontre du modèle annoncé, ce qui est au moins un signe que le harnais n’a pas été réglé pour flatter.

Ce qu'on ne peut pas conclure à propos de V4 Pro, et pourquoi cela compte quand même

Vous ne pouvez rien lire de ce qui précède comme une prédiction de l’affiche phare, pour trois raisons qu’il vaut la peine d’énoncer plutôt que de passer sous silence.

Premièrement, la référence de base n'est pas le modèle phare. Les chiffres d'agent publiés par DeepSeek lui-même pour la révision 0813 de V4 Pro relèvent d'une échelle entièrement différente : 87,9 sur Terminal Bench 2.1, 83,3 sur Cybergym, 74,1 sur Toolathlon Verified, 62,7 sur DeepSWE, 61,5 sur NL2Repo, et 42,7 sur Humanity's Last Exam sans outils, passant à 60,0 avec eux. Face aux 66,70 de NVIDIA sur Terminal-Bench 2.1 et 31,79 sur HLE en texte seul, l'écart entre les modèles phares est bien plus large que l'écart entre les modèles de gamme flash, et il est creusé par le fournisseur de l'autre modèle, ce qui ne le rend pas plus digne de confiance — seulement plus incisif.

Deuxièmement, la colonne flash-tier est un instantané d'une gamme qui a elle-même évolué. Une ligne qui se lit bien aujourd'hui peut se lire mal le mois prochain sans qu'aucun des deux modèles n'ait changé, car la comparaison dépend du checkpoint que le fournisseur a choisi d'exécuter.

Troisièmement, l’image indépendante du checkpoint NVIDIA est suffisamment mince pour être presque inutile comme moyen de départage : le panel tiers qui évalue ces modèles le situe dans la vingtaine moyenne sur son indice, avec un nombre de tokens de sortie par tâche inhabituellement élevé et une note indiquant que le modèle est quelque peu verbeux. Un seul point de données, provenant d’un seul panel, quatre jours après l’apparition des poids.

Donc, le résumé honnête du cas de benchmark est le suivant : sur les chiffres fournis par le fournisseur, un modèle de vision ouvert à 12B de paramètres actifs est à peu près au niveau de l’offre économique de DeepSeek en matière de connaissances, et en retrait sur l’exécution agentique et le rappel en contexte long ; rien dans ce tableau ne concerne le modèle phare, et les chiffres publiés par le modèle phare lui-même sont meilleurs sur tous les axes où les deux peuvent être comparés, ne serait-ce que tant soit peu.

Le seul axe où la comparaison est triviale

Des images. Non pas parce que Nemotron est bon en vision — personne n'a publié d'évaluation indépendante de sa chaîne de vision, et le runtime livré échantillonne par défaut à la températuretextede la fiche plutôt qu'à sa température de vision, ce qui est un piège bien réel pour la première personne qui l'essaiera — mais parce que DeepSeek V4 Pro ne les accepte pas.

Cette asymétrie a une conséquence en termes de coût qu'il est facile de négliger. Un modèle hébergé doté de capacités de vision facture une page d'un document numérisé en fonction de son nombre de tokens, et une page à 300 ppp ne représente pas un petit nombre de tokens. Un checkpoint de 120 B auto-hébergé facture la même page en secondes GPU. Sur une charge de travail de quelques milliers de pages par mois, la différence est négligeable ; sur quelques centaines de milliers, elle devient toute la conversation budgétaire. Les propres chiffres de NVIDIA en matière de vision — 62,82 sur MMLongBench-Doc, 78,16 sur MathVision, 80,82 sur CharXiv reasoning, 68,12 sur OCRBench v2 English — sont des chiffres constructeur, mais ils établissent que la capacité est bien réelle et non simplement nominale.

L'autre axe où la comparaison s'inverse est celui sur lequel tout le monde s'interroge et que peu mesurent : la mémoire. V4 Pro, avec 1,6 billion de paramètres au total, est très loin de tenir sur une seule machine. Super VL, à 82,3 Gio dans son tag 4 bits par défaut, tient sur une seule carte de 96 Go, avec de la place pour un contexte de travail. Ce n'est pas un argument de qualité. C'est la différence entre un modèle que votre équipe peut récupérer et exécuter ce soir et un modèle que vous louez.

Faire le calcul plutôt que le benchmark

Voici le calcul qui vaut la peine d'être fait avant de lire un autre tableau. Prenez une charge de travail d'un million de tokens en entrée et de cent mille tokens en sortie — un mois trivial pour un pipeline documentaire, une journée chargée pour un produit de chat.

Au tarif publié de DeepSeek V4 Pro, cela représente 0,66 $ en entrée plus 0,198 $ en sortie : moins d'un dollar, avant que les remises de cache ne fassent encore baisser le côté entrée. Sur le checkpoint NVIDIA, il n'y a pas de tarif, car il n'y a pas d'endpoint. Le coût correspond à la fraction d'une heure-GPU que ce volume consomme, et à ces volumes, la réponse s'arrondit à rien — mais le coût fixe qui se cache derrière, lui, ne s'arrondit pas à rien. Quatre H100s ne deviennent pas bon marché parce que le trafic de votre premier mois est faible.

Telle est la véritable physionomie de cette confrontation : une question de volume, et non de qualité. En dessous d’un certain débit, l’API facturée à l’usage de modèles à poids ouverts est tout simplement moins chère que l’électricité et l’amortissement du matériel, même si les deux modèles sont ouverts. Au-dessus d’un certain débit, le coût fixe s’inverse et le checkpoint auto-hébergé l’emporte sur le coût, indépendamment de celui qui obtient le meilleur score sur Terminal-Bench. Le point de bascule dépend de votre taux d’utilisation, et non de l’un ou l’autre fournisseur.

Là où cela laisse la question du routage : si vous préférez ne pas faire tourner le cluster du tout, DeepSeek V4 Pro est accessible sur OrcaRouter au prix catalogue du fournisseur, répercuté sans marge par token — 0,66 $ et 1,98 $, les mêmes chiffres que ceux publiés par DeepSeek, parce que nous ne leur ajoutons rien. Un changement de prix du fournisseur est effectif de notre côté le jour même, plutôt qu'à la prochaine reconduction de contrat. Nemotron 3.5 Super ne figure pas sur notre clé ; nous routons un peu plus de deux cents modèles et celui-ci n'en fait pas partie, donc si vous avez spécifiquement besoin de ce checkpoint, les canaux propres du fournisseur et le téléchargement en local sont votre voie.

Ce qu'il faut réellement faire

Si votre entrée est du texte et que votre charge de travail est agentique — longues chaînes d’outils, modifications à l’échelle d’un dépôt, sessions de terminal —, DeepSeek V4 Pro est le meilleur modèle et le moins cher, et le checkpoint NVIDIA n’est pas un concurrent sérieux face à lui dans les propres lignes publiées du fournisseur. Exécutez d’abord la charge de travail sur V4 Pro, obtenez un coût réel par unité de travail, et ne décidez qu’ensuite si un cluster est justifié.

Si vos entrées sont des images, de la vidéo ou de longs documents, la comparaison se réduit à une seule question de volume, car V4 Pro ne peut pas du tout prendre ces entrées en charge. En dessous de quelques milliers de pages par mois, gardez-le hébergé. Au-delà, le checkpoint 4 bits sur une seule carte de 96 Go constitue une infrastructure crédible — avec deux réserves qui méritent d'être répétées : la version que la plupart des gens utiliseront n'a fait l'objet d'aucune évaluation publiée, et les valeurs par défaut d'échantillonnage du runtime lui-même sont réglées pour la moitié texte de ce que le fournisseur présente comme un modèle de vision.

Et si vous placez bien un checkpoint vieux de quatre jours derrière un chemin de requête, placez aussi une solution de repli derrière lui. L’assurance la moins chère disponible pour un modèle sans historique opérationnel est un second modèle sur le même appel.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.