Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B : même recette, deux plafonds de mémoire

C'est la seule comparaison, dans l'arbre généalogique de la famille N​VIDIA N​emotron 3.5, où les deux côtés ont été construits par la même équipe pour la même tâche à deux tailles différentes, et le fournisseur a déjà réalisé lui-même la confrontation directe. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB et N​VIDIA N​emotron 3.5 Lightning 30B-A3B sont tous deux des points de contrôle hybrides Mamba-2 à mélange d'experts avec des têtes de décodage spéculatif, tous deux publiés sous OpenMDW-1.1 pour un usage commercial, tous deux destinés à être exécutés par la personne qui se renseigne sur eux plutôt que d'être loués auprès d'un centre de données. Lightning est sorti le 11 août 2026. Les poids de Bolt ont été mis en ligne le 7 octobre 2026 et N​VIDIA l'a annoncé le 15 octobre.

La différence tient à un plafond de mémoire : 24 Go pour l’un, environ 16 Go pour l’autre dans sa forme quantifiée, et les huit points d’Artificial Analysis Intelligence Index qui les séparent sont ce que ce plafond permet d’obtenir.

Une recette, exécutée en deux tailles

Lightning est arrivé en premier, et il a établi la structure que suit toute la génération 3.5 : une pile hybride qui entrelace des blocs d’espace d’état Mamba-2 avec des couches de mélange d’experts et d’attention, des têtes de prédiction multi-token afin que le modèle puisse ébaucher plusieurs tokens à la fois et les vérifier en parallèle, et des modèles de proposition compagnons distincts — DSpark pour les déploiements en centre de données à faible concurrence, DFlash, puis plus tard le modèle de proposition LiLiCorr — qui font du décodage spéculatif une configuration prise en charge plutôt qu’une astuce de recherche. La distillation à partir de l’enseignant N​emotron 3 Ultra constitue l’autre moitié de la recette.

Bolt est la même recette appliquée à un budget bien plus serré. Ses 74 milliards de paramètres sont compressés à 24 Go par Star Elastic, la recherche d'architecture guidée par routeur de NVIDIA, qui part d'un checkpoint parent et recherche le nombre d'experts par couche et la largeur intermédiaire MoE permettant de respecter une empreinte de déploiement stricte tout en minimisant la perte de distillation de connaissances. Dans le cas de Bolt, la recherche était bornée à moins de 24 Go pour une taille de lot de 1 et un contexte de 128K, le top-K des experts est passé de 22 dans le parent à 9, et les poids des experts ont ensuite été quantifiés en IQ2-XXS à 2,0625 bits par élément avec une distillation tenant compte de la quantification pour récupérer la précision. Les couches Mamba sont en NVFP4, les embeddings et les couches de sortie en Q8_0.

Le modèle parent de Bolt n'est pas Lightning. Il s'agit de N​emotron 3.5 Super VL 120B-A12B, le modèle multimodal à 120 milliards de paramètres que N​VIDIA a lancé le même jour, ce qui explique pourquoi Bolt est livré avec un encodeur visuel C-RADIO v4-H, contrairement à Lightning.

Le contraste des spécifications, les deux côtés sur une seule ligne

• Paramètres totaux et actifs — Bolt : 74B au total, 9B actifs par token. Lightning : 30B au total, environ 3B actifs par token.

• Architecture — Bolt : MoE latent hybride Mamba-2–Transformer, plus un encodeur visuel C-RADIO v4-H. Lightning : MoE hybride Mamba-2 avec attention, sans tour de vision.

• Précision et empreinte — Bolt : IQ2 à 2,0625 bits par élément, compressé pour tenir sous 24 Go. Lightning : BF16, NVFP4 et autres versions quantifiées publiées séparément.

• Contexte — Bolt : jusqu'à 256 000 tokens, avec des recettes de déploiement individuelles libres d'en utiliser moins. Lightning : jusqu'à 1 000 000 de tokens en principe, avec environ 256 000 comme plafond pratique sur un seul H100.

• Entrées et sorties — Bolt : texte, images et vidéo en entrée, texte en sortie. Lightning : texte en entrée, texte en sortie.

• Licence — OpenMDW-1.1 pour les deux, validée par N​VIDIA pour un usage commercial et non commercial.

• Décodage spéculatif — Bolt : le drafteur LiLiCorr via DFlash, sept jetons spéculatifs dans la recette de référence. Lightning : les têtes MTP ainsi que les drafteurs DFlash et DSpark.

• Indice d'intelligence — Bolt : 21,4, quatrième sur 67 dans sa catégorie de taille, mesuré indépendamment par Artificial Analysis. Lightning : 12,9, mesuré indépendamment.

• Prix — Bolt : aucun tarif à l'usage, où que ce soit ; Artificial Analysis n'indique aucun prix d'entrée ni de sortie, et aucun point de terminaison hébergé n'est publié. Lightning : 0,06 $ par million de jetons d'entrée et 0,20 $ par million de jetons de sortie, selon le suivi d'Artificial Analysis, avec une entrée mise en cache à environ 0,006 $.

• Vitesse de sortie — Bolt : aucune mesure indépendante publiée. Lightning : 305 jetons de sortie par seconde, avec 0,57 seconde jusqu’au premier jeton, tous deux mesurés indépendamment, ce qui figure parmi les chiffres les plus rapides du tableau du panel.

Le face-à-face du fournisseur lui-même, à lire attentivement

La fiche modèle de NVIDIA pour Bolt publie un tableau dans lequel Lightning figure parmi trois références, et il vaut la peine de la lire comme un argument plutôt que comme un tableau de scores, car l'entreprise a choisi des benchmarks où son nouveau modèle gagne.

• Terminal-Bench 2.1 — Bolt 50,98 contre les 23,46 de Lightning. Les deux exécutés par le fournisseur, tous deux sur la version BF16 de Lightning.

• GPQA Diamond — Bolt 86,43 contre 75,57 pour Lightning.

• BrowseComp — Bolt 66,75 contre 36,81 pour Lightning.

• HLE sans outils — Bolt 25,30 contre 10,47 pour Lightning.

• PinchBench — Bolt 87,82 contre 83,43 pour Lightning, une marge bien plus étroite que les autres et cohérente avec l’affirmation de NVIDIA selon laquelle Bolt est le modèle ouvert numéro un de sa catégorie sur ce benchmark.

• AA-Omniscience non-hallucination — Bolt 61,27 contre 68,81 pour Lightning. Lightning l'emporte ici, et c'est la ligne que NVIDIA a choisi de publier malgré tout, ce qui est un point en faveur du tableau.

• Précision AA-Omniscience — Bolt 16,90 contre les 16,63 de Lightning. En pratique, une égalité, et la paire de nombres la plus faible du tableau en valeur absolue.

Chaque chiffre de cette liste est rapporté par le fournisseur sur la fiche du modèle et non reproduit. Artificial Analysis a depuis mesuré indépendamment les deux scores d’indice — 21,4 et 12,9 — et la direction concorde, ce qui est tout ce qu’on peut dire aujourd’hui.

Là où le modèle plus petit est la meilleure réponse

L’écart d’index est réel, et ce n’est pas le seul axe. Lightning l’emporte sur trois lignes qui comptent pour des déploiements spécifiques.

C'est plus rapide d'un facteur que personne n'a mesuré du côté de Bolt. 305 jetons de sortie par seconde avec un temps jusqu'au premier jeton inférieur à la seconde relève d'une classe de réactivité différente de tout ce qu'un checkpoint 74B en 2 bits non mesuré peut actuellement être supposé atteindre, et c'est mesuré. Le débit publié de Bolt lui-même, 83,99 jetons par seconde sur AIPerf SPEED-Bench-Coding avec le drafter LiLiCorr actif, provient de la page de recherche de NVIDIA sur une machine de classe ordinateur portable et n'est pas comparable au banc d'essai du panel.

Il dispose de quatre fois plus de contexte. Un million de jetons contre 256 000, et la différence se voit dans le score indépendant de récupération en contexte long : Lightning affiche 49,19 sur AA-LCR dans le tableau de NVIDIA, Bolt 64,06 — Bolt est meilleur pour exploiter un contexte long, mais Lightning est le seul des deux à annoncer une fenêtre d'un million de jetons, donc si la charge de travail consiste à « lire tout le dépôt », le plafond peut compter davantage que la qualité de récupération à l'intérieur de celui-ci.

C'est le seul des deux à avoir un prix. Lightning est disponible à 0,06 $ en entrée et 0,20 $ en sortie par million de tokens, ce qui en fait une infrastructure appelable plutôt qu'un projet matériel. Personne n'a publié de tarif hébergé pour Bolt, donc le seul moyen de l'exécuter est de posséder la machine.

Ce que Lightning ne peut pas faire, c’est voir. Il est uniquement textuel, et Bolt accepte les images et la vidéo via l’encodeur C-RADIO v4-H, avec un score de 50,86 sur WebArena vision, où Lightning n’a pas d’entrée. Si l’agent lit des captures d’écran, ouvre des PDF ou pilote un navigateur, cette ligne seule décide du choix — et c’est la ligne qui vient de la filiation Super VL de Bolt plutôt que de son nombre de paramètres.

Ce que coûte réellement l'utilisation de Bolt

La recette de service de référence de NVIDIA pour le checkpoint de 24 Go n’est pas une simple commande à copier-coller. Elle épingle une image nightly vLLM spécifique, installe le paquet de noyaux b12x et télécharge les noyaux, récupère séparément un fichier de plug-in de parseur de raisonnement, puis définit le runner de modèle v2, les backends linéaires et MoE sur b12x, les backends d’attention et Mamba sur FlashInfer, des dtypes de cache Mamba explicites, un indicateur de préremplissage par blocs et une configuration de décodage spéculatif pointant vers le drafter LiLiCorr avec sept jetons de draft. Les parseurs d’appels d’outils et de raisonnement sont nommés explicitement, et les limites multimédias plafonnent une requête à une image et une vidéo avec un taux d’élagage vidéo de 0,5.

Le déploiement de Lightning, c'est un conteneur Docker, un point de terminaison compatible OpenAI et un nom de modèle que vous pouvez aussi obtenir auprès d'un fournisseur hébergé à six cents par million de tokens. En pratique, cette différence résume toute la comparaison : Bolt, c'est un week-end de travail et une machine que vous possédez ; Lightning, c'est un après-midi et une facture.

Comment choisir, et ce qui le règlerait

Choisissez Lightning si votre charge de travail est textuelle, si votre budget de latence est serré et si, soit vos besoins en contexte sont importants, soit vous préférez payer au token plutôt que d'acheter du matériel. Son profil indépendant — la vitesse de sortie mesurée la plus rapide de sa catégorie, un premier token en moins d'une seconde, un prix publié — en fait l'option la moins risquée de la famille, et son score d'intelligence plus faible se reflète dans son prix. C'est également le choix par défaut pertinent si vous prévoyez d'associer un petit exécuteur local à un planificateur hébergé plus grand, ce qui correspond exactement au positionnement de N​VIDIA.

Prenez Bolt si votre agent touche aux pixels ou s’exécute sans réseau. La ligne vision lui est exclusive, le raisonnement à l’échelle 74B a huit points d’indice d’avance, et l’enveloppe de 24 Go est la seule de la famille à faire tenir un checkpoint distillé par un enseignant de 74B sur un seul accélérateur grand public. Acceptez le fait que vous exécutez localement le planificateur hébergé sur GPU et que vous le payez en latence que vous ne pouvez pas encore prévoir.

Pour la moitié hébergée de l'une ou l'autre architecture, OrcaRouter place les modèles que nous routons derrière une clé unique, au prix catalogue du fournisseur, avec 0 % de majoration ajoutée, et le basculement automatique entre fournisseurs signifie qu'un problème de capacité en amont est réessayé plutôt que remonté. Nous n'hébergeons aucun modèle Nemotron — le catalogue a été vérifié plutôt que supposé, et la famille n'y figure pas — donc le volet local de cette comparaison n'est affecté par rien de ce que nous faisons. Ce qu'une configuration routée apporte, c'est un plan B pour le planificateur pendant votre évaluation, ce qui compte ici car aucun de ces deux checkpoints ne dispose d'un profil de latence indépendant publié sur lequel dimensionner un chemin de production.

Ce qui trancherait la question, c'est un chiffre qui n'existe pas encore : une campagne indépendante de débit et de latence sur le checkpoint de 24 Go avec une taille de lot de un. Tant que personne ne l'aura publiée, l'argument en faveur de Bolt repose entièrement sur les deux choses que Lightning ne peut pas égaler — l'échelle des paramètres et la vision — et l'argument en faveur de Lightning repose sur quatre chiffres mesurés indépendamment.

Ce que les chiffres ne peuvent pas vous dire, c'est si quelque chose a mal tourné sur le terrain : les incidents d'IA documentés et les défaillances d'agents concernant les modèles de cette classe sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, sa gravité, son niveau de confiance et son indicateur de contestation.