Une carte de titre générée indiquant NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, avec des panneaux indiquant 74B de paramètres au total et 9B actifs, 2,0625 bits par poids d'expert en IQ2_XXS, un contexte de 262 144 tokens avec entrée texte, image et vidéo, et un dépôt créé huit jours avant l'annonce du fournisseur. Un pied de page note que le chiffre de l'Artificial Analysis Intelligence Index est mesuré indépendamment, tandis que chaque ligne de benchmark dans le tableau de NVIDIA lui-même est déclarée par le fournisseur.
Engineering & Research

Nemotron 3.5 Bolt est sorti : ce que contient réellement le checkpoint 2 bits de 24 Go de NVIDIA

Auteur

Rowan Sterling

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le dépôt de N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB est apparu sur Hugging Face le 7 octobre 2026 et y est resté, discrètement, pendant huit jours. Le 15 octobre, N​VIDIA l’a annoncé — un billet de blog, un communiqué de presse et une page de recherche portant cette date — ce qui signifie que la partie intéressante de cette histoire n’est pas le lancement. C’est l’écart. Pendant huit jours, la seule chose que quiconque pouvait savoir sur N​emotron 3.5 Bolt était ce que disaient une fiche de modèle et un ensemble de safetensors, et tout le reste relevait de l’inférence. Cet écart s’est désormais refermé, et il vaut la peine d’être précis sur ce que sa clôture a réellement établi, car une bonne partie de ce que les gens répètent à propos de ce modèle vient du dépôt plutôt que de l’annonce, et les deux ne sont pas le même document.

Ce qui est certain maintenant, en un paragraphe, est ceci. Nemotron 3.5 Bolt 74B-A9B 24GB est un modèle vision-langage de type mélange d'experts de 74 milliards de paramètres, avec 9 milliards de paramètres actifs par token, publié le 15 octobre 2026 sous la licence OpenMDW-1.1, stockant ses poids d'experts à 2,0625 bits par élément afin que l'ensemble tienne dans 24GB. Il est conçu pour exécuter du travail agentique local — appels d'outils, navigation, utilisation du terminal — sur du matériel RTX et DGX Spark. Il est disponible sur Ollama sous la forme d'un tag de 25GB avec une fenêtre de contexte de 256K. Il n'est sur aucune API hébergée et n'a pas de prix. Une partie de cette phrase est mesurée indépendamment et le reste provient des dires du fournisseur.

Deux dates, et laquelle citer

Il existe une véritable différence entre les deux dates, et elle détermine la façon dont vous devriez lire le reste de cet article.

Le dépôt Hugging Face a été créé le 7 octobre 2026 à 17:50 UTC. La fiche de modèle qu'il contient comporte un champ Date de publication indiquant Hugging Face 15/10/2026. La page de recherche de NVIDIA consacrée au checkpoint porte la mention Publié : 15 octobre 2026. L'article de blog du fournisseur annonçant l'offre Bolt est daté du 15 octobre 2026 et indique, en toutes lettres, que Super VL et Bolt 74B-A9B « sont disponibles dès maintenant ».

Donc, l'interprétation honnête, c'est que le 15 octobre est la date de sortie et le 7 octobre est le moment où le dossier est apparu. Quiconque cite le 7 octobre comme date de lancement cite un horodatage de fichier ; quiconque cite le 15 octobre cite le fournisseur. L'écart de huit jours compte toutefois pour une raison différente des dates. Cela signifie que pendant plus d'une semaine, le modèle a existé dans un état où le dépôt était la seule surface — aucune annonce, aucune page de tarification, aucune entrée de classement, personne chez N​VIDIA pour dire à quoi il servait. Chaque description précoce de Bolt écrite durant cette fenêtre, y compris celles qui circulent aujourd'hui, a été construite à partir de la fiche. La fiche s'avère avoir été exacte. Cela mérite d'être dit sans détour, car le résultat habituel de ces situations est que ce n'est pas le cas.

Ce que le dépôt à lui seul prouve

Tout ce qui se trouvait dans cette section était lisible à partir de la fiche de modèle et des fichiers de configuration avant que N​VIDIA n’ait dit un mot, et tout cela est encore vrai.

• Paramètres — 74 milliards au total, 9 milliards actifs par token. Mélange d’experts clairsemé, et non un modèle dense.

• Architecture — un hybride Mamba-2 et Transformer doté d'un socle LatentMoE et d'un encodeur visuel C-RADIO v4-H. La configuration enregistre la classe sous le nom NemotronH_Omni_Reasoning_V3.

• Précision stockée — IQ2_XXS à 2,0625 bits par élément sur les couches FC1 et FC2 des experts routés et partagés, où réside l’essentiel des poids. Les couches linéaires Mamba sont en NVFP4, et les embeddings, la tête de sortie, l’attention et les poids LatentMoE en Q8_0.

• Contexte — jusqu’à 256K jetons, ou 262 144 dans les recettes de déploiement.

• Entrées et sorties — texte, images et vidéo en entrée ; texte en sortie.

• Licence — OpenMDW-1.1, et la fiche l'indique clairement : « utilisable à des fins commerciales ou non commerciales ».

• Bases et provenance — la fiche déclare que son modèle de base est le checkpoint BF16 du même nom et que sa relation avec celui-ci est quantifiée, et les tags de jeu de données pointent vers les collections de pré-entraînement et de post-entraînement N​emotron de N​VIDIA.

• Dates du modèle — de décembre 2025 à mai 2026, avec une date d’arrêt des données de post-entraînement fixée à mai 2026. Lisez bien ceci si la fraîcheur compte pour vous : le modèle est une version de 2026 construite sur des données qui s’arrêtent quatre mois et demi avant sa sortie.

• Moteurs d'exécution — vLLM sur NVIDIA Ampere, Hopper et Blackwell, et llama.cpp pour RTX Spark et DGX Spark. La fiche d'Ollama est plus directe au sujet des limites : le déploiement CUDA est documenté, et Apple Silicon et Metal ne sont pas pris en charge actuellement.

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB - what the repository alone proves. The left column, headed Declared on the model card, lists the repository created 7 October 2026, card release date 15 October 2026, 74B total and 9B active parameters, a Mamba-2 and Transformer hybrid LatentMoE architecture, config class NemotronH_Omni_Reasoning_V3, a C-RADIO v4-H vision encoder, IQ2_XXS at 2.0625 bits per element, NVFP4 Mamba layers, Q8_0 embeddings and attention, 262,144-token context, text image and video input, the OpenMDW-1.1 licence and a base model relation of quantized. The right column, headed Only the announcement could supply, lists the family position, Star Elastic router-guided architecture search, expert top-K of 22 in the parent against 9 in Bolt, quantisation-aware distillation, a sibling Nemotron 3.5 Bolt E4B 4GB on 23 October, no hosted endpoint, no independent latency figure and an Artificial Analysis Intelligence Index of 21.

Ce que l’annonce a ajouté

La documentation du fournisseur ajoute trois éléments que le dépôt n'aurait pas pu vous apprendre.

D'abord, le cadrage de la famille. Bolt est positionné comme l'échelon edge de la famille N​emotron, en dessous de N​emotron 3.5 Super VL à 120B pour les agents de serveur toujours actifs et au-dessus de rien de particulier — la phrase de N​VIDIA elle-même les classe : Super VL et Bolt « couvrent toute la gamme des déploiements d'agents, depuis les grands serveurs d'entreprise jusqu'aux appareils edge et au matériel local ». N​emotron 3.5 Bolt E4B 4GB, un modèle à 4 milliards de paramètres pour les agents conversationnels et physiques, arrive le 23 octobre.

Deuxièmement, l'histoire de la compression, qui est la revendication d'ingénierie véritablement nouvelle ici. Bolt n'est pas un modèle qui a été entraîné petit puis quantifié. Il s'agit de N​emotron 3.5 Super VL — 120B au total, 12B actifs — passé par Star Elastic, la recherche d'architecture guidée par routeur de N​VIDIA, sous la contrainte stricte de tenir sous 24GB de mémoire avec une taille de lot de un et 128K de contexte. Le top-K des experts est passé de 22 dans le modèle parent à 9 dans Bolt, les largeurs intermédiaires du MoE ont été recherchées couche par couche, puis le réseau compressé a été quantifié et soumis à une distillation consciente de la quantification pour récupérer de la précision. La conclusion énoncée par N​VIDIA est la partie intéressante, et il s'agit d'une véritable position, pas d'une vantardise : pour un budget mémoire fixe, compresser un grand modèle l'emporte sur l'entraînement d'un petit modèle à partir de zéro. C'est une affirmation que l'on peut tester, et personne en dehors de N​VIDIA ne l'a fait.

Troisièmement, deux positions dans des classements annoncées par le fournisseur : modèle ouvert n° 1 de sa catégorie sur PinchBench, et modèle ouvert n° 2 sur BrowseComp. Toutes deux relèvent de la caractérisation par NVIDIA de son propre modèle face à une catégorie qu’elle a définie.

Ce que l'annonce n'ajoute pas, c'est un point de terminaison servi. Il n'y a pas d'API hébergée, pas de prix par token, et aucun moyen d'appeler N​emotron 3.5 Bolt sans acquérir le matériel sur lequel il s'exécute. Artificial Analysis, qui a évalué le modèle, indique ses champs de vitesse et de coût comme indisponibles pour exactement cette raison : aucune API publique disponible pour les mesurer.

A screenshot of NVIDIA's own research page for Nemotron 3.5 Bolt at research.nvidia.com, showing the checkpoint's title, a published date of 15 October 2026, and the vendor's description of the model as an edge-tier agentic vision-language checkpoint intended to run locally on RTX Spark and DGX Spark hardware.

La partie que personne en dehors de N​VIDIA n'a exécutée

C’est ici que l’article doit ralentir, car l’écart entre ce qui a été mesuré et ce qui a été affirmé est inhabituellement large pour un modèle de cette taille.

Du côté mesuré, il y a un chiffre, et il est bon : Artificial Analysis place N​emotron 3.5 Bolt 74B-A9B à 21 sur son Intelligence Index, ce qui le classe quatrième sur 67 modèles de sa classe de comparaison. Il s'agit d'une mesure indépendante du véritable checkpoint 2 bits, et non d'une version de référence BF16, et c'est le chiffre le plus utile dont on dispose sur ce modèle aujourd'hui.

Du côté de ce qui est affirmé se trouve tout le reste. La fiche de modèle comporte un tableau de treize benchmarks à quatre colonnes — Qwen3.6-35B-A3B en BF16, Gemma 4 26B-A4B en BF16, Nemotron 3.5 Lightning 30B-A3B en BF16, et Bolt en IQ2 — et chacune de ses lignes a été produite par NVIDIA, y compris les trois colonnes de référence, que NVIDIA a choisies parce qu'elles tiennent dans 24 Go avec une quantification 4 bits. Bolt est le gagnant en gras dans dix lignes et ne l'est pas dans trois : la précision AA-Omniscience, où Gemma 4 26B-A4B obtient 22,17 contre 16,90 pour Bolt ; la non-hallucination AA-Omniscience, où Nemotron 3.5 Lightning 30B-A3B obtient 68,81 contre 61,27 pour Bolt ; et PinchBench, où Qwen3.6-35B-A3B obtient 88,07 contre 87,82 pour Bolt. Publier les trois lignes que l'on perd est un point en faveur du fournisseur et ne change rien à ce qu'est le tableau : non reproduit.

Les chiffres de vitesse méritent leur propre paragraphe, car ils vont à l'encontre du marketing. Le propre tableau de mesures de N​VIDIA, réalisé avec llama.cpp sous Windows 11 ARM64 sur un Surface Laptop Ultra avec 128 Go, montre Bolt à 83,99 tokens par seconde sur AIPerf SPEED-Bench-Coding — derrière Qwen3.6-35B-A3B à 96,63 et Gemma 4 26B-A4B à 100,56. Sur la même page, la durée de rejeu de bout en bout sur des trajectoires d'agent réalistes est de 600,80 secondes pour Bolt, contre 453,97 pour Qwen3.6 et 480,68 pour G​emma. L'argument de vente est l'intelligence par gigaoctet, pas la vitesse, et le tableau du fournisseur lui-même est cohérent avec cet argument plutôt qu'avec l'affirmation d'être le plus rapide.

Ainsi, la composition des preuves est la suivante : un score composite indépendant qui est respectable, un tableau de benchmarks d'un fournisseur que personne n'a reproduit, un tableau de vitesses d'un fournisseur sur un ordinateur portable que personne en dehors de N​VIDIA n'a exécuté, et zéro mesure indépendante de latence. Considérez tout article qui rapporte le chiffre PinchBench de Bolt sans préciser qui l'a produit comme non fiable, y compris tout article qui est d'accord avec celui-ci.

Qu'est-ce qui est arrivé en même temps que lui

La sortie d'un modèle n'est rarement qu'une affaire de poids, et l'entourage de Bolt est plus étoffé que d'habitude pour quelque chose sans API.

Le drafteur spéculatif LiLiCorr l'accompagne — 1,13 milliard de paramètres, à l'exclusion des embeddings partagés et de la tête de sortie, entraîné conjointement avec la cible, et NVIDIA rapporte des longueurs d'acceptation moyennes de 4,68 en décodage glouton et de 4,25 en échantillonnage probabiliste avec sept jetons proposés à une concurrence de 64 dans vLLM. Le drafteur est un checkpoint téléchargeable distinct, et non une option d'exécution, et c'est le mécanisme à l'origine du chiffre de 84 TPS cité pour RTX Spark.

La prise en charge du framework est arrivée rapidement. Ollama répertorie nemotron-3.5-bolt en trois tags — un par défaut, un tag 74B-A9B et un tag IQ2 — chacun à 25GB avec un contexte de 256K et une entrée texte et image, avec des lanceurs en une ligne pour Claude Code, OpenCode, Hermes Agent et OpenClaw. Au-delà, il y a une version GGUF de NVIDIA, une chaîne de quantifications communautaires en 4 bits et 8 bits, et des conversions MLX apparues dans le jour suivant l'annonce. Pour un checkpoint qui s'exécute sur un seul appareil de 24GB, cet écosystème arrivé en quarante-huit heures est le vrai signal qu'il s'agit d'un artefact utilisable plutôt que d'un démonstrateur.

L'avertissement pratique pour quiconque envisage de l'utiliser : le chiffre de 24 Go constitue un plancher pour les poids, et non un plafond pour la charge de travail. Les images, les trames vidéo, l'historique de conversation et les résultats d'outils partagent tous le budget de contexte, et la note d'Ollama elle-même indique que le contexte utilisable dépend de la mémoire disponible. Un téléchargement de 25 Go qui tient confortablement n'est pas la même chose qu'une session de 256 K tokens qui tient confortablement.

A screenshot of the Hugging Face repository page for nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB, showing the model card header, the safetensors weight files and their sizes, the file listing, and the card's declared release date of 15 October 2026 alongside the repository's own creation timestamp.

Où cela vous laisse, et où cela ne vous laisse pas

Si votre charge de travail est locale et agentique — utilisation du terminal, navigation, appel d'outils, débogage de code sur un appareil que vous possédez — N​emotron 3.5 Bolt 74B-A9B 24GB est désormais un choix défendable avec un score indépendant et un ensemble de poids que vous pouvez inspecter. L'argument de compression derrière est véritablement intéressant, la licence autorise l'utilisation commerciale, et l'outillage est apparu en un jour.

Si votre charge de travail doit être appelée depuis du code qui s'exécute quelque part que vous ne possédez pas, ce modèle n'est pas une option aujourd'hui, et la réponse honnête à « comment l'utiliser » est que vous l'exécutez vous-même sur du matériel NVIDIA, ou vous attendez. Nous avons vérifié notre propre catalogue plutôt que de le supposer, et il ne contient aucun modèle NVIDIA — donc il n'y a rien ici que nous puissions router, et dire le contraire serait un mensonge. Ce qu'OrcaRouter propose, c'est l'autre moitié d'un déploiement mixte : les modèles que vous appelleriez lorsqu'une requête est trop difficile, trop longue ou trop méconnue pour un checkpoint local en 2 bits, derrière une seule clé, sur plus de 200 modèles, au prix catalogue du fournisseur, sans marge ajoutée, avec un basculement automatique lorsqu'un fournisseur flanche. Associer un Bolt local à une API routée est une architecture sensée. Prétendre que Bolt se trouve du côté routé ne l'est pas.

Ce qu'il faut surveiller, ce n'est pas le prochain tableau de benchmarks. C'est de savoir si quelqu'un en dehors de N​VIDIA publie une mesure de latence sur le checkpoint de 24 Go, sur du matériel qu'un lecteur possède réellement, et si un endpoint hébergé finit par apparaître, tout simplement. Tant que l'un de ces deux événements ne se produit pas, la spécification n'est qu'une promesse, et un seul score d'index est la seule chose qui la soutient.

Un résultat comme celui-ci rappelle aussi que les erreurs de modèle sont déjà documentées : les incidents d'IA et les défaillances d'agents liés aux modèles de cette catégorie sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son degré de gravité, sa note de confiance et son indicateur de contestation.