Nemotron 3.5 Bolt 24 Go : ce que NVIDIA a réellement mis dans un fichier de 24 Go

Le chiffre phare n'est pas le nombre de paramètres. C'est le nombre d'octets. Le 15 octobre 2026, NVIDIA a publié NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, un modèle d'agent vision-langage dont les 74 milliards de paramètres occupent 23.75GB dans le format que la plupart des gens téléchargeront réellement — un GGUF de 22,02 Go plus un fichier de projection visuelle de 1,73 Go. Les deux chiffres proviennent de la liste des fichiers du dépôt publié lui-même, et non de l'article de blog, et c'est la raison pour laquelle le nom se termine par un nombre. Voici ce que ce nombre achète, ce qu'il cache et ce qu'il n'inclut pas.

Qu'est-ce qui a été livré, et quand ?

La salle de presse de NVIDIA a présenté le 15 octobre comme une extension de la famille plutôt que comme le lancement d'un modèle unique : Nemotron 3.5 Super VL, un modèle multimodal de 120 milliards de paramètres avec 12 milliards de paramètres actifs, est arrivé aux côtés du checkpoint Bolt, et un petit frère bien plus modeste, Nemotron 3.5 Bolt E4B 4GB, est daté du 23 octobre. Bolt rejoint Nemotron 3.5 Lightning (août) et Nemotron 3 Ultra dans une famille qui couvre désormais le raisonnement en centre de données, le service à haut débit et les agents locaux en périphérie.

La sortie est réellement nouvelle, et elle est également légèrement plus ancienne que l'annonce. Le dépôt Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB a été créé le 7 octobre 2026 ; la fiche modèle qu'il contient porte une date de publication du 15 octobre, la même date à laquelle la page de recherche de NVIDIA elle-même porte la mention « Published ». Huit jours de fichiers restés visibles publiquement avant le moindre mot d'explication constituent un schéma habituel pour un fournisseur qui met sur le marché sous embargo, en coordination avec le matériel — les ordinateurs portables RTX Spark sont datés du 16 octobre, le lendemain de l'annonce — et il est utile de savoir quelle moitié du dossier public de ce modèle provient d'une décision marketing et quelle moitié provient d'un listage de fichiers.

Comment 74 milliards de paramètres tiennent dans 24 gigaoctets

Deux mécanismes, et ils sont séparables.

Le premier est structurel. Bolt n'est pas un modèle plus petit entraîné à partir de zéro ; il s'agit du parent Super 3.5 VL compressé par un algorithme que NVIDIA appelle Star Elastic, une recherche d'architecture guidée par routeur qui devait satisfaire une contrainte — une empreinte de déploiement inférieure à 24GB avec une taille de lot de 1 et un contexte de 128K — tout en perdant le moins possible en précision de distillation de connaissances. Ce qu'il a produit est un hybride de mélange d'experts de 74B au total / 9B actifs, avec le top-K d'experts fixé à 9 là où le parent utilisait 22. La présentation que NVIDIA fait elle-même du résultat est sans détour et vérifiable : pour un budget mémoire fixe, compresser un grand modèle l'emporte sur l'entraînement d'un petit.

Le second, c’est la précision, et c’est là que se trouvent l’essentiel des économies.

• Poids des experts — les couches FC1 et FC2 routées et partagées quantifiées en IQ2_XXS à 2,0625 bits par élément, ce qui représente l’essentiel du modèle en nombre de paramètres.

• Couches Mamba — NVFP4, un format à virgule flottante de 4 bits, et uniquement sur les couches où la précision supplémentaire justifie davantage d’octets.

• Embeddings, tête de sortie, attention et les poids latents du MoE — Q8_0.

• Récupération — une distillation consciente de la quantification plutôt qu'une passe d'arrondi au plus proche a posteriori, ce qui fait la différence entre un modèle compressé et un modèle cassé.

Lisez-les ensemble et le « 24GB » cesse d’être un résumé marketing pour devenir une allocation budgétaire. Les experts 2 bits sont bon marché par octet et nombreux ; les couches qui comptent pour la stabilité conservent 4 ou 8 bits.

Le chiffre de 24 Go, vérifié par rapport aux fichiers

L'affirmation résiste à un audit, ce qui n'est pas toujours le cas.

• Poids GGUF — 22 018 326 528 octets, soit 22,02 Go décimaux, dans un seul fichier.

• Projecteur de vision — 1 733 692 736 octets, soit 1,73 Go, livré séparément en tant que mmproj, c’est ainsi que llama.cpp prend en entrée des images et des vidéos.

• Version Safetensors — le même modèle en fragments prêts pour vLLM totalise 24,12 Go répartis sur 90 fichiers, légèrement au-dessus du chiffre annoncé.

• Référence BF16 — 149,8 Go répartis sur 63 shards, publiée séparément pour toute personne souhaitant faire du fine-tuning plutôt que de l’inférence.

Deux réserves honnêtes s'ajoutent à cela. Premièrement, les poids ne sont pas un modèle en cours d'exécution. La recette vLLM que NVIDIA publie fixe le cache KV en fp8 et définit le contexte servi à 262 144 jetons avec max-num-seqs 1 — une seule séquence simultanée. C'est la différence entre tenir dans 24 Go et tourner rapidement dans 24 Go, et c'est le genre de détail que le titre sur la taille de la mémoire n'indique jamais. Deuxièmement, 24 Go est le nombre qui a été donné à la recherche d'architecture, pas un nombre mesuré sur votre machine : la surcharge du pilote, le système d'exploitation et tout ce qu'il y a d'autre sur l'ordinateur portable sont tous en dehors de ce nombre, et c'est précisément pourquoi l'argument est « s'exécuter aux côtés de vos applications » plutôt que « s'exécuter à leur place ».

La revendication de vitesse, et la machine sur laquelle elle a été mesurée

NVIDIA a conçu pour au moins 80 jetons par seconde et rapporte 83,99 sur AIPerf SPEED-Bench-Coding. Ce chiffre nécessite trois éléments de contexte avant de signifier quoi que ce soit : il a été produit avec llama.cpp sur Windows 11 ARM x64, sur un Surface Laptop Ultra doté de 128 Go de mémoire, avec le drafteur spéculatif LiLiCorr attaché et sept jetons proposés par étape. Le drafteur n'est pas une garniture facultative — c'est un checkpoint compagnon de 1,13 B dont tout l'objectif est d'augmenter la longueur d'acceptation (NVIDIA rapporte des moyennes de 4,68 en décodage glouton et de 4,25 avec échantillonnage à une concurrence de 64 dans vLLM). Retirez le drafteur et vous mesurez un modèle différent.

Le second chiffre de vitesse est le plus intéressant, car il s'agit d'un temps de complétion plutôt que d'un débit : 600,80 secondes de durée de relecture sur AA-AgentPerf Local, contre 453,97 pour Qwen3.6 35B-A3B, 480,68 pour Gemma 4 26B-A4B et 1 043,28 pour Qwen3.8 27B — tous issus de la propre table de NVIDIA, tous sur le même matériel. Bolt remporte cette ligne en terminant les mêmes trajectoires d'agent plus vite qu'un modèle plus petit, et perd la ligne du débit face aux deux autres, avec 83,99 contre 96,63 et 100,56 jetons par seconde. La rapidité et la promptitude ne sont pas la même mesure, et ce modèle échange la seconde contre la première.

Ce que dit la mesure indépendante

Un chiffre dans les données publiques concernant Bolt n'a pas été produit par NVIDIA : l'Artificial Analysis Intelligence Index lui attribue un score de 21, ce qui le place quatrième sur 67 modèles de sa catégorie. Ce tableau n'indique par ailleurs ni vitesse ni coût pour lui, car il n'existe aucune API publique à appeler — et il précise que la modalité d'entrée du modèle est le texte et l'image, et non la vidéo, ce qui est une lecture plus restrictive que celle du fournisseur.

La même page note que le modèle a généré 230 M de jetons pendant son évaluation, ce qu’elle qualifie de très verbeux par rapport à une médiane de 100 M. Un raisonnement qui produit plus de jetons pour une même tâche n’est pas automatiquement moins bon, mais cela a un coût sur un appareil local où chaque jeton est généré par un ventilateur.

Tout le reste de ce qui circule est rapporté par les fournisseurs. Le propre tableau de treize benchmarks de NVIDIA, dans lequel Bolt arrive en tête de sa classe de mémoire sur PinchBench et se classe deuxième sur WebArena et BrowseComp, se compare à des modèles choisis en partie pour tenir dans 24 Go en 4 bits — un groupe de pairs défini par une contrainte que Bolt a été conçu pour satisfaire. Ce n'est pas malhonnête ; ce n'est pas non plus un classement des modèles d'agents en général, et la seule cellule qui va dans l'autre sens est instructive : avec 16,90 en exactitude sur AA-Omniscience, Bolt est devancé par Gemma 4 26B-A4B, à 22,17, dans le même tableau.

Qu'est-ce qui n'est pas dans la boîte ?

Il n'y a pas de point de terminaison. Pas de tarif à la consommation, pas de fournisseur pour le servir, aucun moyen de l'évaluer sur votre propre trafic sans terminer le déploiement. Ce qu'il y a à la place, c'est un support d'exécution arrivé dès la sortie plutôt que des mois plus tard : llama.cpp et le checkpoint GGUF, Ollama, LM Studio, Unsloth pour le fine-tuning, et vLLM pour le checkpoint quantifié sur DGX Spark et le checkpoint BF16 ailleurs. Le blog de NVIDIA lui-même liste ces cinq par leur nom, et l'étendue est le vrai produit ici — un fichier de 24 Go n'est utile que si la chose qui le charge existe déjà sur votre machine.

La portée matérielle est plus large que ne le suggère le récit du jour du lancement autour des ordinateurs portables RTX Spark : les PC GeForce RTX, les DGX Spark, les DGX Station et les stations de travail RTX PRO sont tous cités, et la fiche modèle répertorie Ampere, Hopper et Blackwell pour le chemin vLLM.

La licence est OpenMDW-1.1, suffisamment permissive pour qu'on puisse s'appuyer dessus et suffisamment peu familière pour qu'un examen juridique soit une véritable étape plutôt qu'une formalité — ce qu'il vaut mieux savoir avant qu'une décision d'architecture n'en dépende.

Une erreur de copier-coller dans le propre blog technique de NVIDIA place la liste des checkpoints sous le titre « Nemotron 3.5 Super VL 74B-A9B 24GB » plutôt que sous Bolt. C'est une coquille dans une livraison rapide, pas un fork dans la famille, mais c'est un rappel utile que les pages fournisseurs rédigées le jour de l'annonce sont des brouillons avec une date de publication.

Pour les équipes qui appellent aussi des modèles qu’elles ne possèdent pas

La moitié exécutée localement d'une pile d'agents et la moitié hébergée relèvent généralement du même projet, et Bolt ne traite que l'une des deux. OrcaRouter n'héberge aucun checkpoint Nemotron — cela a été vérifié auprès de notre propre catalogue plutôt que supposé — donc rien ici n'est un argumentaire pour un modèle que nous servons. Ce que nous faisons, c'est l'autre versant d'un déploiement mixte : une seule clé pour plus de 200 modèles au prix catalogue du fournisseur, sans marge ajoutée, bascule automatique lorsqu'un fournisseur flanche en cours de requête, et un DSL de routage pour décrire une chaîne de repli sous forme de configuration plutôt que de code applicatif. Si Bolt exécute la moitié locale, c'est la moitié qui n'apparaît jamais sur une facture ; la question du routage, c'est ce qui arrive au reste.

Que regarder

Trois choses établiront la réputation de ce modèle, et aucune d'entre elles ne figure dans l'annonce.

Le premier est la latence indépendante sur du matériel réel. Les 83,99 jetons par seconde de NVIDIA sont un benchmark contrôlé avec un drafter spéculatif attaché ; quelqu'un finira par publier ce que cela donne sur un ordinateur portable faisant tourner un navigateur et un éditeur en même temps, et ce chiffre comptera davantage que celui-ci. Le deuxième est la variante E4B le 23 octobre, qui teste si la recette de compression se transpose à plus petite échelle ou ne fonctionne qu'à une seule taille. Le troisième est de savoir si quelqu'un en dehors de NVIDIA post-entraîne le checkpoint BF16 — car un artefact de déploiement de 24 Go avec une licence ouverte et un artefact de personnalisation de 150 Go à côté constituent une publication délibérément à deux voies, et la seconde voie est celle qui détermine si cela devient une plateforme ou un checkpoint.

Pour l’instant, le fait se suffit à lui-même. Un agent multimodal de 74 milliards de paramètres tient dans la mémoire d’un ordinateur portable qui coûte moins cher qu’une station de travail, tourne à environ 84 jetons par seconde avec un modèle brouillon attaché, obtient un score de 21 sur le seul indice indépendant qui l’a mesuré, et ne peut être appelé comme API par personne. C’est une combinaison précise et inhabituelle, et il vaut la peine d’être précis sur la moitié dont vous avez besoin.

Rien de tout cela n'est hypothétique : les défaillances documentées de l'IA et les incidents d'agents qui sous-tendent des versions comme celle-ci sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée est accompagnée de ses propres sources, de son niveau de gravité, de son degré de confiance et de son indicateur de contestation.