Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B : Un modèle, deux artefacts

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Ce que sont réellement les deux artefacts

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

Les deux sont datés du 15 octobre 2026 sur leurs fiches de modèle. Tous deux portent la même licence OpenMDW-1.1, la même fenêtre de contexte de 256 000 tokens, la même architecture Mamba-2 hybride LatentMoE et le même encodeur visuel C-RADIO v4-H. Les métadonnées du dépôt rendent la relation explicite dans un seul champ : la fiche du checkpoint de 24 Go indique base_model_relation: quantized par rapport à la version BF16.

Ce qui diffère, c'est à quoi chacune sert. La carte de 24 Go décrit son cas d'usage comme des harnais d'agents locaux — appel d'outils, navigation web, travail en terminal — et son déploiement comme vLLM sur Ampere, Hopper ou Blackwell. La carte BF16 décrit son cas d'usage comme le post-entraînement avec NeMo RL et NeMo Gym, l'adaptation de domaine, la distillation et la création de vos propres variantes quantisées, et avertit dans le même paragraphe que, pour une inférence optimisée en latence et en débit, vous devriez plutôt utiliser la version 24 Go. Qu'un fournisseur vous dise de ne pas exécuter un checkpoint que vous venez de télécharger mérite d'être pris au pied de la lettre.

La différence de taille, d’après les listes de fichiers

• BF16 — 149,8 Go au total répartis sur 63 shards safetensors, le plus grand shard faisant 3,71 Go, plus une tour de vision de 228 Mo.

• 24 Go de safetensors — 24,12 Go répartis sur 90 shards dans le build prêt pour vLLM, ce qui est légèrement supérieur au nombre figurant dans le nom du modèle.

• 24 Go GGUF — 22,02 Go dans un seul fichier, plus un projecteur de vision séparé de 1,73 Go, pour un total de 23,75 Go.

• Ratio — environ six pour un en octets, des experts 16 bits aux experts 2 bits, plus un traitement en précision mixte de tout le reste.

Soixante-trois shards contre quatre-vingt-dix, c’est aussi une différence de forme, pas seulement de taille. La version BF16 est conçue pour être chargée par un framework d’entraînement selon n’importe quelle disposition parallèle que vous avez ; la version 24 Go est conçue pour être chargée par un seul GPU, ou par llama.cpp sur une seule machine, et le nombre de shards reflète la tâche différente.

Trois gigaoctets de la répartition de 24 Go méritent d’être compris avant de planifier le stockage. Le projecteur de vision est un fichier séparé dans la version GGUF, car c’est ainsi que llama.cpp gère les entrées multimodales, et quiconque ne télécharge que les poids puis se demande pourquoi les images ne fonctionnent pas l’a omis. Dans la version safetensors, la tour de vision se trouve à l’intérieur des fragments et le total franchit la barre des 24 Go.

What the quantisation cost, on N​VIDIA's own numbers

La fiche BF16 publie les deux colonnes côte à côte, ce qui est d'une transparence inhabituelle : le même tableau de référence comporte les chiffres IQ2 24GB et les chiffres BF16 pour les mêmes treize évaluations. Rapportés par le fournisseur, non reproduits, et pourtant la preuve la plus directe disponible sur ce que coûtent deux bits par expert.

• Terminal-Bench 2.1 — 50,98 en IQ2 contre 53,93 en BF16, une perte de 2,95 points.

• BrowseComp — 66,75 contre 70,00, soit une perte de 3,25.

• GPQA Diamond — 86,43 contre 88,83, une perte de 2,40.

• AA-LCR raisonnement sur long contexte — 64.06 contre 67.38, une perte de 3.32.

• HLE sans outils — 25,30 contre 28,73, une perte de 3,43.

• Précision AA-Omniscience — 16,90 contre 21,80, une perte de 4,90, la plus importante du tableau.

• PinchBench — 87,82 contre 90,35, une perte de 2,53.

• GDPVal-AA-V2 — 28,47 contre 31,13, une perte de 2,66.

Deux lignes brisent le schéma, et ce sont les plus intéressantes. Sur la non-hallucination d’AA-Omniscience, le modèle quantifié obtient un score plus élevé, 61,27 contre 56,14 — la compression des experts a rendu le modèle moins susceptible de répondre avec assurance lorsqu’il ne sait pas, ce qui est le genre de résultat qui rend un tableau digne d’être publié dans son intégralité. Sur WebArena vision, les deux sont à égalité, 50,86 contre 50,25, ce qui suggère que la voie vision a survécu à la compression plus ou moins intacte, et le réentraînement de l’adaptateur vision décrit dans la fiche du modèle en est probablement la raison.

Pris ensemble : une taxe de deux à cinq points sur la plupart des lignes de capacités, proche de zéro sur l’ancrage visuel, et une amélioration sur une métrique de calibration. C’est un résultat favorable pour une compression de six pour un, et c’est encore une taxe que vous devez prendre en compte plutôt que de la balayer d’un revers de main.

Lequel pouvez-vous réellement servir ?

L’artefact de 24 Go a un récit d’exécution et celui en BF16 a un récit d’entraînement, et ce n’est pas le même récit avec un drapeau différent.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

La mise en production du checkpoint BF16 est votre problème à résoudre. Il lui faut environ six fois la mémoire de la version quantifiée avant même le moindre cache KV, ce qui met hors de portée un seul accélérateur de 80 Go et fait du multi-GPU ou multi-nœud l’hypothèse par défaut. C’est le bon compromis pour le post-entraînement et le mauvais compromis pour l’inférence, exactement ce que dit la fiche.

La décision, clairement énoncée

Si vous voulez exécuter un agent aujourd’hui sur du matériel que vous possédez, téléchargez la version 24 Go, acceptez la taxe de deux à cinq points, et prévoyez un budget pour le drafter et le projector ainsi que pour les poids.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Où s'intègre une passerelle dans une pile locale

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

C'est la couche que nous exploitons. Une clé pour plus de 200 modèles hébergés au prix catalogue du fournisseur avec sans marge ajoutée ; basculement automatique lorsqu'un fournisseur se dégrade en cours de requête ; un DSL de routage qui transforme « essayez Bolt en local, basculez vers un modèle hébergé lorsque la tâche le dépasse » en configuration plutôt qu'en code. La moitié de 24 Go de la pile est décidée par votre matériel et votre tolérance pour un conteneur nocturne. L'autre moitié, de l'autre côté de l'escalade, est décidée par celui qui détient la clé.

Qu’est-ce qui changerait cette image ?

Deux choses, et toutes les deux sont prévisibles.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Le second est toute évaluation indépendante de l’un ou l’autre des artefacts. Le panel d’Artificial Analysis a mesuré le modèle de 24 Go à 21 sur son Intelligence Index, sans publier de vitesse ni de coût, parce qu’il n’y a rien par rapport à quoi mesurer un prix. Personne n’a publié la moindre exécution reproductible du checkpoint BF16, ce qui n’a rien de surprenant pour un téléchargement de 150 Go destiné à l’entraînement. Tant que personne ne le fait, l’écart entre les deux colonnes ci-dessus est la version d’un fournisseur sur sa propre compression, et la façon honnête de le lire est d’y voir une affirmation qui se trouve être inhabituellement bien étayée par la forme des preuves.

Un résultat comme celui-ci rappelle aussi que les erreurs de modèle sont déjà documentées : les incidents d'IA et les défaillances d'agents liés aux modèles de cette catégorie sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son degré de gravité, sa note de confiance et son indicateur de contestation.