Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B : deux façons de faire tenir un agent dans 24 Go

Here is a problem for anyone comparing these two. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Nemotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Ce n'est pas un scandale. C'est à quoi ressemble le fait d'exécuter un harness soi-même, et c'est la raison pour laquelle cette comparaison est écrite autour de ce qui est vérifiable plutôt qu'autour d'un score de confrontation directe. Les deux modèles sont aussi, en un sens, des réponses à la même question résolue par des extrémités opposées.

La contrainte en fonction de laquelle les deux modèles ont été construits

Les deux sont des modèles de 24 gigaoctets. Aucun des deux laboratoires ne le dit exactement dans ces termes, et le nombre se présente différemment dans chaque cas.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B totalise 24B, dont 2,45B actifs, et la mémoire dépend du fichier que vous choisissez plutôt que de l’architecture. Le dépôt GGUF publié propose Q4_K_M à 14,53 Go, un QAD-Q4_0 prenant en compte la quantification à 13,58 Go, Q5_K_M à 17,03 Go, Q6_K à 19,69 Go et Q8_0 à 25,49 Go. Le 24 dans son nom est un nombre de paramètres, pas une empreinte ; l’empreinte mémoire est un menu.

Cette distinction change beaucoup de choses. Bolt n'a qu'une seule configuration de livraison pour l'inférence, et il n'y a rien à quantifier puisque le modèle est arrivé déjà quantifié. LFM2.5-24B-A2B dispose d'un checkpoint BF16 natif de 47,96 Go que vous ne feriez pas tourner sur un ordinateur portable, ainsi que d'une série de versions communautaires et officielles que vous feriez tourner, la qualité restant à votre appréciation.

De quoi chacun est réellement composé

• Paramètres — Bolt : 74 B au total, 9 B actifs par token. LFM2.5-24B-A2B : 24 B au total, 2,45 B actifs par token.

• Architecture — Bolt : couches à espace d’état Mamba-2 entrelacées avec un mélange d’experts et de l’attention, routage LatentMoE, plus un encodeur visuel C-RADIO v4-H. LFM2.5-24B-A2B : 40 couches — trente blocs de convolution courte à double porte et dix blocs d’attention à requêtes groupées — avec 64 experts par bloc MoE et un routage top-4.

• Provenance — Bolt : compressé à partir de Nemotron 3.5 Super VL 120B-A12B par recherche d'architecture guidée par routeur, puis quantifié avec une distillation tenant compte de la quantification. LFM2.5-24B-A2B : entraîné directement, à partir d'un pré-entraînement de 33 billions de tokens, en passant par une phase d'entraînement intermédiaire en deux étapes et un pipeline de post-entraînement en cinq étapes qui se termine par de l'apprentissage par renforcement au sein de harnais d'agents.

• Entrées — Bolt : texte, images et vidéo en entrée, texte en sortie. LFM2.5-24B-A2B : texte uniquement. C’est la ligne de démarcation la plus difficile entre les deux, et elle est architecturale plutôt qu’une différence de réglage.

• Contexte — Bolt : 262 144 jetons. LFM2.5-24B-A2B : 131 072 jetons, soit le double des 32 768 de la génération précédente, accompagné d’une extension du vocabulaire de 65 000 à 128 000 jetons.

• Langues — LFM2.5-24B-A2B en nomme seize, dont l'arabe, le coréen, le thaï, le hindi et le russe. La fiche de modèle de Bolt désigne l'anglais et les langages de programmation comme principaux, l'espagnol, le français, l'allemand, l'italien et le japonais étant également pris en charge.

• Licence — Bolt : OpenMDW-1.1. LFM2.5-24B-A2B : la LFM Open License 1.0. Ni l’une ni l’autre n’est Apache 2.0, et toutes deux sont assez permissives pour un usage commercial et assez méconnues pour mériter dix minutes d’un avocat.

• Prise en charge des environnements d’exécution lors de la sortie — les deux répertorient llama.cpp, vLLM et leurs formats edge respectifs ; LFM2.5-24B-A2B fournit en outre des builds MLX et ONNX et mentionne SGLang.

Les tableaux de référence, à lire attentivement

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

Le tableau de Liquid AI pour LFM2.5-24B-A2B rapporte LiveClaw à 48,09 contre 38,19 pour Qwen3.6 35B-A3B, AutomationBench à 27,69 contre 8,72, et ToolSandbox à 80,71 contre 75,02, tout en concédant GPQA Diamond à 74,42, HLE à 7,40 et SWE-Bench Verified à 51,00 à des modèles plus grands. Son score AA-Omniscience est négatif, soit moins 24,90, ce qui, dans la notation de ce benchmark, signifie qu'il est pénalisé pour des réponses fausses données avec assurance plutôt que noté sur la seule exactitude.

Les deux tableaux s’accordent sur la forme du résultat, même lorsque les chiffres diffèrent : chaque modèle est fort en utilisation d’outils agentiques pour sa taille, et plus faible sur le rappel à forte intensité de connaissances. Aucun des deux n’a de fiche dans Artificial Analysis, et aucun des deux n’a de point de terminaison hébergé, donc il n’y a aucun chiffre tiers pour les départager et aucun moyen de les tester en A/B sur votre propre trafic sans télécharger les deux.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Quelle machine chacun veut

Les récits matériels se recoupent moins que ne le suggère le cadrage autour des 24 Go.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B est le plus portable des deux sur le papier et le revendique : des builds MLX pour Apple Silicon, ONNX pour les runtimes multiplateformes, GGUF pour l’inférence CPU, FP8 pour le service GPU, et un drafter DSpark annoncé comme prochainement disponible. Une version quantifiée de 13,58 Go laisse plus de marge sur une carte de 24 Go que le fichier unique de 22,02 Go de Bolt, plus son projecteur visuel de 1,73 Go.

Ce dernier calcul est le point crucial en pratique. Les poids et le projecteur de Bolt consomment 23,75 Go sur les 24 Go dont le modèle tire son nom, laissant le contexte et la concurrence se disputer le reste. LFM2.5-24B-A2B en Q4 ou QAD-Q4 laisse environ dix gigaoctets pour le même usage. Si votre charge de travail consiste en des tâches d’agent à long horizon avec un grand contexte récupéré, une empreinte active et stockée plus faible n’est pas un lot de consolation.

Où s'insère la couche de routage

Aucun des deux modèles ne fait partie de ce que nous servons, et il vaut la peine de le dire sans détour plutôt que de l’embellir : le catalogue OrcaRouter ne propose ni Bolt ni LFM2.5-24B-A2B, donc il n’y a ici aucun point de terminaison pour l’un ou l’autre, ni aucun prix à comparer. Ce qu’ils ont en commun, c’est qu’ils constituent la moitié locale d’une pile, et les moitiés locales ne sont presque jamais seules — un agent qui exécute un modèle de 24 Go sur la machine devant lui se tourne encore vers quelque chose de plus grand lorsque la tâche le dépasse.

C'est la partie que nous gérons. Une seule clé pour plus de 200 modèles hébergés, au prix catalogue du fournisseur, avec aucune marge ajoutée, un basculement automatique afin qu'un fournisseur qui vacille en cours de requête soit réessayé plutôt que d'être signalé à celui qui attend, et un DSL de routage qui exprime une chaîne de repli sous forme de configuration plutôt que de code applicatif. Si vous hésitez entre ces deux points de contrôle, la décision se prend sur votre propre matériel et dans votre propre harnais — et les escalades, les requêtes annexes et les évaluations qui l'entourent sont la partie qui passe par une passerelle.

Comment choisir sans tableau des scores partagé

Quatre questions suffisent à trancher plus vite que n'importe quel tableau.

L’agent a-t-il besoin de voir ? S’il lit des captures d’écran, des PDF ou de la vidéo, Bolt est le seul des deux à pouvoir le faire, et la question est réglée. S’il fonctionne en texte et en appels d’outils, la capacité multimodale est un poids que vous portez pour rien.

De combien de contexte un tour a-t-il réellement besoin ? Un quart de million de tokens contre 131 072, c’est une vraie différence pour du travail à l’échelle d’un dépôt ou d’un document, et c’est la seule dimension où la compression de Bolt a apporté quelque chose qui n’apparaît dans aucune colonne de benchmark.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

Et à quels chiffres croyez-vous ? Les deux laboratoires ont publié des tableaux dans lesquels leur propre modèle arrive en tête dans la plupart des lignes. La position honnête est que chacun est solide au sein d'un groupe de pairs qu'il a sélectionné, que le désaccord entre les deux tableaux sur des bases de référence identiques rappelle la variance des harnais d'évaluation, et qu'un chiffre de benchmark provenant du laboratoire qui a construit le modèle est une affirmation sur sa capacité plutôt qu'une mesure de celle-ci.

La réponse courte

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Tous deux sortis à quatre jours d'intervalle en octobre 2026 — LFM2.5-24B-A2B le 13 octobre, Bolt le 15 octobre — ce qui signifie qu'aucun des deux n'a encore de bilan indépendant, qu'aucun n'a été mesuré face à l'autre sur le même matériel, et que quiconque désigne un vainqueur lit les tableaux des fournisseurs plutôt qu'un benchmark. Téléchargez les deux, lancez votre propre jeu d'évaluation, et gardez celui qui termine le travail. C'est la seule comparaison ici qui n'a pas déjà été publiée par l'un des deux laboratoires.

Cet écart entre ce qu'un tableau de bord mesure et ce qu'un déploiement rencontre est la raison pour laquelle ce bilan compte : les défaillances documentées de l'IA et les incidents d'agents liés aux modèles de cette classe sont recensés dans the OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et son indicateur de contestation.