Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: Twee manieren om een agent in 24GB te passen

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

De getallen liggen dicht genoeg bij elkaar om verwarrend te zijn. Bolt is een checkpoint met 74 miljard parameters en 9 miljard actieve parameters per token, opgeslagen op ongeveer twee bits per expertgewicht, in een bestand van 24GB. LFM2.5-24B-A2B is een checkpoint met 24 miljard parameters en 2,45 miljard actieve parameters per token, op normale precisie. Beide zijn mengsels van experts. Beide draaien zonder netwerk. Achter de vergelijkbaar klinkende pitch is bijna elke technische keuze anders.

Wat LFM2.5-24B-A2B eigenlijk is

De checkpoint van Liquid AI is het grootste en laatste lid van de LFM2.5-familie en het laatste lid van die familie dat nog moet uitkomen. De gewichten werden begin oktober op Hugging Face geplaatst en het bedrijf kondigde het aan op 13 oktober 2026, dus het is ongeveer even nieuw als Bolt en heeft ook nog niet veel onafhankelijke resultaten opgeleverd.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Het is alleen tekst, en het denkt altijd na voordat het antwoordt — de redeneertrace is niet optioneel. Liquid positioneert het tegenover modellen die anderhalf keer zo groot zijn bij agentische taken, en publiceert een LiveClaw-score van 48,09 tegenover 38,19 voor Qwen3.6-35B-A3B om dat te onderbouwen. Dat is een leveranciersvergelijking op een door de leverancier gekozen benchmark en moet als zodanig worden gelezen, maar het aantal actieve parameters waarover het opschept, is controleerbaar in de eigen configuratie van het model.

Wat Bolt eigenlijk is

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

De compressie is agressief op een manier die het aantal parameters van Bolts verbergt. Expert top-K daalde van 22 in het moedermodel naar 9, wat bijna dezelfde top-K is als de top-4 van LFM2.5, ondanks dat het model drie keer zoveel parameters heeft. De vision tower werd daarna opnieuw vanuit het moedermodel gekoppeld, dus Bolt accepteert afbeeldingen en video waar LFM2.5-24B-A2B alleen tekst accepteert, en het erfde een contextvenster van 256K dat tweemaal zo groot is als dat van Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Het specificatiecontrast, beide zijden op één regel

• Totale en actieve parameters — Bolt: 74B totaal, 9B actief per token. LFM2.5-24B-A2B: 24,0B totaal, 2,45B actief per token.

• Backbone — Bolt: Mamba-2 state-spaceblokken afgewisseld met mixture-of-experts en attention. LFM2.5-24B-A2B: dertig dubbelgegate short-convolutieblokken plus tien grouped-query-attentielagen.

• Routering — Bolt: top-9 experts na compressie, teruggebracht van 22 in het moedermodel. LFM2.5-24B-A2B: 64 experts per blok, top-4.

• Opgeslagen precisie — Bolt: IQ2-XXS-experts op 2,0625 bits per element, Mamba-lagen op NVFP4, embeddings en output op Q8_0. LFM2.5-24B-A2B: volledige-precisiegewichten, met GGUF, FP8, ONNX en meerdere MLX-bitbreedtes die de leverancier als zustermodellen heeft gepubliceerd.

• Context — Bolt: tot 262.144 tokens. LFM2.5-24B-A2B: 131.072 tokens.

• Modaliteit — Bolt: tekst, afbeeldingen en video in, tekst uit. LFM2.5-24B-A2B: tekst in, tekst uit.

• Licentie — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, gratis voor commercieel gebruik onder $10M aan jaarlijkse omzet en een betaalde commerciële licentie daarboven.

• Intelligence Index — Bolt: 21, gemeten door Artificial Analysis. LFM2.5-24B-A2B: er bestaat geen Artificial Analysis-profiel voor deze checkpoint, dus er is geen vergelijkbare onafhankelijke score en dit artikel zal er geen verzinnen.

• Gepubliceerde prijs — Bolt: nergens te vinden, en geen gehost endpoint. LFM2.5-24B-A2B: $0,10 per miljoen invoertokens met een tarief van $0,05 voor gecachte tokens, en $1,00 per miljoen uitvoertokens, op het eigen gehoste endpoint van Liquid, met $2 aan starttegoed.

Die laatste combinatie is het scherpste feit in de vergelijking, en ze gaat in de richting die de meeste mensen niet verwachten: het model met de kleinere voetafdruk is het model dat een prijs heeft, en het model met de grotere voetafdruk is het model dat er geen heeft. Bolt kun je niet uitproberen zonder hardware te kopen. LFM2.5 kun je vanmiddag uitproberen voor een afrondingsfout.

Snelheid, en hoe zorgvuldig de cijfers te lezen

Geen van beide modellen heeft een onafhankelijke datacentermeting. Dit is de eerlijke stand van het bewijs, en het beperkt wat er gezegd kan worden.

Voor LFM2.5-24B-A2B rapporteert Liquid 184 tokens per seconde op een Apple M5 Max en 114 op een AMD Ryzen AI Max+ 395, en beweert tot 1,7× snellere inferentie dan vergelijkbare MoEs op het apparaat. Dat zijn leverancierscijfers op silicium in de laptopklasse, die door niemand anders zijn gereproduceerd, en ze zeggen niets over wat het model doet op een datacenter-GPU met veel gelijktijdige verzoeken.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Wat structureel is in plaats van gemeten: Bolt leest 9 miljard parameters per token en LFM2.5 leest 2,45 miljard. Bij gelijke geheugenbandbreedte leest een MoE ruwweg in verhouding tot zijn actieve parameters, en low-bit expertgewichten helpen verder door de verplaatste bytes per parameter te verkleinen. LFM2.5 heeft een actieve set die een factor 3,7 kleiner is, en het draait met een hogere precisie per gewicht, dus het byteverkeer per token is waar je moet kijken. Dat is een argument dat Liquids model sneller zou moeten zijn, geen meting dat het dat is.

Welke moet ik downloaden?

Het onderscheid hier is geen kwestie van capaciteit tegenover capaciteit, omdat ze niet dezelfde taak proberen uit te voeren. Bolt is een multimodale agent die screenshots leest en een browser aanstuurt op 74B-schaal, gecomprimeerd tot het past. LFM2.5-24B-A2B is een tekstagent die is gebouwd om snel te antwoorden op een machine die helemaal geen discrete GPU heeft.

Kies Bolt wanneer de agent moet kunnen zien — WebArena, PDF's, videoframes — of wanneer de workload offline draait op een machine met al een accelerator van de Blackwell-klasse erin, en wanneer je accepteert dat jij de eerste persoon zult zijn die de doorvoer ervan meet. Kies LFM2.5-24B-A2B wanneer de taak tekst is, de machine een laptop is, latentie belangrijker is dan redeneerdiepte, en het hele punt is dat het model in het unified memory past naast de rest van je applicaties.

De twee dingen die het antwoord zouden veranderen: een onafhankelijke benchmark uitgevoerd op beide, en enige gepubliceerde hosting voor Bolt. Geen van beide bestaat vandaag.

Ze naast een gehost model draaien

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Een lokale 24B-agent op een laptop doet het routinewerk: routeren, samenvatten, het formatteren van tool-calls, de negentig procent van de beurten die nooit een groot model nodig hadden. De beurten die er wel een nodig hebben, moeten nog steeds ergens naartoe, en daar verdient een router zijn plaats. OrcaRouter ontsluit meer dan 200 modellen achter één sleutel, tegen de listprijs van de provider, met 0 procent opslag erbovenop, dus een prijsverlaging van een leverancier staat dezelfde dag al live aan onze kant, en de routing-DSL ervan laat je een compositie beschrijven — een goedkoop model voor de eerste ronde, een escalatieregel, een fallback — als één enkele aanroep in plaats van als applicatiecode. Automatische failover tussen providers betekent dat een capaciteitsprobleem upstream opnieuw wordt geprobeerd in plaats van bij je gebruikers terechtkomt.

Voor iedereen die op een lokale executor bouwt, is die arbeidsverdeling de reden dat een kleine checkpoint levensvatbaar blijft: het kleine model doet het volume, en het dure model wordt bereikt zonder een tweede contract of een tweede SDK.

Wat zou het beslechten?

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Tot dan is de keuze een beslissing over het geheugenbudget, niet een benchmarkbeslissing. Het ene model vraagt je een GPU met 24GB aan rekenkracht van Blackwell-klasse te bezitten en geeft je in ruil daarvoor visie en 74B aan gedistilleerd redeneervermogen. Het andere vraagt om een laptop, kost een paar cent per uur om uit te proberen op andermans servers, en moet daarvoor het zicht en de helft van het contextvenster opofferen.

Wat de cijfers je niet kunnen vertellen, is of er in de praktijk iets mis is gegaan: de gedocumenteerde AI-incidenten en agent-fouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistingsmarkering heeft.