Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: Två sätt att få plats med en agent i 24 GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Talen ligger tillräckligt nära varandra för att vara förvirrande. Bolt är en checkpoint med 74 miljarder parametrar och 9 miljarder aktiva per token, lagrad med ungefär två bitar per expertvikt i en fil på 24 GB. LFM2.5-24B-A2B är en checkpoint med 24 miljarder parametrar och 2,45 miljarder aktiva per token, med vanlig precision. Båda är mixture-of-experts-modeller. Båda körs utan nätverk. Bakom den snarlika framställningen skiljer sig nästan varje ingenjörsval åt.

Vad LFM2.5-24B-A2B faktiskt är

Liquid AI:s checkpoint är den största och sista medlemmen i LFM2.5-familjen och den sista av den familjen som fortfarande återstår att släppas. Dess vikter lades upp på Hugging Face i början av oktober och företaget tillkännagav den 13 oktober 2026, så den är ungefär lika ny som Bolt och har inte heller samlat på sig särskilt många oberoende resultat.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Den är enbart text, och den tänker alltid innan den svarar – resonemangsspåret är inte valfritt. Liquid positionerar den mot modeller som är en och en halv storlek större i agentiska uppgifter, och redovisar en LiveClaw-poäng på 48,09 mot 38,19 för Qwen3.6-35B-A3B för att styrka detta. Det är en leverantörsjämförelse på ett av leverantören valt benchmark och bör läsas som en sådan, men antalet aktiva parametrar som den skryter om går att kontrollera i modellens egen konfiguration.

Vad Bolt egentligen är

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Kompressionen är aggressiv på ett sätt som Bolts parametrantal döljer. Expert-top-K sjönk från 22 i föräldramodellen till 9, vilket är nästan samma top-K som LFM2.5:s top-4 trots att modellen har tre gånger så många parametrar. Visionstornet återanslöts efteråt från föräldramodellen, så Bolt tar emot bilder och video där LFM2.5-24B-A2B endast tar emot text, och den ärvde ett 256K-kontextfönster som är dubbelt så stort som Liquid:s.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Spec-kontrasten, båda sidorna på en rad

• Totala och aktiva parametrar — Bolt: 74B totalt, 9B aktiva per token. LFM2.5-24B-A2B: 24,0B totalt, 2,45B aktiva per token.

• Stomnät – Bolt: Mamba-2-tillståndsrymdsblock interfolierade med mixture-of-experts och attention. LFM2.5-24B-A2B: trettio dubbelgrindade kortkonvolutionsblock plus tio grupperade query-attention-lager.

• Routing — Bolt: topp-9 experter efter komprimering, ned från 22 i föräldramodellen. LFM2.5-24B-A2B: 64 experter per block, topp-4.

• Lagringsprecision — Bolt: IQ2-XXS-experter vid 2,0625 bitar per element, Mamba-lager vid NVFP4, inbäddningar och utdata vid Q8_0. LFM2.5-24B-A2B: vikter i full precision, med GGUF, FP8, ONNX och flera MLX-bitbredder publicerade som syskon av leverantören.

• Kontext — Bolt: upp till 262 144 tokens. LFM2.5-24B-A2B: 131 072 tokens.

• Modalitet — Bolt: text, bilder och video in, text ut. LFM2.5-24B-A2B: text in, text ut.

• Licens — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, fri för kommersiellt bruk under 10 miljoner USD i årliga intäkter och en betald kommersiell licens över det.

• Intelligence Index — Bolt: 21, mätt av Artificial Analysis. LFM2.5-24B-A2B: det finns ingen Artificial Analysis-profil för denna checkpoint, så det finns ingen jämförbar oberoende poäng och den här artikeln kommer inte att hitta på en.

• Publicerat pris – Bolt: inga någonstans, och ingen hostad slutpunkt. LFM2.5-24B-A2B: 0,10 USD per miljon indatatoken med en cachad taxa på 0,05 USD, och 1,00 USD per miljon utdatatoken, på Liquids egen hostade slutpunkt, med 2 USD i startkredit.

Den sista parkopplingen är det skarpaste faktumet i jämförelsen, och den går i den riktning som de flesta inte förväntar sig: modellen med det mindre fotavtrycket är den som har ett pris, och modellen med det större fotavtrycket är den som inte har det. Bolt kan inte provas utan att köpa hårdvara. LFM2.5 kan provas i eftermiddag för ett avrundningsfel.

Hastighet, och hur noga man läser siffrorna

Ingen av modellerna har en oberoende datacentermätning. Detta är det ärliga läget i evidensen, och det begränsar vad som kan sägas.

För LFM2.5-24B-A2B rapporterar Liquid 184 tokens per sekund på en Apple M5 Max och 114 på en AMD Ryzen AI Max+ 395, och hävdar upp till 1,7× snabbare inferens än jämförbara MoE:er på enheten. Detta är leverantörssiffror på kisel i laptopklass, inte reproducerade av någon annan, och de säger ingenting om vad modellen presterar på en GPU i datacenter med många samtidiga förfrågningar.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Det som är strukturellt snarare än uppmätt: Bolt läser 9 miljarder parametrar per token och LFM2.5 läser 2,45 miljarder. Vid lika minnesbandbredd läser en MoE ungefär i proportion till sina aktiva parametrar, och expertvikter med låg bitbredd hjälper ytterligare genom att minska antalet byte som flyttas per parameter. LFM2.5 har den mindre aktiva uppsättningen med en faktor 3,7, och den körs med högre precision per vikt, så bytestrafiken per token är stället att titta på. Det är ett argument för att Liquids modell borde vara snabbare, inte en mätning som visar att den är det.

Vilken ska man ladda ner

Uppdelningen här är inte kapacitet mot kapacitet, eftersom de inte försöker lösa samma uppgift. Bolt är en multimodal agent som läser skärmbilder och styr en webbläsare i 74B-skala, komprimerad tills den passar. LFM2.5-24B-A2B är en textagent byggd för att svara snabbt på en maskin helt utan dedikerat grafikkort.

Välj Bolt när agenten måste kunna se – WebArena, PDF:er, videoramar – eller när arbetsbelastningen körs offline på en maskin som redan har en accelerator av Blackwell-klass, och när du accepterar att du blir den första personen som mäter dess genomströmning. Välj LFM2.5-24B-A2B när uppgiften är text, maskinen är en bärbar dator, latens spelar större roll än resonemangsdjup, och hela poängen är att modellen ryms i enhetligt minne tillsammans med resten av dina program.

De två saker som skulle ändra svaret: ett oberoende benchmark-test som körts på båda, och någon publicerad hosting för Bolt. Inget av dem finns i dag.

Att köra dem bredvid en hostad modell

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

En lokal 24B-agent på en laptop hanterar rutinarbetet: routing, sammanfattning, formatering av verktygsanrop, de nittio procent av turerna som aldrig behövde en stor modell. De turer som faktiskt behöver en måste fortfarande ta vägen någonstans, och det är där en router förtjänar sin plats. OrcaRouter exponerar över 200 modeller bakom en enda nyckel till leverantörens listpris med 0 procents påslag, så en prissänkning från en leverantör är live hos oss samma dag, och dess routing-DSL låter dig beskriva en komposition — en billig modell för första passet, en eskaleringsregel, en fallback — som ett enda anrop i stället för som applikationskod. Automatisk failover mellan leverantörer innebär att ett kapacitetsproblem uppströms försöks igen i stället för att nå dina användare.

För alla som bygger på en lokal exekutor är den arbetsfördelningen anledningen till att en liten checkpoint förblir livskraftig: den lilla modellen hanterar volymen, och den dyra modellen nås utan ett andra kontrakt eller ett andra SDK.

Vad skulle avgöra det?

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Fram till dess är valet ett beslut om minnesbudget snarare än ett benchmarkbeslut. Den ena modellen kräver att du äger en GPU med 24 GB Blackwell-klassig beräkningskapacitet och ger dig i gengäld bildseende och 74B destillerad resonemangsförmåga. Den andra kräver en bärbar dator, kostar några ören i timmen att testa på någon annans servrar och avstår från bildseende och halva kontextfönstret för att komma dit.

Vad siffrorna inte kan berätta för dig är huruvida något av det har gått fel i fält: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.