Nemotron 3.5 Bolt 74B vs. LFM2.5 24B A2B: Zwei Wege, einen Agenten in 24 GB unterzubringen

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Die Zahlen liegen nah genug beieinander, um verwirrend zu sein. Bolt ist ein Checkpoint mit 74 Milliarden Parametern und 9 Milliarden aktiven pro Token, gespeichert mit ungefähr zwei Bits pro Expertengewicht in einer 24-GB-Datei. LFM2.5-24B-A2B ist ein Checkpoint mit 24 Milliarden Parametern und 2,45 Milliarden aktiven pro Token bei üblicher Präzision. Beide sind Mixture-of-Experts-Modelle. Beide laufen ohne Netzwerk. Hinter dem ähnlich klingenden Pitch unterscheidet sich fast jede technische Entscheidung.

Was LFM2.5-24B-A2B tatsächlich ist

Der Checkpoint von Liquid AI ist das größte und letzte Mitglied der LFM2.5-Familie und das letzte dieser Familie, das noch veröffentlicht werden muss. Seine Gewichte wurden Anfang Oktober auf Hugging Face hochgeladen, und das Unternehmen kündigte ihn am 13. Oktober 2026 an, er ist also ungefähr so neu wie Bolt und hat ebenfalls noch nicht viele unabhängige Ergebnisse angesammelt.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Es ist ausschließlich textbasiert und denkt immer nach, bevor es antwortet – der Reasoning-Trace ist nicht optional. Liquid positioniert es gegen Modelle, die eineinhalb Größenklassen größer sind, bei agentischen Aufgaben, und erzielt einen LiveClaw-Score von 48,09 gegenüber 38,19 für Qwen3.6-35B-A3B, um das zu belegen. Das ist ein Anbietervergleich auf einem vom Anbieter ausgewählten Benchmark und sollte als solcher gelesen werden, aber die Anzahl aktiver Parameter, mit der es angibt, ist in der eigenen Konfiguration des Modells überprüfbar.

Was Bolt wirklich ist

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Die Komprimierung ist auf eine Weise aggressiv, die Bolts' Parameteranzahl verschleiert. Das Experten-Top-K sank von 22 im Parent auf 9, was nahezu dem Top-K von LFM2.5 mit Top-4 entspricht, obwohl das Modell dreimal so viele Parameter trägt. Der Vision-Turm wurde anschließend vom Parent wieder angehängt, sodass Bolt Bilder und Videos akzeptiert, wo LFM2.5-24B-A2B nur Text akzeptiert, und es hat ein 256K-Kontextfenster geerbt, das doppelt so groß ist wie das von Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Der Spezifikationskontrast, beide Seiten in einer Zeile

• Gesamt- und aktive Parameter — Bolt: 74B insgesamt, 9B aktiv pro Token. LFM2.5-24B-A2B: 24,0B insgesamt, 2,45B aktiv pro Token.

• Backbone — Bolt: Mamba-2-Zustandsraum-Blöcke, verschachtelt mit Mixture-of-Experts und Attention. LFM2.5-24B-A2B: dreißig doppelt gegatete Kurz-Konvolutionsblöcke plus zehn Grouped-Query-Attention-Schichten.

• Routing — Bolt: Top-9-Experten nach der Komprimierung, gegenüber 22 im Parent-Modell. LFM2.5-24B-A2B: 64 Experten pro Block, Top-4.

• Gespeicherte Präzision — Bolt: IQ2-XXS-Experten mit 2,0625 Bit pro Element, Mamba-Schichten in NVFP4, Embeddings und Ausgabe in Q8_0. LFM2.5-24B-A2B: Gewichte in voller Präzision, mit GGUF, FP8, ONNX und mehreren MLX-Bitbreiten, die der Anbieter als Schwestermodelle veröffentlicht hat.

• Kontext — Bolt: bis zu 262.144 Tokens. LFM2.5-24B-A2B: 131.072 Tokens.

• Modalität — Bolt: Text, Bilder und Video als Eingabe, Text als Ausgabe. LFM2.5-24B-A2B: Text als Eingabe, Text als Ausgabe.

• Lizenz — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, kostenlos für die kommerzielle Nutzung bei einem Jahresumsatz unter 10 Mio. USD und darüber eine kostenpflichtige kommerzielle Lizenz.

• Intelligence Index — Bolt: 21, gemessen von Artificial Analysis. LFM2.5-24B-A2B: Für diesen Checkpoint existiert kein Profil bei Artificial Analysis, daher gibt es keinen vergleichbaren unabhängigen Wert, und dieser Artikel wird keinen erfinden.

• Veröffentlichter Preis — Bolt: nirgends ein Preis und kein gehosteter Endpunkt. LFM2.5-24B-A2B: 0,10 $ pro Million Input-Tokens mit einem Cache-Tarif von 0,05 $ und 1,00 $ pro Million Output-Tokens, auf Liquids eigenem gehosteten Endpunkt, mit 2 $ Startguthaben.

Diese letzte Paarung ist der schärfste Fakt im Vergleich, und sie verläuft in die Richtung, die die meisten Leute nicht erwarten: Das Modell mit dem kleineren Footprint ist das, das einen Preis hat, und das Modell mit dem größeren Footprint ist das, das keinen hat. Bolt lässt sich nicht ausprobieren, ohne Hardware zu kaufen. LFM2.5 lässt sich heute Nachmittag für einen Rundungsfehler ausprobieren.

Geschwindigkeit und wie sorgfältig die Zahlen gelesen werden

Keines der beiden Modelle verfügt über eine unabhängige Messung im Rechenzentrum. Dies ist der ehrliche Stand der Beweislage, und er schränkt ein, was gesagt werden kann.

Für LFM2.5-24B-A2B meldet Liquid 184 Token pro Sekunde auf einem Apple M5 Max und 114 auf einem AMD Ryzen AI Max+ 395 und behauptet bis zu 1,7-mal schnellere Inferenz auf dem Gerät als vergleichbare MoEs. Das sind Herstellerangaben auf Laptop-Klasse-Silizium, die von niemand anderem reproduziert wurden, und sie sagen nichts darüber aus, was das Modell auf einer Rechenzentrums-GPU mit vielen gleichzeitigen Anfragen leistet.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Was strukturell und nicht gemessen ist: Bolt liest 9 Milliarden Parameter pro Token und LFM2.5 liest 2,45 Milliarden. Bei gleicher Speicherbandbreite liest ein MoE ungefähr proportional zu seinen aktiven Parametern, und Low-Bit-Expertengewichte helfen zusätzlich, indem sie die pro Parameter bewegten Bytes verringern. LFM2.5 hat das kleinere aktive Set – um den Faktor 3,7 – und läuft mit höherer Präzision pro Gewicht, daher ist der Byte-Verkehr pro Token der Punkt, an dem man nachsehen sollte. Das ist ein Argument dafür, dass das Modell von Liquid schneller sein sollte, keine Messung, die belegt, dass es das ist.

Welche soll ich herunterladen?

Die Trennung hier ist nicht Fähigkeit gegen Fähigkeit, denn sie versuchen nicht dieselbe Aufgabe. Bolt ist ein multimodaler Agent, der Screenshots liest und einen Browser im 74B-Maßstab steuert, komprimiert, bis er passt. LFM2.5-24B-A2B ist ein Textagent, der darauf ausgelegt ist, auf einem Rechner ganz ohne diskrete GPU schnell zu antworten.

Setzen Sie auf Bolt, wenn der Agent sehen muss – WebArena, PDFs, Video-Frames – oder wenn die Workload offline auf einem Rechner läuft, der bereits über einen Beschleuniger der Blackwell-Klasse verfügt, und wenn Sie akzeptieren, dass Sie die erste Person sein werden, die seinen Durchsatz misst. Setzen Sie auf LFM2.5-24B-A2B, wenn die Aufgabe Text ist, der Rechner ein Laptop ist, die Latenz wichtiger ist als die Tiefe des Schlussfolgerns und es gerade darum geht, dass das Modell neben dem Rest Ihrer Anwendungen in den Unified Memory passt.

Die zwei Dinge, die die Antwort ändern würden: ein unabhängiger Benchmark, der auf beiden durchgeführt wird, und jegliches veröffentlichtes Hosting für Bolt. Beides gibt es heute nicht.

Sie parallel zu einem gehosteten Modell laufen lassen

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Ein lokaler 24B-Agent auf einem Laptop erledigt die Routinearbeit: Routing, Zusammenfassen, Tool-Call-Formatierung, die neunzig Prozent der Turns, die nie ein großes Modell gebraucht hätten. Die Turns, die eines brauchen, müssen trotzdem irgendwohin, und genau dort verdient sich ein Router seinen Platz. OrcaRouter stellt über 200 Modelle hinter einem einzigen Schlüssel zum Listenpreis des Anbieters mit 0 Prozent Aufschlag bereit, sodass eine Preissenkung eines Anbieters bei uns noch am selben Tag live ist, und seine Routing-DSL lässt Sie eine Komposition beschreiben – ein günstiges Modell für den ersten Durchlauf, eine Eskalationsregel, ein Fallback – als einen einzigen Aufruf statt als Anwendungscode. Automatisches Failover über Anbieter hinweg bedeutet, dass ein Kapazitätsproblem upstream erneut versucht wird, statt Ihren Nutzern angezeigt zu werden.

Für alle, die auf einem lokalen Executor aufbauen, ist diese Arbeitsteilung der Grund, warum ein kleiner Checkpoint tragfähig bleibt: Das kleine Modell übernimmt das Volumen, und das teure Modell ist ohne einen zweiten Vertrag oder ein zweites SDK erreichbar.

Was würde es klären

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Bis dahin ist die Wahl eine Entscheidung über das Speicherbudget, nicht über den Benchmark. Das eine Modell verlangt von Ihnen, dass Sie eine GPU mit 24 GB Blackwell-Klasse-Rechenleistung besitzen, und gibt Ihnen dafür Vision und 74B destilliertes Reasoning. Das andere verlangt nur einen Laptop, kostet ein paar Cent pro Stunde, um es auf den Servern von jemand anderem auszuprobieren, und verzichtet dafür auf Vision und die Hälfte des Kontextfensters.

Was die Zahlen Ihnen nicht sagen können, ist, ob irgendetwas davon im Praxiseinsatz schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als strittig enthält.