Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Zwei Wege, einen Agenten in 24 GB unterzubringen

Hier ist ein Problem für alle, die diese beiden vergleichen. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB und LFM2.5-24B-A2B haben beide Benchmark-Tabellen veröffentlicht, die dieselben drei Baseline-Modelle enthalten – Qwen3.6 35B-A3B, Gemma 4 26B-A4B und N​VIDIA N​emotron 3.5 Lightning 30B-A3B – und die beiden Tabellen sind sich uneinig darüber, wie diese Baselines abschneiden. Bei PinchBench führt N​VIDIA Qwen3.6 mit 88,07 und Lightning mit 83,43 auf. Liquid AI führt dieselben zwei Modelle mit 89,93 und 84,20 auf. Derselbe Benchmark, dieselben genannten Einträge, unterschiedliche Zahlen, beide diesen Monat veröffentlicht.

Das ist kein Skandal. So sieht es aus, wenn man ein Harness selbst betreibt, und genau deshalb ist dieser Vergleich um das herum geschrieben, was verifizierbar ist, statt um eine Punktzahl aus dem direkten Vergleich. Die beiden Modelle sind gewissermaßen auch Antworten auf dieselbe Frage, die von entgegengesetzten Enden aus gelöst wird.

Die Einschränkung, gegen die beide Modelle entwickelt wurden

Beide sind 24-Gigabyte-Modelle. Keines der Labore sagt es mit genau diesen Worten, und die Zahl kommt jeweils anders zustande.

Bolt umfasst insgesamt 74B Parameter, davon 9B aktiv. Die Star-Elastic-Architektursuche von NVIDIA erhielt ein Budget, das sie erfüllen musste – unter 24 GB bei Batch-Größe 1 und 128K-Kontext –, und der daraus resultierende Checkpoint ist das, was diese Einschränkung hervorbrachte, mit Expertengewichten bei 2,0625 Bit pro Element. Das Speicherlimit ist die Design-Eingangsgröße, und die Parameteranzahl ist die Ausgangsgröße.

LFM2.5-24B-A2B hat insgesamt 24B, davon 2,45B aktiv, und der Speicherbedarf hängt von der Datei ab, die Sie wählen, nicht von der Architektur. Das veröffentlichte GGUF-Repository bietet Q4_K_M mit 14,53GB, ein quantisierungsbewusstes QAD-Q4_0 mit 13,58GB, Q5_K_M mit 17,03GB, Q6_K mit 19,69GB und Q8_0 mit 25,49GB. Die 24 im Namen ist eine Parameteranzahl, kein Speicherbedarf; der Speicherbedarf ist ein Menü.

Diese Unterscheidung entscheidet viel. Bolt hat genau eine Auslieferungskonfiguration für die Inferenz, und es gibt nichts zu quantisieren, weil das Modell bereits quantisiert ankam. LFM2.5-24B-A2B hat einen nativen BF16-Checkpoint mit 47,96 GB, den man nicht auf einem Laptop ausführen würde, sowie eine Reihe von Community- und First-Party-Builds, die man ausführen würde, wobei die Qualität Ihrer Einschätzung überlassen bleibt.

Woraus jedes Einzelne tatsächlich besteht

• Parameter — Bolt: 74B insgesamt, 9B aktiv pro Token. LFM2.5-24B-A2B: 24B insgesamt, 2,45B aktiv pro Token.

• Architektur — Bolt: Mamba-2-State-Space-Schichten, verschachtelt mit Mixture-of-Experts und Attention, LatentMoE-Routing, sowie einen C-RADIO v4-H Vision-Encoder. LFM2.5-24B-A2B: 40 Schichten — dreißig doppelt gegatete Short-Convolution-Blöcke und zehn Grouped-Query-Attention-Blöcke — mit 64 Experten pro MoE-Block und Top-4-Routing.

• Provenienz — Bolt: komprimiert aus Nemotron 3.5 Super VL 120B-A12B durch Router-gesteuerte Architektursuche, dann quantisiert mit quantisierungsbewusster Destillation. LFM2.5-24B-A2B: direkt trainiert, aus einem Pre-Training-Lauf mit 33 Billionen Token über eine zweiphasige Mid-Training-Phase und eine fünfstufige Post-Training-Pipeline, die in Reinforcement Learning innerhalb von Agent-Harnesses endet.

• Eingaben — Bolt: Text, Bilder und Videos als Eingabe, Text als Ausgabe. LFM2.5-24B-A2B: nur Text. Dies ist die mit Abstand härteste Trennlinie zwischen den beiden, und sie ist architektonischer Natur, kein Unterschied beim Tuning.

• Kontext — Bolt: 262.144 Tokens. LFM2.5-24B-A2B: 131.072 Tokens, verdoppelt gegenüber 32.768 der vorherigen Generation, zusammen mit einer Vergrößerung des Vokabulars von 65.000 auf 128.000 Tokens.

• Sprachen — LFM2.5-24B-A2B nennt sechzehn, darunter Arabisch, Koreanisch, Thailändisch, Hindi und Russisch. In der Modellkarte von Bolt werden Englisch und Programmiersprachen als primär aufgeführt, zusätzlich unterstützt werden Spanisch, Französisch, Deutsch, Italienisch und Japanisch.

• Lizenz — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: die LFM Open License 1.0. Keine von beiden ist Apache 2.0, und beide sind permissiv genug für kommerzielle Nutzung und unbekannt genug, um zehn Minuten eines Anwalts zu verdienen.

• Runtime-Unterstützung zum Release — beide listen llama.cpp, vLLM und ihre jeweiligen Edge-Formate auf; LFM2.5-24B-A2B liefert zusätzlich MLX- und ONNX-Builds und nennt SGLang.

Die Benchmark-Tabellen sorgfältig lesen.

Bolts Anbietertabelle beschert ihm Siege bei Terminal-Bench 2.1 mit 50,98 gegenüber 44,38 für Qwen3.6 35B-A3B und 37,22 für Gemma 4 26B-A4B, bei BrowseComp mit 66,75 gegenüber 48,74 und bei GPQA Diamond mit 86,43 gegenüber 83,40. Sie zeigt auch die Zeilen, in denen es verliert: AA-Omniscience-Genauigkeit bei 16,90 gegenüber Gemmas 22,17 und PinchBench bei 87,82 gegenüber Qwens 88,07. NVIDIA wählte die Vergleichsgruppe als Modelle, die bei Vier-Bit in 24 GB passen – eine Gruppe, die durch die Einschränkung definiert ist, gegen die Bolt entwickelt wurde.

Die Tabelle von Liquid AI für LFM2.5-24B-A2B weist LiveClaw mit 48,09 gegenüber 38,19 für Qwen3.6 35B-A3B aus, AutomationBench mit 27,69 gegenüber 8,72 und ToolSandbox mit 80,71 gegenüber 75,02, während sie sich größeren Modellen bei GPQA Diamond mit 74,42, HLE mit 7,40 und SWE-Bench Verified mit 51,00 geschlagen geben muss. Der AA-Omniscience-Wert ist negativ, minus 24,90, was in der Bewertung dieses Benchmarks bedeutet, dass es für selbstsichere falsche Antworten bestraft wird, statt allein nach Genauigkeit bewertet zu werden.

Beide Tabellen stimmen in der Form des Ergebnisses überein, selbst dort, wo die Zahlen abweichen: Jedes Modell ist im Verhältnis zu seiner Größe stark bei agentischer Tool-Nutzung und schwächer bei wissenslastigem Recall. Keines hat einen Eintrag bei Artificial Analysis, und keines hat einen gehosteten Endpunkt, es gibt also keine Drittanbieter-Zahl, um den Gleichstand aufzulösen, und keine Möglichkeit, sie mit deinem eigenen Traffic einem A/B-Test zu unterziehen, ohne beide herunterzuladen.

Für Bolt gibt es tatsächlich eine unabhängige Kennzahl: einen Intelligence Index von 21, womit es Vierter von 67 Modellen seiner Klasse ist, im selben Panel, das die dichten Modelle bewertet, mit denen es konkurriert. Liquid AI meldet 184 Tokens pro Sekunde auf einem Apple M5 Max für LFM2.5-24B-A2B, und NVIDIA meldet 83,99 Tokens pro Sekunde für Bolt auf einem RTX-Spark-Rechner, auf dem llama.cpp mit angehängtem LiLiCorr-Drafter läuft. Diese beiden Geschwindigkeiten sind die nützlichsten Zahlen, die die beiden Labore veröffentlicht haben, und sie sind nicht vergleichbar – unterschiedliche Hardware, unterschiedliche Formate, unterschiedliche Drafter-Setups.

Welche Maschine jeder Einzelne will

Die Hardware-Storys überschneiden sich weniger, als das 24-GB-Framing nahelegt.

Bolt ist für NVIDIAs eigenen Edge-Stack gebaut: RTX-Spark-Laptops, die am 16. Oktober erscheinen, GeForce-RTX-PCs, DGX Spark, DGX Station und RTX-PRO-Workstations – mit dem quantisierten Checkpoint für llama.cpp auf Spark und vLLM auf DGX sowie dem BF16-Checkpoint, benannt nach Ampere, Hopper und Blackwell. Der Drafter ist ein separater Download mit 1,13 Mrd. Parametern, und das Referenz-vLLM-Rezept pinnt einen Nightly-Build, ein Kernel-Paket aus einem Anbieter-Repository und eine bediente Sequenzanzahl von eins.

LFM2.5-24B-A2B ist von den beiden auf dem Papier der portablere und gibt das auch an: MLX-Builds für Apple Silicon, ONNX für plattformübergreifende Runtimes, GGUF für CPU-Inferenz, FP8 für GPU-Serving und ein DSpark-Drafter, der als „demnächst verfügbar“ aufgeführt ist. Ein quantisierter Build mit 13,58GB lässt auf einer 24GB-Karte mehr Spielraum als Bolts einzelne 22,02GB-Datei zuzüglich ihres 1,73GB-Vision-Projektors.

Diese letzte Rechnung ist der praktische Knackpunkt. Bolt's Gewichte und Projektor belegen 23,75 GB der 24 GB, nach denen das Modell benannt ist, sodass Kontext und Nebenläufigkeit um den Rest konkurrieren. LFM2.5-24B-A2B bei Q4 oder QAD-Q4 lässt für denselben Zweck ungefähr zehn Gigabyte übrig. Wenn Ihre Workload aus langfristiger Agentenarbeit mit einem großen abgerufenen Kontext besteht, ist der kleinere aktive und gespeicherte Footprint kein Trostpreis.

Wo die Routing-Schicht hingehört

Keines der beiden Modelle ist eines, das wir anbieten, und es lohnt sich, das schlicht zu sagen, statt es schönzureden: Der OrcaRouter-Katalog führt weder Bolt noch LFM2.5-24B-A2B, es gibt hier also für keines von beiden einen Endpoint und keinen Preis zu vergleichen. Was beide gemeinsam haben, ist, dass sie die lokale Hälfte eines Stacks sind, und lokale Hälften sind fast nie allein – ein Agent, der ein 24-GB-Modell auf der Maschine vor sich ausführt, greift trotzdem nach etwas Größerem, wenn die Aufgabe es übersteigt.

Das ist der Teil, den wir abdecken. Ein Schlüssel für über 200 gehostete Modelle zum Listenpreis des Anbieters ohne Aufschlag, automatisches Failover, sodass ein Anbieter, der mitten in einer Anfrage wackelt, erneut versucht wird, statt demjenigen, der wartet, angezeigt zu werden, und eine Routing-DSL, die eine Fallback-Kette als Konfiguration statt als Anwendungscode ausdrückt. Wenn Sie zwischen diesen beiden Checkpoints wählen, fällt die Entscheidung auf Ihrer eigenen Hardware und in Ihrem eigenen Harness – und die Eskalationen, Nebenabfragen und Evaluierungen darum herum sind der Teil, der über ein Gateway läuft.

Wie man ohne einen gemeinsamen Punktestand wählt

Vier Fragen klären das schneller, als es jede Tabelle tun würde.

Muss der Agent sehen können? Wenn er Screenshots, PDFs oder Videos liest, ist Bolt der Einzige von den beiden, der das kann, und die Frage ist geklärt. Wenn er mit Text und Tool-Aufrufen arbeitet, ist die multimodale Fähigkeit Ballast, den Sie ohne Nutzen mit sich herumtragen.

Wie viel Kontext braucht ein Turn eigentlich? Eine Viertelmillion Tokens gegenüber 131.072 ist ein echter Unterschied für Arbeit auf Repository- oder Dokumentebene, und es ist die eine Dimension, in der Bolts Kompression etwas gebracht hat, das in keiner Benchmark-Spalte auftaucht.

Was ist die Maschine? Eine diskrete N​VIDIA GPU mit 24 GB und einer Toleranz für ein gepinntes Nightly-vLLM bevorzugt Bolt. Ein Mac oder eine gemischte Flotte, in der derselbe Build an mehr als einem Ort laufen muss, bevorzugt das Modell, das MLX und ONNX neben seinem GGUF ausliefert.

Und wessen Zahlen glauben Sie? Beide Labore haben Tabellen veröffentlicht, in denen das jeweils eigene Modell die meisten Zeilen gewinnt. Die ehrliche Position ist, dass jedes innerhalb einer Vergleichsgruppe stark ist, die es selbst ausgewählt hat, dass die Uneinigkeit zwischen den beiden Tabellen bei identischen Baselines ein Hinweis auf die Varianz des Test-Harness ist und dass eine Benchmark-Zahl aus dem Labor, das das Modell gebaut hat, eine Behauptung über die Fähigkeit ist statt deren Messung.

Die kurze Antwort

Bolt verschafft dir Sicht, einen Kontext von einer Viertelmillion Token und die straffste Kompression, die bei dieser Größe je ausgeliefert wurde, und lässt sich das mit zweieinhalb Gigabyte Spielraum und einem vorgeschriebenen NVIDIA-Rezept bezahlen. LFM2.5-24B-A2B verschafft dir Portabilität, einen kleineren Working Set und sechzehn Sprachen, und lässt sich das mit Modalität und Kontext bezahlen.

Beide wurden im Oktober 2026 mit nur vier Tagen Abstand veröffentlicht – LFM2.5-24B-A2B am 13. Oktober, Bolt am 15. Oktober – was bedeutet, dass keines von beiden bislang eine unabhängige Leistungsbilanz vorzuweisen hat, keines gegen das andere auf gemeinsamer Hardware gemessen wurde und jeder, der einen Sieger kürt, die Anbietertabellen statt einen Benchmark liest. Laden Sie beide herunter, führen Sie Ihren eigenen Eval-Set aus und behalten Sie dasjenige, das die Arbeit erledigt. Das ist der einzige Vergleich hier, der nicht bereits von einem der beiden Labore veröffentlicht wurde.

Diese Kluft zwischen dem, was eine Anzeigetafel misst, und dem, was ein Deployment vorfindet, ist der Grund, warum die Aufzeichnung zählt: Die dokumentierten KI-Ausfälle und Agent-Vorfälle rund um Modelle dieser Klasse finden sich in dem OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und seine Kennzeichnung als strittig mitführt.