Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: Dwa sposoby na zmieszczenie agenta w 24 GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Te liczby są na tyle zbliżone, że mogą mylić. Bolt to checkpoint z 74 miliardami parametrów i 9 miliardami aktywnych na token, przechowywany przy około dwóch bitach na wagę eksperta, w pliku o rozmiarze 24 GB. LFM2.5-24B-A2B to checkpoint z 24 miliardami parametrów i 2,45 miliarda aktywnych na token, przy zwykłej precyzji. Oba są mieszaninami ekspertów. Oba działają bez sieci. Za podobnie brzmiącą prezentacją kryją się niemal zupełnie inne wybory inżynieryjne.

Czym właściwie jest LFM2.5-24B-A2B

Checkpoint Liquid AI jest największym i ostatnim członkiem rodziny LFM2.5 oraz ostatnim z tej rodziny, który wciąż czeka na wydanie. Jego wagi pojawiły się na Hugging Face na początku października, a firma ogłosiła go 13 października 2026 roku, więc jest w przybliżeniu tak nowy jak Bolt i również nie zgromadził wielu niezależnych wyników.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Obsługuje wyłącznie tekst i zawsze myśli, zanim odpowie — ślad rozumowania nie jest opcjonalny. Liquid pozycjonuje go przeciwko modelom półtora raza większym w zadaniach agentowych i podaje wynik LiveClaw 48,09 w porównaniu z 38,19 dla Qwen3.6-35B-A3B, aby to potwierdzić. To porównanie dostawcy na wybranym przez dostawcę benchmarku i tak należy je odczytywać, ale liczba aktywnych parametrów, którymi się chwali, jest możliwa do sprawdzenia w konfiguracji samego modelu.

Czym Bolt właściwie jest

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Kompresja jest agresywna, czego nie zdradza liczba parametrów Boltsa. Top-K ekspertów spadło z 22 w modelu nadrzędnym do 9, co jest niemal takim samym top-K jak top-4 w LFM2.5, mimo że model ma trzy razy więcej parametrów. Wieża wizyjna została później ponownie dołączona z modelu nadrzędnego, więc Bolt przyjmuje obrazy i wideo, podczas gdy LFM2.5-24B-A2B przyjmuje tylko tekst, i odziedziczył okno kontekstowe 256K, dwukrotnie większe niż okno Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Kontrast specyfikacji, obie strony w jednej linii

• Łączne i aktywne parametry — Bolt: 74B łącznie, 9B aktywnych na token. LFM2.5-24B-A2B: 24,0B łącznie, 2,45B aktywnych na token.

• Backbone — Bolt: bloki przestrzeni stanów Mamba-2 przeplatane mieszanką ekspertów i uwagą. LFM2.5-24B-A2B: trzydzieści podwójnie bramkowanych bloków krótkiej konwolucji plus dziesięć warstw uwagi z grupowanymi zapytaniami.

• Routing — Bolt: top-9 ekspertów po kompresji, w porównaniu z 22 w modelu nadrzędnym. LFM2.5-24B-A2B: 64 ekspertów na blok, top-4.

• Przechowywana precyzja — Bolt: eksperci IQ2-XXS przy 2,0625 bita na element, warstwy Mamba w NVFP4, embeddingi i wyjście w Q8_0. LFM2.5-24B-A2B: wagi pełnej precyzji, z GGUF, FP8, ONNX i kilkoma szerokościami bitowymi MLX opublikowanymi przez dostawcę jako warianty pokrewne.

• Kontekst — Bolt: do 262 144 tokenów. LFM2.5-24B-A2B: 131 072 tokenów.

• Modalność — Bolt: tekst, obrazy i wideo na wejściu, tekst na wyjściu. LFM2.5-24B-A2B: tekst na wejściu, tekst na wyjściu.

• Licencja — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, bezpłatny do użytku komercyjnego poniżej 10 mln USD rocznego przychodu, a powyżej tej kwoty — płatna licencja komercyjna.

• Indeks inteligencji — Bolt: 21, zmierzony przez Artificial Analysis. LFM2.5-24B-A2B: nie istnieje profil Artificial Analysis dla tego checkpointu, więc nie ma porównywalnego niezależnego wyniku, a ten artykuł go nie wymyśli.

• Opublikowana cena — Bolt: brak gdziekolwiek i brak hostowanego endpointu. LFM2.5-24B-A2B: 0,10 USD za milion tokenów wejściowych, ze stawką 0,05 USD za trafienie w cache, oraz 1,00 USD za milion tokenów wyjściowych, na własnym hostowanym endpoincie Liquid, z 2 USD początkowego kredytu.

To ostatnie zestawienie jest najostrzejszym faktem w tym porównaniu i przebiega w kierunku, którego większość ludzi się nie spodziewa: model o mniejszym śladzie to ten, który ma cenę, a model o większym śladzie to ten, który jej nie ma. Bolta nie można wypróbować bez zakupu sprzętu. LFM2.5 można wypróbować jeszcze dziś po południu za równowartość błędu zaokrąglenia.

Szybkość i to, jak uważnie czytać liczby

Żaden z modeli nie ma niezależnego pomiaru centrum danych. Taki jest uczciwy stan dowodów i ogranicza to, co można powiedzieć.

W przypadku LFM2.5-24B-A2B firma Liquid podaje 184 tokeny na sekundę na Apple M5 Max i 114 na AMD Ryzen AI Max+ 395, a także twierdzi, że inferencja jest nawet 1,7× szybsza niż w porównywalnych MoE działających lokalnie. To dane producenta dotyczące układów klasy laptopowej, niepowtórzone przez nikogo innego, i nie mówią nic o tym, jak model sprawuje się na GPU w centrum danych przy wielu jednoczesnych żądaniach.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Co jest strukturalne, a nie zmierzone: Bolt odczytuje 9 miliardów parametrów na token, a LFM2.5 odczytuje 2,45 miliarda. Przy równej przepustowości pamięci MoE odczytuje w przybliżeniu proporcjonalnie do swoich aktywnych parametrów, a niskobitowe wagi ekspertów dodatkowo pomagają, zmniejszając liczbę bajtów przenoszonych na parametr. LFM2.5 ma mniejszy zbiór aktywny o czynnik 3,7 i działa z wyższą precyzją na wagę, więc na ruch bajtów na token warto spojrzeć. To argument, że model Liquid powinien być szybszy, a nie pomiar, że taki jest.

Który pobrać?

Ten podział nie jest porównaniem możliwości, ponieważ nie próbują wykonać tego samego zadania. Bolt to multimodalny agent, który odczytuje zrzuty ekranu i steruje przeglądarką w skali 74B, skompresowany tak, aby się zmieścił. LFM2.5-24B-A2B to agent tekstowy stworzony do szybkiego odpowiadania na maszynie całkowicie pozbawionej dedykowanego GPU.

Sięgaj po Bolt, gdy agent musi widzieć — WebArena, pliki PDF, klatki wideo — albo gdy obciążenie działa offline na maszynie, która ma już akcelerator klasy Blackwell, i gdy akceptujesz, że będziesz pierwszą osobą, która zmierzy jego przepustowość. Sięgaj po LFM2.5-24B-A2B, gdy zadanie dotyczy tekstu, maszyna to laptop, opóźnienie liczy się bardziej niż głębokość rozumowania, a cały sens polega na tym, że model mieści się w pamięci zunifikowanej razem z resztą Twoich aplikacji.

Dwie rzeczy, które zmieniłyby odpowiedź: niezależny benchmark przeprowadzony na obu oraz jakikolwiek opublikowany hosting dla Bolt. Dziś nie istnieje żadna z nich.

Uruchamianie ich obok hostowanego modelu

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Lokalny agent 24B na laptopie obsługuje rutynową pracę: routing, streszczanie, formatowanie wywołań narzędzi, dziewięćdziesiąt procent tur, które nigdy nie potrzebowały dużego modelu. Tury, które go jednak potrzebują, i tak muszą gdzieś trafić — i tu właśnie router zasługuje na swoje miejsce. OrcaRouter udostępnia ponad 200 modeli za jednym kluczem w cenie katalogowej dostawcy, z 0 procent narzutu, więc obniżka ceny u dostawcy jest u nas widoczna tego samego dnia, a jego DSL routingu pozwala opisać kompozycję — tani model do pierwszego przejścia, regułę eskalacji, fallback — jako jedno wywołanie, a nie kod aplikacji. Automatyczne przełączanie awaryjne między dostawcami oznacza, że problem z przepustowością po stronie dostawcy jest ponawiany, a nie ujawniany Twoim użytkownikom.

Dla każdego, kto buduje na lokalnym executorze, ten podział pracy jest powodem, dla którego mały checkpoint pozostaje opłacalny: mały model obsługuje wolumen, a do drogiego modelu można dotrzeć bez drugiej umowy czy drugiego SDK.

Co by to rozstrzygnęło

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Do tego czasu wybór jest decyzją o budżecie pamięci, a nie decyzją opartą na benchmarkach. Jeden model wymaga posiadania GPU z 24GB pamięci i mocą obliczeniową klasy Blackwell, a w zamian daje widzenie i 74B destylowanego rozumowania. Drugi wymaga jedynie laptopa, kosztuje grosze za godzinę przy testowaniu na cudzych serwerach i w zamian rezygnuje z widzenia oraz połowy okna kontekstowego.

To, czego liczby nie mogą ci powiedzieć, to czy cokolwiek z tego poszło nie tak w terenie: udokumentowane incydenty AI i awarie agentów dotyczące modeli tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i flagę sporu.