Nemotron 3.5 Bolt 24GB kontra LFM2.5 24B-A2B: Dwa sposoby na zmieszczenie agenta w 24GB

Oto problem dla każdego, kto porównuje te dwa modele. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB i LFM2.5-24B-A2Boba opublikowały tabele wyników zawierające te same trzy modele bazowe — Qwen3.6 35B-A3B, Gemma 4 26B-A4B i N​emotron 3.5 Lightning 30B-A3B — a te dwie tabele nie zgadzają się co do wyników tych modeli bazowych. W PinchBench N​VIDIA podaje Qwen3.6 na 88,07, a Lightning na 83,43. Liquid AI podaje te same dwa modele na 89,93 i 84,20. Ten sam benchmark, te same nazwy pozycji, inne liczby, obie opublikowane w tym miesiącu.

To nie jest skandal. Tak wygląda samodzielne uruchamianie harnessa i dlatego to porównanie zostało napisane wokół tego, co weryfikowalne, a nie wokół wyniku bezpośredniego starcia. Te dwa modele są też w pewnym sensie odpowiedziami na to samo pytanie, rozwiązanymi od przeciwnych końców.

Ograniczenie, wobec którego zbudowano oba modele

Oba to modele 24-gigabajtowe. Żadne z laboratoriów nie mówi tego dokładnie tymi słowami, a liczba pojawia się w każdym przypadku inaczej.

Bolt ma łącznie 74B, z czego 9B aktywnych. Wyszukiwanie architektury Star Elastic firmy N​VIDIA otrzymało do spełnienia jeden budżet — poniżej 24 GB przy rozmiarze partii 1 i kontekście 128K — a wynikowy checkpoint jest tym, co wytworzyło to ograniczenie, z wagami ekspertów na poziomie 2,0625 bita na element. Limit pamięci jest założeniem projektowym, a liczba parametrów — wynikiem.

LFM2.5-24B-A2B ma łącznie 24B, z czego 2,45B aktywnych, a pamięć zależy od wybranego pliku, a nie od architektury. Opublikowane repozytorium GGUF oferuje Q4_K_M o rozmiarze 14,53 GB, świadomy kwantyzacji QAD-Q4_0 o rozmiarze 13,58 GB, Q5_K_M o rozmiarze 17,03 GB, Q6_K o rozmiarze 19,69 GB i Q8_0 o rozmiarze 25,49 GB. Liczba 24 w nazwie to liczba parametrów, a nie zajętość; zajętość to menu.

Ta różnica wiele determinuje. Bolt ma dokładnie jedną konfigurację produkcyjną do wnioskowania i nie ma czego kwantyzować, ponieważ model został dostarczony już skwantyzowany. LFM2.5-24B-A2B ma natywny checkpoint BF16 o rozmiarze 47,96 GB, którego nie uruchomisz na laptopie, oraz zestaw kompilacji społecznościowych i oficjalnych, które uruchomisz, a ocena jakości pozostaje w twojej gestii.

Z czego tak naprawdę składa się każdy z nich

• Parametry — Bolt: łącznie 74B, 9B aktywnych na token. LFM2.5-24B-A2B: łącznie 24B, 2,45B aktywnych na token.

• Architektura — Bolt: warstwy przestrzeni stanów Mamba-2 przeplatane z mieszaniną ekspertów i uwagą, routing LatentMoE, oraz enkoder wizyjny C-RADIO v4-H. LFM2.5-24B-A2B: 40 warstw — trzydzieści podwójnie bramkowanych bloków krótkiej konwolucji i dziesięć bloków uwagi z grupowanymi zapytaniami — z 64 ekspertami na blok MoE i routingiem top-4.

• Pochodzenie — Bolt: skompresowany z Nemotron 3.5 Super VL 120B-A12B przez wyszukiwanie architektury sterowane routerem, następnie skwantyzowany za pomocą destylacji uwzględniającej kwantyzację. LFM2.5-24B-A2B: trenowany bezpośrednio, od przebiegu wstępnego treningu na 33 bilionach tokenów przez dwufazowy etap treningu pośredniego i pięcioetapowy potok treningu końcowego, który kończy się uczeniem ze wzmocnieniem w środowiskach agentowych.

• Dane wejściowe — Bolt: tekst, obrazy i wideo na wejściu, tekst na wyjściu. LFM2.5-24B-A2B: tylko tekst. To najtrudniejsza pojedyncza granica między nimi i ma ona charakter architektoniczny, a nie wynika z różnic w dostrajaniu.

• Kontekst — Bolt: 262 144 tokeny. LFM2.5-24B-A2B: 131 072 tokeny, czyli dwukrotnie więcej niż 32 768 w poprzedniej generacji, wraz z rozszerzeniem słownika z 65 000 do 128 000 tokenów.

• Języki — LFM2.5-24B-A2B wymienia szesnaście, w tym arabski, koreański, tajski, hindi i rosyjski. Karta modelu Bolt wymienia angielski i języki programowania jako główne, a także obsługiwane są hiszpański, francuski, niemiecki, włoski i japoński.

• Licencja — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. Żadna z nich nie jest Apache 2.0, a obie są wystarczająco permisywne do zastosowań komercyjnych i wystarczająco mało znane, by zasługiwać na dziesięć minut prawnika.

• Wsparcie dla środowisk uruchomieniowych w chwili wydania — oba wymieniają llama.cpp, vLLM i odpowiadające im formaty edge; LFM2.5-24B-A2B dodatkowo dostarcza kompilacje MLX i ONNX oraz wymienia SGLang.

Tabele benchmarków, czytane uważnie

Tabela dostawcy Bolta daje mu zwycięstwa w Terminal-Bench 2.1 wynikiem 50,98 wobec 44,38 dla Qwen3.6 35B-A3B i 37,22 dla Gemma 4 26B-A4B, w BrowseComp wynikiem 66,75 wobec 48,74 oraz w GPQA Diamond wynikiem 86,43 wobec 83,40. Pokazuje też wiersze, w których przegrywa: dokładność AA-Omniscience na poziomie 16,90 wobec 22,17 Gemmy oraz PinchBench na poziomie 87,82 wobec 88,07 Qwena. NVIDIA wybrała grupę porównawczą jako modele mieszczące się w 24 GB przy czterech bitach — zbiór zdefiniowany przez ograniczenie, pod które zaprojektowano Bolta.

Tabela Liquid AI dla LFM2.5-24B-A2B podaje LiveClaw na poziomie 48.09 wobec 38.19 dla Qwen3.6 35B-A3B, AutomationBench na poziomie 27.69 wobec 8.72 oraz ToolSandbox na poziomie 80.71 wobec 75.02, jednocześnie ustępując większym modelom w GPQA Diamond (74.42), HLE (7.40) i SWE-Bench Verified (51.00). Jego wskaźnik AA-Omniscience jest ujemny, minus 24.90, co w punktacji tego benchmarku oznacza, że jest karany za pewne siebie błędne odpowiedzi, a nie oceniany wyłącznie na podstawie samej dokładności.

Obie tabele zgadzają się co do kształtu wyniku, nawet tam, gdzie cyfry się różnią: każdy model jest mocny w użyciu narzędzi agentowych w stosunku do swojego rozmiaru i słabszy w odtwarzaniu wiedzy. Żaden nie ma wpisu w Artificial Analysis i żaden nie ma hostowanego punktu końcowego, więc nie ma liczby od strony trzeciej, która rozstrzygnęłaby remis, ani sposobu na przeprowadzenie testu A/B na własnym ruchu bez pobrania obu.

Dla Bolt istnieje jednak jedna niezależna liczba: Intelligence Index wynoszący 21, czwarte miejsce spośród 67 modeli w swojej klasie, na tym samym panelu, który ocenia gęste modele, z którymi konkuruje. Liquid AI podaje 184 tokeny na sekundę na Apple M5 Max dla LFM2.5-24B-A2B, a NVIDIA podaje 83,99 tokena na sekundę dla Bolt na maszynie RTX Spark z uruchomionym llama.cpp i dołączonym drafterem LiLiCorr. Te dwie wartości szybkości to najbardziej użyteczne liczby, jakie opublikowało którekolwiek z tych laboratoriów, i nie są one porównywalne — inny sprzęt, inne formaty, inne konfiguracje drafterów.

Którą maszynę chce każdy z nich

Historie sprzętowe nakładają się na siebie w mniejszym stopniu, niż sugeruje ujęcie przez pryzmat 24GB.

Bolt został stworzony dla własnego stosu brzegowego firmy NVIDIA: laptopów RTX Spark, które pojawią się 16 października, komputerów GeForce RTX, DGX Spark, DGX Station i stacji roboczych RTX PRO, ze skwantyzowanym checkpointem dla llama.cpp na Spark i vLLM na DGX oraz checkpointem BF16 przeznaczonym dla Ampere, Hopper i Blackwell. Drafter to osobne pobranie o rozmiarze 1,13B, a referencyjny przepis vLLM przypina kompilację nightly, pakiet kerneli z repozytorium dostawcy i liczbę obsługiwanych sekwencji równą jeden.

LFM2.5-24B-A2B jest na papierze bardziej przenośny z tych dwóch i sam to potwierdza: kompilacje MLX dla Apple Silicon, ONNX dla wieloplatformowych środowisk uruchomieniowych, GGUF do wnioskowania na CPU, FP8 do serwowania na GPU, a DSpark drafter wymieniony jako mający pojawić się wkrótce. Skwantyzowana kompilacja o rozmiarze 13,58GB pozostawia więcej zapasu na karcie 24GB niż pojedynczy plik Bolt o rozmiarze 22,02GB plus jego 1,73GB projektor wizyjny.

Ta ostatnia arytmetyka to praktyczne sedno. Wagi i projektor Bolt zużywają 23,75 GB z 24 GB, od których model wziął nazwę, sprawiając, że kontekst i współbieżność rywalizują o resztę. LFM2.5-24B-A2B w Q4 lub QAD-Q4 pozostawia około dziesięciu gigabajtów na ten sam cel. Jeśli Twoje obciążenie to długohoryzontowa praca agentowa z dużym kontekstem pobranym z wyszukiwania, mniejsza aktywna i przechowywana zajętość pamięci nie jest nagrodą pocieszenia.

Gdzie mieści się warstwa routingu

Żaden z tych modeli nie jest czymś, co obsługujemy, i warto powiedzieć to wprost, zamiast tego upiększać: katalog OrcaRouter nie zawiera Bolt ani LFM2.5-24B-A2B, więc nie ma tu punktu końcowego dla żadnego z nich ani ceny do porównania. To, co je łączy, to fakt, że stanowią lokalną połowę stosu, a lokalne połówki prawie nigdy nie są same — agent, który uruchamia model 24GB na maszynie przed sobą, i tak sięga po coś większego, gdy zadanie go przerasta.

To jest część, którą obsługujemy. Jeden klucz do ponad 200 hostowanych modeli w cenie katalogowej dostawcy bez doliczania marży, automatyczne przełączanie awaryjne więc dostawca, który szwankuje w trakcie żądania, jest ponawiany, a nie ujawniany temu, kto czeka, oraz DSL routingu, który wyraża łańcuch awaryjny jako konfigurację, a nie jako kod aplikacji. Jeśli wybierasz między tymi dwoma punktami kontrolnymi, decyzja jest podejmowana na Twoim własnym sprzęcie i w Twoim własnym środowisku — a eskalacje, zapytania poboczne i ewaluacje wokół tego są częścią, która przechodzi przez bramę.

Jak wybrać bez wspólnej tablicy wyników

Cztery pytania rozstrzygają to szybciej, niż zrobiłaby to jakakolwiek tabela.

Czy agent musi widzieć? Jeśli odczytuje zrzuty ekranu, pliki PDF lub wideo, Bolt jest jedynym z tych dwóch, który to potrafi, i sprawa jest zamknięta. Jeśli pracuje na tekście i wywołaniach narzędzi, możliwość multimodalna to balast, który niepotrzebnie dźwigasz.

Ile kontekstu tak naprawdę potrzebuje jedna tura? Ćwierć miliona tokenów w porównaniu z 131 072 to realna różnica w pracy na skalę repozytorium lub dokumentu, i to jest jedyny wymiar, w którym kompresja Bolta dała coś, co nie pojawia się w żadnej kolumnie benchmarku.

Co to za maszyna? Dedykowana karta graficzna NVIDIA z 24 GB i tolerancją dla przypiętej nocnej wersji vLLM przemawia za Bolt. Mac albo mieszana flota, w której ta sama kompilacja musi działać w więcej niż jednym miejscu, przemawia za modelem, który obok swojego GGUF dostarcza MLX i ONNX.

A którym liczbom wierzysz? Oba laboratoria opublikowały tabele, w których ich własny model wygrywa w większości wierszy. Uczciwe stanowisko jest takie, że każde jest mocne w obrębie wybranej przez siebie grupy rówieśniczej, że rozbieżność między tymi dwiema tabelami na identycznych baseline'ach przypomina o wariancji harnessu, a że wynik benchmarku od laboratorium, które zbudowało model, jest twierdzeniem o możliwościach, a nie ich pomiarem.

Krótka odpowiedź

Bolt daje ci wzrok, kontekst ćwierć miliona tokenów i największą kompresję, jaką ktokolwiek dostarczył w tym rozmiarze, ale płacisz za to dwoma i pół gigabajta zapasu i obowiązkowym przepisem N​VIDIA. LFM2.5-24B-A2B daje ci przenośność, mniejszy zestaw roboczy i szesnaście języków, ale płacisz za to modalnością i kontekstem.

Oba zostały wydane w ciągu czterech dni od siebie w październiku 2026 r. — LFM2.5-24B-A2B 13 października, Bolt 15 października — co oznacza, że żaden nie ma jeszcze niezależnego dorobku, żaden nie został zmierzony względem drugiego na wspólnym sprzęcie, a każdy, kto ogłasza zwycięzcę, czyta tabele dostawców, a nie benchmark. Pobierz oba, uruchom własny zestaw ewaluacyjny i zachowaj ten, który dokończy pracę. To jedyne porównanie tutaj, którego nie opublikowało już jedno z dwóch laboratoriów.

Ta luka między tym, co mierzy tablica wyników, a tym, co napotyka wdrożenie, jest powodem, dla którego ten rejestr ma znaczenie: udokumentowane awarie AI i incydenty z agentami dotyczące modeli z tej klasy są gromadzone w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i znacznik sporności.