Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: Ten sam przepis, dwa limity pamięci

To jedyne porównanie na drzewie genealogicznym rodziny N​VIDIA N​emotron 3.5, w którym obie strony zostały stworzone przez ten sam zespół do tego samego zadania w dwóch różnych rozmiarach, a dostawca sam już przeprowadził bezpośrednie starcie. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB i N​VIDIA N​emotron 3.5 Lightning 30B-A3B oba są hybrydowymi checkpointami Mamba-2 typu mixture-of-experts z głowicami dekodowania spekulatywnego, oba wydane na licencji OpenMDW-1.1 do użytku komercyjnego, oba przeznaczone do uruchamiania przez osobę, która o nich czyta, a nie do wynajmowania z centrum danych. Lightning został wydany 11 sierpnia 2026 r. Wagi Bolta zostały udostępnione 7 października 2026 r., a N​VIDIA ogłosiła to 15 października.

Różnica to pułap pamięci: 24 GB w jednym przypadku, około 16 GB w drugim w jego skwantyzowanej postaci, a dzielące je osiem punktów Artificial Analysis Intelligence Index to wszystko, co ten pułap zapewnia.

Jeden przepis, uruchamiany w dwóch rozmiarach

Lightning pojawił się pierwszy i ustalił kształt, za którym podąża cała generacja 3.5: hybrydowy stos, który przeplata bloki przestrzeni stanów Mamba-2 z warstwami mieszanki ekspertów i uwagi, głowice Multi-Token Prediction, dzięki którym model może tworzyć szkic kilku tokenów naraz i weryfikować je równolegle, oraz oddzielne drafters towarzyszące — DSpark do wdrożeń w centrach danych o niskiej współbieżności, DFlash, a później drafter LiLiCorr — które czynią dekodowanie spekulacyjne obsługiwaną konfiguracją, a nie sztuczką badawczą. Destylacja od nauczyciela N​emotron 3 Ultra to druga połowa przepisu.

Bolt to ta sama recepta wymierzona w znacznie bardziej ograniczony budżet. Jego 74 mld parametrów jest kompresowane do 24 GB przez Star Elastic, sterowane routerem wyszukiwanie architektury firmy NVIDIA, które pobiera nadrzędny checkpoint i poszukuje liczby ekspertów na warstwę oraz szerokości pośredniej MoE spełniających twardy limit pamięciowy wdrożenia, minimalizując przy tym stratę destylacji wiedzy. W przypadku Bolta wyszukiwanie ograniczono do poniżej 24 GB przy rozmiarze partii 1 i kontekście 128K, top-K ekspertów spadło z 22 u modelu nadrzędnego do 9, a wagi ekspertów skwantyzowano następnie do IQ2-XXS przy 2,0625 bita na element z destylacją świadomą kwantyzacji, aby odzyskać dokładność. Warstwy Mamba są na NVFP4, embeddingi i warstwy wyjściowe na Q8_0.

Model nadrzędny dla Bolt to nie Lightning. To Nemotron 3.5 Super VL 120B-A12B, multimodalny model o 120 miliardach parametrów, który NVIDIA wypuściła tego samego dnia, dlatego Bolt jest dostarczany z enkoderem wizyjnym C-RADIO v4-H, a Lightning nie.

Kontrast specyfikacji, obie strony w jednej linii

• Parametry łączne i aktywne — Bolt: 74B łącznie, 9B aktywnych na token. Lightning: 30B łącznie, około 3B aktywnych na token.

• Architektura — Bolt: hybrydowy LatentMoE Mamba-2–Transformer oraz enkoder wizyjny C-RADIO v4-H. Lightning: hybrydowy MoE Mamba-2 z mechanizmem uwagi, bez wieży wizyjnej.

• Precyzja i zajętość — Bolt: IQ2 przy 2,0625 bita na element, spakowany poniżej 24 GB. Lightning: BF16, NVFP4 i inne skwantyzowane wersje publikowane osobno.

• Kontekst — Bolt: do 256 000 tokenów, przy czym poszczególne receptury wdrożeniowe mogą używać mniej. Lightning: teoretycznie do 1 000 000 tokenów, a praktyczny pułap na pojedynczym H100 to około 256 000.

• Wejścia i wyjścia — Bolt: tekst, obrazy i wideo na wejściu, tekst na wyjściu. Lightning: tekst na wejściu, tekst na wyjściu.

• Licencja — OpenMDW-1.1 dla obu, zatwierdzona przez NVIDIA do użytku komercyjnego i niekomercyjnego.

• Dekodowanie spekulatywne — Bolt: drafter LiLiCorr poprzez DFlash, siedem tokenów spekulatywnych w referencyjnym przepisie. Lightning: głowice MTP oraz drafters DFlash i DSpark.

• Indeks Inteligencji — Bolt: 21,4, czwarty na 67 w swojej klasie rozmiarowej, niezależnie zmierzony przez Artificial Analysis. Lightning: 12,9, niezależnie zmierzony.

• Cena — Bolt: brak jakiejkolwiek stawki opartej na zużyciu; Artificial Analysis nie podaje ceny za tokeny wejściowe ani wyjściowe i nie opublikowano żadnego hostowanego punktu końcowego. Lightning: 0,06 USD za milion tokenów wejściowych i 0,20 USD za milion tokenów wyjściowych według danych Artificial Analysis, a wejście z pamięci podręcznej kosztuje około 0,006 USD.

• Szybkość generowania — Bolt: brak opublikowanych niezależnych pomiarów. Lightning: 305 tokenów wyjściowych na sekundę przy 0,57 sekundy do pierwszego tokena, oba parametry zmierzone niezależnie, co jest jednym z najszybszych wyników na tablicy panelu.

Własne bezpośrednie porównanie dostawcy — czytaj uważnie.

Karta modelu Bolt firmy NVIDIA publikuje tabelę, w której Lightning jest jednym z trzech punktów odniesienia, i warto ją czytać jako argument, a nie tablicę wyników, ponieważ firma wybrała benchmarki, w których wygrywa jej nowy model.

Terminal-Bench 2.1 — Bolt 50,98 wobec 23,46 Lightning. Oba uruchomione przez dostawcę, oba na kompilacji BF16 Lightning.

• GPQA Diamond — Bolt 86,43 wobec 75,57 Lightninga.

• BrowseComp — Bolt 66,75 wobec 36,81 Lightning.

• HLE bez narzędzi — Bolt 25,30 kontra 10,47 Lightninga.

• PinchBench — Bolt 87,82 w porównaniu z 83,43 Lightninga, co stanowi znacznie mniejszą różnicę niż w pozostałych przypadkach i jest zgodne z twierdzeniem firmy NVIDIA, że Bolt jest otwartym modelem numer jeden w swojej klasie w tym benchmarku.

• AA-Omniscience — brak halucynacji — Bolt 61,27 wobec 68,81 Lightninga. Lightning wygrywa tę konkurencję, a to i tak wiersz, który NVIDIA zdecydowała się opublikować, co jest atutem tej tabeli.

• AA-Omniscience dokładność — Bolt 16,90 wobec Lightning 16,63. W praktyce remis i najsłabsza para liczb w tabeli w ujęciu bezwzględnym.

Każda liczba na tej liście jest podana przez dostawcę w karcie modelu i nie została odtworzona. Artificial Analysis zmierzyło od tego czasu niezależnie dwa wyniki indeksu — 21,4 i 12,9 — a kierunek się zgadza, co jest maksimum tego, co można dziś powiedzieć.

Gdzie mniejszy model jest lepszą odpowiedzią

Luka indeksowa jest realna i nie jest jedyną osią. Lightning wygrywa trzy wiersze, które mają znaczenie w przypadku konkretnych wdrożeń.

Jest szybszy o czynnik, którego nikt nie zmierzył po stronie Bolt. 305 tokenów wyjściowych na sekundę przy subsekundowym czasie do pierwszego tokenu to zupełnie inna klasa responsywności niż cokolwiek, co – jak można obecnie zakładać – może osiągnąć niezmierzony 2-bitowy checkpoint 74B, i jest to zmierzone. Opublikowana przez samego Bolta przepustowość, 83,99 tokena na sekundę w AIPerf SPEED-Bench-Coding przy aktywnym drafterze LiLiCorr, pochodzi ze strony badawczej NVIDIA dotyczącej maszyny klasy laptopa i nie jest porównywalna ze stanowiskiem panelu.

Ma czterokrotnie większy kontekst. Milion tokenów w porównaniu do 256 000, a różnica uwidacznia się w niezależnym wyniku wyszukiwania długiego kontekstu: Lightning uzyskuje 49,19 w AA-LCR w tabeli NVIDIA, Bolt 64,06 — Bolt lepiej wykorzystuje długi kontekst, ale Lightning jest jedynym z tych dwóch, który reklamuje okno miliona tokenów, więc jeśli obciążenie polega na „przeczytaniu całego repozytorium”, górny limit może mieć większe znaczenie niż jakość wyszukiwania w nim.

To jedyny z tych dwóch, który ma cenę. Lightning jest dostępny w cenie 0,06 USD za milion tokenów wejściowych i 0,20 USD za milion tokenów wyjściowych, co czyni go infrastrukturą, którą można wywoływać, a nie projektem sprzętowym. Nikt nie opublikował stawki za hostowanie Bolt, więc jedynym sposobem, aby go uruchomić, jest posiadanie własnej maszyny.

To, czego Lightning nie potrafi, to widzieć. Obsługuje wyłącznie tekst, a Bolt przyjmuje obrazy i wideo przez enkoder C-RADIO v4-H, uzyskując 50,86 w WebArena vision, gdzie Lightning nie ma żadnego wpisu. Jeśli agent czyta zrzuty ekranu, otwiera pliki PDF lub steruje przeglądarką, ten wiersz sam decyduje o wyborze — i to jest wiersz pochodzący z rodowodu Super VL modelu Bolt, a nie z liczby jego parametrów.

Ile faktycznie kosztuje uruchomienie Bolt

Referencyjny przepis serwowania NVIDIA dla checkpointu 24GB to nie pojedyncze polecenie do wklejenia. Przypina konkretny obraz nightly vLLM, instaluje pakiet kerneli b12x i pobiera kernele, pobiera osobno plik wtyczki parsera rozumowania, a następnie ustawia model runner v2, backendy liniowe i MoE na b12x, backendy attention i Mamba na FlashInfer, jawne typy danych pamięci podręcznej Mamba, flagę chunked-prefill oraz konfigurację speculative-decoding wskazującą na drafter LiLiCorr z siedmioma tokenami draftu. Parsery wywołań narzędzi i rozumowania są nazwane jawnie, a limity mediów ograniczają żądanie do jednego obrazu i jednego wideo ze współczynnikiem pruning wideo 0,5.

Historia wdrożenia Lightning to kontener Docker, endpoint zgodny z OpenAI i nazwa modelu, którą można też dostać od hostowanego dostawcy za sześć centów za milion tokenów. W praktyce ta różnica to całe porównanie: Bolt to weekend pracy i maszyna, którą posiadasz, a Lightning to jedno popołudnie i faktura.

Jak wybrać i co by to rozstrzygnęło

Wybierz Lightning, jeśli Twoje obciążenie to tekst, masz napięty budżet opóźnień, a Twoje potrzeby dotyczące kontekstu są duże lub wolisz płacić za token niż kupować sprzęt. Jego niezależny profil — najszybsza zmierzona prędkość wyjściowa w swojej klasie, pierwszy token w czasie poniżej sekundy, opublikowana cena — czyni go opcją o najniższym ryzyku w rodzinie, a niższy wynik inteligencji jest odpowiednio wyceniony. Jest również właściwym domyślnym wyborem, jeśli planujesz połączyć małego lokalnego wykonawcę z większym hostowanym planistą, co dokładnie odpowiada temu, jak pozycjonuje go N​VIDIA.

Wybierz Bolt, jeśli twój agent dotyka pikseli lub działa bez sieci. Wiersz wizji jest zarezerwowany wyłącznie dla niego, rozumowanie w skali 74B wyprzedza o osiem punktów indeksowych, a limit 24 GB jest jedynym w rodzinie, który mieści checkpoint 74B destylowany od nauczyciela na pojedynczym akceleratorze klasy konsumenckiej. Pogódź się z tym, że uruchamiasz planera hostowanego na GPU lokalnie i płacisz za to opóźnieniem, którego jeszcze nie potrafisz przewidzieć.

W przypadku hostowanej części którejkolwiek z tych architektur, OrcaRouter umieszcza modele, które routujemy, za jednym kluczem w cenie katalogowej dostawcy z doliczoną marżą 0 procent, a automatyczne przełączanie awaryjne między dostawcami oznacza, że problem z przepustowością po stronie nadrzędnej jest ponawiany, a nie ujawniany. Nie hostujemy żadnego modelu N​emotron — katalog sprawdzono, a nie przyjęto z założenia, i nie ma w nim tej rodziny — więc na lokalną stronę tego porównania nie wpływa nic, co robimy. To, co daje konfiguracja z routingiem, to plan B dla planisty, gdy oceniasz, co ma tutaj znaczenie, ponieważ żaden z tych dwóch checkpointów nie ma opublikowanego niezależnego profilu opóźnień, względem którego można zwymiarować ścieżkę produkcyjną.

Co rozstrzygnęłoby ten wybór, to jedna liczba, która jeszcze nie istnieje: niezależny pomiar przepustowości i opóźnienia na punkcie kontrolnym 24 GB przy rozmiarze partii równym jeden. Dopóki ktoś jej nie opublikuje, argumenty za Bolt opierają się wyłącznie na dwóch rzeczach, którym Lightning nie może dorównać — skali parametrów i widzeniu — a argumenty za Lightning opierają się na czterech niezależnie zmierzonych liczbach.

To, czego liczby nie mogą ci powiedzieć, to czy cokolwiek z tego poszło nie tak w terenie: udokumentowane incydenty AI i awarie agentów dotyczące modeli tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i flagę sporu.