Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: ta sama rodzina, przeciwne wdrożenia

Dwa modele z jednej rodziny, wypuszczone w odstępie czterech miesięcy, stworzone z myślą o przeciwległych krańcach tego samego zagadnienia. N​VIDIA N​emotron 3.5 Lightning 30B-A3B został wydany w sierpniu 2026 r. jako model tekstowy o wysokiej przepustowości do obsługi w centrach danych. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB został wydany 15 października 2026 r. jako multimodalny agent, który mieści się na laptopie. Bolt ma dwukrotnie więcej parametrów całkowitych i trzykrotnie więcej parametrów aktywnych niż Lightning, a działa na sprzęcie, na którym Lightning nie może wystartować. To właśnie je tak naprawdę odróżnia i tu podobieństwo rodzinne jest mylące.

Oba są efektem tego samego przepisu treningowego.

Raport techniczny N​VIDII dotyczący tej pary wyraźnie stwierdza, że oba modele zaczynają od tych samych dwóch etapów: rozgrzewki na 100 miliardów tokenów dla głowic predykcji wielu tokenów, a następnie biliona tokenów destylacji z kolejnego, większego modelu N​emotron 3. Lightning destyluje z N​emotron 3 Super Base; Bolt destyluje z linii N​emotron 3.5 Super VL, dlatego Bolt widzi, a Lightning nie.

Potem ścieżki się rozchodzą, a to rozdzielenie jest całą historią.

Lightning przechodzi przez fazę długiego kontekstu obejmującą 21 miliardów tokenów, która wydłuża go do miliona tokenów, a następnie przez potok post-trainingowy SFT i RLVR, i zostaje udostępniony jako model tekstowy o łącznej liczbie 30B parametrów, z 3B aktywnymi, z opcjami spekulacyjnymi DSpark, DFlash i MTP oraz docelowym wdrożeniem na pojedynczym GPU: jednym H100 lub jednym DGX Spark z wagami NVFP4.

Bolt jest kompresowany z 120-miliardowego modelu nadrzędnego za pomocą przeszukiwania architektury Star Elastic, ponownie podłączany do swojej wieży wizyjnej, trenowany od nowa w nadzorowanym etapie z dużym naciskiem na wizję, następnie poddawany kompleksowemu uczeniu ze wzmocnieniem w środowiskach agentowych, a na końcu kwantyzowany do 2,0625 bita na wagę eksperta za pomocą destylacji świadomej kwantyzacji. W zestawie znajduje się jeden drafter, LiLiCorr, oraz jeden wariant wdrożenia: coś z 24 GB pamięci i możliwością uruchomienia równolegle z innymi aplikacjami.

Porównanie specyfikacji, obok siebie

• Parametry — Bolt: 74B łącznie, 9B aktywnych. Lightning: 30B łącznie, 3B aktywnych.

• Precyzja w wersji dostarczanej — Bolt: eksperci IQ2_XXS przy 2,0625 bita na element, warstwy Mamba NVFP4, embeddingi i attention Q8_0. Lightning: NVFP4 na całej linii w checkpoincie wdrożeniowym, z referencyjnym wydaniem BF16 do dostosowywania.

• Kontekst — Bolt: 262 144 tokeny. Lightning: milion tokenów, wynik dedykowanej fazy treningu długiego kontekstu.

• Modalność — Bolt: tekst, obrazy i wideo na wejściu. Lightning: tylko tekst. Wpis Artificial Analysis dla każdego modelu mówi o tym na tym samym panelu z tym samym sformułowaniem, co czyni go jednym z nielicznych wierszy, w których te dwa można bezpośrednio porównać bez zastrzeżeń.

• Sprzęt hosta — Bolt: laptopy RTX Spark, komputery GeForce RTX, DGX Spark, DGX Station, stacje robocze RTX PRO. Lightning: DGX Spark lub H100, albo Blackwell i Ampere przez W4A16.

• Dekodowanie spekulatywne — Bolt: LiLiCorr, model szkicujący o 1,13 mld parametrów, siedem szkicowanych tokenów na krok. Lightning: DSpark do zadań o niskiej współbieżności, opublikowano także DFlash i MTP.

• Licencja — OpenMDW-1.1 dla obu, a oba są dopuszczone do użytku komercyjnego.

Jedyne miejsce, w którym oboje są mierzeni przez kogoś innego.

Te dwa modele mają coś, czego brakuje większości rodziny N​emotron: wpisy na tym samym niezależnym panelu, mierzone w ten sam sposób. To sprawia, że porównanie jest wyjątkowo czyste jak na starcie w obrębie rodziny.

Artificial Analysis przyznaje N​emotron 3.5 Lightning 13 punktów w swoim Intelligence Index, co daje mu 28. miejsce wśród 141 modeli, a N​emotron 3.5 Bolt 74B-A9B 21 punktów, co daje mu czwarte miejsce wśród 67 modeli w jego własnej klasie. Te klasy nie są identyczne — Bolt to model średniej wielkości open-weights, a Lightning to mały model — więc pozycje w rankingu nie są bezpośrednio porównywalne, ale wyniki indeksu powstają przy użyciu tej samej metodologii na tych samych ewaluacjach.

Szybkość to obszar, w którym różnica się odwraca, i jest to najważniejszy dla decyzji fakt dotyczący tej pary. Panel mierzy Lightning na 307 tokenów wyjściowych na sekundę, co daje pierwsze miejsce wśród 63 modeli w tym wymiarze. Panel podaje szybkość Bolta jako niedostępną, ponieważ nie ma publicznego API, które by go obsługiwało, a pomiar szybkości panelu wymaga takiego API. Jedyna wartość przepustowości, jaka istnieje dla Bolta, to własny wynik NVIDIA: 83,99 tokenów na sekundę w AIPerf SPEED-Bench-Coding, na Surface Laptop Ultra ze 128 GB pamięci, z dołączonym drafterem.

Przeczytaj je razem, a historia rodziny staje się konkretna. Lightning jest około trzy i pół raza szybszy niż Bolt według danych, którymi dysponujemy, w formie, którą można wynająć za tokeny; Bolt jest znacząco mądrzejszy w tym samym indeksie i działa na maszynie, której nikt nie może w ogóle wynająć.

Trzy sposoby, w jakie wybór się rozstrzyga

Jeśli obciążenie ma duży wolumen i dotyczy wyłącznie tekstu, Lightning nie jest kompromisem, to lepsze narzędzie. Kontekst o rozmiarze miliona tokenów przy 307 tokenach na sekundę, z opublikowaną stawką wynoszącą sześć centów za milion tokenów wejściowych i dwadzieścia centów za milion tokenów wyjściowych, to konkretna i użyteczna rzecz, a Bolt nie może dorównać prędkości ani kontekstowi na jakimkolwiek sprzęcie.

Jeśli obciążenie ma charakter wizualny, nie ma tu żadnej decyzji do podjęcia. Bolt obsługuje obrazy i wideo, a Lightning nie, i żadna ilość kontekstu ani przepustowości nie zastąpi modalności, której brakuje. Wiersz WebArena vision w tabeli firmy N​VIDIA — 50,86 dla Bolt, a Lightning nie jest tam w ogóle wymieniony — pokazuje, jak to wygląda, gdy przenosi się ze specyfikacji do benchmarku.

Jeśli obciążenie musi działać bez sieci, Bolt jest jedynym z tych dwóch, który został spakowany z myślą o tym. Celem wdrożeniowym Lightning jest pojedynczy H100 lub DGX Spark z checkpointem NVFP4, czyli serwer; celem Bolta jest plik 24GB na laptopie, na którym działa również przeglądarka. Różnica nie dotyczy możliwości, lecz tego, gdzie znajduje się maszyna.

Co rodzina zyskuje na wysyłaniu obu

Ciekawa rzecz w tej parze nie polega na tym, że jedno przebija drugie. Polega ona na tym, że N​VIDIA najpierw zbudowała tańsze, a potem spędziła cztery miesiące, budując droższe, aby pasowało tam, gdzie tańsze nie mogło trafić.

Lightning to gra na przepustowość: niewiele aktywnych parametrów, ogromny kontekst, zaprojektowany do wielokrotnego serwowania na jednym GPU. Bolt to gra na gęstość: ogromna liczba parametrów skompresowana do stałego budżetu pamięci, dzięki czemu pojedynczy użytkownik na pojedynczej maszynie otrzymuje lokalnie coś bliższego zachowaniu agenta na poziomie frontier. Te dwa optymalizują różne współczynniki — tokeny na sekundę na GPU przeciwko inteligencji na gigabajt na urządzenie — a fakt, że Bolt uzyskuje 21 punktów przeciwko 13 Lightninga, nie jest porażką Lightninga, ponieważ Lightning nie zmieściłby się na maszynie, dla której zbudowano Bolt, w formie, w jakiej Bolt istnieje.

Jest też punkt danych dla samego argumentu o kompresji. Tabela dostawcy dla Bolta uwzględnia Lightning jako jeden z jego punktów odniesienia, a Bolt wygrywa z nim w niemal każdym wierszu zadań agentowych: 50,98 przeciw 23,46 na Terminal-Bench 2.1, 66,75 przeciw 36,81 na BrowseComp, 17,01 przeciw 9,48 na Tau3 Banking, 28,47 przeciw 18,26 na GDPVal-AA-V2. To są własne liczby NVIDII porównujące dwa jej własne modele w tej samej tabeli, a uczciwa interpretacja jest taka, że skompresowanie modelu nadrzędnego o rozmiarze 120B bije trenowanie modelu 30B od zera przy tym samym docelowym rozmiarze. Dokładnie to twierdzenie miał wspierać Star Elastic.

Co to oznacza dla każdego, kto buduje agenta

To zestawienie sugeruje raczej pewien kształt niż zwycięzcę. Lightning obsługuje masową, długokontekstową, wyłącznie tekstową środkową część pracy agenta, w której przepustowość i kontekst są wiążącymi ograniczeniami. Bolt obsługuje lokalną, wizualną pracę tolerującą opóźnienia, która nie może opuścić maszyny. Żaden nie zastępuje drugiego, a sposób, w jaki sama NVIDIA ujmuje tę rodzinę — Ultra do najtrudniejszego rozumowania, Lightning do przepustowości, Bolt do przetwarzania brzegowego — jest przyznaniem, że ta granica jest realna.

To, czego nie rozwiązuje żaden z tych modeli, to część stosu, która nie jest lokalna ani nie należy do NVIDIA. Nie hostujemy żadnego z tych checkpointów; katalog OrcaRouter nie zawiera wpisu Nemotron, więc dla tych dwóch nie ma endpointu ani stawki, którą można podać. To, co gateway wnosi do mieszanego stosu, to druga strona: jeden klucz obejmujący ponad 200 hostowanych modeli, cena katalogowa dostawcy przekazywana bez doliczania marży, automatyczne przełączanie awaryjne, gdy dostawca zaczyna działać gorzej, oraz DSL routingu do opisywania eskalacji między modelami jako konfiguracji. Wybór między Bolt a Lightning podejmujesz na swoim sprzęcie i w swoim środowisku uruchomieniowym. To, co się dzieje, gdy zadanie przekracza możliwości obu z nich, albo gdy żądanie musi dotrzeć do modelu, którym nie może być żaden z nich, to część, która znajduje się za endpointem.

Które wypróbować najpierw?

Jeśli masz GPU z 24 GB i połączenie sieciowe, które raz działa, raz nie, Bolt jest ciekawszą pozycją do pobrania: jest nowszy, jest multimodalny i potrafi coś, czego nie potrafi żadne inne wydanie w tej rodzinie.

Jeśli masz DGX Spark, H100 lub aplikację, w której produktem jest opóźnienie, Lightning jest ogólnie dostępny od sierpnia, ma niezależny pomiar szybkości, który stawia go na pierwszym miejscu w swojej klasie, ma opublikowaną cenę i ma za sobą dwa miesiące, podczas których ekosystem mógł odkryć jego słabe punkty. Bolt ma za sobą jeden dzień, jego drafter jest obowiązkowym trzecim plikiem do pobrania, a nikt spoza NVIDIA nie zmierzył jego opóźnienia.

Oba stwierdzenia mogą być prawdziwe jednocześnie. Właśnie po to jest rodzina.

Ta luka między tym, co mierzy tablica wyników, a tym, co napotyka wdrożenie, jest powodem, dla którego ten rejestr ma znaczenie: udokumentowane awarie AI i incydenty z agentami dotyczące modeli z tej klasy są gromadzone w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i znacznik sporności.