Nemotron 3.5 Bolt kontra Nemotron 3.5 Lightning: Co mówi własna tabela NVIDIA, gdy czytasz obie kolumny

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB i NVIDIA Nemotron 3.5 Lightning 30B-A3B to dwa poziomy tej samej rodziny, wydane dziesięć tygodni od siebie, a dostawca opublikował już tabelę, która stawia je bezpośrednio naprzeciw siebie. To nietypowe i przydatne: większość tabel porównawczych, które czytasz, składa dziennikarz albo dostawca wybierający korzystne porównania, a ta pochodzi od laboratorium, które publicznie zestawia swój nowszy model z własnym starszym, wymieniając starszy jako punkt odniesienia. Wciąż jest to dane od dostawcy i nikt poza NVIDIA nie odtworzył ani jednego jej wiersza — ale intencja za nią stojąca nie budzi wątpliwości, podobnie jak kierunek wyniku. Bolt bierze dwanaście z trzynastu wierszy. Warto dokładnie zrozumieć, który jeden przegrywa i dlaczego właśnie ten wiersz jest interesujący.

Struktura rodziny ma znaczenie przed liczbami. Nemotron 3.5 Lightning został wydany 11 sierpnia 2026 r. jako warstwa wykonawcza stosu agentowego — hybryda o łącznej liczbie 30B i 3B aktywnych parametrów, którą NVIDIA destylowała ze znacznie większego Nemotron 3 Ultra specjalnie po to, aby model frontierowy mógł planować, podczas gdy Lightning wykonuje wywołania narzędzi na pojedynczym GPU. Bolt należy do zupełnie innej linii: został skompresowany z modelu 120B-A12B Nemotron 3.5 Super VL, a nie z Ultra, i istnieje jako generalista wizyjno-językowy, który mieści się w 24GB. Oba są open-weight na licencji OpenMDW-1.1, oba są rzadkimi mieszaninami ekspertów na hybrydowych szkieletach Mamba-2, i oba dostarczają dekodowanie spekulatywne — Lightning z głowicami Multi-Token Prediction plus draftrami DFlash i DSpark, Bolt z drafterem LiLiCorr prowadzonym przez DFlash, który proponuje siedem tokenów w przód.

Wspólne pochodzenie przestaje być użyteczne w momencie, w którym musisz podjąć decyzję, ponieważ te dwa modele odpowiadają na różne pytania. Jeden to tani wykonawca. Drugi to lokalny generalista.

Odczytywanie tabeli według roli, a nie wyniku

Każda liczba poniżej pochodzi z własnej karty modelu NVIDIA dla checkpointu Bolt 24GB, w której Lightning jest wymieniony jako punkt odniesienia. Kolumna Bolt to IQ2, 2-bitowy skwantyzowany artefakt. Kolumna Lightning to BF16, nieskwantyzowany. Ta asymetria to najważniejsza rzecz, jaką trzeba wiedzieć o tej tabeli, i działa na korzyść Bolt — wygrywa w tych wierszach, mimo że jest skompresowany około ośmiokrotnie względem swojego modelu nadrzędnego.

• Ogólne rozumowanie agentowe — GDPVal-AA-V2: Bolt 28,47, Lightning 18,26. Dziesięciopunktowa różnica i wiersz najbliższy odpowiedzi na pytanie „jak dobrze radzi sobie z codzienną pracą o charakterze biurowym, do której model został stworzony”.

• Praca w terminalu — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. To największa różnica na liście wyników i nie jest to zaskoczenie, ponieważ wytyczne samego NVIDIA dotyczące Lightning mówią, że nie powinien być on głównym agentem. Niezależna ocena odnotowała około 24,6 dla Lightning w tym samym benchmarku, co jest wystarczająco bliskie wartości 23,46 podanej przez dostawcę, aby sugerować, że liczba ta jest prawdziwa.

• Rozumowanie naukowe i oparte na wiedzy — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam bez użycia narzędzi: Bolt 25,30, Lightning 10,47. Spójność w trzech różnych typach trudnych pytań.

• Rozumowanie długiego kontekstu — AA-LCR: Bolt 64,06, Lightning 49,19. Piętnaście punktów, a tutaj ograniczenie pamięci nie jest czynnikiem ograniczającym dla żadnego z modeli.

• Agentowość w sieci i przeglądaniu — BrowseComp: Bolt 66,75, Lightning 36,81. Trzydzieści punktów. Największa pojedyncza różnica w tabeli i ta, która najbardziej bezpośrednio przeczy idei Lightning jako autonomicznego wykonawcy.

• Gęstość użycia narzędzi — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Obie wartości są bliższe niż powyższe różnice, co jest zgodne z rzeczywistym założeniem projektowym Lightninga: krótkie, wysokoczęstotliwościowe kroki narzędziowe.

• Wizja — WebArena vision: Bolt 50.86, Lightning nie ma wpisu. To nie jest luka w raportowaniu. Lightning to tekst na wejściu, tekst na wyjściu; nie ma enkodera wizji, który można by ocenić.

Ten jeden wiersz, w którym wygrywa Lightning — i dlaczego to nie jest szum

AA-Omniscience — brak halucynacji: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. W części tego samego testu dotyczącej dokładności dzieli je mniej niż jedna trzecia punktu — 16,90 dla Bolt w porównaniu z 16,63 dla Lightning — co sprawia, że różnica w części dotyczącej braku halucynacji jest całym wyjaśnieniem, a nie artefaktem zaokrągleń. Mniejszy, starszy, niekwantyzowany model jest w mierzalny sposób bardziej powściągliwy w mówieniu o rzeczach, których nie zna.

To prawdziwe odkrycie i ma wiarygodny mechanizm. Bolt osiągnął swoją zajętość dzięki agresywnej kwantyzacji 2-bitowej z destylacją uwzględniającą kwantyzację; stratna część tego potoku to dokładnie ta część, która odpowiada za skalibrowaną niepewność. Lightning jest mniejszy, ale pozostaje w pełnej precyzji BF16, a jego celem destylacji był model rozumujący, a nie współczynnik kompresji. Jeśli trybem awarii twojego agenta jest pewna siebie błędna odpowiedź, która propaguje się do działania, to jest ten wiersz, który należy zważyć najciężej — a żadna ilość sprytu w routingu nie naprawi modelu, który zmyśla więcej.

Producenci rzadko publikują tabelę zawierającą wiersz, w którym ich nowy model przegrywa. To, że ta to robi, jest drobnym dowodem na to, że tabela nie ma wyłącznie charakteru promocyjnego.

Koszt obsługi to prawdziwa druga oś

Powyższe wyniki nie są jedynym wyznacznikiem decyzji, ponieważ te dwa modele nie są równie kosztowne w eksploatacji.

• Aktywne parametry — Bolt aktywuje 9B na token; Lightning aktywuje około 3B. Trzykrotnie więcej obliczeń na token w przypadku większego modelu — na każdym tokenie, na zawsze.

• Wymagania pamięciowe — Bolt to plik 24GB, w którym wszystko jest już skompresowane; Lightning to checkpoint 30B BF16, który wymaga pojedynczego GPU i bez problemu mieści się na RTX 5090, DGX Spark lub urządzeniu Jetson.

• Kontekst — oba są specyfikowane na 1 mln tokenów i oba są praktycznie węższe. Lightning obsługuje 256 tys. na pojedynczym H100, zanim obliczenia pamięci staną się kłopotliwe; opublikowane okno Bolta to 262 144, a to okno dzieli te same 24 GB z pamięcią podręczną KV, obrazami i wynikami narzędzi.

• Roszczenia dotyczące szybkości — NVIDIA twierdzi, że w przypadku Lightning, dzięki jej mechanizmom szkicującym MTP i DFlash/DSpark, uzyskuje do 4x większą szybkość generowania w porównaniu z modelami o podobnej wielkości, oraz co najmniej 80 tokenów na sekundę dekodowania jako docelową wartość projektową dla Bolt, przy czym zmierzono 84 na AIPerf SPEED-Bench na RTX Spark i 83,99 w uruchomieniu llama.cpp na Surface Laptop Ultra z 128GB. Obie wartości pochodzą od producenta. Żadna z nich nie została odtworzona przez nikogo spoza NVIDIA.

• Pomiar — żaden z nich nie ma ceny hostowanej u nas ani na żadnej platformie, do której możemy cię skierować. Tak czy inaczej kosztem jest twój sprzęt, i właśnie dlatego liczba aktywnych parametrów ma większe znaczenie niż w porównaniu rozwiązań hostowanych.

{{1}}Co panel mógł, a czego nie mógł zmierzyć{{/1}}

Artificial Analysis ma wpis dotyczący Nemotron 3.5 Bolt 74B-A9B i przyznaje mu 21 punktów w Intelligence Index — czwarte miejsce spośród 67 w jego klasie rozmiarowej, wobec mediany klasowej wynoszącej 8. Jego pola szybkości i kosztu na zadanie mają wartość N/A, ponieważ nie ma hostowanego endpointu, który można wywołać. Te dwa puste pola to uczciwy stan modelu: jego dolna granica inteligencji jest niezależnie zweryfikowana, a górna granica wydajności — nie.

Na moment pisania tego tekstu nie istnieje wpis Artificial Analysis dla Nemotron 3.5 Lightning, przez co całe porównanie opiera się wyłącznie na materiałach własnych NVIDIA. Istniejący niezależny punkt danych — weryfikacja LLM Stats na poziomie około 24,6 w Terminal-Bench 2.1, zgodna z wartością 23,46 podaną przez dostawcę — potwierdza liczby dostawcy, a nie im przeczy. To dodaje otuchy w odniesieniu do tabeli, ale nie zastępuje drugiego środowiska testowego.

Jak tak naprawdę wybrać

Zamiar projektowy rozstrzyga większość przypadków, zanim zrobią to benchmarki. Lightning jest z założenia wykonawcą: wytyczne samej NVIDII mówią, by pozwolić modelowi czołowemu planować, a Lightningowi prowadzić pętlę, a jego najlepsze wiersze w tabeli to te dotyczące wysokiej częstotliwości wywołań narzędzi, a nie autonomicznych agentów. Bolt jest z założenia generalistą: ta sama tabela pokazuje, że jest znacznie dalej w sprawczości przeglądania i pracy w terminalu, czyli w zadaniach bardziej planistycznych, które nigdy nie miały należeć do Lightnigna — i jest jedynym z tej dwójki, który potrafi widzieć.

Kompozycja, dla której zbudowano oba modele, to planista, wykonawca i lokalny specjalista. Ponieważ żaden z checkpointów nie ma ceny hostowanej, podział spada na twój własny sprzęt, a jeden punkt końcowy przed nim wykonuje użyteczną pracę: reguła routingu, która kieruje krótkie pętle wywołań narzędzi do wdrożenia Lightning, żądania związane z wizją i sterowaniem przeglądarką do Bolt, a wszystko, co wymaga prawdziwego rozumowania typu frontier, do modelu hostowanego — wszystko za jednym kluczem, z przełączaniem awaryjnym między dostawcami upstream, gdy hostowana odnoga zawodzi. Reguła znajduje się w konfiguracji, a nie w każdej usłudze, co jest różnicą między warstwą routingu a przepisaniem.

Otwarte pytanie dotyczy pojedynczego niezależnego uruchomienia. Jeśli osoba trzecia odtworzy różnice w Terminal-Bench i BrowseComp na Bolt, checkpoint 24 GB jest rzeczywiście silniejszym generalistą, a argument za poziomem 30B zawęża się do czystej ekonomiki przepustowości. Jeśli nie, uczciwa interpretacja jest taka, że skwantowany 2-bitowo model 74B i model 30B w BF16 są bliżej siebie, niż sugeruje tabela jednego dostawcy — a wiersz dotyczący braku halucynacji, ten, w którym wygrywa Lightning, zasługuje na większą wagę, niż sugeruje jego pozycja na dole karty.