Nemotron 3.5 Bolt vs Nemotron 3 Ultra: Co przetrwa 7,4-krotną kompresję

Dwa modele od tego samego dostawcy, różniące się 7,4-krotnie liczbą parametrów i o około dwa rzędy wielkości pod względem sprzętu potrzebnego do ich uruchomienia. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB został wydany 15 października 2026 r. jako plik o rozmiarze 24 GB, który działa obok Twoich innych aplikacji na urządzeniu Spark lub GPU Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55B znajduje się na Hugging Face od 3 czerwca 2026 r. i wymaga co najmniej szesnastu H100 w BF16.

Ciekawe pytanie nie brzmi, który jest silniejszy — odpowiedź jest oczywista i nie jest to bliskie starcie. Chodzi o to, co konkretnie przetrwa, gdy kompresujesz duży model do małego budżetu pamięci, ponieważ to mówi, które obciążenia mały model może udźwignąć, a które go skompromitują. Własna notatka badawcza NVIDII odpowiada bezpośrednio na część tego pytania, a części, na które nie odpowiada, są tym, gdzie zapada prawdziwa decyzja.

Nie są rodzicem i dzieckiem, niezależnie od tego, co sugeruje nazewnictwo.

Najbardziej oczywiste założenie jest takie, że Bolt to pomniejszony Ultra. Tak jednak nie jest, a właściwe zrozumienie tego zmienia to, czego można oczekiwać od tego pliku. Nemotron 3.5 Lightning, wariant 30B-A3B z 11 sierpnia 2026 r., został wyodrębniony w drodze destylacji z Ultra. Bolt nie. Bolt powstaje w wyniku kompresji Nemotron 3.5 Super VL, modelu wizyjno-językowego 120B-A12B, przy użyciu wyszukiwania sterowanego routerem, które NVIDIA nazywa Star Elastic, a następnie destylacji świadomej kwantyzacji aż do 2,0625 bita na wagę eksperta w formacie IQ2_XXS.

Ten rodowód wyjaśnia tę jedną różnicę, która liczy się bardziej niż jakikolwiek wiersz benchmarku: Bolt ma enkoder wizyjny C-RADIO v4-H i przyjmuje obrazy oraz wideo. Ultra to tekst na wejściu, tekst na wyjściu, i nie jest to luka w raportowaniu — ten checkpoint nie ma wieży wizyjnej, którą można by ocenić. Mniejszy, nowszy, silnie skwantyzowany model widzi; największy model rozumujący w rodzinie — nie.

Co zachowała kompresja

Bolt ma 74 miliardy parametrów, z czego 9 miliardów jest aktywnych na token, na hybrydowym szkielecie Mamba-2 i Transformer. Ultra ma 550 miliardów, z czego 55 miliardów aktywnych. Stosunek parametrów aktywnych wynosi 6,1 do 1, a stosunek parametrów całkowitych 7,4 do 1, co oznacza, że kompresja usunęła proporcjonalnie więcej całkowitej pojemności niż obliczeń na token — model stał się węższy szybciej, niż stał się płytszy.

Co to daje, na podstawie dostępnych dowodów:

• Niezależna inteligencja — Artificial Analysis przyznaje Nemotron 3.5 Bolt wynik 21 w swoim Intelligence Index, czwarte miejsce spośród 67 w swojej klasie filtrowanej według footprintu, przy medianie w klasie wynoszącej 8. Ultra nie należy do tej samej klasy i uzyskuje znacznie wyższy wynik w tej samej wersji indeksu. To mierzalny koszt kompresji.

• Niezależna prędkość — Artificial Analysis mierzy Ultra na poziomie 156,1 tokenów wyjściowych na sekundę, co daje dziesiąte miejsce wśród 74 modeli na tej stronie i lokuje go w najwyższym przedziale prędkości. W przypadku Bolt te same pola mają wartość N/A, ponieważ nie ma hostowanego punktu końcowego, który można wywołać. Własne dane NVIDII — 84 tokeny na sekundę w AIPerf SPEED-Bench na RTX Spark, 83,99 w llama.cpp na Surface Laptop Ultra — pochodzą od producenta i nie zostały odtworzone.

• Podążanie za instrukcjami — Ultra osiąga 82,9 w IFBench. To wiersz, na który warto zwrócić uwagę w agencie, który musi przestrzegać długiej polityki narzędziowej, i jest to ten rodzaj zdolności, który destylacja uwzględniająca kwantyzację zachowuje nierównomiernie.

• Rozumowanie długokontekstowe — Ultra uzyskuje 75,2 w AA-LCR wobec specyfikacji 1 mln tokenów. Opublikowane okno Bolta wynosi 262 144 tokeny, współdzieląc 24 GB z pamięcią podręczną KV, obrazami i rozmową. Szerokie deklarowane okno i umiejętność korzystania z niego to odrębne właściwości; tutaj większy model ma więcej jednego i drugiego.

• Powściągliwość faktograficzna — Ultra notuje 22,1 w halucynacjach AA-Omniscience i 77,91 w braku halucynacji. Własna karta modelu Bolt odnotowuje 61,27 w braku halucynacji — to jedyny wiersz, w którym przegrywa ze znacznie mniejszym Nemotron 3.5 Lightning. Dwa niezależne sygnały wskazują to samo: tu agresywna kompresja 2-bitowa kosztuje najwięcej, a żadna sztuczka routingu nie naprawi modelu, który wymyśla więcej.

Koperta wdrożeniowa, czyli miejsce, w którym te dwa faktycznie się rozdzielają

To jest ta część porównania, która nie sprowadza się do wyniku.

• Pamięć — Bolt to pojedynczy artefakt 24 GB, już skwantyzowany, przeznaczony do współistnienia z przeglądarką i IDE na jednej maszynie. Ultra w BF16 wymaga szesnastu H100, ośmiu H200 lub ośmiu węzłów klasy GB200 według własnej karty modelu; kompilacja NVFP4 zawęża to do ośmiu H100 jako minimum. Różnica między tymi dwoma zdaniami to różnica między zamówieniem a programem zakupowym.

• Konfiguracja kontekstu — Bolt obsługuje 262 144 tokeny bezpośrednio w swoim opublikowanym przepisie vLLM. Przepisy Ultra domyślnie mają 256K i wymagają flagi środowiskowej, aby osiągnąć pełne 1 048 576, dlatego panel rejestruje 262K dla Ultra mimo specyfikacji 1M. Przeczytaj specyfikację, a następnie przeczytaj przepis.

• Stos serwowania — Bolt działa pod vLLM na Ampere, Hopper i Blackwell albo pod llama.cpp na sprzęcie RTX Spark i DGX Spark, na licencji OpenMDW-1.1, która pozwala na użycie komercyjne. Ultra działa na tej samej licencji z równoległością klasy centrów danych. Oba są otwartymi wagami; tylko jeden z nich jest przenośny.

• Koszt promptu — Ultra jest rozliczany stawką $0.60 za milion tokenów wejściowych i $2.50 za milion tokenów wyjściowych, z 73% zniżką za cache, co daje około $0.60 za wykonanie jednego zadania Intelligence Index — naprawdę tanio jak na model tej wielkości i dostępny, ponieważ ktoś inny obsługuje klaster. Bolt nie ma żadnej ceny: brak hostowanego endpointu, brak API dostawcy, brak cennika, a w jedynym niezależnym panelu, który go wymienia, w polach szybkości i kosztu widnieje N/A.

Odczytując komunikat pod kątem tego, co mówi, a czego nie mówi

Checkpoint Bolta znajdował się na Hugging Face od 7 października 2026 r., z dołączoną wyłącznie kartą modelu. Zapowiedź producenta, w której go nazwano — obok 4-gigabajtowego bliźniaka, Nemotron 3.5 Bolt E4B, przeznaczonego dla postaci w grach i datowanego na 23 października — pojawiła się 15 października. Udostępnienie wag osiem dni przed tekstem nie jest niczym niezwykłym, ale oznacza, że przez tydzień publiczny zapis nie zawierał żadnego wyjaśnienia modelu, a każdy opis powstały w tym oknie opierał się wyłącznie na karcie.

Ogłoszenie to również miejsce, w którym należy szukać tego, czego brakuje. Nie ma hostowanego endpointu, nie ma API, nie ma cennika, nie ma zewnętrznej platformy mierzącej Bolt — i nikt nie przeprowadził niezależnego benchmarku na wagach 24 GB. Liczby dostawcy są prawdziwe i konkretne, uzyskane za pomocą llama.cpp na Surface Laptop Ultra ze 128 GB; po prostu nie zostały odtworzone poza NVIDIA.

Gdzie pasuje każdy model i gdzie pasuje router

Żaden z tych modeli nie znajduje się w katalogu OrcaRouter. Nie hostujemy żadnego checkpointu NVIDIA, nie ma endpointu Bolt ani endpointu Ultra, a nic tutaj nie stanowi oferty udostępniania któregokolwiek z nich. To, co faktycznie daje pojedynczy endpoint, jeśli sam uruchamiasz jeden z nich lub oba, to możliwość utrzymania lokalnej i hostowanej części workflow pod jednym kluczem — ponad 200 modeli w naszym katalogu stoi za jednym kluczem API i jednym rachunkiem, w cenie cennikowej każdego dostawcy przekazywanej dalej z 0% dodanej marży, więc zmiana ceny u dostawcy jest u nas widoczna tego samego dnia, a nie dopiero przy kolejnym odnowieniu. Żądanie, które wymaga pełnego okna miliona tokenów lub reasonera na skalę frontendu, trafia do modelu hostowanego; lokalny plik zachowuje pracę o dużym wolumenie i wrażliwą na prywatność, która nigdy nie powinna była opuścić budynku. Automatyczny failover sprawia, że zdegradowany upstream przenosi żądanie, zamiast je unieważniać.

Umiejscowienie wynika z kalkulacji wdrożeniowej, a nie z wyników. Bolt należy umieścić na stacji roboczej, gdy dane nie mogą być przesyłane, gdy obciążenie obejmuje wideo lub gdy wolumen czyni rozliczanie za token dominującą pozycją kosztową — i gdy akceptowalne są okno 262K oraz widoczna już luka w powściągliwości faktograficznej. Ultra należy umieścić na punkcie końcowym z rozliczaniem za użycie, gdy praca wymaga zasięgu miliona tokenów, najsilniejszego w rodzinie przestrzegania instrukcji i najniższego wskaźnika halucynacji, jaki obecnie publikuje NVIDIA.

Kto powinien działać, a kto powinien czekać?

Działaj teraz, jeśli obciążenie jest lokalne i obejmuje wideo: Bolt to jedyny model w tej rodzinie, który zarówno mieści się w 24GB, jak i potrafi widzieć, a żaden inny otwarty checkpoint o takim zapotrzebowaniu nie uzyskuje 21 w niezależnym indeksie. Działaj teraz, jeśli obciążenie to wnioskowanie tekstowe na długim kontekście na dużą skalę: Ultra jest rozliczany, mierzony i tańszy w przeliczeniu na zadanie Intelligence Index, niż model o jego rozmiarze miałby jakiekolwiek prawo być.

Czekaj — jeśli twoja decyzja zależy od przepustowości. Szybkość Bolta to jedyny wymiar, dla którego nigdzie nie ma niezależnego pomiaru, a w przypadku modelu wdrażanego lokalnie szybkość jest tym, co odczuwasz w każdej sekundzie każdego dnia. Pojedynczy niezależny test opóźnień na wagach 24 GB rozstrzygnąłby więcej niż kolejne dziesięć wierszy benchmarków dostawcy — a dopóki taki test nie istnieje, planowanie pojemności dla Bolta to planowanie wokół deklaracji.