Nemotron 3.5 Bolt 24GB: Co NVIDIA faktycznie umieściła w pliku o rozmiarze 24 GB

Liczba z nagłówka to nie liczba parametrów. To liczba bajtów. 15 października 2026 r. firma NVIDIA wydałaNVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, model agentowy wizyjno-językowy, którego 74 miliardy parametrów zajmują23,75 GB w formacie, który większość ludzi faktycznie pobierze — 22,02 GB GGUF plus 1,73 GB pliku projektora wizyjnego. Obie wartości pochodzą z samego wykazu plików opublikowanego repozytorium, a nie z wpisu na blogu, i to one są powodem, dla którego nazwa kończy się liczbą. Oto, co ta liczba daje, co ukrywa i czego nie obejmuje.

Co wysłano i kiedy

Biuro prasowe NVIDII ujęło 15 października jako rozszerzenie rodziny, a nie premierę pojedynczego modelu: Nemotron 3.5 Super VL, multimodalny model o 120 miliardach parametrów i 12 miliardach aktywnych parametrów, pojawił się wraz z checkpointem Bolt, a znacznie mniejszy krewniak, Nemotron 3.5 Bolt E4B 4GB, ma datę na 23 października. Bolt dołącza do Nemotron 3.5 Lightning (sierpień) i Nemotron 3 Ultra w rodzinie, która obejmuje teraz rozumowanie w centrach danych, obsługę o wysokiej przepustowości i lokalnych agentów brzegowych.

To wydanie jest rzeczywiście nowe, a jednocześnie nieco starsze niż zapowiedź. Repozytorium Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB zostało utworzone 7 października 2026 r.; karta modelu, która się w nim znajduje, podaje datę wydania 15 października, tę samą datę, którą na własnej stronie badawczej NVIDIA oznaczono jako „Published”. Osiem dni, przez które pliki były publicznie widoczne, zanim pojawiło się jedno słowo wyjaśnienia, to normalny schemat dla dostawcy wypuszczającego produkt w ramach koordynacji embarga ze sprzętem — laptopy RTX Spark mają datę 16 października, dzień po ogłoszeniu — i warto wiedzieć, która połowa publicznego zapisu tego modelu pochodzi z decyzji marketingowej, a która z listy plików.

Jak 74 miliardy parametrów mieszczą się w 24 gigabajtach

Dwa mechanizmy, i są rozdzielne.

Pierwsza kwestia ma charakter strukturalny. Bolt nie jest mniejszym modelem trenowanym od zera; to model nadrzędny Super 3.5 VL skompresowany przez algorytm, który NVIDIA nazywa Star Elastic — sterowane routerem wyszukiwanie architektury, które musiało spełnić jedno ograniczenie — zajętość pamięci przy wdrożeniu poniżej 24 GB dla rozmiaru partii 1 i kontekstu 128K — tracąc przy tym jak najmniej dokładności destylacji wiedzy. W wyniku powstała hybryda mixture-of-experts o łącznej liczbie 74B parametrów i 9B aktywnych, przy ustalonym top-K ekspertów równym 9, podczas gdy model nadrzędny używał 22. Sposób przedstawienia wyniku przez samą NVIDIA jest dosadny i sprawdzalny: przy stałym budżecie pamięci kompresja dużego modelu wygrywa z trenowaniem małego.

Drugi to precyzja i to w niej tkwi większość oszczędności.

• Wagi ekspertów — routowane i współdzielone warstwy FC1 i FC2 skwantyzowane do IQ2_XXS przy 2,0625 bita na element, co stanowi większość modelu pod względem liczby parametrów.

• Warstwy Mamba — NVFP4, 4-bitowy format zmiennoprzecinkowy, i to tylko w tych warstwach, w których dodatkowa precyzja jest warta większej liczby bajtów.

• Embeddingi, głowa wyjściowa, uwaga oraz ukryte wagi MoE — Q8_0.

• Odzyskiwanie — destylacja świadoma kwantyzacji zamiast doraźnego zaokrąglania do najbliższej wartości, co stanowi różnicę między modelem skompresowanym a zepsutym.

Przeczytaj je razem, a „24GB” przestaje być marketingowym podsumowaniem i staje się alokacją budżetu. Eksperci 2-bitowi są tani w przeliczeniu na bajt i liczni; warstwy, które mają znaczenie dla stabilności, zachowują 4 lub 8 bitów.

Wartość 24GB, sprawdzona względem plików

Twierdzenie przechodzi audyt, co nie zawsze jest prawdą.

• Wagi GGUF — 22 018 326 528 bajtów, czyli 22,02 GB w zapisie dziesiętnym, w jednym pliku.

• Projektor wizyjny — 1 733 692 736 bajtów, czyli 1,73 GB, dostarczany osobno jako mmproj, dzięki czemu llama.cpp przyjmuje obrazy i wideo.

• Build Safetensors — ten sam model w shardach gotowych dla vLLM zajmuje łącznie 24,12 GB w 90 plikach, nieznacznie przekraczając wartość podaną w nagłówku.

• Wersja referencyjna BF16 — 149,8 GB w 63 shardach, opublikowana osobno dla wszystkich, którzy chcą raczej dostrajać model niż przeprowadzać wnioskowanie.

Na tym nakładają się dwie uczciwe uwagi. Po pierwsze, wagi to nie działający model. Przepis vLLM, który publikuje NVIDIA, przypina pamięć podręczną KV do fp8 i ustawia obsługiwany kontekst na 262 144 tokeny z max-num-seqs 1 — pojedynczą współbieżną sekwencją. To różnica między zmieszczeniem się w 24 GB a szybkim działaniem w 24 GB i właśnie tego rodzaju szczegółu nagłówek o rozmiarze pamięci nigdy nie zawiera. Po drugie, 24 GB to liczba, którą podano wyszukiwaniu architektury, a nie liczba zmierzona na twojej maszynie: narzut sterownika, system operacyjny i cokolwiek jeszcze jest na laptopie — wszystko to znajduje się poza nią, i właśnie dlatego hasło brzmi „działaj obok swoich aplikacji”, a nie „działaj zamiast nich”.

Deklaracja szybkości i maszyna, na której ją zmierzono

NVIDIA zaprojektowała to z myślą o co najmniej 80 tokenach na sekundę i podaje 83,99 w AIPerf SPEED-Bench-Coding. Ta liczba wymaga trzech elementów kontekstu, zanim cokolwiek znaczy: uzyskano ją za pomocą llama.cpp w systemie Windows 11 ARM x64, na Surface Laptop Ultra ze 128 GB pamięci, z dołączonym spekulacyjnym modelem szkicującym LiLiCorr i siedmioma szkicowanymi tokenami na krok. Model szkicujący nie jest opcjonalną ozdobą — to towarzyszący checkpoint o rozmiarze 1,13B, którego całym celem jest zwiększanie długości akceptacji (NVIDIA podaje średnie 4,68 przy dekodowaniu zachłannym i 4,25 przy próbkowaniu przy współbieżności 64 w vLLM). Usuń model szkicujący, a mierzysz inny model.

Druga liczba dotycząca szybkości jest ciekawsza, ponieważ to czas ukończenia, a nie wskaźnik: 600,80 sekundy czasu odtwarzania w AA-AgentPerf Local, wobec 453,97 dla Qwen3.6 35B-A3B, 480,68 dla Gemma 4 26B-A4B i 1 043,28 dla Qwen3.8 27B — wszystko z własnej tabeli NVIDIA, wszystko na tym samym sprzęcie. Bolt wygrywa ten wiersz, kończąc te same trajektorie agenta szybciej niż mniejszy model, a przegrywa wiersz przepustowości z oboma pozostałymi przy 83,99 wobec 96,63 i 100,56 tokenów na sekundę. Szybkość i żwawość to nie ten sam pomiar, a ten model wymienia drugą na pierwszą.

Co mówi niezależny pomiar

Jedna liczba w publicznym zapisie dotyczącym Bolt nie pochodzi od NVIDIA: Artificial Analysis Intelligence Index ocenia go na 21, co plasuje go na czwartym miejscu wśród 67 modeli w swojej klasie. Panel ten nie podaje również jego szybkości ani kosztu, ponieważ nie ma publicznego API, które można wywołać — a modalność wejściową modelu wymienia jako tekst i obraz, a nie wideo, co jest węższą interpretacją niż u dostawcy.

Ta sama strona odnotowuje, że model wygenerował 230 mln tokenów podczas oceny, co określa jako bardzo rozwlekłe w porównaniu z medianą 100 mln. Rozumowanie, które generuje więcej tokenów przy tym samym zadaniu, nie jest automatycznie gorsze, ale ma swoją cenę na urządzeniu lokalnym, gdzie każdy token jest generowany przez wentylator.

Wszystko inne w obiegu pochodzi od dostawców. Własna tabela trzynastu benchmarków firmy NVIDIA, w której Bolt przewodzi w swojej klasie pamięci w PinchBench i zajmuje drugie miejsce w WebArena oraz BrowseComp, porównuje z modelami wybranymi częściowo dlatego, że mieszczą się w 24 GB przy 4 bitach — grupa porównawcza zdefiniowana przez ograniczenie, które Bolt miał z założenia spełniać. Nie jest to nieuczciwe; nie jest to też ranking modeli agentowych w ogóle, a jedna komórka, która wypada odwrotnie, jest pouczająca: przy dokładności 16,90 w AA-Omniscience Bolt ustępuje modelowi Gemma 4 26B-A4B, który w tej samej tabeli osiąga 22,17.

Czego nie ma w pudełku?

Nie ma punktu końcowego. Żadnej rozliczanej stawki, żadnego dostawcy, który go udostępnia, żadnego sposobu, by ocenić go na własnym ruchu bez ukończenia wdrożenia. Jest za to wsparcie środowiska uruchomieniowego, które pojawiło się już przy wydaniu, a nie miesiące później: llama.cpp i checkpoint GGUF, Ollama, LM Studio, Unsloth do dostrajania oraz vLLM dla skwantyzowanego checkpointu na DGX Spark i checkpointu BF16 gdzie indziej. Blog samej NVIDIA wymienia te pięć z nazwy, a prawdziwym produktem jest tu szerokość — plik o rozmiarze 24 GB jest przydatny tylko wtedy, gdy to, co go ładuje, już istnieje na twojej maszynie.

Zasięg sprzętowy jest szerszy, niż sugeruje historia z dnia premiery o laptopach RTX Spark: GeForce RTX PCs, DGX Spark, DGX Station i stacje robocze RTX PRO są wymienione, a karta modelu wymienia Ampere, Hopper i Blackwell dla ścieżki vLLM.

Licencja to OpenMDW-1.1, która jest wystarczająco permisywna, by można było na niej budować, i wystarczająco mało znana, by przegląd prawny był rzeczywistym etapem, a nie formalnością — warto to wiedzieć, zanim od niej zależeć będzie decyzja architektoniczna.

Wpadka przy kopiowaniu i wklejaniu na własnym blogu technicznym NVIDIA umieszcza listę checkpointów pod nagłówkiem „Nemotron 3.5 Super VL 74B-A9B 24GB”, a nie „Bolt”. To literówka przy szybkim wydaniu, a nie rozgałęzienie w rodzinie, ale przydatne przypomnienie, że strony dostawców pisane w dniu ogłoszenia są szkicami z datą publikacji.

Dla zespołów, które wywołują również modele, których nie posiadają

Lokalnie uruchamiana połowa stosu agentowego i połowa hostowana to zwykle ten sam projekt, a Bolt zajmuje się tylko jedną z nich. OrcaRouter nie hostuje żadnego checkpointu Nemotron — sprawdziliśmy to w naszym własnym katalogu, a nie przyjęliśmy z założenia — więc nie ma tu oferty dla modelu, który sami udostępniamy. Nasza rola to druga strona mieszanego wdrożenia: jeden klucz do ponad 200 modeli w cenie katalogowej dostawcy bez doliczania marży, automatyczne przełączanie awaryjne, gdy dostawca zawiedzie w trakcie żądania, oraz DSL routingu do opisywania łańcucha fallbacku jako konfiguracji, a nie kodu aplikacji. Jeśli Bolt obsługuje połowę lokalną, to właśnie ta połowa nigdy nie pojawia się na rachunku; kwestia routingu dotyczy tego, co dzieje się z resztą.

Co obejrzeć

Trzy rzeczy przesądzą o reputacji tego modelu, a żadnej z nich nie ma w ogłoszeniu.

Pierwsza to niezależna latencja na prawdziwym sprzęcie. Wynik NVIDIA na poziomie 83,99 tokenów na sekundę to kontrolowany benchmark z dołączonym spekulacyjnym drafterem; ktoś w końcu opublikuje, jak wypada na laptopie, na którym jednocześnie działają przeglądarka i edytor, a ta liczba będzie miała większe znaczenie niż ta. Druga to wariant E4B z 23 października, który sprawdza, czy przepis na kompresję skaluje się w dół, czy działa tylko w jednym rozmiarze. Trzecia to, czy ktokolwiek spoza NVIDIA dotrenowuje checkpoint BF16 — ponieważ artefakt wdrożeniowy 24GB z otwartą licencją i artefakt dostosowania 150GB obok niego to celowe wydanie dwutorowe, a drugi tor decyduje o tym, czy to stanie się platformą, czy checkpointem.

Na razie fakt mówi sam za siebie. Multimodalny agent o 74 miliardach parametrów mieści się w pamięci laptopa, który kosztuje mniej niż stacja robocza, działa z szybkością około 84 tokenów na sekundę z dołączonym drafterem, osiąga wynik 21 w jedynym niezależnym indeksie, który go zmierzył, i nikt nie może wywołać go jako API. To konkretna i nietypowa kombinacja i warto być precyzyjnym, której jej połowy potrzebujesz.

Nic z tego nie jest hipotetyczne: udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są zebrane w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporne.