Nemotron 3.5 Bolt już dostępny: co tak naprawdę zawiera 24-gigabajtowy 2-bitowy checkpoint NVIDII

Repozytorium dla NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB pojawiło się na Hugging Face 7 października 2026 r. i przez osiem dni siedziało tam cicho. 15 października NVIDIA ogłosiła go — wpis na blogu, komunikat prasowy i strona badawcza opatrzona tą datą — co oznacza, że ciekawą częścią tej historii nie jest premiera. Jest nią luka. Przez osiem dni jedyną rzeczą, jaką ktokolwiek mógł wiedzieć o Nemotron 3.5 Bolt, było to, co mówiła karta modelu i zestaw safetensors, a wszystko inne było domysłem. Ta luka właśnie się zamknęła i warto być precyzyjnym co do tego, co jej zamknięcie faktycznie rozstrzygnęło, ponieważ spora część tego, co ludzie powtarzają o tym modelu, pochodziła z repozytorium, a nie z ogłoszenia, a te dwa nie są tym samym dokumentem.

Oto, co jest teraz pewne, ujęte w jednym akapicie. Nemotron 3.5 Bolt 74B-A9B 24GB to model wizyjno-językowy typu mixture-of-experts o 74 miliardach parametrów, z 9 miliardami parametrów aktywnych na token, wydany 15 października 2026 r. na licencji OpenMDW-1.1, przechowujący wagi swoich ekspertów w formacie 2,0625 bitu na element, dzięki czemu całość mieści się w 24 GB. Zaprojektowano go do uruchamiania lokalnej pracy agentowej — wywołań narzędzi, przeglądania sieci, korzystania z terminala — na sprzęcie RTX i DGX Spark. Jest dostępny w Ollama jako tag 25 GB z oknem kontekstowym 256K. Nie ma go w żadnym hostowanym API i nie ma ceny. Jedna część tego zdania jest mierzona niezależnie, a reszta to słowa samego dostawcy.

Dwie daty i którą z nich podać

Między tymi dwiema datami istnieje prawdziwa różnica i to ona decyduje, jak powinieneś czytać resztę tego artykułu.

Repozytorium Hugging Face zostało utworzone 7 października 2026 o 17:50 UTC. Karta modelu w nim zawiera pole Data wydania o treści Hugging Face 10/15/2026. Strona badawcza NVIDII poświęcona temu checkpointowi jest opatrzona stemplem Opublikowano: 15 października 2026. Wpis na blogu producenta ogłaszający poziom Bolt jest datowany na 15 października 2026 i mówi wprost, że Super VL i Bolt 74B-A9B „są już dostępne”.

Uczciwa interpretacja jest więc taka, że 15 października to data premiery, a 7 października to dzień, w którym pojawił się folder. Kto podaje 7 października jako datę startu, ten cytuje znacznik czasu pliku; kto podaje 15 października, ten cytuje producenta. Ośmiodniowa różnica ma jednak znaczenie z innego powodu niż same daty. Oznacza to, że przez ponad tydzień model istniał w stanie, w którym repozytorium było jedynym widocznym miejscem — żadnego ogłoszenia, żadnej strony z cennikiem, żadnego wpisu w rankingu, nikogo z NVIDIA, kto powiedziałby, do czego to ma służyć. Wszystkie wczesne opisy Bolta powstałe w tym oknie, w tym te krążące obecnie, zostały zbudowane na podstawie karty modelu. Karta okazała się trafna. Warto powiedzieć to wprost, bo w takich sytuacjach zwykle okazuje się ona nietrafna.

Co dowodzi samo repozytorium

Wszystko w tej sekcji można było odczytać z karty modelu i plików konfiguracyjnych, zanim N​VIDIA powiedziała choć słowo, i wszystko to nadal jest prawdą.

• Parametry — łącznie 74 miliardy, 9 miliardów aktywnych na token. Rzadka mieszanka ekspertów, nie model gęsty.

• Architektura — hybryda Mamba-2 i Transformer z szkieletem LatentMoE oraz enkoderem wizyjnym C-RADIO v4-H. Konfiguracja rejestruje klasę jako NemotronH_Omni_Reasoning_V3.

• Przechowywana precyzja — IQ2_XXS przy 2,0625 bita na element w warstwach FC1 i FC2 ekspertów routowanych i współdzielonych, w których znajduje się większość wag. Warstwy liniowe Mamba są w NVFP4, a wagi osadzeń, głowy wyjściowej, uwagi i LatentMoE — w Q8_0.

• Kontekst — do 256 tys. tokenów, czyli 262 144 w przepisach wdrożeniowych.

• Wejścia i wyjścia — tekst, obrazy i wideo na wejściu; tekst na wyjściu.

• Licencja — OpenMDW-1.1, a karta mówi to wprost: „gotowa do użytku komercyjnego lub niekomercyjnego”.

• Modele bazowe i pochodzenie — karta deklaruje swój model bazowy jako checkpoint BF16 o tej samej nazwie, a swoją relację do niego jako skwantyzowany, natomiast tagi zbioru danych wskazują na kolekcje NVIDII do pretrenowania i post-trenowania Nemotron.

• Daty modelu — od grudnia 2025 do maja 2026, z odcięciem danych po treningu na maj 2026. Przeczytaj to uważnie, jeśli zależy Ci na świeżości: model z 2026 roku opiera się na danych, które kończą się cztery i pół miesiąca przed jego premierą.

• Środowiska uruchomieniowe — vLLM na NVIDIA Ampere, Hopper i Blackwell oraz llama.cpp dla RTX Spark i DGX Spark. Wpis Ollamy jest bardziej dosadny, jeśli chodzi o ograniczenia: wdrożenie CUDA jest udokumentowane, a Apple Silicon i Metal nie są obecnie obsługiwane.

Co dodało ogłoszenie

Materiał od dostawcy dodaje trzy rzeczy, których repozytorium nie mogłoby ci powiedzieć.

Najpierw kontekst rodziny. Bolt jest pozycjonowany jako poziom brzegowy rodziny N​emotron, poniżej N​emotron 3.5 Super VL o 120B dla stale działających agentów serwerowych i powyżej niczego konkretnego — zdanie samej firmy N​VIDIA porządkuje je: Super VL i Bolt „obejmują pełny zakres wdrożeń agentów, od dużych serwerów korporacyjnych po urządzenia brzegowe i lokalny sprzęt”. N​emotron 3.5 Bolt E4B 4GB, model o 4 miliardach parametrów dla agentów konwersacyjnych i fizycznych, pojawi się 23 października.

Po drugie, historia kompresji, która jest tu autentycznie nowatorskim twierdzeniem inżynierskim. Bolt nie jest modelem, który wytrenowano jako mały, a następnie poddano kwantyzacji. To N​emotron 3.5 Super VL — 120 mld łącznie, 12 mld aktywnych — przepuszczony przez Star Elastic, sterowane routerem wyszukiwanie architektury firmy N​VIDIA, przy twardym ograniczeniu zmieszczenia się poniżej 24 GB pamięci przy rozmiarze partii równym jeden i kontekście 128K. Top-K ekspertów spadło z 22 w modelu nadrzędnym do 9 w Bolcie, pośrednie szerokości MoE przeszukano dla każdej warstwy, a następnie skompresowaną sieć skwantyzowano i poddano destylacji uwzględniającej kwantyzację, aby odzyskać dokładność. Przedstawiony przez N​VIDIA wniosek to najciekawsza część, i jest to prawdziwe stanowisko, a nie przechwałka: przy ustalonym budżecie pamięci skompresowanie dużego modelu do mniejszych rozmiarów jest lepsze niż trenowanie małego od zera. To twierdzenie, które można przetestować, a nikt spoza N​VIDIA tego nie zrobił.

Po trzecie, dwie pozycje w rankingach podane przez dostawcę: nr 1 wśród modeli otwartych w swojej klasie na PinchBench i nr 2 wśród modeli otwartych na BrowseComp. Oba to charakterystyka NVIDII dotycząca jej własnego modelu na tle klasy, którą sama zdefiniowała.

To, czego ogłoszenie niedodaje, to gotowego punktu końcowego. Nie ma hostowanego API, nie ma ceny za token ani sposobu na wywołanie Nemotron 3.5 Bolt bez pozyskania sprzętu, na którym działa. Artificial Analysis, który ocenił ten model, z tego właśnie powodu podaje pola dotyczące szybkości i kosztu jako niedostępne: nie ma publicznie dostępnego API, które pozwoliłoby je zmierzyć.

Część, której nikt spoza N​VIDIA nie uruchomił

W tym miejscu artykuł musi zwolnić, ponieważ rozbieżność między tym, co zostało zmierzone, a tym, co zostało twierdzone, jest wyjątkowo duża jak na model tej wielkości.

Po stronie pomiarowej jest jedna liczba i jest to dobra liczba: Artificial Analysis plasuje N​emotron 3.5 Bolt 74B-A9B z wynikiem 21 w swoim Intelligence Index, co daje mu czwarte miejsce spośród 67 modeli w jego klasie porównawczej. To niezależny pomiar rzeczywistego checkpointu 2-bitowego, a nie referencyjnej wersji BF16, i jest to obecnie najbardziej użyteczna wartość dostępna dla tego modelu.

Po stronie twierdzeń znajduje się wszystko inne. Karta modelu zawiera tabelę trzynastu benchmarków z czterema kolumnami — Qwen3.6-35B-A3B w BF16, Gemma 4 26B-A4B w BF16, N​emotron 3.5 Lightning 30B-A3B w BF16 i Bolt w IQ2 — a każdy jej wiersz został wygenerowany przez N​VIDIA, w tym trzy kolumny bazowe, które N​VIDIA wybrała, ponieważ mieszczą się w 24GB przy kwantyzacji 4-bitowej. Bolt jest pogrubionym zwycięzcą w dziesięciu wierszach, a w trzech nie jest: dokładność AA-Omniscience, gdzie Gemma 4 26B-A4B uzyskuje 22,17 w porównaniu z 16,90 Bolta; brak halucynacji AA-Omniscience, gdzie N​emotron 3.5 Lightning 30B-A3B uzyskuje 68,81 w porównaniu z 61,27 Bolta; oraz PinchBench, gdzie Qwen3.6-35B-A3B uzyskuje 88,07 w porównaniu z 87,82 Bolta. Opublikowanie trzech wierszy, w których się przegrywa, to punkt na korzyść dostawcy i nie zmienia tego, czym jest tabela: nieodtworzona.

Liczby dotyczące szybkości zasługują na własny akapit, ponieważ przeczą marketingowi. Własna tabela pomiarowa N​VIDIA, sporządzona za pomocą llama.cpp na Windows 11 ARM64 na Surface Laptop Ultra z 128GB, pokazuje Bolt na poziomie 83,99 tokenów na sekundę w AIPerf SPEED-Bench-Coding — za Qwen3.6-35B-A3B z 96,63 i Gemma 4 26B-A4B z 100,56. Na tej samej stronie czas odtwarzania end-to-end w realistycznych trajektoriach agenta wynosi 600,80 sekundy dla Bolt w porównaniu do 453,97 dla Qwen3.6 i 480,68 dla G​emma. Hasło to inteligencja na gigabajt, a nie szybkość, a własna tabela dostawcy jest spójna z tym hasłem, a nie z twierdzeniem o byciu najszybszym.

A więc kształt dowodów przedstawia się tak: jeden niezależny wynik złożony, który jest przyzwoity, jedna tabela benchmarków dostawcy, której nikt nie odtworzył, jedna tabela szybkości dostawcy na laptopie, której nikt poza NVIDIA nie uruchomił, i zero niezależnych pomiarów opóźnień. Każdy artykuł, który podaje wynik Bolt's PinchBench, nie mówiąc, kto go uzyskał, traktuj jako niewiarygodny — także każdy artykuł, który zgadza się z tym tekstem.

Co przybyło razem z tym

Premiera modelu rzadko sprowadza się tylko do wag, a zaplecze Bolta jest większe niż zwykle jak na coś bez API.

Spekulacyjny model szkicujący LiLiCorr jest dostarczany razem z nim — 1,13 miliarda parametrów z wyłączeniem współdzielonych embeddingów i głowy wyjściowej, trenowany wspólnie z modelem docelowym, a NVIDIA podaje średnie długości akceptacji wynoszące 4,68 przy dekodowaniu zachłannym i 4,25 przy próbkowaniu probabilistycznym z siedmioma szkicowanymi tokenami przy współbieżności 64 w vLLM. Model szkicujący to osobny, możliwy do pobrania checkpoint, a nie flaga środowiska uruchomieniowego, i to on odpowiada za wartość 84 TPS podawaną dla RTX Spark.

Wsparcie frameworków pojawiło się szybko. Ollama wymienia nemotron-3.5-bolt w trzech tagach — domyślnym, tagu 74B-A9B i tagu IQ2 — każdy o rozmiarze 25GB z kontekstem 256K oraz wejściem tekstowym i obrazowym, z jednolinijkowymi launcherami dla Claude Code, OpenCode, Hermes Agent i OpenClaw. Poza tym jest build GGUF od NVIDIA, łańcuch społecznościowych kwantyzacji w 4-bit i 8-bit oraz konwersje MLX, które pojawiły się w ciągu jednego dnia od ogłoszenia. Jak na checkpoint działający na pojedynczym urządzeniu 24GB, ten ekosystem pojawiający się w czterdzieści osiem godzin to prawdziwy sygnał, że to użyteczny artefakt, a nie demonstrator.

Praktyczne ostrzeżenie dla każdego, kto planuje go użyć: wartość 24 GB to dolna granica dla wag, a nie górna granica dla obciążenia. Obrazy, klatki wideo, historia rozmowy i wyniki narzędzi współdzielą budżet kontekstu, a sama Ollama w swojej uwadze podaje, że użyteczny kontekst zależy od dostępnej pamięci. Pobranie 25 GB, które bez problemu się mieści, to nie to samo co sesja o długości 256K tokenów, która bez problemu się mieści.

Co to dla ciebie oznacza, a co nie

Jeśli Twoje obciążenie jest lokalne i agentowe — korzystanie z terminala, przeglądanie, wywoływanie narzędzi, debugowanie kodu na urządzeniu, które posiadasz — N​emotron 3.5 Bolt 74B-A9B 24GB jest teraz wyborem, którego można bronić, mając jedną niezależną ocenę i zestaw wag, które możesz sprawdzić. Argument dotyczący kompresji, który za tym stoi, jest naprawdę interesujący, licencja pozwala na użycie komercyjne, a narzędzia pojawiły się w ciągu jednego dnia.

Jeśli Twoje obciążenie musi być wywoływane z kodu działającego gdzieś, co nie należy do Ciebie, ten model nie jest dziś opcją, a uczciwa odpowiedź na pytanie „jak mam go używać” brzmi: uruchamiasz go samodzielnie na sprzęcie N​VIDIA albo czekasz. Sprawdziliśmy własny katalog, zamiast zakładać, i nie ma w nim żadnego modelu N​VIDIA — więc nie mamy tu nic, co moglibyśmy kierować, a twierdzenie inaczej byłoby kłamstwem. To, co OrcaRouter faktycznie oferuje, to druga połowa mieszanego wdrożenia: modele, po które byś sięgnął, gdy żądanie jest zbyt trudne, zbyt długie lub zbyt nietypowe dla lokalnego checkpointu 2-bitowego, za jednym kluczem, w ponad 200 modelach, w cenniku dostawcy, bez doliczanej marży, z automatycznym przełączaniem awaryjnym, gdy dostawca się chwieje. Połączenie lokalnego Bolt z API routowanym przez naszą usługę to rozsądna architektura. Udawanie, że Bolt jest po stronie routowanej, już nie.

Rzeczą, na którą trzeba uważać, nie jest następna tabela benchmarków. Jest nią to, czy ktokolwiek spoza N​VIDIA opublikuje pomiar opóźnień dla checkpointu 24 GB na sprzęcie, który czytelnik faktycznie posiada, i czy w ogóle pojawi się hostowany endpoint. Dopóki któreś z tych się nie zdarzy, specyfikacja jest obietnicą, a jedynym, co za nią stoi, jest jeden wynik indeksu.

Taki wynik jest również przypomnieniem, że błędy modeli są już udokumentowane: incydenty AI i awarie agentów dotyczące modeli z tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i znacznik sporu.