Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: Jeden model, dwa artefakty

To porównanie modelu z samym sobą. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB i N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 to ta sama architektura przy tej samej liczbie parametrów, powstałe w tym samym tygodniu, od tego samego rodzica — a dokumentacja samej N​VIDIA mówi wprost, że jedno służy do uruchamiania, a drugie do zmieniania. Traktowanie ich jako rywali to błąd kategorii; traktowanie ich jako wymiennych jest kosztowne. Oto różnica, mierzona w bajtach i w punktach benchmarku.

Czym tak naprawdę są te dwa artefakty

Nazwy opisują potok, a nie dwa projekty. NVIDIA wzięła model Nemotron 3.5 Super VL 120B-A12B, przeprowadziła kierowane przez router wyszukiwanie architektury o nazwie Star Elastic w ramach budżetu pamięci i uzyskała model o 74 miliardach parametrów z 9 miliardami aktywnych parametrów. Ten wynik istnieje w dwóch opublikowanych formach: jako wagi BF16 w takiej postaci, w jakiej wyszły z etapu po treningu, oraz jako te same wagi z warstwami ekspertów skwantyzowanymi do 2,0625 bita na element i naprawionymi za pomocą destylacji świadomej kwantyzacji.

Oba mają datę 15 października 2026 na swoich kartach modeli. Oba mają tę samą licencję OpenMDW-1.1, to samo okno kontekstowe 256 000 tokenów, ten sam szkielet Mamba-2 hybrid LatentMoE i ten sam enkoder wizyjny C-RADIO v4-H. Metadane repozytorium wyrażają tę zależność wprost w jednym polu: karta checkpointu 24GB podaje base_model_relation: quantized względem wydania BF16.

Różnica polega na tym, do czego służy każda z nich. Karta 24GB określa swoje zastosowanie jako lokalne środowiska agentowe — wywoływanie narzędzi, przeglądanie, praca w terminalu — a swoje wdrożenie jako vLLM na Ampere, Hopper lub Blackwell. Karta BF16 określa swoje zastosowanie jako post-training z NeMo RL i NeMo Gym, adaptację dziedzinową, destylację i tworzenie własnych skwantyzowanych wariantów, oraz ostrzega w tym samym akapicie, że do wnioskowania zoptymalizowanego pod kątem opóźnień i przepustowości należy użyć wersji 24GB. Dostawca mówiący, żeby nie uruchamiać właśnie pobranego checkpointu, zasługuje na dosłowne odczytanie.

Różnica rozmiarów odczytana z listy plików

• BF16 — łącznie 149,8 GB w 63 shardach safetensors, największy shard 3,71 GB, plus 228-megabajtowa wieża wizyjna.

• 24GB safetensors — 24,12 GB rozłożone na 90 shardów w wersji przygotowanej pod vLLM, co jest nieznacznie powyżej liczby w nazwie modelu.

• 24 GB GGUF — 22,02 GB w jednym pliku, plus oddzielny projektor wizyjny o rozmiarze 1,73 GB, co daje łącznie 23,75 GB.

• Proporcja — około sześć do jednego w bajtach, od ekspertów 16-bitowych do ekspertów 2-bitowych plus mieszana precyzja w przypadku całej reszty.

Sześćdziesiąt trzy shardy kontra dziewięćdziesiąt to także różnica kształtu, a nie tylko rozmiaru. Wydanie BF16 jest stworzone do wczytywania przez framework treningowy w dowolnym układzie równoległym, jaki masz; wydanie 24GB jest stworzone do wczytywania przez jeden GPU albo przez llama.cpp na jednej maszynie, a liczba shardów odzwierciedla inne zadanie.

Trzy gigabajty z 24 GB rozpiętości warto zrozumieć, zanim zaplanujesz przechowywanie. Projektor wizyjny jest osobnym plikiem w wersji GGUF, ponieważ tak llama.cpp obsługuje dane wejściowe multimodalne, a ktoś, kto pobiera tylko wagi i potem zastanawia się, dlaczego obrazy nie działają, pominął go. W wersji safetensors wieża wizyjna znajduje się wewnątrz shardów, a suma przekracza granicę 24 GB.

Jaki jest koszt kwantyzacji, według własnych danych N​VIDIA?

Karta BF16 publikuje obie kolumny obok siebie, co jest wyjątkowo otwarte: ta sama tabela benchmarków zawiera dane IQ2 24GB i dane BF16 dla tych samych trzynastu ewaluacji. Zgłoszony przez dostawcę, nieodtworzony, a mimo to wciąż najbardziej bezpośredni dostępny dowód na to, jaki jest koszt dwóch bitów na eksperta.

• Terminal-Bench 2.1 — 50,98 w IQ2 wobec 53,93 w BF16, strata 2,95 punktu.

• BrowseComp — 66,75 wobec 70,00, strata 3,25.

• GPQA Diamond — 86,43 wobec 88,83, strata 2,40.

• AA-LCR rozumowanie na długim kontekście — 64,06 wobec 67,38, strata 3,32.

• HLE bez narzędzi — 25,30 wobec 28,73, strata 3,43.

• Dokładność AA-Omniscience — 16,90 wobec 21,80, strata 4,90, największa w tabeli.

• PinchBench — 87.82 wobec 90.35, strata 2.53.

• GDPVal-AA-V2 — 28,47 wobec 31,13, strata 2,66.

Dwa wiersze przełamują wzorzec, a to właśnie one są interesujące. W przypadku wskaźnika braku halucynacji AA-Omniscience model skwantowany osiąga wyższy wynik, 61,27 wobec 56,14 — kompresja ekspertów sprawiła, że model rzadziej odpowiada z pewnością siebie, gdy czegoś nie wie, co jest tym rodzajem odkrycia, który sprawia, że tabelę warto publikować w całości. W WebArena vision oba modele są na tym samym poziomie, 50,86 wobec 50,25, co sugeruje, że ścieżka wizyjna przetrwała kompresję mniej więcej nienaruszona, a ponowne wytrenowanie adaptera wizyjnego opisane w karcie modelu jest prawdopodobnie tego przyczyną.

Wzięte razem: koszt od dwóch do pięciu punktów w większości wierszy dotyczących zdolności, bliski zeru w przypadku ugruntowania wizualnego, oraz poprawa w jednej metryce kalibracji. To korzystny wynik przy kompresji sześć do jednego, ale wciąż jest to koszt, który należy wkalkulować, a nie zbyć machnięciem ręki.

Który z nich możesz faktycznie podać?

Artefakt 24 GB ma historię związaną z runtime, a wersja BF16 ma historię związaną z treningiem, i nie jest to ta sama historia z inną flagą.

24GB GGUF jest wymieniony dla llama.cpp, a NVIDIA kieruje ten sam model do Ollama, LM Studio i Unsloth. Ścieżka vLLM jest bardziej restrykcyjna, niż to brzmi: referencyjna receptura przypina kontener nightly do hasha commita, wymaga osobnego pakietu jądra pobieranego w czasie działania, jawnie ustawia v2 model runner, wskazuje b12x dla backendów liniowego i MoE oraz FlashInfer dla attention i Mamba, przypina KV cache do fp8 i ustawia max-num-seqs 1. Ta ostatnia flaga jest tą, na którą warto zwrócić uwagę — opublikowana konfiguracja serwowania to pojedyncza współbieżna sekwencja, czyli konfiguracja w kształcie laptopa, a nie w kształcie serwera.

Model szkicujący to trzeci plik do pobrania. LiLiCorr to checkpoint towarzyszący o rozmiarze 1,13B, którego karta wprost stwierdza, że nie jest samodzielnym modelem językowym, że proponuje tokeny robocze, a docelowy model 24GB je weryfikuje, oraz że to model docelowy generuje widoczny tekst. Podawane przez N​VIDIA 83,99 tokenów na sekundę w AIPerf SPEED-Bench-Coding zakłada, że jest on podłączony, z siedmioma tokenami roboczymi na krok i średnimi długościami akceptacji 4,68 przy dekodowaniu zachłannym oraz 4,25 w przypadku próbkowania przy współbieżności 64.

Kwestia serwowania checkpointu BF16 to twój problem do rozwiązania. Potrzebuje on około sześciokrotnie więcej pamięci niż wersja skwantyzowana, jeszcze przed jakimkolwiek KV cache, co stawia pojedynczy akcelerator 80 GB poza zasięgiem i sprawia, że domyślnym założeniem staje się multi-GPU lub multi-node. To właściwy kompromis w przypadku post-trainingu i zły w przypadku inferencji — dokładnie tak, jak głosi karta.

Decyzja, wyrażona wprost

Jeśli chcesz dziś uruchomić agenta na sprzęcie, który posiadasz, pobierz kompilację 24 GB, zaakceptuj podatek od dwóch do pięciu punktów i zaplanuj budżet na model draftujący i projektor, a także na wagi.

Jeśli chcesz zmienić model — dostroić go na własnych danych, zdestylować do czegoś mniejszego albo skompresować inaczej pod sprzęt, którego NVIDIA nie zoptymalizowała — pobierz kompilację BF16 i traktuj wydanie 24GB jako dokumentację jednego z możliwych rezultatów.

Ciekawym przypadkiem pośrednim jest ten, do którego karta BF16 wyraźnie zaprasza: produkcja własnego wariantu skwantowanego. Ktoś dysponujący innym akceleratorem, mający apetyt na czterobitowe wagi albo obciążenie wymagające większej współbieżności, niż pozwala na to referencyjny przepis, może wziąć wagi pełnej precyzji i zbudować artefakt, którego NVIDIA nie stworzyła. Wspomniany powyżej podatek od kwantyzacji jest wtedy liczbą do pobicia i jest teraz opublikowanym celem, a nie tajemnicą.

Gdzie brama wpisuje się w lokalny stos

Żaden z tych checkpointów nie jest hostowany nigdzie, w tym przez nas — katalog OrcaRouter nie zawiera żadnego modelu N​emotron, więc nie ma endpointu ani ceny, którą można by podać dla żadnego z nich. Lokalne wnioskowanie jest również zawsze tylko połową architektury agenta: maszyna, która uruchamia Bolt, wciąż musi mieć dostęp do modeli, których nie może pobrać — czy to model frontierowy do trudnych przypadków, model wizyjny do czegoś, z czym Bolt radzi sobie źle, czy drugiej opinii o decyzji, która ma znaczenie.

To jest warstwa, którą obsługujemy. Jeden klucz do ponad 200 hostowanych modeli w cenie katalogowej dostawcy z bez doliczonej marży; automatyczne przełączanie awaryjne, gdy dostawca ulegnie degradacji w trakcie żądania; DSL routingu, który zamienia „najpierw spróbuj Bolt lokalnie, a gdy zadanie je przerasta, eskaluj do modelu hostowanego” w konfigurację, a nie kod. O połowie stosu z 24GB decydują twój sprzęt i twoja tolerancja na kontener uruchamiany co noc. O połowie po drugiej stronie eskalacji decyduje ten, kto trzyma klucz.

Co zmieniłoby ten obraz

Dwie rzeczy, a obie są przewidywalne.

Pierwsza to czterobitowa lub FP4 wersja Bolt od NVIDIA lub od społeczności, biorąc pod uwagę, że rodzina nadrzędna udostępnia już checkpointy NVFP4, a wydanie BF16 istnieje właśnie po to, by takie warianty mogły powstać. Czterobitowy Bolt, który odzyskałby połowę powyższej luki, a jednocześnie nadal mieściłby się w limicie 24 GB, sprawiłby, że argument o podatku od kwantyzacji stałby się znacznie mniej interesujący.

Drugim jest jakakolwiek niezależna ocena któregokolwiek z artefaktów. Panel Artificial Analysis zmierzył model 24GB na 21 w swoim Intelligence Index, nie publikując szybkości ani kosztu, ponieważ nie ma względem czego mierzyć ceny. Nikt nie opublikował powtarzalnego uruchomienia checkpointu BF16, co nie dziwi w przypadku pobrania 150 GB przeznaczonego do trenowania. Dopóki ktoś tego nie zrobi, różnica między dwiema powyższymi kolumnami pozostaje relacją dostawcy o jego własnej kompresji, a uczciwym sposobem jej odczytania jest potraktowanie jej jako twierdzenia, które przypadkiem jest wyjątkowo dobrze poparte kształtem dowodów.

Taki wynik jest również przypomnieniem, że błędy modeli są już udokumentowane: incydenty AI i awarie agentów dotyczące modeli z tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i znacznik sporu.