Nemotron 3.5 Bolt E4B 4GB: co faktycznie trafiło na rynek i dlaczego nazwa wprowadza w błąd

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB pojawił się na Hugging Face 23 października 2026, a pierwszą rzeczą, o której warto powiedzieć, jest arytmetyka: plik ma 6,18 GB. Nazwa mówi 4 GB. Obie liczby są prawdziwe, mierzą różne rzeczy, a różnica między nimi to najbardziej użyteczny fakt w tym wydaniu.

Techniczny blog NVIDIA określa 4 GB jako docelowy zakres pamięci dla obciążeń, do których model jest przeznaczony — budżet na to, ile model powinien zajmować, gdy obok niego działa aplikacja. Nie jest to liczba parametrów ani rozmiar pobierania. Sam checkpoint ma łącznie 8B przy 4B efektywnych parametrów, został poddany post-trainingowi na bazie Gemma-4-E4B-it i opublikowany w dokładnie dwóch precyzjach: kompilacji BF16 o rozmiarze 15,88 GB oraz pliku GGUF Q4_K_M o rozmiarze 6,18 GB. Jeśli trafiłeś tu, szukając czterogigabajtowego pliku do wgrania na urządzenie — w repozytorium go nie ma.

Warto powiedzieć to wprost, ponieważ reszta publikacji jest wyjątkowo przejrzysta. Karta modelu jest szczegółowa, raport techniczny jest publiczny, a tabela zmierzonych opóźnień obejmuje cztery urządzenia. Brakuje niezależnej weryfikacji i sama karta to przyznaje.

Wydanie, odtworzone na podstawie informacji publicznych

Ten nie doczekał się premiery. Dostał przypis, a potem wpis na blogu.

• 5 października 2026 — tworzone są repozytoria Hugging Face dla kompilacji Q4_K_M i BF16. Żadne z nich nie jest wypełnione wagami.

• 15 października 2026 — NVIDIA ogłasza rodzinę Nemotron 3.5: Super VL 120B-A12B oraz Bolt 74B-A9B 24GB, oba dostępne tego dnia. E4B dostaje dwa zdania i datę: premiera 23 października.

• 23 października 2026 — publikowane są wagi Q4_K_M i BF16, pojawia się karta modelu, a laboratorium badawcze NVIDIA publikuje wpis techniczny na blogu i raport techniczny. Nie ma korporacyjnego komunikatu prasowego, a relacje z premiery, które pojawiły się po ogłoszeniu z 15 października, nie powracają przy tej okazji.

„Ciche wypuszczenie” jest trafne, ale „tajne” już nie. NVIDIA nadała modelowi nazwę, podała datę, a następnie należycie udokumentowała go w tym dniu. Nie zrobiła natomiast tego, by postawić E4B przed tymi samymi reporterami, którzy relacjonowali sprawę jego bliźniaczych modeli. Praktyczną konsekwencją dla każdego, kto czyta to w pierwszych tygodniach, jest to, że niemal każde twierdzenie poniżej prowadzi do jednego źródła: NVIDIA.

Cztery gigabajty to budżet, nie pobranie

Opublikowane rozmiary plików są jednoznaczne, gdy spojrzysz na repozytorium, a nie na nazwę.

• Q4_K_M GGUF — 6 180 446 208 bajtów, czyli 6,18 GB w zapisie dziesiętnym, w jednym pliku o nazwie Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16 safetensors — 15 882 494 698 bajtów, czyli 15,88 GB, w jednym shardzie, plus 110 MB zamrożonego współdzielonego pliku KV.

• Brak artefaktu 4 GB — w repozytorium nie ma mniejszej kwantyzacji, a karta nie publikuje pliku, który odpowiada liczbie w nazwie.

To, co NVIDIA publikuje, to pomiar llama.cpp z batch-1 na czterech urządzeniach — i właśnie w tej tabeli twierdzenie o 4 GB staje się konkretne:

• RTX 5070 12GB — od 3,5 do 4,3 GB VRAM, od 548 do 1 238 ms czasu do pierwszego tokenu, od 106,2 do 133,4 tokena na sekundę.

• RTX Spark 32GB — od 3,1 do 4,2 GB VRAM, od 930 do 1988 ms do pierwszego tokenu, od 52,0 do 67,0 tokenów na sekundę.

Jetson Orin Nano 8GB — od 4,2 do 4,9 GB VRAM, od 5785 do 6259 ms do pierwszego tokena, od 13,0 do 15,5 tokena na sekundę.

• Jetson AGX Orin 32GB — od 4,2 do 5,0 GB pamięci VRAM, od 3 687 do 4 091 ms do pierwszego tokenu, od 20,3 do 24,0 tokenów na sekundę.

Wartości VRAM mieszczą się poniżej rozmiaru pliku 6.18GB, co oznacza, że w tych uruchomieniach środowisko wykonawcze nie utrzymuje całego pliku rezydentnego na GPU. Karta nie wyjaśnia mechanizmu i to dobre miejsce, by oprzeć się pokusie wymyślania go: wagi mapowane w pamięć, częściowe odciążenie i rozmiar pamięci podręcznej KV wzajemnie na siebie oddziałują, a NVIDIA nie opublikowała podziału. Można powiedzieć, że limit {{1}}4GB{{/1}} jest zmierzonym wynikiem na konkretnym sprzęcie w konkretnym środowisku wykonawczym, a nie właściwością pobranego pliku.

Wiersz Orin Nano to ten, który warto przeczytać dwa razy, jeśli propozycja dotyczy asystenta głosowego. Trzynaście do piętnastu tokenów na sekundę i prawie sześć sekund do pierwszego tokenu to działający agent wbudowany, ale kiepski partner do rozmowy w czasie rzeczywistym. Wiersz RTX 5070 jest przeciwieństwem: wystarczająco szybki do interaktywnego użytku, na desktopowym GPU.

Co NVIDIA faktycznie zmieniła w Gemma 4 E4B

Architektura jest dziedziczona w całości. To Gemma-4-E4B, mieszanka o łącznej liczbie 8B parametrów i 4B parametrów efektywnych, a wkład NVIDIA dotyczy post-trainingu, a nie nowego backbone’u. Karta opisuje te prace jako uczenie ze wzmocnieniem na podstawie weryfikowalnych nagród i informacji zwrotnej od ludzi przez NeMo-RL i NeMo-Gym, obejmujące wywoływanie narzędzi i schematy, podążanie za instrukcjami i hierarchię, ustrukturyzowane dane wyjściowe, formatowanie swobodne oraz generatywne modelowanie nagród. Partie treningowe miały stosunek próbek nierozumujących do rozumujących wynoszący 2:1, a NVIDIA zwiększyła kary za długość, aby kontrolować gadatliwość — szczegół, który pojawia się później w tabeli benchmarków.

Wersję Q4_K_M zbudowano za pomocą llama.cpp, wykorzystując kalibrację imatrix na około milionie tokenów z rolloutów RL. Dostępny jest także drafter DFlash do dekodowania spekulatywnego, który według NVIDIA zapewniał do 21% większą przepustowość niż oryginalny drafter predykcji wielotokenowej Gemma-4-E4B. Drafter znajduje się w osobnym repozytorium i w momencie sprawdzania zwracał HTTP 401 na anonimowe żądania, więc należy traktować go jako dodatkowy krok dostępu, a nie pobranie tego samego dnia.

Dwa przełączniki szablonu czatu wykonują większość pracy behawioralnej. enable_thinking włącza lub wyłącza rozumowanie i akceptuje budżet rozumowania w czasie działania; conversational_mode dodaje instrukcję systemową rozmowy głosowej, aby odpowiedzi były krótkie i miały minimalne formatowanie. Ten drugi przełącznik jest tu kluczową wskazówką. Ten model jest stworzony do rozmowy, a nie do wypełniania okna kontekstu analizą.

Kontekst to 64K na wejściu i 64K na wyjściu. Pokrycie językowe wynosi 34 w metadanych Hugging Face i 35 w blogu technicznym — drobna niespójność, a nie merytoryczna, przy czym karta po treningu wymienia angielski, francuski, niemiecki, włoski, japoński, hiszpański i chiński jako główne.

Licencja to raczej stos niż pojedynczy dokument: OpenMDW-1.1 dla wkładu NVIDIA, Apache 2.0 dla komponentu Gemma 4. Karta stwierdza, że model jest gotowy do użytku komercyjnego lub niekomercyjnego. OpenMDW jest permisywna, ale niezatwierdzona przez OSI, co ma większe znaczenie dla zespołów prawnych niż dla deweloperów.

Tabela benchmarków odczytana w zestawieniu z wymienionymi w niej modelami

NVIDIA oceniła model w porównaniu z Gemma4 E4B-it, Qwen3.5 4B i własnym Nemotron 3 Nano-4B w spójnym środowisku testowym NeMo-Gym. Każda liczba poniżej została podana przez dostawcę i nie została odtworzona. Karta modelu stwierdza, że liczby „mogą różnić się od liczb podanych przez samych dostawców”, co jest uczciwym zastrzeżeniem, a także przypomnieniem, że zestaw porównawczy został wybrany przez NVIDIA.

Zwycięstwa koncentrują się na rozmowie i kontroli:

RoleBench Custom — 67,05 dla Bolt E4B w porównaniu z 53,66 dla Qwen3.5 4B, 49,95 dla Gemma4 E4B-it i 12,02 dla Nano-4B. To benchmark persony, a przewaga jest największa w tabeli.

• IHEval, hierarchia instrukcji — 84,79 wobec 60,57, 67,04 i 51,31. Przewaga 17 punktów nad najbliższym konkurentem jest nietypowa przy tej wielkości.

• When2Call Multi-Turn — 63,36 w porównaniu z 37,85 dla Qwen3.5 4B, 62,90 dla Gemma4 i 27,70 dla Nano-4B. Wiedza o tym, kiedy nie wywoływać narzędzia, jest umiejętnością konwersacyjną w takim samym stopniu, jak agentową.

• RelyToolBench — 63,16 wobec 43,35, 61,60 i 41,20. Oparte na wynikach narzędzi, znów umiejętność bliska konwersacji.

• MultiChallenge — 53,10 wobec 51,76, 42,08 i 35,30. Niewielkie zwycięstwo w obsłudze wieloturnowych wyzwań.

Straty są równie oczywiste i to właśnie one mają znaczenie, jeśli chcesz agenta, a nie postać:

• Tau2-Bench — 55,10 wobec 75,06 dla Qwen3.5 4B. To 20-punktowa strata w ukończeniu wieloturkowych zadań agentowych i żadna jakość persony tego nie zasypie.

• RULER przy 64K — 86,99 wobec 95,15 dla Qwen3.5 4B i 91,51 dla Nano-4B. Model obsługuje kontekst 64K; nie wyszukuje informacji w całym tym kontekście tak niezawodnie jak modele porównywalne.

• LongBench v2 przy 48K — 50,50 wobec 59,93 dla Qwen3.5 4B. To samo w przypadku rozumowania na długich dokumentach.

• BFCL-v3 — 68,51 wobec 70,95 dla Qwen3.5 4B. Niewielka strata w wywoływaniu funkcji i wygrana z wynikiem 66,39 modelu Gemma4.

• EQ-Bench v3 — 39,40 wobec 41,17 dla Gemma4 E4B-it. Jedyny wiersz dotyczący inteligencji emocjonalnej, w którym rodzic przewyższa dziecko.

Kolumna Q4_K_M jest ciekawsza, niż tabela kwantyzacji zwykle bywa. Kompresja nie powodowała jednolitego spadku dokładności: MultiChallenge wzrasta z 53,10 do 55,60, RoleBench z 67,05 do 71,21, ToolSandbox z 68,77 do 74,13, a RelyToolBench z 63,16 do 69,29. Spada natomiast na Tau2 z 55,10 do 52,32, na LongMemEval z 72,10 do 69,92 i na RULER z 86,99 do 85,76. Czterobitowa wersja, która poprawia kilka wyników konwersacyjnych, jest wiarygodna, gdy dane kalibracyjne pochodzą z własnych rolloutów RL modelu, ale nadal jest to pomiar dostawcy, a szum na poziomie benchmarku w modelu 4B jest wystarczająco duży, by tych różnic nie interpretować jako drabiny precyzji.

Dwa wiersze zasługują na własne wyróżnienie. Brevity Bench i When2Call Multi-Turn to ewaluacje, które NVIDIA opisuje jako wypełniające luki w istniejących benchmarkach, a blog podaje, że zostaną udostępnione w późniejszym terminie. Nie są dziś niezależnie odtwarzalne — co ma największe znaczenie w przypadku Brevity, ponieważ to ten wiersz odpowiada za opowieść o mniejszej liczbie tokenów wyjściowych.

Główne twierdzenie NVIDIA jest takie, że model wypada średnio o około 40% lepiej niż Nemotron 3 Nano-4B i mniej więcej o 10% lepiej niż modele konkurencyjne, przy nawet o 80% mniejszej liczbie tokenów wyjściowych w porównaniach z włączonym rozumowaniem. Liczba 80% dotyczy gadatliwości, a nie dokładności, i jest spójna z wynikiem 82,52 w Brevity Benchmark — który NVIDIA wbudowała we własny zestaw testów. Kierunek traktuj poważnie, a dokładny odsetek — z przymrużeniem oka.

Czego repozytorium ci nie powie

Karta uczciwie mówi o własnych lukach, a te luki warto wymienić, ponieważ określają one, jak dużą pewność może wzbudzać wydanie.

• Brak niezależnej oceny. W chwili pisania tego tekstu Artificial Analysis nie ma strony modelu dla E4B, a żadna strona trzecia nie opublikowała reprodukcji 21-wierszowej tabeli benchmarków.

• Brak ceny hostowanej. Karta datuje ofertę na Build.NVIDIA.com na 23 października, ale ani tam, ani w karcie nie podano ceny za token. Jeśli chcesz korzystać z API, negocjujesz warunki lub korzystasz z darmowego planu — nie odczytujesz cennika.

• Wdrożenie jest oznaczone jako {{1}}„llama.cpp (przepis w przygotowaniu)”{{/1}}, mimo że szybki start zawiera działające polecenia llama.cpp. To sprzeczność w dokumentacji, nie techniczna, ale właśnie takie rzeczy powodują problemy w zautomatyzowanym potoku wdrożeniowym.

• Cel 4 GB nie jest wykazany w formie pliku. Dowodem jest zmierzony zakres VRAM; plik do pobrania ma 6,18 GB.

• Podkarty dotyczące bezpieczeństwa, stronniczości, wyjaśnialności i prywatności istnieją jako osobne pliki. Ten artykuł ich nie audytuje i na razie nie robi tego żadne niezależne ciało.

Nic z tego nie czyni tego wydania niewiarygodnym. Czyni je wczesnym. Karta modelu napisana przez zespół, który wytrenował model, to najlepszy dostępny opis tego, do czego model służy; nie jest jednak dowodem na to, że model rzeczywiście to potrafi.

Gdzie zatrzymuje się lokalny model 4B i co postawić za nim

Uczciwa architektura dla tej klasy modeli to architektura rozdzielona. 4B checkpoint konwersacyjny na Jetsonie lub karcie RTX świetnie sprawdza się w warstwie odruchowej: odpowiedzi na słowo wybudzające, dialog w ramach persony, krótkie wywołania narzędzi, ugruntowywanie danych wejściowych, te części interfejsu, których nie stać na rundę przez sieć. To nie jest model, którego chcesz użyć do odpowiadania na pytanie wymagające 200K kontekstu albo dziesięcioetapowego planu agentowego — i jego własna tabela benchmarków to potwierdza.

To sprawia, że każde wdrożenie staje przed drugim pytaniem: co obsługuje żądania, których lokalny model nie powinien. Umieszczenie modelu hostowanego za tą samą aplikacją przez OrcaRouter oznacza jedno API dla 200+ modeli, 0% narzutu na cenę katalogową dostawcy i automatyczne przełączanie awaryjne, gdy dostawca ulega degradacji — ścieżka eskalacji jest więc decyzją dotyczącą routingu, a nie drugim SDK, drugim kluczem i drugą relacją rozliczeniową. Model lokalny pozostaje szybką ścieżką; model hostowany jest rozwiązaniem awaryjnym dla przypadków, do których E4B nigdy nie był trenowany.

Co zmieniłoby ten obraz

Trzy rzeczy, w kolejności użyteczności. Niezależny benchmark uruchomiony na tym samym harnessie rozstrzygnąłby, czy profil silnie oparty na rozmowach przetrwa poza ewaluacją NVIDIA. Opublikowany artefakt o rozmiarze 4GB lub mniejszym uczyniłby nazwę dosłowną. A cena za endpoint Build zamieniłaby model z pliku do pobrania w usługę, którą można porównać.

Do tego czasu właściwa interpretacja jest wąska i użyteczna: NVIDIA dotrenowała Gemma 4 E4B, czyniąc z niej wyraźnie lepszy mały model konwersacyjny, opublikowała dowody i luki w tym samym dokumencie oraz udostępniła go tydzień po premierze rodziny modeli niemal bez rozgłosu. Liczba 4GB w nazwie to wartość docelowa, którą spełnia zmierzony rozmiar pamięci podczas działania, ale której nie spełnia rozmiar pobierania. Planuj pamięć masową na około 6.18GB, a oczekiwania na około 13 do 133 tokenów na sekundę, w zależności od tego, jakie urządzenie faktycznie posiadasz.