Nemotron 3.5 Super w Ollama: model wizyjny 120B, który mogłeś uruchomić, zanim NVIDIA go ogłosiła

Przez około dwadzieścia godzin lokalna ścieżka do NVIDIA Nemotron 3.5 Super istniała, zanim ogłoszono, że istnieje. Ollama opublikowała checkpoint w swojej bibliotece 14 października 2026 r. w wydaniu v0.40.5, ściągając aktualizację llama.cpp, która dodała obsługę Nemotron 3.5, i wypuszczając dziewięć tagów 120-miliardowego modelu wizyjno-językowego — ollama run nemotron-3.5-super i już go uruchamiasz. Własny wpis NVIDIA w newsroomie dotyczący tych samych wag, opublikowany pod pełniejszą nazwą NVIDIA Nemotron 3.5 Super VL, pojawił się następnego popołudnia, 15 października, o 15:00 UTC. Same wagi leżały na Hugging Face od 12 października, w repozytorium o nazwie NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, gdzie w polu daty wydania samej karty modelu już widniało 10/15/2026.

Nic z tego nie jest skandalem. Taki jest teraz normalny kształt wydania open-weight: artefakt się pojawia, frameworki ścigają się, by go obsłużyć, a marketing nadąża. Ale to zmienia, po co warto czytać wpis w Ollama. To, co pojawiło się 14 października, nie jest ogłoszeniem produktu z dołączonym środowiskiem uruchomieniowym — to środowisko uruchomieniowe z dołączonym produktem, a oba dokumenty nie zgadzają się w kilku kwestiach, które mają znaczenie, jeśli zamierzasz przeznaczyć na to 90 GB miejsca na dysku.

Co tak naprawdę zawierała wersja v0.40.5

Notatka o wydaniu Ollama jest wyjątkowo szczegółowa, co jest wygodne. Opisuje Nemotron 3.5 Super jako model wizyjno-językowy do kodowania, rozumowania, korzystania z narzędzi i rozumienia dokumentów, zbudowany na hybrydowym szkielecie Mamba-2/Transformer z mieszaniną ekspertów, z 12B aktywnych parametrów na token z łącznej liczby 120B, w połączeniu z enkoderem wizyjnym C-RADIO. Reklamuje wywoływanie narzędzi, tryb myślenia włącz/wyłącz oraz kontekst do 1M tokenów. Dwie linie, które mają największe znaczenie dla każdego, kto już korzysta z Ollama, są ukryte niżej: Zaktualizowano llama.cpp (dodano obsługę Nemotron 3.5) oraz MLX.

Ta pojedyncza linia to cały powód, dla którego pull działa. Ollama kieruje ten checkpoint przez swój llamacpp runner w formacie GGUF — manifest rejestru mówi to wprost — więc „Ollama obsługuje Nemotron 3.5 Super” i „llama.cpp obsługuje Nemotron 3.5 Super” to to samo zdanie. Jeśli korzystasz z jakiejkolwiek wersji Ollama starszej niż 0.40.5, to nie. Blob konfiguracji modelu zawiera "requires":"0.40.5", więc brama wersji jest wymuszana, a nie tylko zalecana.

Ta sama nota wydania wymienia także model siostrzany, Nemotron 3.5 Bolt, który destyluje Super do 74B parametrów, z 9B aktywnych, i zgodnie z notą jest dostrojony tak, by zmieścić się na 24 GB GPU NVIDIA z dekodowaniem spekulacyjnym przy użyciu dołączonego draftera. To inny model do pobrania i inna klasa sprzętu; trzymaj to osobno w głowie, bo nazewnictwo sprzyja nieporozumieniom.

Dziewięć artefaktów i ile każdy z nich faktycznie waży

Strona biblioteki pokazuje drabinkę rozmiarów. Manifest rejestru, który za nią stoi, podaje rzeczywiste liczby bajtów, a oba nie zaokrąglają się w ten sam sposób, więc oto liczby z samych manifestów, a nie z zaokrąglonych plakietek:

• q4_K_M — 88 419 818 592 bajtów, czyli 82,3 GiB (strona biblioteki podaje 80GB–90GB). Nazwy tagów :latest, :120b, :120b-a12b i :120b-a12b-q4_K_M wszystkie wskazują na tę samą warstwę, więc cztery z dziewięciu wpisów to jeden artefakt noszący cztery nazwy.

• q8_0 — 131,601,243,232 bajtów, 122.6 GiB, wyświetlane jako 133GB.

• bf16 — 247 403 355 232 bajtów, 230,4 GiB, wyświetlane jako 249GB. To checkpoint pełnej precyzji w przebraniu GGUF i jedyny tag tutaj, który nie znajduje się nawet w pobliżu sprzętu konsumenckiego.

• MLX nvfp4 — łącznie 79,56 GB, najmniejszy z zestawu, a NVFP4 to format, w którym własna karta firmy NVIDIA jest dostarczana jako checkpoint pierwszej klasy, a nie jako kwantyzacja dodana po fakcie.

• MLX mxfp8 — łącznie 129,60 GB, wersja MLX o rozmiarze zbliżonym do q8_0.

• MLX bf16 — łącznie 248,92 GB, nieznacznie większy niż GGUF bf16, ponieważ MLX przechowuje tensory w inny sposób.

• Projektor — każdy tag, bez wyjątku, niesie 1,733,696,896-bajtową mmproj-bf16.gguf jako warstwę medialną. To 1,61 GiB enkodera wizji, który towarzyszy każdemu pobraniu, także najmniejszemu. Ścieżka obrazu nie jest opcjonalna ani nie stanowi osobnego pobrania.

Trzy z dziewięciu pozycji — te oznaczone MLX — mają tag dla Apple silicon, a nie CUDA, i każda jest opatrzona na stronie biblioteki po prostu etykietą „MLX”. Jeśli wybierasz tag na Macu, nvfp4o rozmiarze 79,56 GB to ten, który zmieści się na maszynie ze 96 GB lub 128 GB pamięci zunifikowanej z zapasem, a mxfp8o rozmiarze 129,60 GB w ogóle nie zmieści się na maszynie ze 128 GB, gdy uwzględni się pamięć podręczną KV.

Strona biblioteki i manifest nie zgadzają się co do długości kontekstu

Tagi GGUF deklarują okno kontekstu o rozmiarze 1M tokenów. Trzy tagi MLX nie deklarują żadnego — w kolumnie widnieje „- context window”, tam gdzie pozostałe mają „1M”. Albo ścieżka MLX nie została przygotowana do konfiguracji długiego kontekstu, albo strona po prostu nie została uzupełniona, ale z zewnątrz nie da się ich odróżnić, a uczciwe stanowisko jest takie, że twierdzenie o długim kontekście jest zweryfikowane dla tagów GGUF i niezweryfikowane dla tagów MLX.

Istnieje druga luka w tym samym kierunku. Blob konfiguracji dla domyślnego tagu deklaruje "model_type":"123.6B" podczas gdy każdy fragment nazewnictwa widocznego dla człowieka mówi o 120B. To nie jest rozbieżność w wagach; to rozbieżność w sposobie zaokrąglania liczby parametrów między tymi dwoma systemami i warto wiedzieć, którą liczbę podaje ci dane narzędzie.

A trzecia, która najprawdopodobniej da się we znaki: pakiet parametrów zawiera {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Te wartości próbkowania to zalecane ustawienia z karty modelu — dla tekstu. Karta zaleca inną parę dla pracy z obrazem: temperature 0.6 wobec top_p 0.95. Zatem domyślne ustawienie Ollamy jest dostrojone pod tekstową połowę modelu, który Ollama reklamuje jako model wizyjny. Jeśli Twoje pierwsze doświadczenie z nim na wykresach lub zeskanowanych stronach jest rozczarowujące, to pierwsza gałka, którą warto przekręcić, zanim wyciągniesz jakiekolwiek wnioski na temat checkpointu.

Pole draft_num_predict: 3 zasługuje na własną linijkę. Jest to parametr dekodowania spekulatywnego, a manifest nie zawiera oddzielnej warstwy modelu draft — jedynie model GGUF i projektor. Tak więc niezależnie od tego, jaką spekulację wykonuje runtime, opiera się ona na wbudowanej w model głowicy predykcji wielu tokenów, a nie na samodzielnym drafterze LiLiCorr, o którym karta NVIDIA wspomina, że jest dostarczany razem z checkpointami BF16 i NVFP4. To rozsądny wybór inżynieryjny, a jednocześnie oznacza, że ścieżka Ollama nie jest dokładnie tą konfiguracją, którą opisują liczby przepustowości producenta.

Co blob konfiguracji mówi ci po cichu

Cztery pola w konfiguracji manifestu niosą więcej informacji, niż sugeruje ich rozmiar.

• model_family: nemotron_h_moe — ciąg rodziny nie jest po prostu nemotron. Cokolwiek w twoim stosie, co przełącza się na podstawie rodziny modelu, aby wybrać szablon czatu lub tokenizator, nie dopasuje się przy naiwnym prefiksie.

• renderer: nemotron-3.5-super — dedykowany renderer, więc szablon czatu jest naprawdę szablonem tego modelu, a nie odziedziczonym domyślnym szablonem.

• parser: nemotron-3-nano — a tutaj parser został zapożyczony od mniejszego brata z rodziny Nano. Format wyjściowy trybu myślenia i wywołań narzędzi był najwyraźniej na tyle stabilny w całej rodzinie, że nie potrzebował nowego parsera. Oznacza to również, że jeśli masz już zbudowaną obsługę wywołań narzędzi dla Nemotron 3 Nano, najprawdopodobniej będzie tutaj działać bez zmian.

• typ pliku: Q4_K_M — domyślny tag to kwantyzacja 4-bitowa i to właśnie ta konfiguracja, według której większość osób będzie oceniać ten model.

Warstwa licencji to blob o rozmiarze 2618 bajtów zawierający Umowę licencyjną OpenMDW w wersji 1.1, czyli tę samą licencję, którą karta na Hugging Face określa jako openmdw-1.1. Permisywna, dozwolone jest użycie komercyjne, i warto ją przeczytać, zanim założysz, że to Apache-2.0, ponieważ otaczający ją ekosystem Ollama w większości taki jest.

Benchmarki: jeden zestaw pochodzi od dostawcy, a drugi nie

Opublikowana przez samą firmę NVIDIA tabela jest obszerna i w całości oparta na danych samodzielnie raportowanych. Model osiąga w niej 89,52 w GPQA-Diamond, 31,79 w Humanity's Last Exam w wersji tekstowej, 76,91 w MMLU-ProX, 88,22 w LiveCodeBench v6, 71,10 w SWE-bench Verified, 67,72 w SWE-bench Multilingual, 51,78 w SWE-bench Pro, 66,70 w Terminal-Bench 2.1, 70,86 w IFBench, 62,82 w MMLongBench-Doc, 78,16 w MathVision i 68,12 w OCRBench v2 English wobec 59,15 w Chinese. Wiersze dotyczące zadań agentowych są mocne: 69,24 w retail, 76,50 w airline i 73,19 w telecom w tau2-bench. Firma twierdzi również, że w rankingu Artificial Analysis Intelligence Index model osiąga nawet 5x większą przepustowość niż inne modele w swojej klasie, a uruchomienie go na NVIDIA Dynamo pozwala organizacjom obsłużyć nawet 8x więcej użytkowników przy 85% niższej latencji. To dane dostawcy, wygenerowane przez dostawcę, na infrastrukturze dostawcy — traktuj je jako specyfikację, a nie audyt.

Niezależny obraz jest uboższy, ale bardziej użyteczny właśnie dlatego, że jest uboższy. Artificial Analysis obecnie umieszcza ten checkpoint na poziomie Intelligence Index 26, który opisuje jako znacznie powyżej mediany 8 dla modeli open-weight o podobnej wielkości — realna różnica, i to znacząca, jeśli zakładałeś, że otwarty model 120B od dostawcy sprzętu plasuje się gdzieś w okolicach środka stawki. Ta sama strona odnotowuje 170 mln tokenów wyjściowych zużytych na uruchomienie Indeksu wobec mediany wynoszącej 100 mln, co interpretuje jako „nieco gadatliwy”: to model rozumujący z rozszerzonym trybem myślenia, a gadatliwość to pozycja kosztowa, nie przypis. Potwierdza kontekst 1,0M, łącznie 120B z 12B aktywnymi, wejście obrazowe z wyjściem tekstowym oraz licencję OpenMDW-1.1.

Jedyną rzeczą, której ta strona nie może ci powiedzieć, jest to, ile kosztuje jeden token, ponieważ nie ma hostowanej ceny, którą można by podać. Sama Artificial Analysis na pytanie, czy model jest dostępny przez API, odpowiada, że to model o otwartych wagach, który można hostować samodzielnie. To cała historia ekonomiczna w jednym zdaniu: twój koszt krańcowy to energia elektryczna i godzina GPU, a koszt stały to pobranie.

Co jest potrzebne, żeby to faktycznie uruchomić.

Karta modelu zaleca cztery H100 lub dwa GB200 dla wydanego checkpointu, z przepisem vLLM określającym równoległość tensorową równą 4 i konfiguracją spekulacyjną metody mtp. To jest odpowiedź dla centrów danych i jest ukierunkowana na BF16. Ciekawym pytaniem dla każdego, kto czyta ofertę Ollama, jest drugi koniec drabiny.

Przy q4_K_M 82,3 GiB wag plus 1,61 GiB projektora pozwala zmieścić model na pojedynczej karcie 96 GB lub na Macu ze zunifikowaną pamięcią 128 GB, z zapasem na pamięć podręczną KV, który szybko się zmniejsza w miarę zwiększania kontekstu. Przy reklamowanych 1 mln tokenów pamięć podręczna nie zmieści się obok wag na tej klasie sprzętu, niezależnie od tego, co mówi plakietka — długi kontekst na pojedynczej maszynie oznacza poświęcenie współbieżności, a nie darmowe jej odblokowanie. Planuj kontekst roboczy znacznie poniżej pułapu i traktuj wartość 1M jako limit architektury, a nie swojego wdrożenia.

Tag MLX nvfp4o rozmiarze 79,56 GB to pragmatyczny wybór dla Apple silicon, a jednocześnie format, który dostawca udostępnia natywnie, co sprawia, że spośród małych tagów najtrudniej będzie cię zaskoczyć jakością.

Gdzie to pasuje, jeśli korzystasz z routingu, a nie z własnego hostingu

NVIDIA Nemotron 3.5 Super jest dostępny za pośrednictwem własnych kanałów budowania i dystrybucji dostawcy oraz poprzez opisane powyżej pobranie z Ollama. Nie ma go w OrcaRouter — routujemy nieco ponad 200 modeli i nie jest jednym z nich — więc jeśli konkretnie potrzebujesz tego checkpointu, lokalne pobranie jest twoją drogą, a nic w tym artykule nie sugeruje, że możesz wywołać go za pomocą naszego klucza.

Tym, do czego ta platforma tu naprawdę służy, jest decyzja wokół niej. Ocena takiego modelu ma stały koszt, którego nie usunie żadna tabela benchmarków: pobranie 90 GB, wieczór konfiguracji i zestaw własnych promptów, zanim cokolwiek się dowiesz. Tańszym pierwszym krokiem jest uruchomienie swojego rzeczywistego obciążenia na hostowanych modelach, do których już masz dostęp — jedno API dla ponad 200 modeli, z ceną katalogową dostawcy przekazywaną bez narzutu za token, więc obniżka cen u dostawcy jest u nas widoczna tego samego dnia — i pozwól, by to powiedziało ci, czy to obciążenie jest takie, że model rozumujący 120B w ogóle je poprawia. Wtedy przeznacz pobieranie na przypadki, które przetrwały.

A jeśli już wprowadzasz nowo wydany otwarty model do ścieżki produkcyjnej, zanim zaczniesz mu ufać, automatyczne przełączanie awaryjne ma większe znaczenie niż cena. Model wydany 14 października ma za sobą dwa dni uwagi całego świata; skierowanie go za mechanizm zapasowy to sposób na wykorzystanie jego zalet bez opierania na nim ścieżki żądań.

Uczciwe podsumowanie tego, co jest, a co nie jest potwierdzone.

Potwierdzone bezpośrednio na podstawie rejestru i informacji o wydaniu: tagi, ich skróty, ich rozmiary w bajtach, minimalna wersja 0.40.5, format GGUF przez llamacpp runner, wspólny projektor wizyjny, ciąg nazwy rodziny modelu, renderer, odziedziczony parser Nano oraz licencja OpenMDW-1.1. Potwierdzone na podstawie własnego newsroomu i karty modelu NVIDIA: architektura, podział parametrów, licencja, zalecane ustawienia próbkowania, skala treningu — około 26 bilionów tokenów w ramach pretreningu i kontynuowanego pretreningu, a następnie dostrajania po treningu na około 3,8 miliona próbek z uczeniem ze wzmocnieniem w kilkudziesięciu środowiskach — oraz pokrycie językowe: angielski, hiszpański, francuski, niemiecki, włoski i japoński.

Nie potwierdzono: każdej liczby z benchmarku, która jest raportowana przez dostawcę, przy czym jedynymi niezależnymi pomiarami w tym artykule są Indeks Artificial Analysis wynoszący 26 i gadatliwość 170 mln tokenów. Nie potwierdzono: że tagi MLX obsługują reklamowaną długość kontekstu, ponieważ strona biblioteki nie twierdzi tego w ich przypadku. Nie potwierdzono: że ścieżka wizyjna jest dostrojona fabrycznie, ponieważ domyślne ustawienia próbkowania są tekstowe. I nie potwierdzono: jak kwantyzacja 4-bitowa zmienia publikowane wyniki, co jest liczbą, na której większości czytelników ogłoszenia Ollama zależy najbardziej, a której nikt nie opublikował.

Jeśli masz kartę 96 GB, powód, by chcieć otwartego modelu wizyjno-językowego z prawdziwym 120B backbone’em, i nie masz nic przeciwko zależności z pierwszego tygodnia, to najmocniejsza rzecz w swojej klasie wagowej, jaka pojawiła się w tym miesiącu, a pobranie jest trywialne. Jeśli potrzebujesz dokładnej konfiguracji, którą testowała NVIDIA w benchmarku, albo potrzebujesz, żeby wizja działała od pierwszego razu, albo nie możesz sobie pozwolić na spędzenie wieczoru na ustalaniu, który z tych dwóch dokumentów jest miarodajny — poczekaj na ewaluacje kwantyzacji i raporty społeczności. Wagi mają cztery dni, a wsparcie środowiska uruchomieniowego dwa.