Nemotron 3.5 Bolt 74B kontra Kimi K3: plik 24 GB przeciwko flagowcowi o 2,8 biliona parametrów

Dwa modele w tym porównaniu nie konkurują o to samo miejsce, a liczby mówią to jasno, zanim którykolwiek z dostawców powie choć słowo. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB to model wizyjno-językowy o 74 miliardach parametrów, który N​VIDIA skompresowała do 2-bitowego checkpointu na tyle małego, by zmieścił się w 24 gigabajtach pamięci razem z systemem operacyjnym. Kimi K3 to flagowy model M​oonshot AI o 2,8 biliona parametrów, model z otwartymi wagami, którego najmniejsze realne wdrożenie to cała szafa rack. Pierwszy to plik, który możesz skopiować na laptopa, a który N​VIDIA zaczęła dostarczać 15 października 2026 roku. Drugi to obciążenie wynajmowane za tokeny. Czytanie ich wyników obok siebie jest przydatne właśnie dlatego, że różnica jest tak ogromna, iż nikt nie może udawać, że mniejszy jest zamiennikiem.

To, co na tej stronie naprawdę warto zrobić, to ustalić, gdzie trafiają 22 punkty Intelligence Index i czy którekolwiek z nich trafiają na zadania, które lokalny agent faktycznie wykonuje.

Co wysłano i kiedy

Repozytorium Bolt pojawiło się na Hugging Face 7 października 2026 roku; własny wpis NVIDII ogłaszający jego premierę, „Od centrów danych po komputery stacjonarne: NVIDIA rozszerza rodzinę Nemotron o najwydajniejsze modele Super VL i Bolt", nosi datę 15 października. Sama karta modelu zawiera datę wydania 15.10.2026. Ta kolejność — najpierw wagi, osiem dni później ogłoszenie — ma znaczenie dla każdego, kto czyta materiały o tym modelu, ponieważ przez tydzień publiczny zapis składa się z możliwego do pobrania checkpointu i karty modelu, do których nie dołączono żadnego komunikatu prasowego.

Pod każdym innym względem te dwa modele dzieli wszystko. Kimi K3 zaprezentowano 16 lipca 2026 roku, a wagi udostępniono 27 lipca, co czyni go około trzy miesiące starszym i znacznie lepiej udokumentowanym przez podmioty trzecie.

• Architektura — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB to hybrydowy LatentMoE typu Mamba-2–Transformer z enkoderem wizyjnym C-RADIO v4-H. Kimi K3 to 2,8-bilionowy rzadki model typu mixture-of-experts, aktywujący 104B parametrów na token w 16 z 896 ekspertów, zbudowany na Kimi Delta Attention od Moonshot.

• Parametry — łącznie 74B, 9B aktywnych dla modelu NVIDIA; łącznie 2,8T, 104B aktywnych dla Kimi K3. Mniejszy model aktywuje mniej niż jedną dziesiątą obliczeń na token większego modelu.

• Zużycie pamięci — 24GB przy 2-bitowej kwantyzacji (IQ2-XXS przy 2,0625 bita na element dla wag ekspertów, NVFP4 dla warstw Mamba, Q8_0 dla embeddingów i wyjścia) w porównaniu z tym, ile kosztowałoby wdrożenie 2,8T-parametrowe, co nie jest liczbą, którą ta strona może podać w gigabajtach.

• Kontekst — 262 144 tokeny dla modelu N​VIDIA; 1 048 576 tokenów dla Kimi K3, z jednolitą ceną niezależnie od długości.

• Dane wejściowe — tekst, obrazy i wideo na wejściu, tekst na wyjściu w obu przypadkach.

• Licencja — OpenMDW-1.1 dla checkpointu N​VIDIA; Licencja Kimi K3 dla wag M​oonshot, zezwalająca na większość zastosowań, z wymogiem oddzielnej umowy powyżej 20 milionów dolarów rocznego przychodu.

Niezależne liczby i ta, która nie istnieje

Artificial Analysis uruchomił oba modele, co sprawia, że to porównanie w ogóle da się rozstrzygnąć. Nie wszystko w zestawieniu zostało zmierzone dla obu modeli, a luki mówią równie wiele jak wyniki.

• Intelligence Index — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB uzyskuje wynik 21,4, czwarty spośród 67 modeli w swojej klasie rozmiarowej na własnym zestawie porównawczym panelu. Kimi K3 uzyskuje 43,6 w maksymalnym trybie rozumowania i 30,1 w trybie niskim. Obie wartości są mierzone niezależnie, a nie raportowane przez producenta.

• Koszt na zadanie w Intelligence Index — model N​VIDIA nie ma podanej wartości, ponieważ nie ma ustalonej ceny: Artificial Analysis nie podaje dla niego żadnej stawki za tokeny wejściowe ani wyjściowe. Kimi K3 kosztuje 2,00 USD wydatków API na zadanie indeksowe przy 3,00 USD za milion tokenów wejściowych i 15,00 USD za milion tokenów wyjściowych, wobec 0,30 USD za buforowane tokeny wejściowe.

• Prędkość generowania — Kimi K3 generuje 43,8 tokena na sekundę, a czas do pierwszego tokena na stanowisku testowym panelu wynosi 3,6 sekundy. Dla modelu NVIDIA nie istnieje niezależny wynik przepustowości; własna strona badawcza NVIDIA podaje 83,99 tokena na sekundę w AIPerf SPEED-Bench-Coding z włączonym drafterem LiLiCorr, co jest pomiarem producenta na innym benchmarku i innej maszynie.

• Terminal-Bench 2.1 — 85,0 dla Kimi K3 w niezależnym przebiegu, wobec własnego twierdzenia Moonshot o 88,3. NVIDIA podaje 50,98 dla modelu Bolt na swojej karcie modelu, więc te dwie wartości nie są na równych zasadach: jedna liczba została odtworzona poza laboratorium, a druga nie.

• GPQA Diamond — 93,5 dla Kimi K3 w niezależnym badaniu; 86,43 dla modelu NVIDIA w publikacji NVIDIA, bez niezależnego wyniku na panelu.

• Wyszukiwanie w długim kontekście (AA-LCR) — 88,7 dla Kimi K3 w porównaniu z 69,7 dla modelu N​VIDIA, oba zmierzone.

• Kodowanie naukowe (SciCode) — 59,5 dla Kimi K3 w porównaniu z 39,7 dla modelu NVIDIA, oba zmierzone.

• Dokładność wiedzy i halucynacje — w AA-Omniscience Kimi K3 osiąga 47,6 procent dokładności przy 46,8 procent braku halucynacji; model N​VIDIA osiąga 17,1 procent dokładności przy 56,3 procent braku halucynacji. To zestawienie to najciekawszy wiersz na tablicy i najmniej pochlebne dla prostego odczytu indeksu: skompresowany model wie mniej i częściej to przyznaje.

Brakujący pomiar to ten, którego nabywca chciałby najbardziej. Nikt poza N​VIDIA nie opublikował pomiaru przepustowości ani opóźnienia dla checkpointu 24 GB, co jest całym sensem wydania checkpointu 24 GB.

Gdzie faktycznie trafiają 22 punkty

Różnica 22 punktów w indeksie brzmi jak różnica kategorii i w przypadku niektórych zadań nią jest. Kimi K3 jest lepszy w kodowaniu naukowym o dwadzieścia punktów, lepszy w wyszukiwaniu w długim kontekście o dziewiętnaście i lepszy w pytaniach naukowych na poziomie magisterskim o ponad siedem. To nie są błędy zaokrągleń ani artefakty zestawu porównawczego.

Jednak historia kompresji stojąca za modelem NVIDIA jest wystarczająco konkretna, by wyjaśnić kształt tego deficytu. Checkpoint powstał w ramach Star Elastic, czyli sterowanego routerem wyszukiwania architektury firmy NVIDIA, które wzięło model nadrzędny 120B-A12B Super VL i poszukało liczby ekspertów oraz szerokości MoE na warstwę, które zmieściłyby się w 24 GB przy batch size równym 1 i kontekście 128K, obniżając top-K ekspertów z 22 do 9, a następnie skwantyzowało ekspertów do 2,0625 bita na element z destylacją świadomą kwantyzacji, aby odzyskać dokładność. To świadomy kompromis polegający na wymianie przechowywanej wiedzy na mniejszy ślad pamięciowy. Model wciśnięty w 2 bity na wagę eksperta zachowuje swoją procedurę, ale traci fakty — dlatego wiersz halucynacji się poprawia, podczas gdy wiersz dokładności się załamuje.

Własna tabela benchmarków NVIDII przedstawia ten sam argument w drugą stronę. Firma publikuje model Bolt, który bije Qwen3.6-35B-A3B, Gemma4 26B-A4B i własny Nemotron 3.5 Lightning 30B-A3B w Terminal-Bench 2.1, GPQA Diamond, BrowseComp i WebArena vision — czyli w zadaniach agentowych i wymagających użycia narzędzi — jednocześnie przegrywając z Gemma4 pod względem dokładności AA-Omniscience i z Qwen3.6 w PinchBench. To właśnie wykonywanie zadań agentowych zachowała kompresja.

Oba mają otwarte wagi, przez co wybór sprowadza się do energii elektrycznej.

To jest ta część, która odróżnia to starcie od porównania z zamkniętym API. Wagi Kimi K3 można pobrać. Jeśli masz sprzęt, możesz samodzielnie uruchomić model 2,8T i nie płacić nic za token — ta sama propozycja co w przypadku pliku 24GB, w zupełnie innej skali. Żaden z omawianych tu modeli nie znajduje się za zamkniętą bramką dostawcy, który może zmienić zdanie w sprawie dostępu.

Praktyczny podział wyznacza geografia wdrożenia. 24GB checkpoint IQ2 działa pod vLLM na pojedynczym układzie A100, H100 lub Blackwell, a własna receptura referencyjna NVIDII wymienia także llama.cpp i konwersję do GGUF, i tak właśnie trafia do lokalnych środowisk agentowych na maszynach RTX i DGX Spark. Zalecane polecenie serwowania nie jest jednym przełącznikiem w jednej linii: przypina nocną kompilację vLLM, wymaga pobrania wtyczki parsera rozumowania, potrzebuje jąder b12x dla backendów liniowego i MoE, ustawia jawne backendy Mamba i attention oraz włącza dekodowanie spekulatywne z siedmioma tokenami roboczymi LiLiCorr. To receptura dla kogoś, kto zamierza być właścicielem maszyny, a nie dla kogoś, kto chce transkrypcję.

Kimi K3 podąża w przeciwnym kierunku. Cała jego konstrukcja zakłada, że wynajmujesz wnioskowanie, a jego cena jest ustalona odpowiednio — 3,00 USD za wejście i 15,00 USD za wyjście za milion tokenów to celowa pozycja na szczycie rynku otwartych wag.

Uruchamianie porównania zamiast jego czytania

Jeśli chcesz wiedzieć, czy 22-punktowa różnica w indeksie ma znaczenie dla Twojego obciążenia, tanim eksperymentem jest wywołanie tej droższej połowy. Kimi K3 znajduje się w katalogu OrcaRouter jako kimi/kimi-k3, na tym samym kluczu co pozostałe ponad 200 modeli, które obsługujemy, rozliczane według ceny katalogowej dostawcy Moonshot, bez doliczanej marży — zmiana ceny Moonshot jest więc widoczna u nas tego samego dnia, a nie dopiero w następnym cyklu rozliczeniowym. Skieruj na niego zestaw promptów przypominający Twój rzeczywisty ruch i zmierz różnicę względem tego, co uruchamiasz lokalnie. OrcaRouter nie hostuje żadnego modelu NVIDIA i nie ma punktu końcowego Bolt do zaoferowania; rodzina Nemotron nie znajduje się w naszym katalogu, a lokalna połowa tego porównania i tak pozostaje kwestią sprzętową.

Miejscem, w którym routing rzeczywiście zasługuje na swoją rolę, jest ścieżka awaryjna. Kimi K3 to zobowiązanie do jednego modelu w wysokiej cenie, a tryb awarii produkcyjnego agenta podłączonego do jednego modelu o wysokich możliwościach polega na tym, że problem z przepustowością po stronie dostawcy staje się incydentem. Automatyczne przełączanie awaryjne między dostawcami za jednym punktem końcowym zamienia to w ponowną próbę.

Jak podjąć decyzję

Reguła jest krótsza, niż sugeruje luka.

Jeśli Twoje wymagania obejmują słowa offline, prywatnie, na urządzeniu lub brak kosztu za token, Kimi K3 nie jest kandydatem i porównanie jest zakończone — model o 2,8 biliona parametrów nie będzie działać na maszynie, na której to czytasz, a checkpoint o rozmiarze 24 GB tak. Kup laptopa, zaakceptuj 21,4 w indeksie i skieruj go do użycia narzędzi, a nie do pytań o biochemię.

Jeśli wymagasz poprawności w trudnym rozumowaniu, pracy z długim kontekstem obejmującym setki tysięcy tokenów albo kodowania na skalę repozytorium, model 24 GB to niewłaściwe narzędzie, a luka w indeksie mówi ci prawdę. Zapłać za Kimi K3.

To, czego nie rozstrzygnął żaden z dostawców, to przypadek pośredni, ponieważ zależy on od liczby, której nikt nie opublikował: jak szybko checkpoint 2-bitowy faktycznie działa na sprzęcie, który można kupić. Dopóki nie istnieje niezależny test przepustowości, uczciwa odpowiedź na pytanie „czy plik 24 GB może zastąpić flagowy model 2,8T w mojej pętli agenta” jest taka, że luka w inteligencji jest mierzalna, a kwestia opóźnienia – jeszcze nie.

Dla modelu, którego tryby awarii wciąż nie są udokumentowane, przydatnym odpowiednikiem jest zapis tego, co już poszło nie tak gdzie indziej: udokumentowane incydenty AI i awarie agentów wokół modeli tej klasy są zebrane w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i flagę sporną.