Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Osiem punktów indeksowych i niedopasowanie szerokości bitowej

Istnieje już bezpośrednie porównanie między NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB i Google Gemma 4 26B A4B, a NVIDIA je opublikowała. Znajduje się ono w tabeli benchmarków na karcie modelu Bolt, gdzie kolumna Gemma jest punktem odniesienia wybranym przez firmę. Uważne przeczytanie tej tabeli to najszybszy sposób zrozumienia, czym właściwie są te dwa modele, ponieważ te dwa checkpointy nie konkurują o to samo zadanie, a sam sposób przedstawienia tego przez dostawcę mówi o tym wprost: modele porównawcze wybrano ze względu na ich zdolność do zmieszczenia się w 24 GB pamięci przy kwantyzacji 4-bitowej. Bolt mieści się w 24 GB inną drogą — 2,0625 bita na wagę w warstwach ekspertów — a różnica między tymi dwiema strategiami mówi wszystko.

Obie liczby w tytule są prawdziwe. Artificial Analysis zmierzyło Bolt na poziomie 21 w swoim Intelligence Index, a Gemma 4 26B A4B, w konfiguracji rozumowania, na poziomie 17. Żadna z tych liczb nie pochodzi od dostawcy, a obie figurowały na stronach modeli panelu w chwili pisania tego tekstu.

Porównanie, które przeprowadził NVIDIA, i kolumna, którą wybrał

Tabela firmy N​VIDIA dla Bolt ma cztery kolumny: Qwen3.6-35B-A3B w BF16, G​emma 4 26B-A4B w BF16, N​emotron 3.5 Lightning 30B-A3B w BF16 i Bolt w IQ2. Każda liczba w niej pochodzi od dostawcy i nie została odtworzona przez nikogo niezależnego. Oto kolumna G​emma zestawiona z kolumną Bolt, benchmark po benchmarku.

• GDPVal-AA-V2 — G​emma 15,33, Bolt 28,47

• Terminal-Bench 2.1 — G​emma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE bez narzędzi — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• AA-LCR — wyszukiwanie w długim kontekście — Gemma 57,56, Bolt 64,06

• PinchBench — Gemma 74.70, Bolt 87.82

• Wizja WebArena — Gemma 38,2, Bolt 50,86

• Dokładność AA-Omniscience — Gemma 22,17, Bolt 16,90. Gemma wygrywa w tym wierszu i jest to jedyny wiersz w tabeli, w którym tak jest.

• AA-Omniscience – brak halucynacji — Gemma 14,22, Bolt 61,27. To duża i specyficzna strata dla rodziny modeli Gemma i warto się przy tym zatrzymać: metryka braku halucynacji Omniscience karze model, który odpowiada z pewnością siebie, gdy czegoś nie wie, a odnotowana tutaj wersja Gemma osiąga około jednej czwartej wyniku Bolta.

Jedno zastrzeżenie dotyczy całego bloku. N​VIDIA uruchomiła to wszystko, w tym kolumnę G​emma, na wersji BF16 modelu G​emma w porównaniu z 2-bitową wersją własnego modelu, a następnie podała wynik na własnej karcie modelu.

Dwa punkty kontrolne, dwa tryby kompresji

Gemma 4 26B A4B to wydany produkt, który ma za sobą rok użytkowania. Pojawił się na Hugging Face 11 marca 2026 r. na licencji Apache 2.0, z 25,2 miliarda parametrów łącznie i 3,8 miliarda aktywnych na token, z hybrydowym stosem uwagi, który przeplata lokalne warstwy z oknem przesuwnym z globalnymi, kontekstem 256K, natywnym wsparciem dla promptu systemowego i obsługą wizji w każdym rozmiarze w rodzinie. To model, który możesz wziąć, samodzielnie skwantyzować do 4 bitów i uruchomić, a duży ekosystem gotowych kwantyzacji już istnieje.

Bolt to wynik kompresji noszący kartę modelu. NVIDIA wzięła Nemotron 3.5 Super VL 120B-A12B — multimodalny checkpoint z tej samej generacji — i uruchomiła na nim Star Elastic, sterowane przez router wyszukiwanie architektury, które musi spełniać twardy budżet wdrożeniowy, w tym przypadku poniżej 24 GB przy rozmiarze wsadu 1 i kontekście 128K. Wartość top-K ekspertów spadła z 22 w modelu nadrzędnym do 9. Wagi ekspertów skwantyzowano następnie do IQ2-XXS przy 2,0625 bita na element, z destylacją uwzględniającą kwantyzację, aby odzyskać dokładność; warstwy Mamba pozostawiono na NVFP4, warstwy osadzeń i warstwy wyjściowe na Q8_0, a wieżę wizyjną podłączono z powrotem później.

Wynik to 74 miliardy parametrów w pliku o rozmiarze 24 GB. To nie jest kwantyzacja opublikowanego modelu; to sieć o innym kształcie, której poszukiwano przy ograniczeniu pamięci, a następnie wytrenowano tak, aby odzyskała sprawność.

Dlaczego szerokość bitowa ma większe znaczenie niż parametry

Zestaw je obok siebie, a intuicyjna interpretacja jest taka, że model 74B bije model 26B. Ta interpretacja jest prawdopodobnie w tym przypadku trafna, ale nie jest to też najciekawsza część, ponieważ od obu modeli oczekuje się różnych zadań w ramach tych samych 24 GB.

• Parametry — Bolt łącznie 74 mld, 9 mld aktywnych na token. Gemma 4 26B A4B: łącznie 25,2 mld, 3,8 mld aktywnych na token.

• Architektura — Bolt: hybrydowy LatentMoE Mamba-2–Transformer z enkoderem wizyjnym C-RADIO v4-H. Gemma: hybrydowy MoE z lokalną/globalną uwagą, z wieżą wizyjną, a w innych rozmiarach w rodzinie — audio.

• Precyzja przechowywania — Bolt jest natywnie dostarczany z precyzją 2,0625 bita na wagę eksperta. Repozytorium G​emma jest 16-bitowe, przy czym wersje 4-bitowe oraz wersje z treningiem uwzględniającym kwantyzację są publikowane osobno.

• Kontekst — Bolt do 256 000 tokenów. Gemma 4 26B A4B: 256 000 tokenów. Ten wiersz to remis, co zaskakuje ludzi, którzy zakładają, że model 2-bitowy zrezygnował tu z czegoś. Nie zrezygnował.

• Dane wejściowe — Bolt przyjmuje tekst, obrazy i wideo. Gemma 4 26B A4B przyjmuje tekst i obrazy; wideo przychodzi w postaci klatek, a audio jest ograniczone do mniejszych członków rodziny.

• Licencja — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, wraz z towarzyszącą jej polityką zakazanych zastosowań Google.

• Dekodowanie spekulatywne — Bolt dostarcza drafter LiLiCorr, wpięty przez DFlash z siedmioma tokenami spekulatywnymi w referencyjnej recepturze N​VIDIA. Gemma 4 26B A4B nie ma drafttera dostarczanego przez dostawcę; predykcja wielu tokenów pojawia się w społecznościowych dostrojeniach, a nie w wydaniu bazowym.

Praktyczną konsekwencją wiersza precyzji jest to, że pobierany plik Bolta jest już tym małym. Nie ma już dalszej wersji 2-bitowej do znalezienia, ponieważ wersja 2-bitowa to ten model. Model G​emma 26B to 16-bitowy checkpoint, który masz skompresować, a wersja 4-bitowa, którą większość ludzi faktycznie będzie serwować, jest czyjąś konwersją tego modelu.

Kiedy mniejszy model jest lepszym zakupem

Tabela samej NVIDIA daje Gemmie dwie rzeczy, które warto potraktować poważnie. Dokładność AA-Omniscience przemawia na korzyść Gemmy wynikiem 22,17 wobec 16,90, a uczciwa interpretacja tego jest taka, że kompresja 2-bitowa mierzalnie zaszkodziła przywoływaniu faktów, nawet po destylacji. Każdy, czyje zadania mają charakter encyklopedyczny, a nie agentowy, powinien przywiązywać dużą wagę do tego wiersza.

Licencjonowanie jest drugie. Apache 2.0 to najmniej obciążona opcja dostępna do wdrożeń komercyjnych, a OpenMDW-1.1, choć został napisany jako licencja permisywna i wyraźnie dopuszczony przez N​VIDIA do użytku komercyjnego, jest nowszym instrumentem, wokół którego istnieje mniej literatury i którego nie interpretowały żadne orzeczenia sądowe. Działy prawne spotkały się już z jednym z nich, ale nie z drugim.

Po trzecie, dojrzałość. Gemma 4 26B A4B jest dostępna do pobrania od marca, a od wiosny można ją wywoływać z hostowanego punktu końcowego. Istnieją skwantyzowane buildy, dostrojone modele, przepisy na serwowanie i reprodukcje benchmarków. Repozytorium Bolt pojawiło się w październiku. Nie opublikowano żadnych niezależnych danych o jego opóźnieniach, a nie ma kwantyzacji społecznościowych, na których można by się oprzeć, ponieważ nie ma czego kwantyzować.

Po czwarte, co łatwo przeoczyć: modele z rodziny G​emma o rozmiarze 21B i mniejsze natywnie obsługują audio. Jeśli pipeline obejmuje mowę, 26B A4B jest niewłaściwym członkiem własnej rodziny, a żaden model N​emotron nie jest właściwy.

Ile faktycznie kosztuje utrzymanie każdego z nich

Bolt nie ma ceny i nie jest to przeoczenie w danych. Nie istnieje dla niego żaden hostowany endpoint, brak stawki za użycie na stronie modelu Artificial Analysis i żaden dostawca go nie udostępnia. Uruchomienie go oznacza posiadanie maszyny, a referencyjny przepis NVIDII to weekend, a nie popołudnie: przypięty obraz nightly vLLM, pakiet jądra b12x, wtyczka reasoning-parser pobierana jako osobny plik, a następnie jawne ustawienia dla runnera modelu v2, backendów liniowego i MoE, backendów attention i Mamba, typów danych pamięci podręcznej Mamba, chunked prefill oraz konfiguracji dekodowania spekulacyjnego wskazującej na draftera LiLiCorr.

Gemma 4 26B A4B ma cenę w dwóch miejscach. W katalogu, przez który kierujemy ruch, google/gemma-4-26b-a4b-it jest wyceniony na 0,06 USD za milion tokenów wejściowych i 0,33 USD za milion wyjściowych, przy kontekście 262 144 tokenów, z czasem do pierwszego tokenu (p50) wynoszącym około 2,8 sekundy — to nasz własny pomiar z ostatnich siedmiu dni, a nie deklaracja dostawcy. Artificial Analysis śledzi inny zestaw dostawców dla tego samego modelu i podaje 0,10 USD na wejściu i 0,40 USD na wyjściu, a to właśnie taki rozrzut, który mówi, że cena jest właściwością endpointu, a nie wag. Obie liczby są prawdziwe; to ceny różnych rzeczy.

OrcaRouter umieszcza modele, które routujemy, za jednym kluczem w cenie katalogowej dostawcy, bez doliczania marży (0 procent), więc obniżka ceny przez dostawcę dla routowanego modelu obowiązuje u nas tego samego dnia, a automatyczne przełączanie awaryjne między dostawcami oznacza, że problem z przepustowością po stronie dostawcy jest ponawiany, a nie ujawniany Twoim użytkownikom. Nie hostujemy żadnego checkpointu N​emotron — katalog został sprawdzony, a nie przyjęty z założenia, i tej rodziny w nim nie ma — więc na tej stronie te gwarancje obejmują wyłącznie część porównania dotyczącą G​emma i nic więcej. W praktyce ich wartość polega na tym, że dają sposób na wypróbowanie mniejszego modelu na prawdziwym ruchu bez drugiej umowy, podczas gdy Ty decydujesz, czy większy jest wart wymaganego sprzętu.

Wybór między plikiem a usługą

To porównanie nie jest bliskie pod względem możliwości i nie powinno takie być. Bolt to większy model o większych możliwościach, który został mocno skompresowany i nie można go wynająć. Gemma 4 26B A4B to nieco słabszy model, który możesz dziś wynająć, a którego słabości są udokumentowane przez ludzi, którzy nie mają w nim żadnego interesu.

Wybierz Bolt, jeśli obciążenie obejmuje zrzuty ekranu, pliki PDF, klatki wideo lub przeglądarkę, jeśli musi działać bez sieci i jeśli w pomieszczeniu jest już maszyna z akceleratorem klasy Blackwell. Zaakceptuj, że to ty odkryjesz jej przepustowość, ponieważ nikt jej nie opublikował. Wybierz Gemma 4 26B A4B, jeśli chcesz model tekstowo-obrazowy, za który możesz płacić za milion tokenów jeszcze dziś po południu, jeśli potrzebujesz Apache 2.0, albo jeśli odtwarzanie faktów w szerokim zestawie pytań liczy się bardziej niż ukończenie zadania agentowego.

Pomiar, który by to rozstrzygnął, to ten, którego nikt nie przeprowadził: niezależny test przepustowości i opóźnień na 24-gigabajtowym checkpointcie oraz niezależne powtórzenie tabeli NVIDIA z Gemmą skwantyzowaną do tych samych 4 bitów, które – jak twierdzi dostawca – zostały wybrane. Dopóki takie pomiary nie istnieją, argument za Boltem opiera się na tabeli dostawcy i liczbie parametrów, a argument za Gemmą opiera się na roku wyników innych osób.

Takie porównania jak to są również miejscem, w którym ujawniają się tryby awarii: udokumentowane incydenty AI i awarie agentów stojące za modelami w tej klasie są gromadzone w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis zawiera własne źródła, wagę, ocenę pewności i znacznik sporności.