Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Oba mieszczą się w 24GB — tylko jeden mówi, ile to kosztowało

Krąży zgrabna historia o tych dwóch modelach: ten N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB mieści się w 24 gigabajtach, a Qwen3.8-27B nie. Pierwsza połowa jest prawdziwa, a druga jest nieaktualna. A​libaba opublikowała Qwen3.8-27B w sierpniu 2026 r. jako gęsty model wizyjno-językowy z 27 miliardami parametrów, którego 16-bitowe wagi zajmują około 56 GB, a w ciągu kilku dni społeczność przygotowała jego czterobitowe kompilacje o rozmiarze 16,46 GB. Oba modele mieszczą się dziś w 24 GB. Różnica, o którą warto się spierać, polega na tym, że N​VIDIA zaprojektowała kompresję, opublikowała jej koszt i wydała ją jako produkt — podczas gdy strona Q​wen w tym porównaniu to kompilacja wykonana przez kogoś innego, z rachunkiem, którego nikt nie podliczył.

Czym tak naprawdę jest każdy model

Bolt to hybryda typu mixture-of-experts: łącznie 74 miliardy parametrów, 9 miliardów aktywnych na token, warstwy przestrzeni stanów Mamba-2 przeplatane ekspertami i uwagą, plus enkoder wizyjny C-RADIO v4-H. Istnieje w swojej formie 24GB, ponieważ N​VIDIA przeprowadziła sterowane routerem wyszukiwanie architektury w ramach budżetu pamięciowego, a następnie skwantyzowała ekspertów do 2,0625 bita na element, naprawiając szkody za pomocą destylacji uwzględniającej kwantyzację.

Qwen3.8-27B jest modelem gęstym. Przy każdym tokenie odczytywane są wszystkie 27 miliardów parametrów, a sekcja architektury karty modelu opisuje stos 64 warstw ułożony jako szesnaście powtórzeń trzech bloków bramkowanej uwagi liniowej, po których następuje jeden blok bramkowanej pełnej uwagi, z przewidywaniem wielu tokenów trenowanym przez wiele kroków i natywnym kontekstem 262 144 tokenów rozszerzalnym do miliona. Natywnie rozumie obrazy i wideo oraz udostępnia kontrolę myślenia dla każdego żądania poprzez ustawienie wysiłku rozumowania i flagę, która zachowuje kontekst rozumowania między turami.

Różne filozofie produkcji, a oba są udostępniane jako otwarte wagi na wystarczająco permisywnych licencjach — OpenMDW-1.1 dla Bolt, Apache 2.0 dla Qwen3.8-27B.

Dwie kompresje, z których jedna jest udokumentowana.

To jest ta część porównania, która decyduje o wszystkim.

24-gigabajtowy checkpoint N​VIDIA jest kompresowany przez N​VIDIA, a koszt został opublikowany. Wydanie BF16 tego samego modelu zawiera tabelę z obiema kolumnami obok siebie, dzięki czemu cena 2-bitowych ekspertów jest widoczna linia po linii:

• GPQA Diamond — 86,43 przy 2 bitach wobec 88,83 przy 16 bitach, strata 2,40 punktu.

• Terminal-Bench 2.1 — 50,98 wobec 53,93, strata 2,95.

• BrowseComp — 66,75 wobec 70,00, strata 3,25.

• AA-LCR rozumowanie na długim kontekście — 64,06 wobec 67,38, strata 3,32.

• HLE bez narzędzi — 25,30 wobec 28,73, strata 3,43.

• Dokładność AA-Omniscience — 16,90 wobec 21,80, strata 4,90.

A dwa wiersze idą w przeciwnym kierunku: w AA-Omniscience non-hallucination skompresowany model osiąga 61,27 wobec 56,14 dla pełnej precyzji, a w WebArena vision ta para jest wyrównana w granicach jednego punktu. To liczby dostawcy, niepowtórzone, a mimo to wciąż najbardziej kompletny opis tego, co kompresja do 24 GB zrobiła z własnym modelem, jaki opublikowało jakiekolwiek laboratorium.

Teraz strona Q​wena. Istnieje czterobitowa kompilacja Qwen3.8-27B o rozmiarze 16,46 GB, została opublikowana przez stronę trzecią i nie towarzyszy jej żaden pomiar dokładności. Nie słaby — żaden. To samo dotyczy kompilacji 9,83 GB i 7,27 GB znajdujących się poniżej oraz kompilacji 21,98 GB powyżej. Cokolwiek gęsty model wizyjno-językowy 27B traci, gdy jego wagi zostają ściśnięte do czterech bitów, nikt nie opublikował dla tego żadnej liczby, co oznacza, że arytmetyka pamięci, która umożliwia zmieszczenie, to łatwiejsza połowa, a kwestia możliwości pozostaje całkowicie otwarta.

Ta asymetria to uczciwa wersja tego starcia. Bolt podaje swoją cenę. Qwen3.8-27B każe ci zapłacić taką, którą musisz sam oszacować.

Niezależny panel oraz to, co obejmuje, a czego nie obejmuje

Artificial Analysis mierzy Qwen3.8-27B na poziomie pełnego modelu w jego maksymalnej konfiguracji rozumowania: wskaźnik Intelligence Index wynosi 34, pierwszy spośród 141 modeli w panelu; około 41 tokenów wyjściowych na sekundę, co daje mu 51. miejsce na 63; oraz koszt 0,50 USD za milion tokenów wejściowych i 3,00 USD za milion tokenów wyjściowych w śledzonej przez niego kombinacji dostawców, który to koszt określa jako szczególnie wysoki jak na model o otwartych wagach tej wielkości. Zauważa również, że model jest bardzo gadatliwy — podczas przebiegu indeksu wygenerował 200 milionów tokenów.

Ten sam panel przyznaje Boltowi wynik Intelligence Index na poziomie 21, czwarty spośród 67 modeli w swojej klasie, przy czym zarówno szybkość, jak i koszt są niedostępne, ponieważ nie ma publicznego API, które by go obsługiwało. Trzynaście punktów to duża różnica, mierzona w ten sam sposób dla obu, co czyni ją najbardziej wiarygodnym pojedynczym stwierdzeniem w tym artykule. Wiąże się z tym jednak zastrzeżenie, które ma większe znaczenie, niż się wydaje: własne podsumowanie porównawcze panelu określa Qwen3.8-27B jako wyraźnie wolny i bardzo gadatliwy, więc model, który wygrywa pod względem inteligencji, jest tym, na który czeka się dłużej.

Jeśli chodzi o modalność, obie strony są niezgodne w sposób wart odnotowania, ponieważ panel specyfikacji to nie to samo co strona produktu. Karta dostawcy Q​wen opisuje natywne rozumienie obrazu i wideo; panel analizy wymienia tekst, obraz i wideo jako dane wejściowe dla Qwen3.8-27B w niektórych widokach, a dla Bolt — tekst i obraz. Oba modele widzą. Żaden nie widzi identycznie, a różnica w sposobie, w jaki podmioty trzecie opisują oba, przypomina, by twierdzenie o modalności sprawdzać w karcie modelu, a nie w wierszu podsumowania.

Tabela dostawców po stronie Qwen

Karta modelu Alibaba jest długa, a jej wiersze agentowe są powodem, dla którego ten model jest w ogóle interesujący obok Bolt. Terminal Bench 2.1 na poziomie 73,0, SWE-bench Pro na 61,7, GPQA Diamond na 89,2, HLE na 30,8, LiveCodeBench v6 na 90,3, OSWorld-Verified na 84,3 i AndroidWorld na 81,9 — wszystkie oceniane przez Alibaba, w większości przypadków w harnessie Claude Code, przy kontekście 256 000 tokenów.

Te liczby nie są porównywalne z tabelą Bolt. Różne środowiska testowe, różne daty oceny, różne wybory grup odniesienia, a w przypadku Bolt grupę odniesienia wybrano częściowo pod kątem zmieszczenia się w 24 GB przy czterech bitach. Jedynym uczciwym stwierdzeniem jest to, że opublikowane wyniki Qwen3.8-27B w testach agentowych są wyższe niż opublikowane wyniki Bolt w testach agentowych, że oba zestawy liczb pochodzą z laboratoriów, które zbudowały modele, oraz że żadne z laboratoriów nie uruchomiło zestawu benchmarków drugiego.

Jedna liczba Qwena warta jest odnotowania z innego powodu. Jej własna karta sama przyznaje GPQA Diamond na poziomie 89,2, podczas gdy karta Bolta podaje 86,43 — wystarczająco blisko, by różnica w harnessie mogła przenieść którekolwiek z nich ponad drugie. To jest skala, na której tabele dostawców rozstrzygają spory. To nie jest skala, na której ty powinieneś rozstrzygać choćby jeden.

Wynajmowanie jednego i opóźnienie, które dziedziczysz

Bolt nie ma punktu końcowego. Nie ma stawki, którą można by podać, żadnego dostawcy, który go udostępnia, ani sposobu, aby ocenić go na własnym ruchu bez ukończenia recepty wdrożeniowej NVIDIA — przypiętego nocnego kontenera vLLM, pakietu jądra pobieranego w czasie działania, wtyczki parsera rozumowania, backendów b12x, pamięci podręcznej KV fp8 i obsługiwanej współbieżności jednej sekwencji.

Qwen3.8-27B można pobrać i wywoływać, a właśnie to połączenie sprawia, że to zestawienie ma w ogóle praktyczne rozwiązanie. Udostępniamy qwen/qwen3.8-27b na własnej infrastrukturze po 0,33 USD za milion tokenów wejściowych i 2,40 USD za milion tokenów wyjściowych. Wpis w katalogu podaje kontekst 262 144 tokenów z wejściem tekstowym, obrazowym i wideo, a publikowanie po tej stawce jest możliwe po naszej stronie, ponieważ OrcaRouter przekazuje cenę katalogową dostawcy bez doliczonej marży — jeśli dostawca obniży cenę, zmiana obowiązuje tutaj tego samego dnia, a nie dopiero w następnym cyklu rozliczeniowym.

Opóźnienie jednak zasługuje na to, by podawać je uczciwie, a nie pochlebnie. W ciągu siedmiu dni kończących się 16 października 2026 r. nasz własny endpoint dla tego modelu odnotował p50 czasu do pierwszego tokena na poziomie 10,00 sekundy i p95 na poziomie 10,00 sekundy, prędkość wyjściową 515 tokenów na sekundę oraz wskaźnik błędów 2,1%. Seria dzienna wyjaśnia agregat: 1,42 sekundy 10 października, 1,65 – 11 października, 2,83 – 12 października, następnie 10,00 – 13 i 15 października, 1,91 – 14 października. Dwa z sześciu dni osiągnęły górną granicę naszego okna pomiarowego, a trzy nie.

To nie jest przyjemna liczba, ale to właśnie ta liczba. To także konkretny powód, dla którego automatyczne przełączanie awaryjne istnieje jako funkcja routingu, a nie jako slogan: oczekiwanie na pierwszy token, które w poniedziałek jest w porządku, a w środę wynosi dziesięć sekund, to dokładnie ten tryb awarii, dla którego istnieje łańcuch fallbacków, a DSL routingu istnieje po to, by „wypróbuj ten model, a jeśli zacznie działać gorzej, przełącz się na tamten” było konfiguracją, a nie kodem aplikacji. Model, który posiadasz — Bolt albo lokalna kompilacja Qwen — nie ma takiego problemu ani takiej opcji. Jest tak szybki, jak szybkie jest twoje GPU, każdego dnia, bez pośredników na ścieżce i bez drugiego modelu, po który można by sięgnąć, gdy się zatnie.

Jak to faktycznie się rozwiązuje

Nie ma zwycięzcy do przekazania, ponieważ dwa modele nie konkurują o to samo miejsce.

Jeśli Twoim ograniczeniem jest maszyna bez sieci albo praca, która nie może opuścić urządzenia, odpowiedzią jest Bolt, a publikowany koszt kompresji to cena wstępu. Nic w Qwen3.8-27B tego nie zmienia, ponieważ nie możesz przez pobieranie uzyskać wdrożenia 24 GB, którego N​VIDIA jeszcze nie zbudowała i nie udokumentowała — możesz je przybliżyć czterobitową kompilacją, której jakość jest niezmierzona i której projektor wizyjny musiałbyś pozyskać osobno.

Jeśli twoim ograniczeniem są możliwości na dolara, a sieć jest dostępna, Qwen3.8-27B wyprzedza o trzynaście punktów w jedynym indeksie, który mierzył jedno i drugie, przy opublikowanej stawce, na licencji, którą wasz dział prawny już widział. Lokalna kompilacja czterobitowa to rozsądna trzecia ścieżka i to właśnie w jej przypadku powinieneś spodziewać się, że wykonasz własną ocenę, a nie odziedziczysz czyjąś tabelę.

Część, którą oba modele pozostawiają tobie, jest taka sama: żaden z nich nie ma niezależnego benchmarku względem drugiego, żadne z laboratoriów nie zmierzyło modelu drugiego, a krążące na ich temat opinie z pierwszego dnia są odczytami kart producentów. Pobierz oba, wykonaj na nich własne zadania i zachowaj ten, który skończy. To jedyny wynik w tym porównaniu, który nie zostanie opublikowany przez jedno z dwóch laboratoriów, które je zbudowały.

To, czego liczby nie mogą ci powiedzieć, to czy cokolwiek z tego poszło nie tak w terenie: udokumentowane incydenty AI i awarie agentów dotyczące modeli tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i flagę sporu.