Nanbeige4.3-33B vs Gemma 4 31B: Co naprawdę oznacza 33-punktowa różnica w tabeli dostawcy

W własnej tabeli benchmarków Nanbeige4.3-33B model Gemma 4 31B uzyskuje 0.0 w Terminal-Bench 4.0. To jest wiersz, od którego należy zacząć, ponieważ mówi, jak czytać każdą inną liczbę w tym porównaniu. Gemma 4 31B to wydany na otwartych wagach model Google DeepMind o 30,7 mld parametrów, dostępny do pobrania na licencji Apache 2.0 od 2 kwietnia 2026 r., a materiały samego Google przypisują mu 86,4 w τ²-bench w zakresie użycia narzędzi i 80,0 w LiveCodeBench v6. Taki model nie zawodzi w każdym istniejącym zadaniu terminalowym. Zero to wynik, który otrzymujesz, gdy benchmark nie potrafi odróżnić „nie mógł” od „nigdy nie otrzymał działającej pętli narzędziowej”.

Nanbeige4.3-33B natomiast ma dwa dni. Jego repozytorium utworzono 24 października 2026 r. o 02:49 UTC, karta modelu jest jedynym ogłoszeniem, jakie Nanbeige wydało, a tabela 20 wierszy na tej karcie to jedyne źródło wszystkich liczb, które obecnie na jego temat krążą. Gemma 4 31B pojawia się w tej tabeli jako jedna z trzech kolumn porównawczych. Żadne niezależne laboratorium nie zestawiło tych dwóch modeli bezpośrednio, a żaden z dostawców nie benchmarkował drugiego poza tą jedną tabelą. Uczciwa wersja tego starcia nie jest więc tabelą wyników. To spór o to, które wiersze przetrwają weryfikację, a które mierzą sam harness.

Czym tak naprawdę jest każdy model

Te dwa wydania dzieli sześć i pół miesiąca — i widać to w przyjętych założeniach projektowych.

• Parametry — Nanbeige4.3-33B to model gęsty o 33,1 mld parametrów (33 118 977 024 w BF16), każdy parametr aktywny przy każdym tokenie. Gemma 4 31B to model gęsty o 30,7 mld parametrów. Żaden z nich nie jest mieszaniną ekspertów, więc przepustowość skaluje się wraz z pełną liczbą wag po obu stronach.

• Kontekst — Nanbeige4.3-33B natywnie oferuje 524 288 tokenów. Gemma 4 31B oferuje 262 144. Oba są nietypowo duże jak na tę klasę parametrów; u Nanbeige jest dwukrotnie większy.

Modalność — Nanbeige4.3-33B to tekst na wejściu i tekst na wyjściu, w językach angielskim i chińskim. Gemma 4 31B przyjmuje zarówno obrazy, jak i tekst, została wstępnie wytrenowana na ponad 140 językach i oferuje natywne wywoływanie funkcji oraz konfigurowalny tryb rozumowania.

• Licencja — oba projekty są objęte licencją Apache 2.0. To rzadkie porównanie, w którym kwestia licencji jest rozstrzygnięta, zanim zaczniesz.

• Wagi na dysku — Nanbeige4.3-33B ma około 66 GB w BF16 i około 20 GB przy 4 bitach. Gemma 4 31B mieści się w tym samym przedziale. Żaden z nich nie jest modelem na laptopa; oba są modelami na pojedynczą stację roboczą lub pojedynczy węzeł.

Jedyną rzeczą, która nie jest wyrównana, jest dystrybucja. Gemma 4 31B ma zarządzane API, endpoint, który Artificial Analysis obecnie wykazuje jako bezpłatny, oraz niezależne omówienia. Nanbeige4.3-33B ma wagi, kartę modelu i — jak mówi sama karta — żadnego dostawcę inferencji, który by go wdrażał. Ta asymetria nie jest oceną jakości, ale zmienia koszt „wypróbowania go”.

Kolumna dostawcy i własna karta Google nie są zgodne

Dwa wiersze w tabeli Nanbeige można sprawdzić zestawiając je z opublikowanymi przez Google danymi, i tylko jeden z nich się zgadza.

• AIME 2026 — Nanbeige przypisuje Gemma 4 31B wynik 89,2. Google podaje 89,2. Dokładne dopasowanie.

• GPQA Diamond — Nanbeige przypisuje Gemma 4 31B wynik 91,3 i to jedyny wiersz, w którym Gemma pokonuje własny wynik Nanbeige wynoszący 89,5. Opublikowany przez Google wynik dla tego modelu to 84,3. To siedmiopunktowa rozbieżność, a żadna z kart nie wyjaśnia konfiguracji, która za nią stoi.

Ten drugi wiersz zasługuje na uwagę, ponieważ jest to jedyne miejsce, w którym tabela dostawcy daje przeciwnikowi zwycięstwo. Jeśli liczba pochodzi z ponownego uruchomienia przy maksymalnym wysiłku rozumowania, jest to uzasadniony wynik i Gemma naprawdę prowadzi w pytaniach naukowych na poziomie absolwenckim. Jeśli pochodzi z ewaluacji skonfigurowanej inaczej, tabela porównuje dwie różne Gemmy. Tak czy inaczej, zdanie „Gemma wygrywa GPQA”, powtarzane w każdym wtórnym opracowaniu w tym tygodniu, opiera się na liczbie, której Google nie publikuje.

Reszta kolumny Gemma jest trudniejsza do audytu, ponieważ Google raportuje inne benchmarki. Tabela Nanbeige umieszcza Gemmę na poziomie 18,6 w Tau3-Bench; karta Google podaje 86,4 w τ²-bench. To są różne wersje rodziny benchmarków, więc nie są sprzeczne — ale też nie stanowią porównania, a dzieląca je różnica 68 punktów jest rozsądnym szacunkiem tego, jak bardzo wybór harnessu i wersji może przesunąć wynik pojedynczego modelu.

Prawidłowe odczytywanie zer

Trzy wiersze w kolumnie Gemma są bliskie zeru: 0,0 w Terminal-Bench 4.0, 2,7 w DeepSWE i 3,3 w SWE-Atlas-QnA. To właśnie te wiersze krążą w mediach społecznościowych i są najmniej wartościowymi informacyjnie liczbami w tabeli.

Wynik bliski zeru w benchmarku agentowym ma co najmniej trzy możliwe przyczyny: model nie potrafi wykonać zadania, model nie potrafi obsługiwać narzędzi udostępnianych przez harness albo harness został dostrojony pod inny szablon czatu i format wywołań narzędzi. Karta modelu Nanbeige wyraźnie podaje, że jej własne wyniki wykorzystywały Terminus 2 dla Terminal-Bench 2.1 oraz mini-swe-agent v2.4.6 dla Terminal-Bench 4.0, DeepSWE i SWE-Atlas-QnA. Nie mówi jednak, czy Gemma 4 31B otrzymała ten sam scaffold z własnym formatem wywołań narzędzi, czy została wrzucona w zorientowany na XML format Nanbeige. Dają one bardzo różne liczby, a tylko jedna z tych sytuacji dotyczy modelu.

To nie jest powód, by odrzucać wynik Nanbeige. Nanbeige4.3-33B został zbudowany wokół programowania agentowego — jego karta zaleca format wywołań narzędzi XML, preserve_thinking=true dla wieloturow ego użycia narzędzi oraz temperaturę 1.0 dla zadań agentowych — więc nie jest zaskoczeniem, że dobrze wypada w środowisku testowym zbudowanym dla niego. To jest powód, by traktować kolumnę Gemma jako dolną granicę, a nie werdykt.

Benchmarki asymetrii nie wyceniają: obrazy

Gemma 4 31B obsługuje obrazy. Nanbeige4.3-33B nie. To jedno zdanie decyduje o większej liczbie rzeczywistych wdrożeń niż jakikolwiek wiersz w tabeli.

Jeśli Twój agent odczytuje zrzuty ekranu, faktury, wykresy, zeskanowane formularze lub stany interfejsu, Nanbeige4.3-33B nie jest kandydatem niezależnie od wyniku benchmarku. Musiałbyś umieścić przed nim osobny model ekstrakcji, z własnym opóźnieniem, kosztem i trybami awarii, a jakość całego potoku byłaby wtedy jakością modelu ekstrakcji, a nie modelu 33B. Gemma wykonuje ten krok natywnie, a opublikowane przez Google wyniki MMMU-Pro 76,9 i MATH-Vision 85,6 sugerują, że robi to kompetentnie, a nie ceremonialnie.

Odwrotnie — jeśli praca jest wyłącznie tekstowa: kod, logi, długie dokumenty, wieloturowe ślady narzędzi — możliwość obsługi obrazów jest zbędnym balastem, za który płacisz przy każdym przebiegu w przód. To właśnie przypadek, dla którego zbudowano Nanbeige, a stanowi to dużą część pracy agentowej.

512K kontra 256K, i do czego służy okno

Okno 524 288 tokenów Nanbeige jest dwukrotnie większe niż 262 144 u Gemma, a obie liczby są wystarczająco duże, że różnica ma znaczenie tylko w określonych rodzajach pracy.

Okno 256K mieści w przybliżeniu ilość kodu źródłowego średniej wielkości repozytorium, czyli kilkaset stron tekstu. Okno 512K mieści dwa razy tyle. W przypadku jednego długiego dokumentu plus długiej odpowiedzi oba są wystarczające; w przypadku agenta, który gromadzi dane wyjściowe narzędzi przez setki tur, większe okno zapewnia więcej tur przed podsumowaniem lub usunięciem. Karta Nanbeige zaleca do 262 144 nowych tokenów na rozumowanie i czat, co sugeruje, że praktyczny budżet rozumowania jest bliższy 256K niż pełnym 512K. Górny limit danych wyjściowych Gemmy jest powszechnie konfigurowany na 131 072.

Żaden z dostawców nie publikuje tu benchmarku przywoływania długiego kontekstu, więc nie ma uczciwego sposobu, by stwierdzić, czyj 512K lub 256K jest lepiej wykorzystywany. Rozmiar kontekstu to deklaracja pojemności, a nie jakości, i obie karty na tym poprzestają.

Ile kosztuje połączenie z każdym z nich

Gemma 4 31B to jedyny z tych dwóch modeli, który możesz dziś wywołać jako usługę. W OrcaRouter kosztuje 0,13 USD za milion tokenów wejściowych i 0,38 USD za milion tokenów wyjściowych, a tokeny wejściowe z pamięci podręcznej — 0,02 USD. To przekazanie ceny katalogowej dostawcy bez doliczonej marży, dlatego też zmiana ceny przez dostawcę trafia do naszego katalogu tego samego dnia, w którym zostaje ogłoszona. Artificial Analysis obecnie podaje własny endpoint Google z ceną 0,00 USD za wejście i 0,00 USD za wyjście, co niemal na pewno odzwierciedla promocję lub darmowy plan, a nie trwałą cenę; traktuj to jako kanał próbny, a nie pozycję budżetową.

Nanbeige4.3-33B nie ma ceny za token, którą można podać. Wagi są darmowe na licencji Apache 2.0, a karta modelu stwierdza, że żaden dostawca wnioskowania nie wdraża tego modelu. Uruchomienie go oznacza cztery GPU przy rozmiarze równoległości tensorowej 4 zgodnie z własnymi przepisami karty dla vLLM i SGLang, utrzymywane w gotowości niezależnie od tego, czy przychodzą żądania. Koszt krańcowy tokena to wtedy Twoja energia elektryczna i współczynnik wykorzystania, a nie cennik. Każdy, kto porównuje „$0.13 za wejście” z „darmowe”, porównuje rachunek z nakładem kapitałowym.

To jest również praktyczny argument za utrzymaniem routera w pętli, nawet gdy nowy model jest hostowany samodzielnie. Decyzja, przed którą faktycznie stoi większość zespołów, to nie „zastąp Gemmę”, lecz „wyślij 5% ruchu do nowego rozwiązania i zobacz, co się stanie”. Utrzymanie dotychczasowego rozwiązania dostępnego przez jeden klucz, z automatycznym przełączaniem awaryjnym, jeśli punkt końcowy eksperymentu padnie, sprawia, że jest to zmiana routingu, a nie migracja.

Kiedy Gemma 4 31B jest po prostu właściwą odpowiedzią

Cztery warunki rozstrzygają to bez tabeli porównawczej.

• Obciążenie obejmuje obrazy, pliki PDF lub zrzuty ekranu. Gemma, bez dwóch zdań.

• Potrzebujesz czegoś więcej niż angielskiego i chińskiego. Gemma była wstępnie trenowana na ponad 140 językach; Nanbeige wymienia dwa.

• Nie chcesz posiadać własnych GPU. Gemma ma dziś zarządzany endpoint; Nanbeige ma wagi i przepis wdrożeniowy.

• Potrzebujesz drugiej opinii na temat jakości. Gemma ma wskaźnik Artificial Analysis Intelligence Index wynoszący 15, który jest umiarkowany, ale niezależny. Nanbeige w ogóle nie ma tam wpisu, więc każda liczba na jego temat pochodzi od dostawcy, który sam sobie wystawia ocenę.

Odwróć te warunki, a sprawa Nanbeige jest równie jasna: praca agentowa wyłącznie na tekście, długi ślad wywołań narzędzi, zespół z GPU i gotowość do uruchamiania zalecanego przez Nanbeige formatu narzędzi XML. W przypadku takiego profilu pracy własna tabela Nanbeige podaje przewagę 33,7 punktu na Terminal-Bench 2.1 — 80,9 wobec 47,2 — oraz 62,8 punktu na DeepSWE. Te różnice są na tyle duże, że prawdopodobnie zawierają realny sygnał nawet po odliczeniu przewagi wynikającej z harnessu. Nie są jednak na tyle duże, by bez samodzielnego uruchomienia testu opierać na nich ścieżkę produkcyjną.

Popołudniowy bake-off bije ten stół.

Jeśli naprawdę wybierasz między nimi, ten test jest tani i nie wymaga wiary w któregokolwiek z dostawców. Weź dwadzieścia rzeczywistych zadań z własnych logów agenta. Uruchom każdy model w jego zalecanym formacie wywołań narzędzi i ustawieniach myślenia — XML dla Nanbeige, natywne wywoływanie funkcji dla Gemma — i oceń ukończenie zadań, a nie podobieństwo do benchmarku. Zapisuj liczbę tokenów zużytych na ukończone zadanie, ponieważ gęsty model 33B i gęsty 30,7B będą się różnić poziomem szczegółowości nawet przy identycznych cenach za token.

To, czego dowiesz się w ciągu jednego popołudnia, to czy przewaga agentowa Nanbeige przetrwa przewagę, jaką daje jej własny harness. Dopóki ktoś tego nie opublikuje, możliwe do obrony podsumowanie jest węższe niż nagłówki: Gemma 4 31B jest modelem łatwiejszym do wdrożenia i jedynym z niezależnym wynikiem; Nanbeige4.3-33B jest modelem ambitniejszym, z natywnym oknem 512K i zestawem samodzielnie zgłaszanych wyników agentowych, które są uderzające, niezaudytowane i mają dwa dni.