Nanbeige4.3-33B vs Gemma 4 26B-A4B: nauczyciel bez punktu końcowego kontra koń roboczy za sześć centów

Porównywanie Nanbeige4.3-33B z Gemma 4 26B-A4B na benchmarku to zły pierwszy krok, a powodem nie jest to, że liczby są blisko siebie czy daleko od siebie. Powód jest taki, że tylko jeden z tych dwóch modeli ma cenę. Gemma 4 26B-A4B to model hostowany w OrcaRouter za 0,06 USD za milion tokenów wejściowych i 0,33 USD za milion tokenów wyjściowych, z oknem 262 144 tokenów i p50 czasu do pierwszego tokenu wynoszącym 826 milisekund. Nanbeige4.3-33B nie ma punktu końcowego, cennika ani dostawcy wnioskowania wymienionego w swoim repozytorium — jego koszt to cztery GPU i rachunek za prąd.

Zatem prawdziwe pytanie nie brzmi, który model uzyskuje wyższy wynik. Brzmi ono, czy różnica w możliwościach między gęstym nauczycielem z 33 miliardami parametrów a modelem mieszaniny ekspertów z 26 miliardami parametrów, który aktywuje 3,8 miliarda parametrów na token, jest warta przejścia z pozycji rozliczanej według zużycia na pozycję kapitałową. To pytanie, na które można odpowiedzieć za pomocą arytmetyki, a arytmetyka jest mniej pochlebna dla większego modelu, niż sugeruje tabela benchmarków.

Wynik indeksu nie ma numeru partnera

Nanbeige4.3-33B zajmuje 20. miejsce w Artificial Analysis Intelligence Index v5.0.1. Gemma 4 26B-A4B nie ma w ogóle wyniku dla wersji v5: jej strona w Artificial Analysis podaje wynik zbiorczy jako N/A, stwierdza „Nieznana wartość na 4 jednostki w kategorii Intelligence” i zauważa, że nie ma publicznie dostępnego API, względem którego można uruchomić obecny zestaw testowy. Cokolwiek uzyskała w ramach wcześniejszego indeksu, należy do kryteriów oceny, które już nie istnieją.

Tych dwóch faktów nie można od siebie odjąć. Indeks v5 to inny, przeliczony na nową podstawę zestaw ewaluacyjny niż jego poprzednicy, a model, który dobrze wypadł w starej metodologii, niekoniecznie znalazłby się choćby w pobliżu tego samego miejsca w nowej. Każdy, kto pokazuje ci porównanie „20 kontra cokolwiek Gemma uzyskała w zeszłym roku”, porównuje dwa różne egzaminy. Uczciwe stwierdzenie brzmi: Gemma 4 26B-A4B nie została zmierzona w obecnym wskaźniku złożonym, a Nanbeige4.3-33B jest zmierzona na poziomie 20, i dopóki obie nie pojawią się w v5, nie ma delty indeksu, którą można by podać.

To, co faktycznie istnieje na wspólnym harnessie, to Terminal-Bench. Artificial Analysis uruchomiło Gemma 4 26B-A4B z wynikiem 39,0% na Terminal-Bench 2.1. Uruchomiło Nanbeige4.3-33B z wynikiem 29,8% na Terminal-Bench 4.0 — innym i trudniejszym benchmarku, więc znowu nie jest to różnica. Własna karta Nanbeige twierdzi 80,9 na Terminal-Bench 2.1 dla Nanbeige4.3-33B wobec 73,0 dla Qwen3.8-27B, ale ten wiersz jest raportowany przez dostawcę z harnessem Terminus 2 i nie został niezależnie odtworzony. Czytaj to jako „Nanbeige uważa, że jest tu mocny”, a nie jako liczbę.

Do czego każdy model jest faktycznie ukształtowany

Architektura mówi ci więcej niż benchmarki, ponieważ obie konstrukcje optymalizują pod przeciwstawne ograniczenia.

• Kształt — Nanbeige4.3-33B ma 33,1 mld parametrów, wszystkie gęste, aktywowane przy każdym tokenie. Gemma 4 26B-A4B ma łącznie 25,2 mld, z około 3,8 mld aktywnych na token, co daje stosunek 6,6:1.

• Pamięć na wagi — 66,3 GB w bfloat16 dla Nanbeige4.3-33B w czternastu shardach. Gemma 4 26B-A4B mieści się w około 18 GB przy 4 bitach, co odpowiada jednej karcie konsumenckiej.

• Kontekst — 524 288 tokenów natywnie dla Nanbeige4.3-33B, bez zastosowanego skalowania, w porównaniu z 262 144 dla Gemma 4 26B-A4B. Oba są serwowane przy 262K na OrcaRouter dla modelu Gemma.

• Modalność — tekst na wejściu, tekst na wyjściu, angielski i chiński, dla Nanbeige4.3-33B. Gemma 4 26B-A4B przyjmuje tekst, obraz i wideo, a zwraca tekst, co przesądza o wyniku porównania dla każdego potoku, który odczytuje zrzuty ekranu.

• Licencja — Apache 2.0 w obu przypadkach, więc sytuacja prawna jest identyczna, a decyzja ma charakter czysto techniczny i ekonomiczny.

• {{1}}Rozumowanie{{/1}} — oba są domyślnie dostarczane z włączonym myśleniem i oba udostępniają sposób, aby je ograniczyć. {{2}}Nanbeige4.3-33B{{/2}} zaleca pułap {{3}}262,144 tokenów{{/3}} dla rozumowania i {{4}}65,536{{/4}} dla pracy agentowej; {{5}}Gemma 4 26B-A4B{{/5}} w praktyce ogranicza wyjście znacznie niżej, do około {{6}}33 tys. tokenów{{/6}} na większości tras.

Ta ostatnia para jest kluczowa. Model Nanbeige jest zbudowany do długiego działania — długich sesji terminalowych, długich trajektorii agenta, długich łańcuchów rozumowania — a każdy z tych tokenów kosztuje czas GPU według stawek modeli gęstych. Model Gemma jest zbudowany tak, aby był tani na token, dlatego Google może udostępniać go przy 3,8 mld aktywnych parametrów i dlatego rozpoczęcie rozmowy kosztuje sześć centów.

Przykład krok po kroku, ponieważ to decyzja kosztowa

Weź zadanie, które odczytuje 20 000 tokenów wejściowych i generuje 3 000 tokenów wyjściowych, i uruchamiaj je tysiąc razy dziennie.

W cenniku Gemma 4 26B-A4B w OrcaRouter każde wywołanie kosztuje 20 000 × 0,06 USD za milion tokenów wejściowych — 0,0012 USD — plus 3000 × 0,33 USD za milion tokenów wyjściowych — 0,00099 USD. To daje 0,00219 USD za wywołanie, czyli 2,19 USD za tysiąc wywołań, albo około 66 USD miesięcznie przy takim wolumenie.

Na Nanbeige4.3-33B nie ma ceny za wywołanie do obliczenia, ponieważ nie ma wywołania. Potrzebujesz sprzętu. Przy bfloat16 same wagi to 66.3 GB, co nie mieści się na jednej karcie 80 GB razem z użytecznym cache KV, gdy kontekst rośnie: każdy token w cache kosztuje około 208 KiB, więc rozmowa o 32K tokenów dodaje około 6.5 GiB na sekwencję. Czterokierunkowa równoległość tensorowa to konfiguracja zakładana przez kartę modelu Nanbeige i jest to minimum dla poważnego wdrożenia, zanim doliczysz drugi węzeł potrzebny do redundancji.

Zestaw je obok siebie, a uczciwy wniosek jest taki, że przy niskim wolumenie te dwa modele nie są substytutami. Poniżej kilku milionów tokenów dziennie Gemma 4 26B-A4B jest tańsza o rząd wielkości, a różnica w możliwościach agentowych musiałaby być ogromna, żeby to zniwelować. Powyżej tego wolumenu stały koszt samodzielnego hostowania ulega amortyzacji i porównanie staje się realne — a to dokładnie wtedy, gdy zaczyna mieć znaczenie przewaga modelu 33B w długim horyzoncie.

Gdzie gęsty model się opłaca

Argument za Nanbeige4.3-33B nie brzmi „jest lepszy”. Brzmi „robi coś konkretnego, co tani model robi źle”, a niezależne liczby wskazują, o co chodzi.

Terminal-Bench 4.0 na poziomie 29,8% to, według własnej tablicy Artificial Analysis, 56. najlepszy wynik spośród wszystkich konfiguracji w tym benchmarku. To nie jest liczba do nagłówków. Jest jednak około pięciokrotnie wyższa niż to, co Qwen3.8-27B osiąga przy najwyższym ustawieniu rozumowania na tym samym stanowisku testowym, a jest to benchmark zbudowany wokół długoterminowej pracy w terminalu — rodzaju zadania, w którym model, który poddaje się wcześnie, dostaje zero niezależnie od tego, jak dobrze rozumuje.

Ten sam wzorzec pojawia się w danych kalibracyjnych. Nanbeige4.3-33B osiąga 11,7% dokładności w AA-Omniscience, ale 81,8% wskaźnika niehalucynacji, zajmując siódme miejsce w całym serwisie. W pętli agentowej model, który mówi „nie wiem”, zamiast wymyślać ścieżkę, jest wart więcej niż model o pięć punktów lepszy w ciekawostkach, który fabrykuje, gdy kończy mu się droga. Odpowiednie dane kalibracyjne Gemma 4 26B-A4B nie są publikowane w obecnym kompozycie, więc to twierdzenie dotyczy Nanbeige, a nie porównanie.

To, co rozstrzyga sprawę w przypadku większości zespołów

Do obu modeli można uzyskać dostęp za pomocą jednego klucza, jeśli chcesz przetestować tezę, a nie tylko o niej czytać. Gemma 4 26B-A4B znajduje się w katalogu OrcaRouter w cenie podanej powyżej, z oknem 262K i routingiem z zerowym przechowywaniem danych dostępnymi w tym samym punkcie końcowym. Nanbeige4.3-33B nie ma w katalogu — nie hostujemy go i nic tutaj nie powinno być odczytywane jako twierdzenie, że go hostujemy.

To, co ta asymetria oznacza w praktyce, sprowadza się do tego, że tania strona tego porównania to pięciominutowy eksperyment, a droga strona to postępowanie zakupowe. Jeśli Twoje obciążenie jest multimodalne, wolumen wynosi poniżej kilku milionów tokenów dziennie albo potrzebujesz odpowiedzi w tym tygodniu, Gemma 4 26B-A4B wygrywa samą dostępnością i pytanie o benchmark w ogóle nie zostaje zadane.

Jeśli twoim obciążeniem jest długoterminowa automatyzacja terminala, już wiesz, że model z 4B aktywnych parametrów gdzieś w drugiej godzinie zgubi wątek, a 29,8% to liczba, na której ci zależy. Wtedy pojawia się pytanie, czy stać cię na cztery GPU, a żaden benchmark nie odpowie na to za ciebie.