Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: Nauczyciel kontra wykonawca

NVIDIA Nemotron 3.5 Lightning 30B A3B osiąga 294,9 tokenów wyjściowych na sekundę. Nanbeige4.3-33B nie ma w ogóle opublikowanej prędkości, ponieważ nikt go nie udostępnia. Te dwa fakty mówią o tym starciu więcej niż jakikolwiek wiersz benchmarku: jeden model to zaprojektowany pod przepustowość produkt z cennikiem i koncepcją wdrożenia na pojedynczym GPU, a drugi to gęsty checkpoint o 33 miliardach parametrów, który trafił na Hugging Face 24 października 2026 r. z kartą modelu i bez dostawcy wnioskowania. Oba są „klasy 30B”. Nie są tym samym rodzajem obiektu.

To porównanie warto przeprowadzić, ponieważ oba rozwiązania są kierowane do tego samego nabywcy — kogoś, kto buduje długotrwale działającego agenta, który musi wykonywać wiele drobnych kroków bez rachunku za model frontierowy. Odpowiedzią NVIDIA jest zmniejszenie obliczeń na token. Odpowiedzią Nanbeige jest uczynienie większego, gęstszego modelu wystarczająco dobrym w pracy agentowej, by wystarczył jeden. To przeciwstawne zakłady, a dowody na rzecz każdego z nich są zupełnie innego rodzaju.

3,6 miliarda aktywnych parametrów to cały argument

Nemotron 3.5 Lightning 30B A3B to hybrydowy model typu mixture-of-experts: 31,6 mld parametrów łącznie, 3,6 mld aktywnych na token, rozłożonych na 52 warstwy — 23 Mamba-2, 23 MoE i 6 warstw uwagi. Kieruje do 128 ekspertów i aktywuje 6 z nich plus eksperta współdzielonego. Ta architektura sprawia, że model może utrzymać około 295 tokenów na sekundę na zarządzanym punkcie końcowym, podczas gdy gęsty model klasy 30B zwykle osiąga zakres 40–80.

Nanbeige4.3-33B jest gęsty. Wszystkie 33,1 miliarda parametrów uruchamia się przy każdym tokenie. Nie ma routingu, nie ma rzadkości ekspertów, nie ma warstwy Mamba. To świadomy wybór o jasnym następstwie: każdy token kosztuje około dziewięć razy więcej aktywnej mocy obliczeniowej niż w Lightning, a model potrzebuje około 66 GB wag w BF16 — lub około 20 GB przy 4 bitach — utrzymywanych w pamięci, zanim cokolwiek wygeneruje.

Żadne z tych rozwiązań nie jest lepsze samo w sobie. Gęste modele są zwykle łatwiejsze do dostrojenia i bardziej przewidywalne pod względem jakości; rzadkie modele są zwykle tańsze i szybsze w obsłudze przy tym samym nominalnym rozmiarze. Pytanie brzmi, której z tych właściwości brakuje Twojemu obciążeniu.

Do czego każdy model został stworzony

NVIDIA pozycjonuje Lightning jako warstwę wykonawczą stale działającego agenta — model, który przejmuje plan z większego systemu i mozolnie realizuje wywołania narzędzi, edycje plików i kroki w przeglądarce przy niskim koszcie. Jest destylowany z Nemotron 3 Ultra, dostarczany z wbudowanym w pretrening spekulacyjnym dekodowaniem z wielotokenową predykcją oraz osobnymi modelami draft, a także dostrojony pod harnessy, a nie pod czat. Jego opublikowany zestaw benchmarków to odzwierciedla: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 około 23,5–24,6.

Nanbeige4.3-33B jest pozycjonowany jako model nauczyciel. Karta mówi to wprost: to flagowiec serii 4.3, przeznaczony do destylacji do mniejszych modeli, takich jak niewydany Nanbeige4.3-3B. Jego zestaw benchmarków jest odpowiednio szeroki — 20 wierszy obejmujących kodowanie agentowe, współpracę agentową i rozumowanie — a zalecane ustawienia to ustawienia modelu, który uruchamiasz samodzielnie: rozmiar równoległości tensorowej 4, wywołania narzędzi XML, preserve_thinking=true w przypadku wieloturowego użycia narzędzi.

Jeden jest komponentem w czyimś systemie. Drugi jest modelem źródłowym dla rodziny. To ujęcie wyjaśnia niemal każdą różnicę poniżej.

Jedynego wspólnego punktu odniesienia, jaki mają, nie da się odjąć.

Obie karty podają Terminal-Bench 2.1. Nanbeige twierdzi, że wynik wynosi 80,9. Opublikowany przez NVIDIA zakres dla Lightning to około 23,5–24,6. Na pierwszy rzut oka to różnica 56 punktów i to właśnie ta liczba będzie przytaczana.

Nie powinno tak być. Terminal-Bench mierzy model w obrębie szkieletu agenta, a obaj dostawcy nie opisują tego samego szkieletu. Karta Nanbeige mówi, że jej przebieg Terminal-Bench 2.1 używał Terminus 2 i że jej modele oceniano przy najwyższym wysiłku myślowym, ze wspólnym harnessem i wspólnymi parametrami wnioskowania. Liczby NVIDIA pochodzą z jej własnego wewnętrznego harnessu, który sama firma wskazuje jako potencjalnie różniący się od wyników stron trzecich. Gęsty model 33B z korzystną pętlą i model o 3,6B aktywnych parametrów ze standardową pętlą mogą różnić się o dziesiątki punktów, przy czym żaden z modeli nie jest przedstawiony błędnie.

Uczciwa interpretacja jest kierunkowa, a nie liczbowa: Nanbeige twierdzi, że osiąga znacznie lepsze wyniki w zadaniach agentowych w terminalu, a twierdzenie to nie zostało zweryfikowane po żadnej ze stron. Ta sama ostrożność dotyczy GPQA Diamond (Nanbeige 89,5; Lightning 74,3–75,6) oraz AA-LCR (Nanbeige 84,0; Lightning 52,0–60,3). Te różnice są wystarczająco duże, że część różnicy wynika prawdopodobnie z rzeczywistych możliwości, a nie z samego harnessu. Ale „prawdopodobnie” odgrywa w tym zdaniu dużą rolę, a żadna strona trzecia nie przeprowadziła tego porównania.

To, co nie budzi wątpliwości, to niezależne pokrycie. Artificial Analysis przyznaje modelowi Nemotron 3.5 Lightning 13 punktów w swoim Intelligence Index. Nie ma tam wpisu dla Nanbeige4.3-33B. Jeden model ma drugą opinię; drugi ma kartę modelu. Ta asymetria jest informacją i działa przeciwko dostawcy z głośniejszą tabelą.

1M kontekstu na papierze, 256K w praktyce

Artificial Analysis podaje, że okno kontekstu modelu Lightning wynosi 1 milion tokenów. Dokumentacja samej firmy NVIDIA jest bardziej konserwatywna: 262 144 tokeny to praktyczny limit na pojedynczym H100. Obie liczby mogą być prawdziwe — architektura obsługuje dłuższe okno, ale sprzęt, na którym prawdopodobnie będziesz go uruchamiać, nie pomieści go komfortowo.

Okno 524 288 tokenów modelu Nanbeige4.3-33B to wytrenowane okno w modelu gęstym, a koszt pamięci pamięci podręcznej KV skaluje się wraz z nim. Konfiguracje vLLM i SGLang podane dla tej karty wykorzystują 0,8 wykorzystania pamięci GPU oraz rozmiar równoległości tensorowej 4, co wskazuje, że docelowe wdrożenie nie jest przeznaczone na pojedynczą kartę.

W przypadku pracy z agentami praktyczna różnica dotyczy w mniejszym stopniu maksimum, a w większym tego, co przetrwa długi przebieg. Hybrydowe warstwy Mamba w Lightning są zaprojektowane tak, aby utrzymywać niski koszt stanu przez długie sekwencje; gęsta uwaga Nanbeige już nie. NVIDIA publikuje również AA-LCR na poziomie 52,0–60,3, co jest wynikiem rozumowania w długim kontekście, a Nanbeige publikuje 84,0 na tym samym benchmarku. Jeśli wierzysz obu tabelom, rozumowanie Nanbeige w długim kontekście jest znacznie silniejsze. Jeśli wierzysz tylko tej administrowanej niezależnie, wynik Lightning jest jedynym, który możesz sprawdzić.

Arytmetyka hostowania gęstego modelu 33B

To tutaj porównanie przestaje dotyczyć jakości, a zaczyna dotyczyć wykorzystania.

Lightning jest wyceniony na 0,06 USD za milion tokenów wejściowych i 0,20 USD za milion tokenów wyjściowych w zarządzanym punkcie końcowym. Nanbeige nie ma cennika, ponieważ żaden dostawca go nie wdraża; karta mówi to wprost. Aby go używać, wynajmujesz lub kupujesz GPU i postępujesz zgodnie z recepturą czterokierunkowej równoległości tensorowej.

Załóżmy, wyłącznie na potrzeby obliczeń, że cztery GPU klasy H100 kosztują 2 USD każde za godzinę — 8 USD za godzinę za węzeł. Aby wyjść na zero względem ceny tokenów wyjściowych Lightning, ten węzeł musi wytwarzać 40 milionów tokenów wyjściowych na godzinę, czyli około 11 100 tokenów na sekundę w trybie ciągłym. Gęsty model 33B na czterech GPU tego nie osiągnie. Nawet przy jednej dziesiątej kosztu GPU przepustowość zapewniająca wyjście na zero przekracza tysiąc tokenów na sekundę w trybie ciągłym, co oznacza poważną operację serwowania, a nie poboczny eksperyment.

Wniosek nie jest taki, że Nanbeige jest drogi. Jest taki, że samodzielne hostowanie gęstego modelu 33B pokonuje wykonawcę w cenie 0,20 USD za milion tokenów tylko przy bardzo wysokim i bardzo stabilnym wykorzystaniu — albo gdy pracy nie można wyprowadzić poza własną infrastrukturę, a wtedy porównanie nigdy nie dotyczyło ceny. Przy nieregularnym lub niskim wolumenie zarządzany model rzadki wygrywa pod względem kosztu z dużą przewagą, zanim jakość w ogóle wejdzie do dyskusji.

Gdzie router wpisuje się w system dwóch modeli

Architektura, którą sprzedaje NVIDIA — planista klasy frontier, tani wykonawca — to architektura, do której i tak trafia większość zespołów budujących agentów. To także kształt, pod który stworzono warstwę routingu: nasz DSL routingu łączy kilka modeli w jedno wywołanie, dzięki czemu planista i wykonawca mogą działać za jednym endpointem, a automatyczne przełączanie awaryjne sprawia, że zmagający się z problemami wykonawca nie zamienia się w zablokowanego agenta.

Nie oferujemy dziś Nemotron 3.5 Lightning 30B A3B ani Nanbeige4.3-33B, więc nie jest to oferta dostępności którejkolwiek z nich. To uwaga o tym, gdzie ląduje koszt integracji. Jeśli hostujesz Nanbeige samodzielnie jako planner i wywołujesz hostowany model jako executor, ten podział warto wyrazić jako reguły routingu, a nie zakodować na sztywno w aplikacji — ponieważ model, który ma trafić do każdego slotu, zmieni się, zanim minie kwartał.

Budżet opóźnienia decyduje o więcej niż ranking.

• Jeśli pojedynczy krok agenta musi zwracać wynik w mniej niż sekundę: Lightning. Przy 295 tokenach na sekundę odpowiedź o długości 300 tokenów pojawia się w około sekundę; gęsty model 33B na własnym sprzęcie tego nie dokona, a Nanbeige nie ma hostowanej opcji, z którą można by go porównać.

• Jeśli ten krok to długi przebieg rozumowania na początku przepływu pracy: deklarowane przez Nanbeige przewagi w GPQA, AA-LCR i wierszach agentowych przemawiają za tym — z zastrzeżeniem dotyczącym harnessu wspomnianym powyżej.

• Jeśli praca jest w języku chińskim: Nanbeige. Języki publikowane przez Lightning to angielski, hiszpański, francuski, niemiecki, włoski i japoński.

• Jeśli praca jest europejska i wielojęzyczna: Lightning. Nanbeige wymienia tylko angielski i chiński.

• Jeśli nie masz GPU i nie masz na nie ochoty: Lightning, bez konkurencji.

• Jeśli dane nie mogą opuścić Twojej sieci: Nanbeige, a porównanie kosztów staje się decyzją dotyczącą infrastruktury, a nie kwestią ceny tokenów.

Otwarte pytanie

Nanbeige4.3-33B ma dwa dni i nie ma żadnej historii serwowania. To właśnie ten fakt datuje ten artykuł. Jeśli jakiś dostawca go podchwyci — a twierdzenie karty, że dziś nie robi tego żaden, jest tym, na co trzeba uważać — strona kosztowa tego porównania zmienia się całkowicie, ponieważ hostowany gęsty model 33B w konkurencyjnej cenie za token podważyłby cały argument za mniejszym rzadkim executorem w zadaniach wrażliwych na jakość.

Do tego czasu możliwa do obrony pozycja jest wąska. Nemotron 3.5 Lightning 30B A3B to model, który możesz wdrożyć już dziś, w opublikowanej cenie, z niezależnym wynikiem i około dziewięciokrotnie mniejszym nakładem obliczeń na token. Nanbeige4.3-33B to model, który na papierze brzmi na bardziej zdolny, z natywnym oknem 512K i samodzielnie raportowanymi wskaźnikami agentowymi, których nikt nie odtworzył. Jeśli Twój agent jest ograniczany przez opóźnienia i koszty, wybór już zapadł. Jeśli jest ograniczany przez jakość i dysponujesz sprzętem, ten wybór wart jest przetestowania — a test nie został jeszcze przeprowadzony.