Nanbeige4.3-33B vs Qwen3.8 27B: Audyt twierdzenia o 18 z 20

Nanbeige4.3-33B bije Qwen3.8-27B w 18 z 20 benchmarków. To twierdzenie krąży po internecie w tym tygodniu i technicznie rzecz biorąc, tak mówi karta modelu. To także zdanie z mianownikiem, a mianownik jest tu najciekawszy. Z tych 20 wierszy 19 jest ocenianych punktowo, a jeden to kwota w dolarach; cztery z 18 zwycięstw mają przewagę mniejszą niż jeden punkt; a co najmniej trzy liczby Qwen wyglądają na skopiowane z własnych opublikowanych wyników Qwen, a nie na ponownie przeliczone przez Nanbeige. To nie czyni twierdzenia fałszywym. Czyni je węższym, niż brzmi.

To zestawienie jest nietypowe, ponieważ Nanbeige wybrało Qwen3.8-27B na swojego partnera treningowego. Qwen3.8-27B ukazał się w połowie sierpnia 2026 r., ma 27,78 miliarda parametrów w architekturze gęstej, jest dostępny na licencji Apache 2.0, obsługuje multimodalność na wejściu i — w przeciwieństwie do Nanbeige4.3-33B — ma niezależny Artificial Analysis Intelligence Index wynoszący 34. To jedyne porównanie w tej partii, w którym przeciwnik ma zweryfikowany wynik, a badany model go nie ma. Ta asymetria to najlepsze narzędzie, jakie mamy do audytowania tabeli.

Kto sformułował twierdzenie i co zawiera mianownik

Tabela należy do Nanbeige. Została opublikowana na karcie modelu Nanbeige4.3-33B w serwisie Hugging Face, w repozytorium utworzonym 24 października 2026 r. Nie towarzyszy jej żaden wpis na blogu, żadne wydarzenie premierowe ani żadna reprodukcja przez stronę trzecią. Każda liczba w kolumnie Qwen i każda liczba w kolumnie Nanbeige została wygenerowana lub wybrana przez laboratorium dokonujące porównania.

20 wierszy obejmuje trzy grupy: programowanie agentowe (Terminal-Bench 2.1 i 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), współpracę agentową (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) oraz rozumowanie (GPQA Diamond, AIME 2026, AA-LCR). Harness ujawniono staranniej niż w większości kart dostawców: Terminus 2 dla Terminal-Bench 2.1, mini-swe-agent v2.4.6 dla Terminal-Bench 4.0, DeepSWE i SWE-Atlas-QnA, Claude Code dla NL2Repo i JobBench oraz GPT-6 Sol jako sędzia dla SWE-Atlas-QnA. To ujawnienie świadczy na korzyść Nanbeige. Jest też powodem, dla którego porównanie jest trudniejsze do odczytania niż pojedyncza liczba zwycięstw.

Dwa wiersze, które Nanbeige traci

• SWE-Bench Pro — Qwen3.8-27B 61,7 wobec Nanbeige4.3-33B 60,3. Przewaga Qwen wynosi 1,4 punktu.

• GDPval — Qwen3.8-27B 86,4 wobec Nanbeige4.3-33B 84,8. Przewaga Qwen o 1,6 punktu.

To są dwa wiersze, które nagłówek „18 z 20” po cichu pomija, i wskazują one w spójnym kierunku. Oba są benchmarkami profesjonalnej, cennej ekonomicznie pracy: SWE-Bench Pro to trudniejszy wariant inżynierii oprogramowania, a GDPval mierzy jakość wyników na rzeczywistych zadaniach zawodowych. Qwen wygrywa w obu, osiągając przewagi, które są niewielkie w wartościach bezwzględnych, ale stabilne w dwóch różnych rodzinach zadań. Jeśli wybierasz między tymi modelami do pracy zawodowej, a nie pod ranking, to właśnie te dwa wiersze powinieneś ważyć najciężej — i to w nich opisywany podmiot przegrywa.

Karta Nanbeige nie wyjaśnia przegranych. Nie musi — dostawca ma prawo publikować tabelę, w której wygrywa. Ale czytelnik powinien zauważyć, że przegrane skupiają się dokładnie tam, gdzie benchmark jest najbliższy pytaniu „czy profesjonalista zaakceptowałby ten wynik”, a wygrane skupiają się tam, gdzie benchmark jest najbliższy pytaniu „czy agent domknął pętlę”.

Zwycięstwa będące błędami zaokrągleń

Cztery z 18 zwycięstw rozstrzygnięto różnicą mniejszą niż jeden punkt.

• Tau3-Bench — 48,8 vs 48,5. Trzy dziesiąte punktu.

• GPQA Diamond — 89,5 vs 89,2. Trzy dziesiąte.

• AIME 2026 — 95,2 vs 94,5. Siedem dziesiątych.

• EnterpriseOps-Gym — 41.0 vs 40.2. Osiem dziesiątych.

Dwa kolejne mieszczą się w granicach około dwóch punktów: Toolathlon-Verified z wynikiem 70,4 vs 68,5 oraz AA-LCR z wynikiem 84,0 vs 82,0. W przypadku benchmarków o takiej wielkości i wariancji margines poniżej jednego punktu nie jest dowodem wyższości. Jest dowodem, że dwa modele znajdują się w tym samym przedziale. Uczciwym przeformułowaniem nagłówka byłoby: „Nanbeige wyraźnie prowadzi w 12 z 20 przypadków, remisuje w 6 i pozostaje w tyle w 2” — co nadal jest mocnym wynikiem, i to bardziej użytecznym.

Prawdziwy argument tkwi w dużych wygranych. DeepSWE: 65,5 wobec 42,5 — różnica 23 punktów. Terminal-Bench 4.0: 23,8 wobec 6,3 — 17,5. Automation Bench: 54,2 wobec 38,3 — 15,9. DeepPlanning: 63,3 wobec 49,2 — 14,1. YC-bench, zadanie wyceniane w dolarach, odnotowuje $1 025 437 wobec $641 290. To nie są zaokrąglenia. Mówią one, że Nanbeige jest lepszy w długohoryzontowym, wieloetapowym wykonywaniu — w pracy, w której model musi utrzymać plan przez dziesiątki wywołań narzędzi. To spójna historia i jest zgodna z natywnym kontekstem 512K modelu oraz jego zalecanymi ustawieniami zorientowanymi na agentów.

Kolumny mogą nie dotyczyć tego samego eksperymentu

Oto obserwacja, która komplikuje całą tabelę. Trzy wartości liczbowe Qwen dokładnie odpowiadają liczbom opublikowanym przez samo Qwen: Terminal-Bench 2.1 na 73.0, SWE-Bench Pro na 61.7 i GPQA Diamond na 89.2. Qwen publikuje wszystkie trzy. Wiersze, których Qwen nie publikuje — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — to dokładnie te wiersze, w których przewagi Nanbeige są największe.

Taki wzorzec jest spójny z dwiema różnymi metodami w obrębie jednej tabeli: skopiowane liczby dla benchmarków, które przeciwnik już opublikował, i świeże uruchomienia dla tych, których nie opublikował. To jest wniosek, a nie ujawniony fakt — karta Nanbeige mówi, że wszystkie modele oceniano przy najwyższym wysiłku myślowym, z tymi samymi parametrami inferencji i tym samym harnessem, co przemawiałoby przeciwko kopiowaniu. Ale dokładna zgodność trzech niezależnych liczb to zbieg okoliczności wart odnotowania, a jeśli kolumna Qwen jest mieszanką, to „18 z 20” w niektórych wierszach porównuje uruchomienia Nanbeige z uruchomieniami Qwen, a w innych uruchomienia Nanbeige z uruchomieniami Nanbeige.

Jest jeszcze drugi, subtelniejszy problem. Własny model Nanbeige jest uruchamiany w środowisku testowym zalecanym przez jego kartę modelu: wywołania narzędzi XML, preserve_thinking=true, temperatura 1.0 w pracy agentowej. Karta nie mówi, czy Qwen3.8-27B otrzymał własne zalecane ustawienia, czy został wrzucony do ustawień Nanbeige. Jeśli to drugie, część 23-punktowej luki w DeepSWE to różnica konfiguracji, a nie różnica zdolności. To ta sama uwaga, która dotyczy każdego porównania dostawców, i nie jest powodem, by odrzucać wynik — jest powodem, by wymagać neutralnego ponownego przebiegu, zanim uzna się go za rozstrzygnięty.

Niezależny wynik, który ma tylko jeden model

Artificial Analysis przyznaje Qwen3.8-27B wynik 34 w swoim Intelligence Index, mierzony w konfiguracji rozumowania xhigh, przy 45,2 tokenach wyjściowych na sekundę. Opóźnienie różni się w zależności od dostawcy: nasza własna strona podaje 2,95-sekundowy p50 czasu do pierwszego tokenu, w porównaniu z 3,8 sekundy zmierzonymi przez Artificial Analysis na próbkowanym przez nią punkcie końcowym. Ten indeks to kompozycja dziesięciu ewaluacji, w tym Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA i AutomationBench-AA — kilka z tych samych rodzin benchmarków, które Nanbeige raportuje we własnym zakresie.

Nanbeige4.3-33B nie ma wpisu w Artificial Analysis. To nie skandal; model ma dwa dni. Ale oznacza to, że obie strony tego porównania nie są epistemicznie równe. Liczba 34 dla Qwen to wynik zmierzony przez kogoś innego. Liczba 80,9 Nanbeige na Terminal-Bench 2.1 to wynik zmierzony przez Nanbeige. Jeśli oba są dokładne, Nanbeige prawdopodobnie wypadłby znacznie powyżej 34 w tym samym wyniku złożonym — jego Terminal-Bench 4.0 na poziomie 23,8 i SciCode na poziomie 52,6 to mocne wiersze. Rzecz w tym, że całą robotę wykonuje słowo „prawdopodobnie” i będzie ją wykonywać, dopóki niezależny ewaluator nie uruchomi modelu.

To także praktyczny powód, by traktować twierdzenie o 18 na 20 jako argument na otwarcie. To twierdzenie można obalić w konkretny, tani sposób: przekazać Nanbeige4.3-33B niezależnemu ewaluatorowi i porównać wynik zbiorczy. Dopóki to nie nastąpi, najsilniejszym uczciwym stwierdzeniem jest, że Nanbeige twierdzi, iż prowadzi w długoterminowej pracy agentowej i nieznacznie ustępuje pod względem jakości profesjonalnych wyników, oraz że tylko jeden z tych dwóch modeli został sprawdzony przez kogoś innego niż jego twórca.

Koszt na zadanie, a nie na token

Qwen3.8-27B to jedyny z tych dwóch, którego możesz dziś wywołać. W OrcaRouter kosztuje 0,33 USD za milion tokenów wejściowych i 2,40 USD za milion tokenów wyjściowych — poniżej 0,50 USD i 3,00 USD, które Artificial Analysis podaje dla punktu końcowego first-party Alibaby. Ten model jest obsługiwany na naszej własnej infrastrukturze, a nie odsprzedawany po cenniku dostawcy, dlatego plasuje się poniżej ceny first-party; w przypadku modeli, które przekazujemy dalej, zasada 0% marży oznacza, że płacisz cenę katalogową dostawcy. Tak czy inaczej, ceny za token różnią się na tyle w zależności od trasy, że punkt końcowy first-party nie jest automatycznie najtańszy. Model przyjmuje również obrazy i wideo obok tekstu oraz ma okno 262 144 tokenów.

Cena za token to jednak niewłaściwa jednostka do tego porównania. Recenzenci donoszą, że Qwen3.8-27B jest wyjątkowo „głodny” tokenów — zużywa około trzykrotnie więcej tokenów niż Qwen3.6-27B przy porównywalnych zadaniach — a Artificial Analysis szacuje koszt na około 1,01 USD na zadanie Intelligence Index przy ustawieniu xhigh. Model, który wygrywa pod względem ceny za token, a przegrywa pod względem liczby tokenów na zadanie, wciąż może okazać się droższym wyborem. Nanbeige4.3-33B nie ma w ogóle ceny za token: wagi są darmowe, żaden dostawca inferencji go nie wdraża, a jego uruchomienie oznacza wdrożenie tensor-parallel na czterech GPU, utrzymywane w gotowości niezależnie od tego, czy ruch napływa, czy nie.

Właśnie tam warstwa routingu zasługuje na swoje miejsce. Qwen3.8-27B jest dziś osiągalny na naszym kluczu; Nanbeige nie jest i nie będziemy udawać, że jest. Możesz zachować Qwen jako ścieżkę produkcyjną i skierować część rzeczywistego ruchu do samodzielnie hostowanego endpointu Nanbeige, aby mierzyć ukończenie zadań i zużyte tokeny, zamiast ufać tabeli. Automatyczne przełączanie awaryjne ma tu znaczenie: endpoint eksperymentalny, który padnie w trakcie działania, powinien przejść na dotychczasowe rozwiązanie, a nie pociągnąć ze sobą agenta. Decyzja opiera się wtedy na twoim własnym koszcie na ukończone zadanie, który jest jedyną liczbą uczciwie łączącą zachowanie tokenowe obu modeli.

Co mogłoby to sfalsyfikować?

Trzy wyniki rozstrzygnęłyby tę kwestię, a żaden z nich nie wymaga nowego modelu.

• Wpis Artificial Analysis dla Nanbeige4.3-33B. Jeśli wypadnie blisko lub powyżej 34, kierunek z tabeli dostawcy zostaje potwierdzony, a skala staje się dyskusyjna. Jeśli wypadnie znacznie poniżej, twierdzenie o 18 z 20 wymaga dużo lepszego wyjaśnienia niż wybór harnessu.

• Neutralne ponowne przeprowadzenie DeepSWE i Terminal-Bench 4.0 z oboma modelami w ich własnych zalecanych konfiguracjach. To jest ten konkretny eksperyment, którego obecna tabela nie przeprowadza, i dotyczy wierszy odpowiadających za większość przewagi Nanbeige.

• Opublikowany wskaźnik liczby tokenów na ukończone zadanie dla obu. Ceny za token nie pozwalają porównać gęstego modelu 33B, który hostujesz, z żądnym tokenów modelem 27B, który wynajmujesz. Koszt przypadający na ukończone zadanie pozwala.

Werdykt, którego bylibyśmy gotowi bronić

Nanbeige4.3-33B jest prawdopodobnie mocniejszym z tych dwóch modelem agentowym o długim horyzoncie. Przewagi w DeepSWE, Terminal-Bench 4.0, Automation Bench i DeepPlanning są zbyt duże i zbyt spójne kierunkowo, by były w całości artefaktem harnessu, a natywny kontekst 512K pasuje do tego obrazu. Qwen3.8-27B jest prawdopodobnie mocniejszym modelem pod względem jakości profesjonalnych rezultatów, gdzie wygrywa oba wiersze, które ją mierzą, i jest jednoznacznie bardziej użyteczny: niezależny wynik, hostowane API, multimodalne wejście i cena, którą można dziś wpisać do arkusza kalkulacyjnego.

18 z 20 to prawdziwy wynik przedstawiany jako większy. Dokładniejsze ujęcie jest takie: dwudniowy model z laboratorium, którego nikt nie ocenił niezależnie, twierdzi, że ma wyraźną przewagę w wykonywaniu zadań agentowych, że remisuje w ogólnym rozumowaniu i że ma niewielki deficyt w profesjonalnych wynikach — w starciu z przeciwnikiem, który jest dostępny od dziesięciu tygodni i został zmierzony przez kogoś innego niż jego twórca. To naprawdę interesujące twierdzenie. To jeszcze nie powód, by się przesiadać.