Nanbeige4.3-33B zdobył swój pierwszy zewnętrzny wynik: 20, na poziomie Qwen3.8-27B i dwa razy bardziej rozmowny

Przez dwa tygodnie jedynym dowodem na to, że Nanbeige4.3-33B jest w czymkolwiek dobry, była tabela o dwudziestu wierszach, którą laboratorium sporządziło na swój temat. 5 listopada to się zmieniło: Artificial Analysis umieściło Nanbeige4.3-33B w swoim Intelligence Index v5.0.1 z wynikiem 20, tym samym, jaki przyznaje Qwen3.8-27B na jego najwyższym poziomie rozumowania — 20 w wyniku złożonym, 20,1 dla modelu Qwen w bazowym przebiegu v5.0. Jedna dziesiąta punktu to mniej niż szum między dwiema ocenami tego samego checkpointu, więc oba modele są łeb w łeb w jedynym publicznym wyniku złożonym, który mierzy oba.

To jest liczba, na którą czekała premiera, i jest najmniej interesującym elementem pomiaru. Wynik złożony skrywa model, którego dwie połowy wskazują przeciwne kierunki: część agentowa znacznie wyprzedza model Qwen, który miał pokonać, a część wiedzowa pozostaje za nim w sposób mierzalny. Ukrywa też fakt, że Nanbeige4.3-33B zużył 160 milionów tokenów wyjściowych, aby osiągnąć tę 20 — ponad dwukrotnie więcej niż zużywa mediana modeli w jego klasie porównawczej i wystarczająco dużo, by uplasował się na samym ostatnim miejscu wśród ośmiu w pomiarze gadatliwości Artificial Analysis.

Uczciwa interpretacja tego wydania nie jest już „niezweryfikowana”. Jest „zweryfikowana i dziwniejsza, niż sugerowała tabela producenta”. Oto, co faktycznie mówi niezależny przebieg, w czym zgadza się z własnymi liczbami Nanbeige i w jednym miejscu, w którym pomiar zewnętrzny wypadł wyżej niż własne twierdzenie laboratorium.

Co oznacza 20, a czego nie oznacza

Artificial Analysis plasuje Nanbeige4.3-33B na pierwszym miejscu wśród dziewięciu w swojej własnej klasie porównawczej, przy medianie klasowej wynoszącej 10. Ta klasa to dziewięć podobnych rozmiarowo modeli o otwartych wagach, z którymi jest zestawiany, a strona osobno podaje, że obejmuje 144 modele w szerszej porównywalnej kohorcie. Obie populacje warto mieć jednocześnie na uwadze: wśród modeli o otwartych wagach zbliżonej wielkości jest to najsilniejsza zmierzona rzecz, a w całym zestawieniu — w tym z czołowymi zamkniętymi modelami oraz najlepszymi od Qwen, DeepSeek i Anthropic — wynik 20 to solidny rezultat w środku tabeli.

Warto trzymać się tej luki między pierwszym miejscem na dziewięć a wynikiem w środku tabeli, ponieważ to dokładnie ta luka, która ginie, gdy wydanie podsumowuje się jako „pokonuje Qwen”. Model 33B o otwartych wagach, który trafia w środek tabeli w złożonym zestawieniu zdominowanym przez modele kilkakrotnie większe, to prawdziwe osiągnięcie. To nie jest wynik z czołówki i nic w słownictwie tego wydania nie powinno sugerować inaczej.

To, czego indeks nie obejmuje, to cena. Nie ma ceny, ponieważ nie ma hostowanego punktu końcowego: Artificial Analysis odnotowuje „Brak publicznie dostępnego API”, mapowanie dostawców inferencji Hugging Face dla repozytorium jest puste, a każdy tracker, który zawiera ten model, pokazuje koszt jako niedostępny. Twoim kosztem jest sprzęt.

Dwie połowy modelu nie są ze sobą zgodne

Artificial Analysis nie publikuje jednej liczby, a to właśnie w wynikach cząstkowych ten model staje się czytelny. Czytaj je jako dwie kolumny.

• Terminal-Bench 4.0 (harness Artificial Analysis) — Nanbeige4.3-33B 29,8%, 56. miejsce spośród wszystkich konfiguracji w rankingu. Qwen3.8-27B w trybie xhigh osiąga 5,6% w tym samym harnessie.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, na 81. miejscu. Qwen3.8-27B przy xhigh uzyskuje 14,9%, więc benchmark jakości kodu wypada odwrotnie.

• AA-Omniscience v1.1 — Nanbeige4.3-33B osiąga wynik netto −4,4 przy dokładności 11,7%. Qwen3.8-27B przy xhigh osiąga wynik netto −6,4 przy dokładności 17,3%. Qwen wie więcej; Nanbeige wypada lepiej netto, ponieważ częściej odmawia odpowiedzi.

• AA-Omniscience – brak halucynacji — Nanbeige4.3-33B 81,8%, 7. miejsce w całym serwisie. Qwen3.8-27B przy xhigh uzyskuje 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, sklasyfikowany na 82. miejscu. AA-Briefcase v1.1 — 1 162, sklasyfikowany na 90. miejscu. Terminal-Bench-Science 0.1 — 0,9%, sklasyfikowany na 89. miejscu.

• HLE-Diamond — 6,9%, 117. miejsce. CritPt v2 trudny podzbiór — 15,5%, 85. miejsce. GDP.pdf — 11,2%, 135. miejsce.

Wzorzec w tych wierszach jest spójny. Gdy zadanie polega na „obsługiwaniu terminala przez długi czas i niezatrzymywaniu się przedwcześnie”, ten model osiąga około pięć razy wyższy wynik niż model Qwen. Gdy zadanie polega na „znaniu faktu”, jest z tyłu — a gdy zadanie polega na „znaniu faktu albo przyznaniu, że się go nie zna”, wyprzedza niemal wszystko w rankingu, przy 81,8% braku halucynacji.

Ta kombinacja nie jest przypadkiem strojenia. Tak wygląda model zbudowany do generowania trajektorii agenta, gdy skieruje się na niego benchmark wiedzy. Model nauczyciel, który wymyśla fakty, zatruwa dane treningowe ucznia, dlatego w pipeline, który – jak twierdzi Nanbeige – jest budowany, kalibracja ma większe znaczenie niż pełność. Niezależnie od tego, czy ten kompromis był zamierzony, czy emergentny, jest to najbardziej obronna cecha tego wydania.

Problem rozwlekłości to problem kosztów w przebraniu

Artificial Analysis podaje, że Nanbeige4.3-33B wygenerował 160 milionów tokenów wyjściowych podczas oceny na Intelligence Index. Mediana modeli w jego klasie porównawczej wyniosła 77,7 miliona. W rankingu gadatliwości serwisu zajmuje ostatnie miejsce, #8 z 8 w tej klasie, przy około 2,06-krotności mediany. Wolumen danych wejściowych wyniósł 15,4 miliarda tokenów, co daje stosunek danych wyjściowych do wejściowych na poziomie 1,034%.

Po pierwsze, zakup 20 był kosztowny. Jeśli gdziekolwiek płacisz za token, model, który emituje dwa razy więcej tokenów przy tym samym wyniku złożonym, kosztuje około dwa razy więcej na jednostkę zmierzonej zdolności, a indeks tego nie normalizuje. Po drugie, gadatliwość jest problemem opóźnienia, zanim staje się problemem pieniędzy: gęsty model 33B na własnych GPU, generujący dwa razy więcej tokenów, potrzebuje dwa razy więcej czasu na ukończenie zadania.

Zalecane przez samego Nanbeige ustawienia wyjaśniają część tego, ale nie usprawiedliwiają całości. Karta określa górny limit 262 144 tokenów dla rozumowania i czatu oraz 65 536 dla pracy agentowej, z domyślnie włączonym myśleniem. Każdy model, któremu powiedziano, że może myśleć przez ćwierć miliona tokenów, zużyje ich część. Ale mediana w klasie to uczciwe porównanie — inne modele objęte tym samym indeksem również są modelami rozumującymi — a mnożnik 2,06× utrzymuje się przy tej kontroli.

W przypadku wdrożenia self-hosted praktycznym rozwiązaniem jest budżet, a nie zmiana modelu: ogranicz maksymalną liczbę nowych tokenów na zadanie i zmierz własny odsetek pomyślnych realizacji przy 8K, 16K i 32K, zanim uznasz, że domyślne ustawienia karty są właściwe dla Twojego obciążenia. Większość zadań agentowych nie poprawia się po pewnym punkcie, a ten model nie powie Ci, gdzie ten punkt jest.

Jedyny wiersz, w którym zewnętrzny przebieg pobił wynik podany przez dostawcę.

Karta modelu Nanbeige podaje Terminal-Bench 4.0 na poziomie 23,8 dla Nanbeige4.3-33B wobec 6,3 dla Qwen3.8-27B. Artificial Analysis zmierzyło 29,8. Niezależny wynik jest o sześć punktów wyższy niż ten, który laboratorium opublikowało na swój temat.

To na tyle nietypowe, że warto powiedzieć to wprost, ponieważ typowy sposób zawodzenia w tej branży działa w drugą stronę — laboratoria podają najlepszą liczbę, jaką daje ich własny scaffold, a zewnętrzne powtórzenia wypadają niżej. Zaniżanie przez dostawcę własnego wyniku agentowego sugeruje albo inny harness po ich stronie, albo celowo konserwatywne twierdzenie, albo tabelę zbudowaną przed finalnym checkpointem. Żadna z tych możliwości nie jest zła; wszystkie oznaczają, że tabela dostawcy nie jest górną granicą i nie należy jej tak odczytywać.

Nie wynika z tego, że każdy wiersz dostawcy jest godny zaufania. Największe twierdzenia w tabeli Nanbeige — DeepSWE na poziomie 65,5 wobec 42,5 Qwen, SWE-Atlas-QnA na poziomie 50,8 wobec 41,9 — nie mają jeszcze niezależnego odpowiednika, a oba są benchmarkami wrażliwymi na scaffold, w których wybór harnessa wpływa na wyniki bardziej niż jakość modelu. To, co ustala wynik Terminal-Bench, jest węższe i bardziej użyteczne: agentowy kierunek twierdzenia jest rzeczywisty. Wielkość na którymkolwiek pojedynczym wierszu pozostaje niezweryfikowana.

Co to oznacza dla zespołu, który chce tego spróbować

Jeśli chodzi o dostęp, nic się nie zmieniło. Nie ma żadnego endpointu do wywołania, cennika ani listy dostawców — wagi są na Hugging Face na licencji Apache 2.0, a ścieżka serwowania to vLLM, SGLang lub Transformers na sprzęcie, który posiadasz. Checkpoint bfloat16 ma 66,3 GB i jest podzielony na czternaście shardów, a przy kontekście 512K sam cache KV zajmuje około 104 GiB — dlatego działająca konfiguracja to czterokierunkowy tensor parallelism, a nie jedna duża karta.

Zmieniło się to, że możesz teraz pominąć kosztowną część due diligence. Przed tym tygodniem ocena Nanbeige4.3-33B oznaczała przygotowanie czterech GPU, aby sprawdzić, czy deklaracje dotyczące działania agentowego przetrwały zetknięcie z neutralnym harnessem. Wynik 29,8 w Terminal-Bench 4.0 odpowiada na pierwsze pytanie — kierunek jest właściwy — a wskaźnik rozwlekłości odpowiada na pytanie, którego nikt nie zadawał, czyli ile model będzie cię kosztował w tokenach na ukończone zadanie.

Jeśli chcesz punkt odniesienia, który możesz faktycznie wywołać już dziś, Qwen3.8-27B jest naturalnym modelem kontrolnym: ten sam wynik złożony, opublikowana cena i okno 262K. Działa w OrcaRouter za 0,33 USD za milion tokenów wejściowych i 2,40 USD za milion tokenów wyjściowych, na tym samym kluczu co reszta katalogu, z cenami listowymi dostawców przekazywanymi bez marży. Uruchomienie swojego zestawu zadań na modelu hostowanym i modelu self-hostowanym w ramach jednej reguły routingu to najtańszy sposób, aby sprawdzić, czy gęsty checkpoint 33B na własnym sprzęcie bije model 27B wynajmowany za tokeny — a to pytanie, na które Intelligence Index nie odpowie za Ciebie, ponieważ nie wie, jakie masz zadania ani ile kosztują Twoje GPU.

To, co wciąż pozostaje naprawdę nieznane, jest wąskie. Czy Nanbeige4.3-3B — cel destylacji, którego nauczanie jest powodem istnienia tego modelu — przejmuje jakąkolwiek część kalibracji. Czy rozwlekłość przetrwa u ucznia, ponieważ mały model generujący 2× więcej tokenów to znacznie tańszy błąd. I czy wynik dotyczący braku halucynacji utrzymuje się poza środowiskiem testowym Omniscience, ponieważ 81,8% to niezwykła liczba, a niezwykłe liczby zasługują na drugie spojrzenie, zanim ktokolwiek zbuduje na nich pipeline.