UserRepGen-4B kontra Qwen 3.8: Siedmiomiesięczny dostrojony model 4B przeciwko obecnemu flagowcowi Alibaby

Zacznij od faktu, który sprawia, że to zestawienie jest dziwne. microsoft/UserRepGen-4B, wgrany 14 października 2026 r. bez żadnego ogłoszenia, jest dostrojoną wersją modelu Qwen3.5-4B — checkpoint z lutego 2026 r., o całą generację za modelem, z którym jest tu porównywany. Qwen 3.8 to sierpniowa generacja Alibaby z 2026 r., a wśród udostępnianych w jej ramach modeli znajdują się Qwen3.8-Max, flagowy model w cenie 2,00 USD za milion tokenów wejściowych i 6,00 USD za milion tokenów wyjściowych przy kontekście miliona tokenów, Qwen3.8-27B w cenie 0,33 USD i 2,40 USD przy 262 144 pozycjach, a Qwen3.8-Flash w cenie 0,15 USD i 0,47 USD. Microsoft spojrzał na tę rodzinę i cofnął się o jedną generację, by wziąć bazę 4B. Następnie opublikował tabelę pokazującą, że powstały model bije GPT-5.5 w tej jednej rzeczy, którą robi. Ta kombinacja to cały artykuł: co daje ci ukierunkowany fine-tuning, czego nie daje nowszy flagowiec, i ile cię kosztuje, by to uzyskać.

Po pierwsze, nazwą czego jest „Qwen 3.8”

Warto to ustalić przed jakimkolwiek porównaniem, ponieważ nazwa rodziny obejmuje kilka bardzo różnych artefaktów, a ceny różnią się ponad trzynastokrotnie. Trzy obsługiwane elementy to te, które mają znaczenie przy podejmowaniu decyzji:

• Qwen3.8-Max — flagowy, natywnie multimodalny w zakresie tekstu, obrazu i wideo, kontekst 1 mln tokenów, obsługiwany w trzech formatach transmisji, w tym w formacie zgodnym z Anthropic. Poziom premium — gdy poprawność w trudnych problemach ma większe znaczenie niż koszt.

• Qwen3.8-27B — model gęsty z otwartymi wagami na licencji Apache 2.0, kontekst 262 144 tokenów, obsługa tekstu, obrazu i wideo na wejściu. Własna karta Alibaby podaje 90,3 w LiveCodeBench v6, 89,2 w GPQA Diamond, 84,3 w OSWorld-Verified i 79,0 w QwenSWEBench — wartości podane przez dostawcę, nieodtworzone niezależnie.

• Qwen3.8-Flash — wariant do dużego wolumenu, kontekst 1 mln tokenów, wyceniony pod krótkie zadania uruchamiane milion razy. W katalogu jest też datowana migawka Qwen3.8-Max (0902) w tych samych stawkach, którą przypinasz, gdy potrzebujesz powtarzalnego zachowania, a nie ciągle zmieniającej się najnowszej wersji.

Nic z tego nie jest nowością, a ta strona nie relacjonuje premiery Qwen. Ta generacja ma pięć miesięcy. Jest tu, ponieważ stanowi nowszą, większą i lepiej wypadającą w benchmarkach stronę porównania oraz ponieważ interesująca teza ma sens tylko w zestawieniu z czymś tak mocnym.

Twierdzenie, precyzyjnie sformułowane

Karta modelu Microsoftu podaje ocenę wierności na ponad 700 odłożonych rozmowach, ocenionych w skali od 1 do 10 przez sędziego LLM, gdzie każdy generator reprezentacji jest podłączony do tej samej pętli symulacyjnej:

• Qwen3.5-4B, nietknięty backbone — 3,41 best-of-1, 4,42 best-of-3.

• GPT-5.5, zapytany w standardowej konfiguracji o opisanie użytkownika — 3,90 i 4,90.

• UserRepGen-4B, po nadzorowanym dostrajaniu online z wykorzystaniem destylacji retrospektywnej — 4,95 i 6,02.

Każda liczba pochodzi od samego Microsoftu, została oceniona przez GPT-5.4 mini i żadnej z nich nie odtworzono poza laboratorium. Traktuj to jako twierdzenie o kierunku, a nie rozstrzygnięty wynik. Ale kierunek jest jednoznaczny i nie chodzi o liczbę parametrów: metoda treningowa poprawiła backbone o 1,54 punktu w best-of-1 i po drodze prześcignęła czołowego generalistę. Nie chodzi o to, by odczytywać to jako „małe modele biją duże modele” — chodzi o to, że bazowy model 4B z lutego, mocno dostrojony do jednego wąskiego zachowania, może pobić znacznie większy model, który został jedynie poproszony o wykonanie tego zachowania.

Qwen3.8-Max nie ma w tej tabeli. Prawdopodobnie poradziłby sobie lepiej niż GPT-5.5, ponieważ jest silniejszym modelem ogólnym. Wciąż jednak zgadywałby, jak to zachowanie wygląda, ponieważ nic w jego treningu nie zostało pod to zoptymalizowane.

Dlaczego siedmiomiesięczna baza była właściwym wyborem

Przepaść pokoleniowa wygląda jak błąd, dopóki nie zrozumiesz, czego fine-tune tak naprawdę potrzebuje od swojego backbone'a. Potrzebuje modelu, który jest w przybliżeniu płynny, tani w eksploatacji i wystarczająco stabilny, aby LoRA o randze 64 mogła go przesunąć, nie niszcząc go. Nie potrzebuje rozumowania na najwyższym poziomie, ponieważ zadanie nie polega na rozumowaniu — polega na opisaniu rozmowy, którą mu przekazano.

Dwa szczegóły na karcie potwierdzają tę interpretację. Pierwszym jest limit wyjściowy: 1,024 tokenów dla reprezentacji wobec 8,192 dla rozmowy. Drugim jest budżet treningowy — od lipca do sierpnia 2026, dwa miesiące — oraz fakt, że obie cięższe metody przegrały. OPSD uzyskała wynik 4.46/5.60, a GRPO 3.57/4.59 — obie poniżej zwykłego nadzorowanego dostrajania na poziomie 4.64/5.68. Gdy tania metoda bije dwie drogie, wąskim gardłem nigdy nie były możliwości backbone’u. Przejście na flagową bazę z 2026 roku dałoby model, który kosztuje więcej na przebieg, by wykonać tę samą pracę przy tym samym pułapie.

Ten wybór ma swoją cenę, a karta mówi o tym otwarcie, zamiast to ukrywać. Ponieważ wieża wizyjna przyszła razem z nadrzędnym checkpointem, model ładuje się przez AutoModelForImageTextToText i zawiera ścieżki kodu obsługi obrazu i wideo, których nigdy nie używa — wejście obrazu i wideo jest w tym wydaniu wyraźnie nieobsługiwane. Odziedziczasz bagaż architektury wraz z jej płynnością.

Arytmetyka kosztów, która nie przebiega tak, jak ludzie się spodziewają

Odruchowo zakładamy, że lokalne wnioskowanie jest tańsze. W skali, dla której zaprojektowano ten model, zwykle tak nie jest, a uczciwe przeliczenie liczb zmienia decyzję. Weź partię 700 rozmów — taką samą jak we własnej ewaluacji Microsoftu — przy około 2000 tokenów promptu i 400 tokenów wyjściowych na wywołanie.

• Za pośrednictwem Qwen3.8-27B w cenie 0,33 USD i 2,40 USD za milion: około 1,13 USD łącznych wydatków na tokeny dla całej partii.

• Przez Qwen3.8-Max przy $2.00 i $6.00: około $4.48.

Z kolei UserRepGen-4B wymaga pobrania 9,1 GB, GPU z wystarczającą ilością pamięci, aby pomieścić go w bfloat16, oraz pracy inżynierskiej, by podpiąć klasę Pythona. Microsoft podaje, że był obsługiwany z użyciem vLLM na sprzęcie H100, A100, RTX A6000 i B200, oraz zauważa, że wnioskowanie na CPU wymaga float32 i „znacznie więcej pamięci niż około 9,1 GB pliku wag”. Gdyby jedynym kryterium były dolary na token, dostęp przez API do silniejszego modelu wygrywa przy tym wolumenie i to bezapelacyjnie.

Co oznacza, że prawdziwe powody, dla których warto samodzielnie uruchomić UserRepGen-4B, to te, które nie pojawiają się w cenniku: rozmowy, którymi go karmisz. Jego własna karta mówi, aby przetwarzać tylko rozmowy, które masz prawo przetwarzać, najpierw minimalizować informacje identyfikujące, oraz że reprezentacje nie są zanonimizowanymi danymi — opisy zachowań modelu identyfikują osobę spośród czterech kandydatów w 51,02% przypadków, lepiej niż surowe rozmowy, które podsumowują, na poziomie 44,22%. Komponent, który zamienia rozmowy w przenośne, czytelne dla człowieka profile, to element, który możesz chcieć trzymać we własnej sieci, niezależnie od tego, ile kosztowałoby wywołanie API.

Gdzie w takim potoku mieści się warstwa routingu

To częściej układ dwumodelowy niż jednomodelowy: generator reprezentacji na własnym sprzęcie oraz model ogólnego przeznaczenia obsługujący stronę asystenta, ocenianie lub pętlę ewaluacyjną wokół niego. Druga połowa to część, która działa przez API.

Wszystkie trzy obsługiwane warianty Qwen 3.8 są dostępne w OrcaRouter w cenie katalogowej dostawcy, bez żadnych dodatków — $2.00 i $6.00 za Max, $0.33 i $2.40 za 27B, $0.15 i $0.47 za Flash — na jednym kluczu, z automatycznym przełączaniem awaryjnym między dostawcami, dzięki czemu wywołanie sędziego w pętli ewaluacji nie padnie z powodu jednego upstreamu. Jeśli przepuszczasz partię setek rozmów przez kilka symulatorów i sędziów, to przełączanie awaryjne ma większe znaczenie niż stawka za token, ponieważ przebieg, który padnie na rozmowie 400, marnuje 399 poprzednich. DSL routingu pozwala połączyć asystenta i sędziego w jedno wywołanie, zamiast łańcuchowo łączyć dwa. Nie obsługujemy natomiast UserRepGen-4B: nasz katalog nie zawiera dla niego wpisu i nic tutaj nie powinno być odczytywane jako deklaracja dostępności checkpointu Microsoftu.

Decyzja, bez asekuracji

Jeśli chcesz ogólnego modelu, który rozumuje, koduje, czyta obrazy i obsługuje milion tokenów, nic w tym artykule nie przemawia przeciwko Qwen3.8-Max — UserRepGen-4B nie potrafi niczego z tego, a porównanie z flagowcem to nie jest porównanie, do którego przystąpił. Jeśli chcesz symulatora użytkownika warunkowanego rzeczywistymi zachowaniami konwersacyjnymi, żaden z modeli z rodziny Qwen 3.8 również nie był do tego trenowany, a wybór jest między małym lokalnym dostrojeniem o zmierzonej przewadze a dużym modelem API bez żadnej.

Otwarte pytanie jest tym samym, które wisi nad całym wydaniem: nie ma artykułu. Karta podaje, że cytowanie „oczekuje na potwierdzenie”, zdanie o tym, że repozytorium jest prywatne, wciąż widnieje w sekcji użycia po tym, jak repozytorium stało się publiczne, a każda liczba w tabeli wierności pochodzi od własnego sędziego jednego laboratorium. Microsoft zbudował model, który bije najsilniejszy baseline, względem którego go testowano. Na pytanie, czy przebija twój baseline, może odpowiedzieć tylko ewaluacja, którą sam przeprowadzisz.

Siedmiomiesięczny model dostrojony, porównywany z obecnym flagowcem, to również dobre miejsce, by zapytać, co zawiodło wcześniej: udokumentowane incydenty AI i awarie agentów wokół modeli tej klasy są zebrane w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i oznaczenie sporne.