Wygenerowane porównanie dwóch kart z nagłówkiem „UserRepGen-4B vs Gemma 4 12B – specjalista vs generalista” nad hasłem „Jeden wykonuje zadanie, o które drugiego nigdy nie poproszono”. Lewa karta, UserRepGen-4B, wymienia rolę: opisywanie użytkownika w rozmowie; rozmiar: klasa 4B plus LoRA o randze 64; dane wejściowe: tylko tekst; format: jeden plik bf16; własny benchmark: 4,95 wierności best-of-1. Prawa karta, Gemma 4 12B, wymienia rolę: ogólny asystent multimodalny; rozmiar: gęsty model 11,95B z 48 warstwami; dane wejściowe: tekst, obraz i dźwięk; formaty: natywne GGUF, ONNX i MLX; własny benchmark: 77,2 MMLU Pro. Stopka głosi: „Dane Microsoftu raportowane przez dostawcę; dane Gemmy według karty modelu Google”. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
Guides & Insights

UserRepGen-4B vs Gemma 4 12B: wąski specjalista 4B kontra generalista 12B, i dlaczego rozmiary kłamią

Autor

Alistair Wren

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Zestawione obok siebie microsoft/UserRepGen-4B i Gemma 4 12Bwyglądają jak niedopasowana para, o której wyniku przesądzono, zanim cokolwiek się zaczęło. Model Google'a o 11,95 miliarda parametrów czyta tekst, obrazy i dźwięk, utrzymuje 256 tys. tokenów kontekstu, ma za sobą raport techniczny i wpis na blogu z okazji premiery, a od maja 2026 roku pobrano go około 79 000 razy. Model Microsoftu to LoRA o rzędzie 64 na Qwen3.5-4B, wgrany 14 października 2026 roku bez żadnej zapowiedzi, i robi dokładnie jedną rzecz: czyta gotową rozmowę użytkownika z asystentem i zwraca dwupolowy opis JSON osoby, która w niej występuje. Nie potrafi prowadzić rozmowy, odpowiadać na pytania ani widzieć obrazu. Porównywanie ich pod kątem możliwości nie jest porównaniem, lecz błędem kategorii — a właśnie ten błąd kategorii jest najciekawszy, bo to mniejszy model pokonuje czołowego generalistę w zadaniu, do którego został stworzony.

Do czego właściwie służy każdy z nich

Najczystszym sposobem, by pomieścić oba w głowie, jest to, że Gemma 4 12B jest asystentem, a UserRepGen-4B to narzędzie pomiarowe.

• Gemma 4 12B — pozbawiony enkoderów multimodalny członek rodziny Gemma 4. Na wejściu tekst, obraz i dźwięk; na wyjściu tekst. Własna karta Google opisuje go jako „Unified”, ponieważ rezygnuje z dedykowanych enkoderów wizji i dźwięku, z których korzysta reszta rodziny, i rzutuje surowe fragmenty obrazów oraz przebiegi falowe bezpośrednio w przestrzeń osadzeń dekodera za pomocą lekkich warstw liniowych. 48 warstw, okno przesuwne o rozmiarze 1024 tokenów, słownik 262 tys. tokenów, kontekst 256 tys. tokenów. Apache 2.0, warianty dostrojone do instrukcji publikowane razem z wersją bazową.

• UserRepGen-4B — generator reprezentacji. Wejście: autoryzowana rozmowa wieloetapowa, do 8192 tokenów. Wyjście: obiekt JSON z polem task i polem user_behavior, ograniczony do 1024 tokenów, zweryfikowany przez człowieka, a następnie przekazany oddzielnemu LLM, który odgrywa użytkownika w symulacji. MIT dla wkładu Microsoftu, Apache 2.0 odziedziczona po szkielecie Qwen. Tylko tekst, mimo że checkpoint zachowuje wieżę wizyjną, której nigdy nie używa.

Gemma 4 12B można poprosić, by robiła to, co robi UserRepGen-4B — przeczytała rozmowę i opisała jej użytkownika. To jest właśnie uczciwe wejście w to starcie, ponieważ karta Microsoftu mierzy model ogólny robiący dokładnie to, a ten przegrywa.

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

Jedyna prawdziwa liczba, która ich łączy

Nie istnieje żadne opublikowane bezpośrednie porównanie tych dwóch, a wymyślanie go byłoby łatwym błędem, w jaki może popaść strona taka jak ta. To, co karta UserRepGen-4B faktycznie publikuje, to ocena wierności na 700 rozmowach w skali od 1 do 10, w której każdy generator jest oceniany na podstawie identycznych wywołań. W tej tabeli GPT-5.5używany bez dostrajania jako generator reprezentacji uzyskuje 3,90 w trybie best-of-1 i 4,90 w trybie best-of-3. UserRepGen-4B uzyskuje 4,95 i 6,02. Wytrenowany specjalista 4B bije czołowego generalistę, który jest o rzędy wielkości większy, w tym konkretnym zadaniu.

Gemma 4 12B nie ma w tej tabeli, więc nikt nie wie, gdzie by się uplasowała. Ale punkt odniesienia, wobec którego byłaby oceniana, jasno zarysowuje kształt odpowiedzi: ogólny model poproszony o opisanie użytkownika tworzy coś wiarygodnego i ogólnikowego, a metoda treningowa w UserRepGen-4B istnieje właśnie po to, by to przekroczyć. 12B bardzo prawdopodobnie pokona 4B w ogólnym rozumowaniu, ale przegra z nim w tym wąskim zadaniu.

Co nasuwa oczywiste pytanie, dlaczego nie miałbyś po prostu zlecić Gemma 4 12B zrobienia tego samego i trzymać tylko jednego modelu na dysku. Są dwa powody, a drugi jest tym, który ma znaczenie.

Pierwsza kwestia to koszt przy dużej skali. Generowanie reprezentacji dla każdej rozmowy to zadanie wsadowe, a 12B parametrów kosztuje około trzy razy więcej niż 4B parametrów przy tym samym przebiegu. Druga to fakt, że luka w wierności nie jest problemem dostrajania — własne ablacje karty pokazują zwykłe nadzorowane dostrajanie na poziomie 4,64/5,68, podczas gdy zarówno OPSD, jak i GRPO, dwie metody uczenia ze wzmocnieniem, po które kompetentny zespół sięgnąłby w pierwszej kolejności, plasują się poniżej tego na poziomie 4,46/5,60 i 3,57/4,59. Doprowadzenie modelu ogólnego do takiego zachowania nie jest kwestią lepszego promptu ani cięższego przebiegu RL. To jest to, do czego została stworzona pętla treningowa.

Oba można pobrać, a tylko jeden z nich można wdrożyć

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

To tutaj ujęcie „4B kontra 12B” całkowicie się załamuje, ponieważ te dwa wydania znajdują się na przeciwnych krańcach spektrum pakowania.

• Gemma 4 12B — wydany produkt z działającym ekosystemem. Wsparcie dla Transformers, wariant dostrojony do instrukcji, formaty skwantyzowane i brzegowe opublikowane w całej rodzinie, blog z premiery, raport techniczny na arXiv oraz udokumentowana ścieżka od pobrania do serwowania.

• UserRepGen-4B — pojedynczy plik safetensors w formacie bfloat16 o rozmiarze 9 078 620 536 bajtów. Żadnego GGUF, żadnego ONNX, żadnego MLX, żadnej kwantyzacji jakiegokolwiek rodzaju. Karta mówi to wprost: „Obecnie nie są dostępne żadne zoptymalizowane ani specyficzne dla urządzenia formaty”.

Ta luka nie jest przypadkowa. Gemma 4 12B została stworzona po to, by uruchamiali ją inni ludzie, a jedenaście i pół miliarda parametrów trafia na rynek jako produkt. UserRepGen-4B powstał po to, by dać wynik do artykułu naukowego, a jego karta wciąż mówi, że cytowanie „oczekuje na potwierdzenie”, i odnosi się do uwierzytelniania „gdy repozytorium jest prywatne” — wers pozostały po etapowym wgraniu, który nie został zaktualizowany. Jeden jest ukończony; drugi jest ukończony wystarczająco.

Jeśli tym, czego tak naprawdę chciałeś, była Gemma 4 przez API

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

Warto powiedzieć wprost, bo właśnie tu najczęściej trafiają czytelnicy porównania Gemmy: OrcaRouter nie udostępnia Gemma 4 12B — nie ma dla tego modelu strony w naszym katalogu — i nie udostępnia też UserRepGen-4B. W katalogu są jednak dwa inne modele z tej samej rodziny Gemma 4 i oba podają cenę katalogową dostawcy bez żadnych dodatków: Gemma 4 26B A4B, wersja 25,2B typu mixture-of-experts z 3,8B aktywnych parametrów i kontekstem 262 144 tokenów, w cenie 0,06 USD za milion tokenów wejściowych i 0,33 USD za milion wyjściowych; oraz Gemma 4 31B, gęsty multimodalny model 30,7B, w cenie 0,13 USD i 0,38 USD. Jeśli chodziło ci konkretnie o 12B do pracy lokalnej, odpowiedzią jest pobranie, a żadne API tego nie zmienia.

Po stronie symulacji uczciwe stanowisko jest takie samo. UserRepGen-4B to checkpoint i plik z promptem — uruchamiasz go samodzielnie, we własnym środowisku, na rozmowach, które masz uprawnienia przetwarzać. Wygodnie by było, gdyby to było wywołanie hostowanego endpointu. Dziś tak nie jest — ani u nas, ani nigdzie indziej.

Który pobrać?

Jeśli potrzebujesz niewielkiego asystenta multimodalnego, który czyta dokumenty, słyszy dźwięk i odpowiada na pytania na laptopie, Gemma 4 12B jest właśnie tym, a porównanie z UserRepGen-4B nie jest nawet na tyle bliskie, by miało znaczenie. Jeśli budujesz symulator użytkownika, a twoje obecne podejście polega na promptowaniu modelu ogólnego, aby opisywał użytkownika, UserRepGen-4B jest jedyną rzeczą tutaj, która została wytrenowana do tego, a dowody — raportowane przez dostawcę, z jednego laboratorium, oceniane przez cały czas przez GPT-5.4 mini — mówią, że trening bije promptowanie. Obraz zmieniłby artykuł albo jedna niezależna ewaluacja tego wyniku 4,95 spoza firmy Microsoft. Żadne z nich jeszcze nie istnieje, a na oba warto poczekać, zanim ktokolwiek zastąpi nim działający potok.

Właśnie w takich porównaniach jak to ujawniają się też tryby awarii: udokumentowane incydenty związane ze sztuczną inteligencją i awarie agentów stojące za modelami z tej klasy są gromadzone w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, ocenę pewności oraz oznaczenie sporności.