一張生成的雙卡比較,標題為「UserRepGen-4B 對比 Gemma 4 12B — 專才對上通才」,上方主標為「一個做著分內的工作,另一個從未被要求做這件事」。左卡 UserRepGen-4B 列出:角色為在對話中描述使用者,規模為 4B 等級加上 rank-64 LoRA,輸入僅限文字,格式為單一 bf16 檔案,自家基準為 4.95 best-of-1 保真度。右卡 Gemma 4 12B 列出:角色為通用多模態助理,規模為 11.95B 稠密模型、48 層,輸入為文字、圖像與音訊,格式為原生 GGUF、ONNX 與 MLX,自家基準為 77.2 MMLU Pro。頁尾寫著「Microsoft 數據為廠商自報;Gemma 數據依 Google 的模型卡」。OrcaRouter 標誌合成於右下角。
Guides & Insights

UserRepGen-4B 對上 Gemma 4 12B:4B 的狹窄領域專才對抗 12B 的通用型通才,以及為什麼規模會騙人

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

並排比較時,microsoft/UserRepGen-4B與Gemma 4 12B看起來像是一場還沒開始就已註定不對等的較量。Google 的 119.5 億參數模型能讀取文字、圖像與音訊,擁有 256K token 的上下文,附有技術報告與發布部落格,且自 2026 年 5 月以來已被下載約 79,000 次。微軟的模型則是建構在 Qwen3.5-4B 上的 rank-64 LoRA,於 2026 年 10 月 14 日上傳,沒有任何公告,而且它只做一件事:讀取一段已完成的使用者與助理對話,並回寫一個描述其中人物的雙欄位 JSON。它不能進行對話、回答問題,也看不見圖像。以能力來衡量這兩者並不是在做比較,而是一種範疇錯誤——而有趣的部分正是這個範疇錯誤,因為較小的模型正是在它被打造來執行的工作上,勝過前沿通用模型。

每個實際上是用來做什麼的

最清楚的方式讓你同時記住這兩者:Gemma 4 12B 是助理,而 UserRepGen-4B 是量測儀器。

• Gemma 4 12B——Gemma 4 系列中免編碼器的多模態成員。輸入文字、圖像與音訊;輸出文字。G​oogle 自家的模型卡將其描述為「Unified」,因為它捨棄了系列其他成員所使用的專用視覺與音訊編碼器,改以輕量的線性層,將原始圖像區塊與波形直接投影到解碼器的嵌入空間。48 層、1,024 個詞元的滑動視窗、262K 詞彙量、256K 詞元的上下文長度。Apache 2.0 授權,指令微調版本與基礎版本一同發布。

• UserRepGen-4B — 一款表徵生成器。輸入:一段經授權的多輪對話,最多 8,192 個 token。輸出:一個帶有 task 欄位與 user_behavior 欄位的 JSON 物件,上限 1,024 個 token,經人工審閱後,交給另一個 LLM 在模擬中扮演使用者。微軟貢獻的部分採 MIT 授權,Apache 2.0 則繼承自 Q​wen 主幹。僅限文字,儘管該檢查點保留了從未使用的視覺塔。

Gemma 4 12B 可以被要求去做 UserRepGen-4B 所做的事——閱讀一段對話,並描述其中的使用者。這正是誠實切入這場對決的方式,因為 Microsoft 的模型卡所衡量的,正是一個通用模型在做這件事,而它輸了。

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

唯一將他們連繫起來的真實號碼

這兩者之間並沒有已發表的正面對決,而憑空捏造一個會是這類頁面最容易犯的錯誤。UserRepGen-4B 卡片確實有公布的是,一項以 1 到 10 分為尺度的 700 段對話保真度評估,其中每個生成器都以完全相同的呼叫來評判。在那張表中,GPT-5.5直接以現成方式用作表徵生成器時,best-of-1 得分為 3.90,best-of-3 為 4.90。UserRepGen-4B 得分為 4.95 和 6.02。這個受訓過的 4B 專才在這項特定任務上,勝過一個規模大上數個數量級的前沿通才。

Gemma 4 12B 並不在那張表裡,所以沒有人知道它會落在哪裡。但用來衡量它的基準,已讓答案的輪廓相當清楚:一個被要求描述使用者的通用模型,會產出看似合理卻空泛的內容,而 UserRepGen-4B 的訓練方法正是為了突破這一點而存在。12B 在一般推理上極可能勝過 4B,但在這項狹窄任務上則會被 4B 擊敗。

這就引發了一個顯而易見的問題:你為什麼不乾脆直接提示 Gemma 4 12B 去做同樣的事,並在你的磁碟上只保留一個模型?有兩個原因,而第二個才是關鍵。

第一點是大量處理時的成本。為每段對話生成一個表徵是一項批次作業,而在相同的一次處理中,12B 參數的成本大約是 4B 參數的三倍。第二點是,保真度差距不是調校問題——該模型卡自身的消融實驗顯示,單純的監督式微調為 4.64/5.68,而 OPSD 和 GRPO 這兩種有能力的團隊會優先採用的強化學習方法,卻低於它,分別為 4.46/5.60 和 3.57/4.59。要讓一個通用模型達到這種行為,並不是靠更好的提示詞或更重的強化學習訓練就能辦到。這正是訓練迴圈被打造出來的目的。

兩者皆可下載,但其中只有一個是可以部署的

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

這就是 4B 對 12B 的對比框架徹底崩解的地方,因為這兩個發行版本在包裝光譜上分處兩極。

• Gemma 4 12B——已發布的產品,具備可運作的生態系統。Transformers 支援、經指令微調的變體、在整個系列中發布的量化與邊緣格式、發布部落格、arXiv 技術報告,以及從下載到部署服務的文件化流程。

• UserRepGen-4B——單一 bfloat16 safetensors 檔案,大小為 9,078,620,536 位元組。沒有 GGUF、沒有 ONNX、沒有 MLX,也沒有任何形式的量化。模型卡直接寫明:「目前沒有提供任何最佳化或裝置專用的格式。」

那個差距並非偶然。Gemma 4 12B 是為了讓其他人來執行而打造,而一百一十五億個參數是以產品形式交付的。UserRepGen-4B 則是為了替一篇論文產出結果而打造,而它的卡片仍寫著引用「待確認」,並提到要「在儲存庫為私人狀態期間」進行驗證——那是某次分階段上傳遺留下來、尚未更新的一行文字。一個已經完成;另一個則算完成得差不多了。

如果你真正想要的其實是透過 API 使用 Gemma 4

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

值得直說,因為這正是多數閱讀 Gemma 比較文的人實際關注的重點:OrcaRouter 並不提供 Gemma 4 12B——我們的模型目錄中沒有它的模型頁面——也不提供 UserRepGen-4B。Gemma 4 26B A4B,這是 25.2B 的混合專家版本,在 262,144 個 token 的上下文下擁有 3.8B 的活躍參數,每百萬輸入 token 為 $0.06,每百萬輸出 token 為 $0.33;以及 Gemma 4 31B,這是稠密的 30.7B 多模態版本,價格為 $0.13 和 $0.38。如果你特別想要 12B 來做本機作業,下載才是答案,沒有任何 API 能改變這一點。

在模擬方面,誠實的立場也一樣。UserRepGen-4B 是一個檢查點和一個提示檔——你得在自己的環境中自行執行,並用它來處理你獲授權處理的對話。如果那只是呼叫一個託管端點,那會很方便。但今天並不是這樣,無論是在我們這裡,還是在其他任何地方。

哪一個要下載

如果你需要一個能在筆電上閱讀文件、聽音訊並回答問題的小型多模態助理,Gemma 4 12B 就是首選,而拿它跟 UserRepGen-4B 相比,差距之大甚至讓這個比較毫無意義。如果你正在打造使用者模擬器,而目前的做法是用提示詞讓通用模型描述使用者,那麼 UserRepGen-4B 是這裡唯一為此受訓的模型,而證據——由廠商自行報告、單一實驗室、全程由 GPT-5.4 mini 評判——顯示訓練勝過提示。能改變這個局面的是那篇論文,或是來自 Microsoft 外部、對那個 4.95 的一項獨立評估。兩者目前都還不存在,而在任何人用它取代一套正在運作的流程之前,兩者都值得等待。

像這樣的比較,也正是失效模式浮現的地方:這一類模型背後有文獻記載的 AI 事故與代理失效案例,都收錄在the OrcaRouter AI Incident Archive,其中每一則紀錄都附有各自的來源、嚴重程度、信心評級與爭議標記。