一张生成的双卡片对比,标题为“UserRepGen-4B vs Gemma 4 12B - 专家型 vs 通用型”,主标题为“一个做的是分内之事,另一个从未被要求做这件事”。左侧卡片 UserRepGen-4B 列出:角色为在对话中描述用户,规模为 4B 级加 rank-64 LoRA,输入仅文本,格式为一个 bf16 文件,自有基准为 4.95 best-of-1 保真度。右侧卡片 Gemma 4 12B 列出:角色为通用多模态助手,规模为 11.95B 稠密、48 层,输入为文本、图像和音频,格式为原生 GGUF、ONNX 和 MLX,自有基准为 77.2 MMLU Pro。页脚写着“Microsoft 数据为厂商报告;Gemma 数据依据 Google 的模型卡。”OrcaRouter 标志合成在右下角。
Guides & Insights

UserRepGen-4B 对决 Gemma 4 12B:一个 4B 的窄域专家,对抗一个 12B 的通用模型,以及为什么规模会说谎

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

并排放在一起看,microsoft/UserRepGen-4B和Gemma 4 12B像是一场还没开始就已注定胜负的错配。谷歌这个拥有 119.5 亿参数的模型能读文本、图像和音频,可容纳 256K token 的上下文,附带一份技术报告和一篇发布博客,自 2026 年 5 月以来下载量约为 79,000 次。而微软的模型只是在Qwen3.5-4B上做的 rank-64 LoRA,2026 年 10 月 14 日上传,没有任何公告,而且它只做一件事:读取一段已完成的用户—助手对话,然后回写一段包含两个字段的 JSON 描述,刻画对话中的那个人。它不能对话、不能回答问题,也看不见图像。用能力来衡量这两个模型根本算不上比较,而是一种范畴错误——而有趣的地方恰恰在于这种范畴错误,因为那个更小的模型,正是在它为之而生的任务上击败了一个前沿通用模型。

每个到底是用来做什么的?

把这两者同时记在脑子里,最清晰的理解方式是:Gemma 4 12B 是一个助手,而 UserRepGen-4B 是一台测量仪器。

• Gemma 4 12B——Gemma 4 家族中无编码器的多模态成员。输入文本、图像和音频;输出文本。Google 自己的模型卡将其描述为“Unified”(统一),因为它舍弃了家族其他成员所使用的专用视觉和音频编码器,通过轻量级线性层将原始图像块和波形直接投影到解码器的嵌入空间。48 层、1,024 个 token 的滑动窗口、262K 词表、256K token 上下文。Apache 2.0,指令微调变体与基础版一同发布。

• UserRepGen-4B——一个表征生成器。输入:一段经过授权的多轮对话,最多 8,192 个 token。输出:一个包含 task 字段和 user_behavior 字段的 JSON 对象,上限为 1,024 个 token,先由人工审核,再交给另一个 LLM,让后者在模拟中扮演用户。微软贡献的部分采用 MIT 许可,从 Q​wen 主干继承的 Apache 2.0。尽管该检查点保留了一个从未使用的视觉塔,但它仅处理文本。

Gemma 4 12B 可以被要求去做 UserRepGen-4B 所做的事——读取一段对话并描述其中的用户。这正是进入这场对决最诚实的方式,因为微软的模型卡所衡量的,恰恰是一个通用模型在做这件事时的表现,而它输了。

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

唯一将它们联系起来的实数

这两者之间并没有公开发布的正面直接对比,而凭空编造一个,正是这类页面最容易犯的错误。UserRepGen-4B 的模型卡确实公布了一项基于 700 段对话的保真度评估,采用 1 至 10 分制,其中每个生成器都以完全相同的调用方式进行评判。在该表格中,GPT-5.5以现成方式直接用作表征生成器时,best-of-1 得分为 3.90,best-of-3 得分为 4.90。UserRepGen-4B 的得分则为 4.95 和 6.02。在这个特定任务上,这个经过训练的 4B 专用模型击败了规模大上数个数量级的前沿通用模型。

Gemma 4 12B 不在那张表里,所以没人知道它会落在什么位置。不过,用来衡量它的基线已经让答案的轮廓变得清晰:一个被要求描述用户的通用模型会生成看似合理但泛泛而谈的内容,而 UserRepGen-4B 中的训练方法正是为了突破这一点而存在。12B 在通用推理上很可能会击败 4B,但在这个狭窄任务上则会被 4B 击败。

这就引出了一个显而易见的问题:为什么不干脆直接提示 Gemma 4 12B 去做同样的事,只在磁盘上保留一个模型呢?有两个原因,而第二个才是关键所在。

首先是规模化成本。为每段对话生成一个表示是一项批处理作业,而 12B 参数在同一轮处理中的成本大约是三倍于 4B 参数。第二点是,保真度差距并非调参问题——该模型卡自身的消融实验显示,普通监督微调的得分为 4.64/5.68,而 OPSD 和 GRPO 这两种任何一支称职团队都会首先采用的强化学习方法,却低于它,分别为 4.46/5.60 和 3.57/4.59。让一个通用模型表现出这种行为,并不是靠更好的提示词或更重度的 RL 训练就能实现的。这正是训练循环被设计出来要做的事。

两者均可下载,但其中只有一个是可部署的

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

这正是“4B 对 12B”这一框架彻底站不住脚的地方,因为这两个版本处在打包谱系的两个极端。

• Gemma 4 12B——一款已发布、生态系统可用的产品。支持 Transformers,提供指令微调版本,整个系列均已发布量化格式与边缘端格式,还配有发布博客、arXiv 技术报告,以及从下载到部署的完整文档化路径。

• UserRepGen-4B —— 一个单独的 bfloat16 safetensors 文件,大小为 9,078,620,536 字节。没有 GGUF,没有 ONNX,没有 MLX,也没有任何形式的量化。模型卡直接说明了这一点:“目前没有可用的优化格式或设备专用格式。”

这个差距并非偶然。Gemma 4 12B 被打造出来就是为了供他人运行,而一百一十五亿参数是作为产品交付的。UserRepGen-4B 被打造出来是为了给一篇论文产出一个结果,而它的卡片上仍写着引文“待确认”,并提到要“在仓库为私有期间”进行身份验证——这是一句阶段式上传遗留下来、尚未更新的内容。一个是已完成;另一个是完成得够用了。

如果你真正想要的是通过 API 使用 Gemma 4

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

直说吧,因为大多数看 Gemma 对比的读者真正关心的正是这里:OrcaRouter 不提供 Gemma 4 12B——我们的目录中没有它的模型页面——也不提供 UserRepGen-4B。不过,同一个 Gemma 4 家族中的另外两个成员已在目录中,且两者都按提供商的标价报价,未做任何加价:Gemma 4 26B A4B,这个 25.2B 的混合专家版本,拥有 3.8B 活跃参数,上下文长度为 262,144 token,每百万输入 token 为 $0.06,每百万输出 token 为 $0.33;以及 Gemma 4 31B,这个稠密的 30.7B 多模态版本,价格为 $0.13 和 $0.38。如果你专门想要 12B 用于本地工作,下载才是答案,API 不会改变这一点。

在模拟方面,诚实的立场也是一样的。UserRepGen-4B 是一个检查点和一个提示文件——你要在自己的环境中自行运行它,针对你有权处理的对话来运行。如果那只是对托管端点的一次调用,那会很方便。但今天并非如此,无论在我们这里,还是在其他任何地方。

要下载哪一个

如果你需要一个小型多模态助手,能在笔记本电脑上阅读文档、听音频并回答问题,那 Gemma 4 12B 就是选择,与 UserRepGen-4B 的对比差距大得根本不值一提。如果你在构建用户模拟器,而当前做法是提示一个通用模型来描述用户,那么 UserRepGen-4B 是这里唯一为此训练过的东西,而证据——由厂商报告、出自单一实验室、全程由 GPT-5.4 mini 评判——表明训练优于提示。能改变这一局面的是论文,或者来自 Microsoft 之外对那个 4.95 的一次独立评估。两者目前都不存在,而在任何人用它替换正在工作的流水线之前,这两者都值得等待。

像这样的对比,也正是失效模式浮出水面之处:这一类模型背后有记录的 AI 事故与智能体故障,都汇集在OrcaRouter AI 事件档案中,其中每一条记录都附有各自的来源、严重程度、置信度等级和争议标记。