一张生成的双卡片对比图,标题为“UserRepGen-4B 对 Intern-Decision-4B——同一基座,输出相反”,上方的大标题是“两者都是微调后的 Qwen3.5-4B。写出来的东西却截然不同。”左侧卡片 UserRepGen-4B 列出的信息为:2026 年 10 月 14 日悄然发布,返回 task 与 user_behavior JSON,生成最多 1,024 tokens,公开的数学指标无,输入上限 8,192 prompt tokens,公告无。右侧卡片 Intern-Decision-4B 列出的信息为:2026 年 9 月 26 日悄然发布,每个选项返回概率,生成一项为单次前向传播内无生成,公开的数学指标 Brier 0.347 与 ECE 0.065,输入上限超过 8,192 即拒绝,公告无。页脚写着“两组数字均出自厂商自己。”OrcaRouter 标志合成于右下角。
Engineering & Research

UserRepGen-4B 与 Intern-Decision-4B:两个团队微调了同一个 4B 基座,却毫无共识

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

两次悄无声息的发布,相隔五周,从同一个检查点分支而来。 microsoft/UserRepGen-4B 于 2026 年 10 月 14 日作为一个 9.1 GB 的 bfloat16 仓库出现在 Hugging Face 上,没有任何公告;internlm/Intern-Decision-4B 于 2026 年 9 月 26 日 05:36:37 UTC 出现在一个四十秒的时间窗口内,同一窗口还产出了一个 0.8B 和一个 2B,同样没有公告。两者都是 Qwen3.5-4B 的 LoRA 微调,两者尽管带有一个从不使用的视觉塔,却都是纯文本的,两者返回的都是一种僵硬的结构而非答案——而它们在模型究竟为何而做这一点上分歧之大无可复加。Intern-Decision-4B 从不写出一个词元。UserRepGen-4B 除了词元什么都不写。本次比较中的其他一切,都源于这一处分裂。

一个是得分手,另一个是作家

InternLM 的模型卡对其自身机制异常直白:“此 API 执行结构化候选评分。它不会调用 generate(),也不会采样自由格式文本。”你向它传入一个状态、一个由具名问题组成的 schema,以及一组候选答案。它把各个选项映射为单 token 符号,运行一次因果前向传播,读取每个占位符紧前位置的 logits,应用拟合温度 1.99241824,并返回每个选项的校准概率。一次前向传播。不采样,没有解码循环,不生成文本。

UserRepGen-4B 则把它反过来。你交给它一段已完成的对话。它会在两个 JSON 字段——task description 和 user_behavior description——中生成最多 1,024 个 token 的文本,而模型卡在相反方向上也同样直白:该模型"生成的是表示,而非模拟的用户轮次",它不执行用户的任务,它也不是模拟器。

将两者并排放在一起,工程后果便立刻显现。

• 输出的价值——Intern-Decision-4B 返回的是一个可供设定阈值、取平均值和审计的数字。UserRepGen-4B 返回的是一段文字,其质量只有 LLM 评审才能评分,而这正是 Microsoft 评估它的方式。

• 每次调用成本——对固定提示词的一次前向传播,对比最多 1,024 个生成 token。这就是大约 44 毫秒与完整解码运行之间的差别,也正是决策模型能置身于循环之中、而表征模型不能的原因。

• 意义栖身之处 —— InternLM 认为答案本就应该能在提示中一一列举出来,因此模型只需排序。微软则认为答案潜藏在对话之中,因此模型必须写出来。排序有边界、可验证;写作则是开放式的,需要一位评判者。

A generated two-column scoreboard headed "UserRepGen-4B vs Intern-Decision-4B - the scoreboard", titled "A scorer and a writer, from one checkpoint". The UserRepGen-4B column reads: output type two-field JSON prose; decoding up to 1,024 new tokens; calibration not published; latency claim not published; input limit 8,192 prompt tokens; eval scale 1-10 LLM judge. The Intern-Decision-4B column reads: output type calibrated distribution; decoding none, one forward pass; calibration Brier 0.347 and ECE 0.065; latency claim 44.16 ms mean on an RTX 4090; input limit refuses above 8,192; eval scale seven suites with a 90.02 average. A footer reads "Vendor-reported; no independent evaluation of either." The OrcaRouter logo is composited bottom-right.

输入上限,以及它们能告诉你关于这些押注的哪些信息

两张卡片都公布了一项硬性限制,而比较它们,是了解两个团队如何以不同方式界定同一个基础模型的最快方法。

Intern-Decision-4B 拒绝处理超过 8,192 个 token 的任务。这是一种拒绝,而不是截断——这一设计选择表明,该模型适用于那些紧凑到可以在一条提示词中完整陈述的决策。

UserRepGen-4B 是在一个 9,216-token 的序列上训练的:最多 8,192 个 prompt token 覆盖对话,再加上 1,024 个 completion token 用于表示。模型卡还补充说,超出该长度的扩展上下文使用“本版本不支持”,并且长上下文性能从未单独进行过基准测试。因此,同一个 8,192-token 上限在两边都出现了,而且是独立得出的,来自两个大概彼此不了解对方工作的团队。

这种趋同才是有用的发现。在 2026 年年中,基于这个基座模型微调的 4B 模型,是一个按单条格式良好的提示词来设定规模的组件——而不是长上下文引擎。两个发布版本对此都很坦诚。两者都没有把它藏在更大的宣传上下文窗口背后。

两者都发布了一则校准故事,但它们并不是同一个故事。

A headless-browser capture of the Hugging Face model card for internlm/Intern-Decision-4B, showing the InternLM organisation, 86 likes, the image-text-to-text pipeline tag, the qwen3_5 and decision-making tags, and the card's opening line that Intern-Decision-4B is a multimodal structured decision model fine-tuned from Qwen3.5-4B which accepts a shared state, a schema of named questions and optional images and returns an answer distribution for every question in one forward pass. The numbered "How inference works" steps are visible below it.

正因如此,溯源在此变得微妙起来:这两项评估不可通约,且均未在其所属实验室之外得到复现。

Intern-Decision-4B 发布了一个七套件基准测试,平均得分为 90.02——这是它自己表格中最好的一行,领先于得分 84.68 的 Intern-Decision-2B 和得分 79.38 的 Intern-Decision-0.8B,所有这些都是在 InternLM 的评估框架上测得的。它还公布了校准结果:Brier 分数为 0.347,期望校准误差为 0.065。另一项使用精确参考分布的 96 案例试点,在应用其拟合温度后,从 0.628 的 Brier 分数和 0.213 的 ECE 变为 0.550 和 0.089。这些数字中的每一个都来自厂商自己,而 InternLM 之外的任何人都没有核实过它们。

在 1 到 10 的评判量表上,UserRepGen-4B 发布了一张保真度表——best-of-1 为 4.95,best-of-3 为 6.02;而现成使用 GPT-5.5 时分别为 3.90 和 4.90,未经调优的基础模型则为 3.41 和 4.42。这些数字每一个都出自微软自己,由 GPT-5.4 mini 同时充当模拟器、助手和评判者生成,微软之外的任何人都没有核实过它们。

真正重要的不对称并不在于分数——它们在不同的尺度上衡量不同的东西。而在于:Intern-Decision-4B 针对已知参考分布发布了一种恰当的评分规则,这种规则在构造上就是可证伪的;而 UserRepGen-4B 发布的是 LLM 评判分数,只有运行另一个评判器才能被证伪。InternLM 构建的模型可以用算术来审计。Microsoft 构建的模型则必须用另一个模型来审计。鉴于两者都声称已经击败了基线,这种可审计性上的差异正是你在二者之间做选择时实实在在的一部分。

隐私调查结果他们中只有一个人会打印。

Intern-Decision-4B 的模型卡中没有任何重要的隐私部分。UserRepGen-4B 的模型卡里则有一个足以让任何团队警醒的数字:在 147 名以上用户中,要求一个选择器从四段对话中挑出哪段来自同一个人时,使用该模型的行为描述可达到 51.02%,而使用完整的原始对话为 44.22%,随机猜测则为 25%。这种压缩表示对人物的识别效果更好,甚至超过了它所源自的原始材料。

Microsoft 将其标记为可链接性风险,并明确表示表征并非匿名化数据。这是正确的处理方式,而且这一警示适用于整个这一类模型——包括决策模型,其自身的输入就是关于人们处境的对话。区别只在于,一张卡片这样说明了,另一张没有,而这并不等同于其中一个模型就是安全的。

两者都不是 API,但它们共享的基础是

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3.5-flash, showing the Qwen3.5 Flash heading, Vision, Tools, JSON and Reasoning badges, a description of it as a multimodal chat model optimised for cost with 1M context, prices of $0.10 and $0.40 per million tokens, a 1M-token context with 65k maximum output, and a p50 TTFT of 1.50 seconds.

这两者都是下载项,而不是端点。Intern-Decision-4B 以 Python DecisionEngine 类的形式提供,一次加载、重复使用,其演示 Space 返回 401,其 GitHub 链接返回 404;UserRepGen-4B 提供一个未量化的 safetensors 文件和一个 example.py。OrcaRouter 两者都不提供。如果你说这两者中任意一个如今可通过托管 API 使用,那你描述的是计划,而不是事实。

真正可调用的是它们二者都从其中分支出来的那个检查点。Qwen3.5-4B 系列已在我们的目录中—— Qwen3.5-Flash具备超过百万 token 的上下文,每百万输入 token 0.10 美元、每百万输出 token 0.40 美元,Qwen3.5-35B-A3B为 0.057 美元和 0.459 美元,Qwen3.5-27B为 0.086 美元和 0.688 美元——全部使用同一个密钥,全部按提供商的标价,没有任何附加费用。这对流水线中不属于这两个模型的部分很有用:模拟的助手侧,或围绕决策调用的推理步骤,可以通过一个端点运行,同时你在本地评估微调模型。

如何选择

如果你的问题是一个答案可枚举的有界问题,而你需要每秒一万次得到一个经过校准的数字,那么 Intern-Decision-4B 是这里唯一能做到这一点的模型,而它从不采样这一事实是特性,而非局限。如果你的问题是你想要一个行为像真实用户的模拟器,那么 UserRepGen-4B 是这里唯一为此而训练的模型,而它所报告的相对 GPT-5.5 的增益幅度,正是值得在意的理由。谁都不该依据另一个模型的数字来挑选其中任何一个,因为它们测量的从来就不是同一回事。真正能定论这场比较的,是对任意一方的模型卡哪怕一次的外部审视——而对于这两个相隔数周、在彻底无声中发布的版本来说,两者都未曾有过任何这样的审视。

两次静默发布也提醒我们,这类模型中有多少是在没有文档的情况下交付的,而随之而来的故障则被收录在OrcaRouter AI Incident Archive,其中每条记录都带有自己的来源、严重程度、置信度等级和争议标记。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新