一篇对比文章的标题卡,标题为“Intern-Decision-4B vs Qwen 3.8”,副标题为“44 毫秒的前向传播对比 2.4 万亿参数”,并配有三个扁平线性图标,分别暗示一个小型快速评分器、一个大型推理模型和一项成本对比。
Engineering & Research

Intern-Decision-4B vs Qwen 3.8:44 毫秒的前向传播对决 2.4 万亿参数

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

InternLM 于 2026 年 9 月 26 日上午在 Hugging Face 发布了 Intern-Decision-4B——没有发布帖,没有博客文章,其模型卡上的一个 GitHub 链接返回 404,一个演示 Space 返回 401。权重是真实且可下载的;发布公告却不见踪影。而其底层模型是对 Qwen3.5-4B 的微调,这正是它与托管旗舰模型之间的对比比一张规格表更有价值的原因。这两者不是竞争对手。它们是同一条流水线的两端,而整个问题在于它们之间的分界线落在哪里。其底层核心是厂商在 8 月发布、现以 Qwen3.8-Max 提供服务、按每百万 token 2.00 美元和 6.00 美元计费的 2.4 万亿参数模型;Intern-Decision-4B 是对那个已有七个月的基础模型进行 45.4 亿参数重建的产物,它完全不输出 token,在单次前向传递中最多回答十六个带类型的问题,并且每次调用都不产生费用,因为没有输出可供计费。

一句话答案:如果你的任务是一个答案集封闭的决策,那么 Intern-Decision-4B 每次决策大约快五十倍,并且在结构上更便宜,在这个狭窄维度上没有任何前沿模型能胜过它。如果你的任务是其他任何事——推理、长上下文、工具使用,或任何答案尚未在提示词中列出的任务——Qwen 3.8 就不只是更好,而是两者中唯一能真正完成这项工作的。下面全部内容都是为了精确找到这条分界线。

究竟确认了什么,什么还没有确认

先从证据说起,因为叙述框架很重要。Intern-Decision-4B 没有任何厂商公告。没有新闻稿,没有论文,也没有可供阅读的仓库描述。今天存在的,是一个今天早上发布在 internlm 组织——即 Intern Large Models,上海人工智能实验室团队——之下的 Hugging Face 仓库,采用 Apache 2.0 许可证,并在旁边保留上游 Qwen 许可证为 LICENSE-QWEN。两个同级检查点相隔四十秒先后出现:Intern-Decision-0.8B 有 8.53 亿参数,Intern-Decision-2B 有 22.1 亿参数。三者都带有相同标签—— 决策,多模态,结构化预测——而且三者都位于同一个尚未公开解析的模型集合下。

尚未确认的是:这是最终发布版,还是一次提前推送。该仓库创建于 UTC 05:36,并于同日 UTC 08:00 前再次被修改,而同级检查点上的进一步公开活动一直持续到 09:00 之后。InternLM 尚未说明其预期的部署方案,尚未发布其所链接的仓库,也未说明是否会推出托管端点。请将本文中的每一个基准测试数字都视为厂商报告且未经复现——因为截至本文撰写时,实际上还没有任何其他地方写过关于这个模型的内容。三条独立的搜索路径都查不到这个名称。

Screenshot of the Hugging Face model card for internlm/Intern-Decision-4B, showing the internlm organization, the image-text-to-text and transformers tags, 5B params, and the model card opening line describing a multimodal structured decision model fine-tuned from Qwen3.5-4B.

架构上的押注:是评分器,而非生成器

Intern-Decision-4B 自身文档中最重要的一句话是一个否定表述:推理路径“不调用 generate(),也不采样自由形式文本。”这不是实现细节,而是整个设计;也正是这一点,使它有别于给 Qwen3.8-Max 一个 JSON schema、然后指望大括号闭合的做法。

这就是卡片所描述的机制。你向模型提供一份共享状态、一个由具名问题组成的 schema,以及可选的至多八张图像。每个问题都属于三种类型之一:choice(从一组有序选项中选一个)、score(按序数量表评分,返回概率加权的期望值),或 noul(二元否/是)。系统提示、状态、schema 和一个完整的 assistant JSON 骨架会被渲染,每个字段对应一个占位符。然后——这正是诀窍所在——模型执行一次因果前向传播,并在每个占位符紧前的位置读取 logits。仅对该字段允许的候选符号做 softmax,应用检查点的校准,再把这些符号映射回你原本的选项值。

这些后果是具体的。由于每个字段的答案空间都是按请求组装,而不是预先固化到词表头中,所以你今天下午临时设计的一个 schema 无需重新训练——添加一个问题,这些选项就会成为该字段的候选符号。由于没有解码循环,就不会有输出 token,不会有忘记写的大括号,也不会有围绕格式错误 JSON 的重试逻辑。而且,由于所有问题都是基于对状态的同一次读取来评分,十六个问题只需一次前向传递,而不是十六次。

这些限制同样具体,卡片上直白写明,毫不含糊。问题数为 1 到 16 个,每题最多 62 个选项,最多八张图像。默认上限为 8,192 个 token——超过该上限的输入会被直接拒绝,而非截断。最后这一条是值得细想的设计决策:静默截断正是分类器悄悄开始回答另一个问题的方式,而 InternLM 选择的是显式报错。这是正确的决定,同时也是一个运维陷阱,因为冗长的工单线程加上 schema 再加图像,会比你预想得更快突破 8,192,而且没有优雅降级路径——你只会收到报错。

Intern-Decision-4B 在哪些方面胜出,而且优势毫无悬念

有两个维度,而且二者都是结构性的,而非渐进性的。

• 每次决策的延迟——平均 44.16 毫秒,中位数 44.03 毫秒,p95 为 44.60 毫秒,是在单块 RTX 4090 上通过本地 Hugging Face 路径测得的。对比 Qwen3.8-Max,其在我们自有 playground 上的实时七天窗口显示,在每秒 55.4 个输出 token 时,p50 为 2,474 毫秒,p95 为 9,789 毫秒。中位数上大约相差 56 倍,而且这个比较与其说是不公平,不如说是在两种不同操作之间进行比较:一个模型做分类,另一个先推理再写作。差距是真实的,其原因也是真实的。

• 每次决策的成本——这是算术问题,不是观点问题。以一个贴近现实的支持分诊调用为例:800 个输入 token 的状态和 schema,以及 150 个输出 token 的结构化 JSON。在 Qwen3.8-Max 上,就是 800 × $2.00/M 加 150 × $6.00/M,约合每次决策 $0.0025,这还没算任何一个推理 token——而 Qwen3.8-Max 是推理模型,所以输出侧还是乐观估计偏小的情况。一百万次决策大约要花 $2,500。同样的一百万次决策在 Intern-Decision-4B 上,token 成本为零,约需 12.3 小时的 RTX 4090 时间。Intern-Decision-4B 没有输出价格,因为它没有输出。

这笔权衡坦率而明显:4B 需要一块你自有或租用的 GPU,它会占用这块 GPU,而且永远只能做一件事。但如果这一件事正是你的产品每天要做数百万次的事,那么上面的算术就是整个商业理由,前沿模型再强的能力也改变不了这一点。

Qwen 3.8 未公布的数字:校准

这是一个不显眼的差异化优势,也是大多数对比会忽略的一点,因为它看起来并不像基准测试。

Intern-Decision-4B 返回的是分布,覆盖你的各个选项值,而不仅仅是一个标签——还附带置信度;对于noul问题,则返回校准后的“是”概率。InternLM 在其自有测试套件中报告 Brier 分数为 0.347、期望校准误差为 0.065,并在检查点中附带拟合温度:1.99241824,该温度是专门针对此规模,通过在 1,728 个指定校准案例上最小化负对数似然、并使用 1,693 个留出验证案例分别拟合得到的。测试套件标签未用于选择它。模型卡中还有第二个独立的 96 案例诊断,使用精确参考分布而非采样标签,显示总体 Brier/ECE 从校准前的 0.628 / 0.213 变为校准后的 0.550 / 0.089——校准步骤使期望误差降低幅度远超一半。

现在去 Qwen 3.8 这边找同一个数字。它并不存在。阿里巴巴公布了 Artificial Analysis Index 分数、GPQA Diamond、terminal-bench、SciCode、tau-banking 和长上下文召回率——全都是能力指标。它没有为任何 Qwen 3.8 系列成员公布校准指标,因为生成式模型的置信度并不是厂商会提供的量。如果你的系统需要的是一个可以据以设定阈值或进行路由的概率,而不是一个它必须信任的答案,那么这种差别不是程度上的差别。一个模型给你一个带有已记录错误率的数字;另一个模型给你文本,而你要围绕它自行构建置信度估计。

在 Qwen 3.8 胜出的方面,而且差距还很大

把两者就可被要求做的事情并排对照,界限便不再微妙。

• 背景:Qwen3.8-Max 拥有 1,000,000 token 的上下文窗口,而 Intern-Decision-4B 会拒绝任何超过 8,192 的输入。两者相差 122 倍,而且没有任何变通办法,因为这一输入上限是强制执行的,而非采取截断处理。

• 输入模态 —— Qwen3.8-Max 支持文本、图像和视频。Intern-Decision-4B 支持文本和图像,最多八张,且图像 token 会计入相同的 8,192 预算。

• 推理与工具——Qwen3.8-Max 在其已声明能力中涵盖工具使用、JSON 模式和推理,并在 Artificial Analysis 智能指数中获得 45.4 分,在已收录的 145 个模型中位列第十五;其 AA 编程得分为 76.2,在 138 个模型中排名第九。这些是 Artificial Analysis 发布的独立数据,并非厂商自述。Intern-Decision-4B 没有 Artificial Analysis 收录记录,没有任何形式的独立评分,也不具备推理、规划或调用任何内容的能力。

• 开放式输出——Qwen3.8-Max 会写。Intern-Decision-4B 无法生成段落、理由或计划。它只能为你已经想到要列出的选项打分。

在开放权重这一侧也值得注意:如果你想要的是 Qwen 3.8 核心本身,而不是托管路线,那么 Qwen3.8-27B 就是它的稠密同级模型——278 亿参数、Apache 2.0 许可、262,144 token 上下文,在提供服务的平台上大约每百万 token 收费 $0.33 / $2.40。它在 AA Intelligence Index 上得分 33.7。它的规模仍比 Intern-Decision-4B 大一个数量级,仍是生成式的,对于大批量封闭集合决策来说仍是错误的工具——但它是诚实的中间选项,也是三者中唯一一个真正既便宜又真正有能力的。

Screenshot of the OrcaRouter model page for Qwen3.8 Max, showing the on-page navigation for code samples, pricing, performance, public benchmarks, community buzz, how it compares and FAQ, with the model name and vendor breadcrumb at the top.

如实解读 InternLM 自己的基准测试表

Intern-Decision-4B 的模型卡上有一张对比表,而其中缺失的内容,比表里已有的内容更能说明问题。表中各行分别是 Jev、Laya、SemIf、Kev、JevK5,以及 InternLM 自家的 0.8B 和 2B。其中每一项都是又一个 System One 或决策模型条目——Jev 来自 TypeSafe AI,Laya 来自 Convai Innovations,另外还有三个。每个数字都是厂商在 InternLM 自家评测框架上报告的。表中完全没有前沿模型。

这不是疏忽。这是该主张诚实涵盖的范围。Intern-Decision-4B 在七个测试套件上的总体平均分为 90.02——Jevbench-Easy 100.00、Jevbench-Original 98.61、Jevbench-Hard 73.87、Typed Decision 80.55、ToolACE 96.45、AG News 90.82、WildJailBreak 89.86——这是声称在决策模型类别中领先,而它在这张表上确实做到了,超过了 Jev 的 88.74 和 Laya 的 57.77。这并不是声称要与 Qwen 3.8 竞争,InternLM 也没有在任何地方作出这一主张。模型卡的范围限定在其自身类别内,而把类别胜利解读为能力胜利,正是本节旨在防止的错误。

还有两点提醒。延迟数据——在 4090 上平均 44 ms——是厂商实测的,会随工作负载和硬件条件变化;而且单 GPU 前向传播与包含网络往返和排队的托管 API 调用并不是同一种测量。校准试点只有 96 个案例:它是一次诊断,而非基准测试,卡片上也已如此注明。

部署问题,这才是真正的分岔点

暂时忘掉基准测试,问问每一个在操作层面究竟要求你做什么。

Intern-Decision-4B 在磁盘上以 bf16 格式约占 9.1 GB——两个语言分片分别为 4.26 GB 和 4.15 GB,一个 612 MB 的视觉塔,以及一个 54 MB 的投影器。它通过一个 16 KB 的 inference.py 加载;该文件随仓库本身提供,并配有一个 DecisionEngine 类,你只需实例化一次即可复用。输入一个 Python 字典,输出一个响应字典,要求 Python 3.12+。它在 4090 上运行耗时 44 ms,而 0.8B 的同系列模型足够小,用少得多的资源就能对其进行推理。但这个模块就是接口——没有服务器、没有 OpenAI 兼容端点,也没有托管 API。你要围绕它构建服务;如果需要两个实例来做故障转移,那也得由你来构建。

同一条流水线的生成侧则完全是另一个决策,而这正是路由器真正的用武之地。Qwen3.8-Max 和 Qwen3.8-27B 都可以在 OrcaRouter 上通过同一个兼容 OpenAI 的密钥调用,价格为供应商标价,0% 加价直接透传——因此当阿里巴巴调整 Qwen 价格时,我们这边当天就会生效,而不是等到下一个计费周期。Intern-Decision-4B 不在我们的路由之列,在 InternLM 将其托管到某处之前也不会加入;我们不会假装并非如此。我们所覆盖的,是这条流水线中属于网络调用的那一半:一个密钥接入 200+ 模型;Qwen3.8-Max 若出现性能下降,可自动故障转移——其实时七日错误率为 1.78%;以及在最终选定之前,能在同一条请求路径上对两个 Qwen 3.8 档位进行 A/B 对比。

这就是值得汲取的模式。在本地运行评分器,因为它便宜、快速,而且能把一件窄事做好。把推理步骤路由出去,因为供应商更替、价格下调和中断实际上都发生在那里。

A two-column comparison scoreboard titled Intern-Decision-4B vs Qwen 3.8 — the scoreboard, contrasting 44 ms per decision, about $0 in tokens per million decisions, an 8,192-token context, text plus 8 images, a published Brier of 0.347 and no open-ended output on the left against 2,474 ms p50 hosted, about $2,500 per million, a 1,000,000-token context, text, image and video, no published calibration and open-ended reasoning on the right.

你到底应该选哪一个

如果你的决策是封闭集、答案可以在提示中枚举、你会大规模运行同一决策,并且你对概率的关心不亚于对标签的关心,那就选 Intern-Decision-4B。工单路由、基于固定分类体系的内容审核、抽取到你控制的模式中的结构化提取、评分细则、二元门控——任何人类可以提前写出选项列表的场景。54 亿参数对上限很诚实:模型卡本身显示,4B 在 Jevbench-Hard 上为 73.87,而在 Easy 上为 100.00,因此决策形态越难,小模型让步越多。

选择 Qwen 3.8——如果你想要托管核心,就意味着选 Qwen3.8-Max;如果你想要自己能持有的权重,就选 Qwen3.8-27B——前提是答案无法预先枚举、输入长度超过 8,192 个 token、你需要能向人展示的推理依据、你需要工具调用,或者你需要视频。如果你只是不想运行 GPU,也选它:每百万次决策消耗 12.3 小时 4090 机时,只有在你已经拥有 4090,并且在其余 363 天里还有别的事可做时,才算便宜。

如果大多数流水线实际呈现的形态就是如此——前面是廉价的封闭集分类器,后面是前沿模型,用来处理分类器不确定的情况——那就两者都选。这正是 Intern-Decision-4B 的校准置信度所针对的配置,也是上述 ECE 数值比总体平均更重要的原因。

看什么

三个悬而未决的问题,都能在几天内得到答案。InternLM 是否会发布其自身模型卡所链接的 GitHub 仓库——目前是 404——并随附训练说明?是否会有一份公告紧随权重发布而来,把一次悄无声息的推送变成有记录的发布?以及,是否有任何独立方能在并非 InternLM 的硬件上复现 90.02 的平均值,或 0.347 的 Brier 分数?

在你等待的时候,有一个小小的不一致值得注意,因为在你评估部署规模时,这类事情很重要。该模型名为 4B。参数数量是 4,539,265,536——45.4 亿。0.8B 的兄弟模型是 8.53 亿,2B 的兄弟模型是 22.1 亿,二者都只是向上或向下取整了一点点。只有 4B 向下取整的幅度超过 5 亿。这不是问题。它提醒你:在一个未公布的发布中,文档是你唯一的规格说明,而且连文档都还在被编辑。