Granite Switch 4.1 8B 对比 Qwen3-8B：当另一方没有继任者时会发生什么

先从一个命名问题说起，因为它决定了这篇文章能诚实地写成什么样子。当你在阿里巴巴最新的 Qwen 世代中寻找 8B 模型时，你会一无所获：Qwen3.8 系列——Qwen3.8-27B、Qwen3.8-Max、Flash 变体、庞大的 2.4T-A95B 混合专家模型——根本不含 8B 稠密成员。Qwen 家族中的 8B 席位仍由Qwen3-8B占据，该模型发布于 2025 年 4 月 27 日：82 亿参数，将思考与非思考模式混合于单一模型，支持 100 多种语言和方言，原生上下文 32,768 个 token，借助 YaRN 可扩展至 131,072。这个模型已问世十六个月，却仍是现存下载量最高的开放权重检查点之一。它是现任者——而这场对比之所以值得一写，是因为Granite Switch 4.1 8B——IBM 于 2026 年 10 月 14 日发布的组合式检查点——根本不是要用后继者来取代它。它提供的是同一参数级别中另一种形态的模型：一个冻结的 8B 文本模型，外挂两个可切换适配器和一个语音编码器，靠切换完成三项工作，而不是靠推理完成一项工作。没有人取代 Qwen3-8B，而更好的问题是：是否有人需要这么做。

与之相对的是Granite Switch 4.1 8B，即 IBM 于 2026 年 10 月 14 日发布的组合式检查点——一个冻结的 Granite 4.1 8B，参数规模为 8,380,551,168，搭载两个可切换的已激活 LoRA 适配器和一个 470M 语音编码器，组合总计达 8,776,400,896，增幅 4.72%。同属一个参数级别，却对"模型是什么"有着截然不同的理解。Qwen3-8B 是一个稠密堆栈，凡事都靠推理来完成。Granite Switch 4.1 8B 则是一个不靠推理做任何事、却能靠切换做三件事的堆栈。

8B 槽位是空的，这才是真正的关键所在。

值得停下来想想这一缺席，而不是把它当作这次对比中的一个空缺。阿里巴巴发布了 Qwen3.8 这一代，包括一个 27B 稠密模型、Max 和 Flash 变体，以及一个 2.4 万亿参数的混合专家模型，却跳过了那个曾让上一代成为单 GPU 部署默认选择的规模档位。每个因为 Qwen3-8B 能装进一张卡、并且可以低成本微调而选择它的团队，如今面对的后继产品阵容要么把内存需求翻倍，要么彻底改变了服务问题。

这才是本文真正讨论的那项决策。没有人是在质量层面于 Qwen3-8B 和 Granite Switch 4.1 8B 之间做选择——一个已服役十六个月的在位者对阵一个仅问世两天、且没有独立评测的挑战者，这不是质量比较，而是知识比较。问题在于，当你的主力模型没有同尺寸的继任者时你该怎么办，而两个候选答案是“保留主力”和“切换形态”。

Qwen3-8B：十六个月的生产实践换来了什么

Qwen3-8B 是一个稠密因果 Transformer，拥有 36 层、隐藏维度 4,096，采用分组查询注意力，32 个查询头对应 8 个 KV 头，中间维度为 12,288，RoPE theta 为 1e6，嵌入不共享，词表大小为 151,936 个 token。参数量约为 82 亿，其中约 69.5 亿为非嵌入参数。思考开关是一个参数——enable_thinking——并且生成设置因模式而异，模型卡明确警告不要在思考模式下使用贪心解码，因为这会导致循环。

它拥有而任何新检查点都无法宣称的东西：长达十六个月来自他人生产流量的实战检验。别人已经踩过并记录在案的失效模式。针对所有重要服务框架的量化、微调、LoRA 配方和部署指南。近一千万次 Hub 下载量和两千多个点赞，背后还有 instruct 血统。当一个模型公开了这么久，围绕它的生态系统便已真正成为其能力的一部分，而这是任何发布日期都无法回溯赋予的。

Granite Switch 4.1 8B：新形态能换来什么

IBM 的检查点是一个组合而非单一模型，其各个组成部分记录在与权重一并检入的构建清单中。基础模型：Granite 4.1 8B，40 层，隐藏大小为 4,096，32 个查询头对 8 个 KV 头，131,072 个 token 的窗口，100,352 个 token 的词表。适配器：guardian-core，秩为 16，alpha 为 64，作用于注意力投影（k_proj、o_proj、q_proj、v_proj），检测伤害、越狱、亵渎、暴力、性内容、社会偏见和不道德行为；以及 decision，秩为 64，alpha 为 128，作用于包括 MLP 在内的全部七个投影，在一次前向传播中返回对带标签选项 token 的校准 softmax。编码器：Granite Speech 5.0 TurboCTC，4.7 亿参数，非自回归 conformer CTC，英语。许可证：Apache-2.0，与 Qwen3-8B 相同。

Qwen3-8B 没有对应物的那项能力，是决策适配器。你交给它一个状态，以及一个带有已标注选项的问题，它返回的是一个分布，而不是一个答案——文档中的调用会通过 logprob_token_ids 向 vLLM 请求恰好是标签 token id 的 logprobs，并取指数，生成形如 A: 0.982, B: 0.0035, C: 0.014 的输出。你可以提示 Qwen3-8B 选择一个标签，它会胜任地做到，而你会得到一个字母。字母不能像校准分数那样被阈值化、跨轮次平均，或记录为置信度值。这就是区别，而且这不是靠规模能弥补的区别。

组合带来的第二样东西是算术。每个适配器共享基础模型的键/值缓存，而不是各自维护一份，因此从没有适配器到两个适配器外加一个语音编码器，代价是参数增加 4.72%，而不是每项能力都要有一套新的注意力状态。IBM 的发布帖声称，组合模型占用的 VRAM 与单独的基础模型大致相同；这一具体说法尚未被复现，但它所依据的参数增量就明明白白写在清单里。这也正是为什么发布帖能把 30B 的组合 Granite Switch 与 27B 决策模型之间的竞速描述为速度优势，而不是内存代价。

• 参数 — 8.78B 合成（8.38B 基础）对比 8.2B。

• 层数 — 40 对比 36。

• 上下文 — 原生 131,072 vs 原生 32,768，使用 YaRN 时为 131,072。

• 词汇 — 100,355 对比 151,936。

• 语言 — 十二种具名语言（英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文）对比 100 多种。

• 推理 —— 在单一检查点中：无 vs 混合思考与非思考。

• 结构化输出 —— 在标签 token 上经校准的 softmax 与提示式选择的对比。

• 音频输入 — 内置 470M ASR 编码器与无编码器对比。

• 生态系统——才诞生两天，谈不上有什么量化版本或微调，而另一边是十六个月的社区工作积累。

Qwen3-8B 仍然胜出的地方

语言，是决定性的。十二种具名语言与一百多种语言相比，对任何面向全球受众发布产品的人来说都不是舍入误差，而这会是迁移测试最先发现的问题。词表也说明了同样的情况：151,936 个 token 对 100,355 个，Granite 的三个保留适配器 id 将其凑成 100,355。一个在上百种语言上训练出来的模型，就是在上百种语言上训练出来的。

原生上下文是第二点。开箱即用即达 131,072 个 token，而经由 YaRN 扩展路径则只有 32,768 个。Granite Switch 4.1 8B 恰好也能达到同样的 131K，但它是原生达到的，而 YaRN 扩展在长上下文行为上存在代价，这是原生窗口所没有的。

第三个才是决定大多数真实迁移的关键：一切都没有坏。没有需要重写的集成，没有需要更换的服务栈，也没有需要重新学习的行为。每一种失败模式都已经由别人梳理清楚，而你可能已经拥有的微调成果依然归你所有。挑战者必须明显更好，才值得为此放弃现有方案；而 Granite Switch 4.1 8B 才问世两天，又没有独立评估，尚未证明自己确实做到了这一点。

Granite Switch 4.1 8B 在哪些方面胜出

决策评分，以及随之而来的运营形态。如果你的应用需要针对带标签选项的置信度值——工单路由、升级阈值打分、选择带有数值的工具——这是 Qwen3-8B 不提供的基础能力，提示也无法凭空造出来。该适配器公布的指标是 Decision Index，edition v0.3 public fast 子集，共 1,068 行：总体 42.9，其中 Knowledge 29.1、Language 48.9、Retrieval 49.8、Tools 59.8 和 Arts 18.0。IBM 运行了它，IBM 公布了它，没有人复现过它，而且模型卡本身也说，这些概率是先验，而非在该适配器未训练过的领域上的认证分类。

端点整合是第二点。聊天、决策与转录共用一个端点，转录由普通的input_audio内容部分触发，而无需第二个服务。IBM 卡片中的注意事项同样适用，值得在精神上逐字重申：仅支持英语，输出为小写且无标点，而且语音编码器与 LLM 未经联合训练，因此一次误转写可能会悄无声息地改变模型所回应的内容。

而可组合性是第三点——composer 是公开的，适配器目录是开放的，你可以构建自己的变体，而不是接受 IBM 选择的两个适配器。

当 {{1}}8B{{/1}} 槽位为空时该做什么

有成效的做法不是迁移，而是把 Granite Switch 4.1 8B 当作 Qwen3-8B 处理得很差的那类特定请求的候选——那些以置信度值结尾的请求，或那些以音频形式到来的请求——其余一切都保持原样。这是个路由问题，不是重写：把决策型调用发往一边，把对话流量发往另一边，并在你弄清这种新形态是否真的能在你的流量上扛得住期间，保持回退路径完好。

这正是 OrcaRouter 所处的层面，而在这里精确说明这意味着什么是值得的：Qwen3-8B 目前不在我们的目录中，Granite Switch 4.1 8B 也不在，所以我们并不是获取这两者中任何一个的途径——Qwen3-8B 是一次 Hugging Face 下载，而 Granite Switch 4.1 8B 则是一次 Hugging Face 下载外加一个 vLLM 容器。这个平台所做的是围绕这一切的工作：一个 API 密钥覆盖 200 多个托管模型，自动故障转移让某个候选模型可以处在实时链路中而不成为单点故障，用于将多个模型组合成一次调用的路由 DSL，以及以 0% 加价率原样传递的供应商标价，因此厂商降价当天即可生效，而不必等到下一次刷新。如果你想在权衡此事的同时看看当代 Qwen 在托管端点上的表现，Qwen3.8-27B就在目录中，并且与本次对比中的现有模型属于同一系列。

底线

将 Qwen3-8B 保留为默认选项。十六个月的生产实践、一百多种语言以及 151,936 个 token 的词表，并不是一个仅凭架构、才诞生两天的检查点所能超越的优势；而阿里巴巴没有推出 8B 后继模型这一事实，并不能让 Granite Switch 4.1 8B 成为那个后继者——这只会让它成为另一款恰好落在同一内存档位的工具。应狭窄而具体地采用它：用于需要对带标签选项给出校准分布的请求、用于内联安全筛查，以及用于在与聊天相同的端点上处理音频。在信任 42.9 之前，请在你自己的标签集上测试它，因为这个数字是 IBM 的，且仅属于 IBM。这场对决中有趣的地方不在于一个模型击败了另一个——而在于 8B 这个位置一直空着，而下一个填补它的模型可能根本就不是稠密 8B。