Granite Switch 4.1 8B 与 Granite 4.2 3B：同一实验室，两种不同的押注

首先要了解的是，Granite Switch 4.1 8B与Granite 4.2 3B并不是真正的竞争对手。它们是对不同问题的两种回答，只是恰巧同属一个实验室、共享同一份许可证和一个版本号，而把它们当成一场正面对决、非要选出一个赢家，是浪费一周时间的最快方式。IBM 于 2026 年 8 月 25 日发布 Granite 4.2 3B，它是一款小型推理模型：三种思考模式、工具调用、128K 上下文可扩展至 512K。IBM 于 2026 年 10 月 14 日发布 Granite Switch 4.1 8B，它是一个组合体：一个冻结的 8B 文本模型，外加两个可切换的适配器和一个挂载其上的语音编码器。一个是为了思考得更深入而打造；另一个则是为了用一个检查点完成更多工作而打造。

第二件需要了解的事更为微妙，也正是这对组合值得专门写一篇文章的原因。Granite Switch 系列构建于4.1代的权重之上，而 IBM 的常规产品线已经推进到了4.2。查看 Granite Switch 4.1 8B 的构建清单，其基础模型是ibm-granite/granite-4.1-8b。查看 Granite 4.2 3B 的模型卡，它是基于ibm-granite/granite-4.1-3b-base后训练而来的。两条产品线都站在同一代预训练权重之上，却用它们做着截然相反的事：4.2 为推理进行更深入的后训练，Switch 则横向组合以拓展广度。两者都没有取代对方，这正是“哪个更新”的直觉反应在这里会给出错误答案的原因。

每一个到底是什么

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B 不是推理模型，也不试图成为推理模型。其基础是 Granite 4.1 8B——40 层、隐藏维度 4,096、32 个查询头对 8 个 KV 头、131,072 token 的上下文窗口——被冻结，并在其上叠加了两个激活的 LoRA 适配器。guardian-core 在注意力投影上的秩为 16，用于检测有害内容、越狱、亵渎、暴力、色情内容、社会偏见和不道德行为。decision 在所有七个投影上的秩为 64，用于在单次前向传播中返回一个关于已标注选项的校准概率分布。添加 Granite Speech 5.0 TurboCTC——一个 470M 参数的 conformer 编码器——用于转录。组合总计：8,776,400,896 个参数，而基础为 8,380,551,168 个参数——增加了 4.72%。

它们实际不同的维度

• 规模 — Granite Switch 4.1 8B 为 8.78B，对比 Granite 4.2 3B 的约 3B。权重规模接近三倍，而在单块 GPU 上，这正是从容与吃紧之间的差别。

• 上下文 — 131,072 个 token，而原生为 128K，并可扩展至 512K。在基础档位上已相当接近，但如果你需要长上下文场景，那就不算接近了。

• 推理——与其中三个相比，完全没有思考模式。Granite Switch 4.1 8B 直接作答；Granite 4.2 3B 则会先进行推理，可选。

• 结构化输出——相较于提示式答案，在带标签选项上进行的校准 softmax。只有其中一种能给出可供设定阈值的数值。

• 模态——文本加音频输入、文本输出，对比纯文本。

• 适配器组合 — 两个可切换的 aLoRA 与一个公共组合器，对比单一单体检查点。

• 发布 — 2026年10月14日 对比 2026年8月25日，相隔七周，两者均为 Apache-2.0。

在 Granite 4.2 3B 显然是首选的情况下

任何在回答前需要思考的任务，以及任何必须在小型规模上运行的任务。一个以受控 token 数量进行推理的 3B 模型，与一个完全不进行推理的 8B 模型是不同的工具；在数学、多步逻辑和代码方面，思考模式是在真正发挥作用，而不是给输出做装饰。低努力模式是被低估的部分：它在“完整推理”和“不进行推理”之间给你一个中间档位，而这正是当查询简单但并非微不足道、且你按 token 付费时想要的东西。

512K 扩展之所以重要，原因相同，但方向不同。长文档处理——仓库级代码、数百页的输入——正是 131K 窗口开始需要分块策略的场景，而 Granite Switch 4.1 8B 并未记录超出其 131,072 的扩展路径。

足迹是第三个论点，而且它绝不是一个次要的论点。三十亿参数是笔记本级别的模型。你可以在一个 8.78B 检查点根本无法运行的地方运行 Granite 4.2 3B，这是能力上的差异，而非偏好上的差异。

Granite Switch 4.1 8B 是显而易见的选择

当你需要的输出是概率，而不是一段文字时。你可以提示推理模型选择选项 B，它会给你那个字母。然而，提示并非概率：你无法对一个字母设阈值，无法把字母跨轮次当作已校准的分数来比较，也无法把它记录为置信度值。decision 适配器则直接返回标签 token 上的 softmax——文档所述的调用会向 vLLM 请求恰好这些 id 的 logprobs 并取指数，产生的输出形如 A: 0.982、B: 0.0035、C: 0.014。那是一个路由原语，而不是答案。

当安全检查需要成为一个组件，而不是一项策略时。guardian-core 会运行在同一个检查点上，由聊天模板在你传入 adapter_name 时插入的控制令牌来激活。你并不是要另外部署一个模型来筛查输入；该分类器就是你已加载的那个模型的一种模式。

当你想要一个端点而不是两个时，尤其是当音频正是这两者之一时。转录与聊天和决策共享同一个端点，因此只需在普通的聊天补全中带上一个 input_audio 内容部分即可。Granite 4.2 3B 没有音频路径。

而当你想要组合出自己的变体时。组合器是公开的，适配器目录是开放的，并且这个检查点的构建清单就签入在权重旁边——这意味着秩、目标模块和控制 token id 都是可读的，而不是推断出来的。

双方坦诚的告诫

Granite Switch 4.1 8B 完全没有独立评估。它唯一公布的分数是 Decision Index，版本 v0.3 公开快速子集，总分 42.9——知识 29.1、语言 48.9、检索 49.8、工具 59.8、艺术 18.0——而那次运行是 IBM 自己做的，发布在 IBM 的模型卡上，无人复现。没有任何第三方排行榜条目。该模型在 Hub 上才上线两天，下载量只有几十次。

其语音路径比标题所暗示的要窄，IBM 自己也承认这一点：编码器仅支持英语，转录结果是小写且不带标点的，而且编码器与语言模型并未联合训练——二者之间没有经过训练的投影将其耦合起来，因此一次误转录就可能悄无声息地改变模型所回应的内容。与此同时，Granite 4.2 3B 问世已有七周，而非两天，但其评估数据同样出自 IBM 之手，而且其 512K 上下文是一条扩展路径，而非原生窗口。

这两个模型都没有独立的排行榜条目。这是目前整个 Granite 4.x 系列共有的特性，而不是对任一检查点的批评。

同时运行两者，而不运行两个堆栈

关于这一组合，有一个有用的观察：这两个模型并不争夺同一个请求，因此现实的部署方式是两者串联使用：在困难在于推理的地方使用思考模式下的 Granite 4.2 3B，在困难在于对决策打分或转写语音备忘录的地方使用 Granite Switch 4.1 8B。这是一种双容器架构，值得精确说明路由层在哪些地方有帮助、在哪些地方没有：如今 OrcaRouter 目录中没有任何一代 Granite 模型，所以我们并不是通往这两个检查点中任何一个的托管路由——Granite Switch 4.1 8B 和 Granite 4.2 3B 都需要从 Hugging Face 下载，外加一个 vLLM 容器。平台改变的是它们之上的一层。两百多个模型位于一个密钥之后，提供商标价以 0% 加价透传，因此供应商降价当天即可生效，而不是等到下一次目录刷新；并且自动故障转移意味着你仅仅在试用的模型可以处在一条实时路径中，而不会成为单点故障。在任一 Granite 出现在托管端点之前就把这套机制准备好，其意义在于：那时的比较只需要更换一个模型字符串，而不是做一次迁移。

那么哪个

当工作负载是推理、机器规模较小，或输入超过 131K tokens 时，选 Granite 4.2 3B。当工作负载需要经过校准的决策概率、内联安全筛查，或需要在与聊天相同的端点上提供语音时，选 Granite Switch 4.1 8B。如果你有足够的 GPU，那就两个都选，因为它们之间的重叠远比共用的“Granite 4.x”标签所暗示的要小——但不要因为 IBM 在 IBM 自家卡上跑出的某个基准数字就选其中任何一个，因为两者的公开证据基础就只有这些。