Granite Switch 4.1 8B：一个能对话、决策与转写的 8B 检查点

输入八十三亿八千万个参数。输出八十七亿七千六百万个。这 4.72% 就是 IBM 基础模型与 Granite Switch 4.1 8B之间的全部差异，而它是本次发布中最有趣的数字，因为塞进这一丝差异里的，是一个安全分类器、一个决策引擎和一个语音识别器——它们全都从同一个端点作出响应，全都在读写同一个 KV 缓存，而基础模型本来也会构建这个缓存。

权重于 2026 年 10 月 14 日上线 Hugging Face。IBM 自家的发布博客Granite Switch 4.1：一个端点实现对话、决策与语音，则于 10 月 15 日跟进。这一点值得开篇就直说：这不是那种被人从镜像站点里翻出来的悄无声息的上架。这是一次正式公布的发布，撰写本文时大约才过去两天，而真正要紧的叙事版本并不是"IBM 声称了什么"，而是"你此刻能从 Hub 上那个检查点里实际验证出什么"。这两者并不相同，本文始终把它们分开对待。

检查点实际包含的内容

Granite Switch 并不是一种新架构。它是一种组合：一个冻结的基础模型、一组可按 token 开启和关闭的低秩适配器，以及——在这个特定构建中——一个为音频加装的编码器。组合器位于granite-switch 仓库中，并且该检查点的构建清单就检入在权重旁边，这意味着下文的每一条结构性说法都可以直接从 Hub 上读到，而不是取自新闻稿。

基础模型是 Granite 4.1 8B——稠密仅解码器架构，分组查询注意力机制，32 个查询头对 8 个键/值头，SwiGLU，RMSNorm，131,072 个 token 的上下文窗口以及 100,352 个 token 的词表。合成后的检查点继承了上述全部特性，并额外添加了两个激活的 LoRA 适配器：

• guardian-core — 秩 16，alpha 64，仅附加于注意力投影层（k_proj、o_proj、q_proj、v_proj），取自 Guardian Library 发行版，被描述为可检测危害、越狱、粗俗用语、暴力、色情内容、社会偏见与不道德行为。

• 决策——秩 64，alpha 128，附加到包括 MLP（down_proj、gate_proj、up_proj）在内的全部七个投影上，并被训练去做一件更狭窄、也更奇特的事：给定一个状态和一个带有标注选项的问题，在一次前向传播中返回这些选项标签上的校准概率分布。

两者都由控制令牌激活——<|guardian-core|>和<|decision|>——当你传入adapter_name参数时，聊天模板会为你自动插入这些令牌。你无需自己编写这些令牌，而这个细节比它看起来更重要：它意味着适配器选择只是一个请求参数，而不是要部署的第二个模型。

为什么参数 delta 这么小

算术本身就是关键。基础模型有 8,380,551,168 个参数。组合模型有 8,776,400,896 个。也就是说，两个适配器带来了 +3.958 亿个参数，或 +4.72%。这个数字之所以能保持这么低，源于一项名为 KV 缓存归一化的设计决策：每个适配器看到的都是基础模型的键/值缓存，而不是维护自己的缓存。在传统的多适配器设置中，每增加一个适配器就相当于多出一套注意力状态，内存开销会随着你切换的适配器数量而增长。在这里则不会。IBM 在发布帖中声称，组合模型在 GPU 上占用的显存“大约与基础模型单独运行时相同”，虽然 IBM 外部还没有人测量过这一点，但 4.72% 的权重增量与这一说法相符——而且与显存的说法不同，权重增量只是 manifest 中一个你可以直接读取的数字。

决策适配器是有意思的那一半

从语言模型中读取概率分布并不是什么新鲜事；真正值得理解的部分，是在一次前向传播中使用固定的选项标签词表来完成它，并得到校准到足以据此采取行动的数值。调用配方记录在卡片中：一个固定的决策引擎系统提示，一个 “状态：”轮次在冻结基座上评估，然后是一个 “### 决策”轮次，呈现问题以及以单个 token 为标签的选项。然后你向服务器请求恰好那些标签 token id 的对数概率——vLLM 通过 logprob_token_ids 暴露这一点——并取指数。文档中的示例返回类似 A: 0.982, B: 0.0035, C: 0.014 的结果。

这里有一个真正的工程细节，是这个发布版本的营销文案里会略过的。vLLM 会把logprob_token_ids限制为每次请求 128 个 id。如果你的决策问题有超过 128 个选项，就会收到 HTTP 400，而解决办法是把标签 id 拆成 128 个一组，每组用完全相同的 prompt 发一个请求，然后再拼接起来——因为返回的 logprobs 是针对整个词表的，每个标签的值与是哪个分块请求的无关，所以对完整标签集做一次 softmax，在数学上等同于一次不设上限的调用。也就是每 128 个选项多一个请求。这是一个确实有用的细节，而且正是那种只存在于仓库里的东西。

这个适配器唯一公开的数字是 Decision Index（JEV），v0.3 版，公开快速子集共 1,068 行：总体 42.9，知识 29.1、语言 48.9、检索 49.8、工具 59.8、艺术 18.0。要把这些当作厂商自报的数据来对待，因为它确实如此：IBM 跑了这套评测、公布了结果，没有任何第三方复现过。同样值得留意的还有它的形状，而不是那个头条数字——工具项上的 59.8 紧挨着艺术项上的 18.0，是个非常不均衡的画像；而且这张卡片自己也提醒说，在适配器未经训练的领域，这些选项概率“只是供决策参考的先验，而非经过认证的分类”。

语音转文字是真实存在的，而且比标题所说的范围更窄。

音频路径内嵌了 Granite Speech 5.0 TurboCTC——一个 4.7 亿参数的非自回归 conformer CTC 编码器，它会先转写传入的音频，再用转写文本替换音频内容部分，拼接到聊天上下文中。调用它不会改变请求形态：它只是普通聊天补全中的一个 input_audio 内容部分，而且转写与聊天、决策运行在同一端点上，因此无需再搭建一个独立的语音服务器。

这些注意事项全都来自 IBM 自己的模型卡，而非来自批评者：编码器仅支持英语，其输出为小写且不带标点，没有解码时引导，而且——最该让你警惕的一点——语音编码器和 LLM并未联合训练。它们之间没有经过训练的投影来耦合。因此，一次误转录可能会悄无声息地改变模型或适配器所响应的内容。如果你正在构建任何转录错误会带来后果的东西，那么这句话就是整个安全审查。

哪些是已确认的，哪些是厂商报告的，哪些是无人核实过的

• 已从仓库确认——基础模型标识与层数、两个适配器的秩及其目标模块、控制 token 的 id、合成后的参数总量、131,072 token 的上下文窗口、Apache-2.0 许可，以及模型卡所要求的已记录 vLLM 和 Transformers 版本。

• 供应商报告、未经复现 —— 决策指数评分、关于 Granite Speech 5.0 TurboCTC 是 OpenASR 排行榜上最快 ASR 模型的说法、“与基础模型占用相同 VRAM”的说法，以及发布文章中顺带提及的一点：一个定制的 3B Granite Switch 模型能以每秒 60–100 次决策的速度游玩 Doom，而据称某闭源决策模型仅为每秒 10 次。IBM 表示将在“未来几周内”公布更多数据，这无异于承认当前证据尚不充分。

• 无人核实——其余的一切。没有独立评估，没有第三方排行榜收录，IBM 没有提供托管 API，也没有任何非 IBM 方公布过延迟或吞吐量数据。Hub 仓库显示只有几十次下载和寥寥几个点赞：这个模型才发布两天，基本无人问津。

运行成本，以及 OrcaRouter 的定位

Granite Switch 4.1 8B 目前是一个自托管方案。模型卡片将 HuggingFace Transformers 和 vLLM 列为后端，锁定了一个相当窄的支持窗口（Transformers 5.16–5.17，vLLM 0.26–0.28），而该检查点无需修改代码即可与两者兼容。它没有可供指向的托管端点，对大多数团队来说，这意味着在发出第一个请求之前，得先准备好一块 GPU 和一个容器。

直说其余的部分：Granite Switch 目前不在 OrcaRouter 的目录中，其他任何 Granite 模型也不在其中——所以如果你想要这个 checkpoint，途径是厂商自己的发布版本和你自己的硬件，而不是我们。OrcaRouter 真正能给你的，是围绕这一决策的周边支持。该平台用一个密钥路由 200 多个模型，并具备自动故障转移，并且以 0% 的加价原样传递提供商的标价，所以当你正在做基准测试的某个模型确实有了托管端点时，在你自己的流量上把它与现有方案对比，只是改一下配置，而不是再签一份合同。这一点恰恰在这种情形下最为重要：一个发布仅两天、没有独立评估的 checkpoint 是候选者，而不是现有方案，而对候选者来说，成本最低的做法是把它留在并排对比中，而不是围绕它重新调整生产路径。

悬而未决的问题

Granite Switch 4.1 8B 押注的是：对于某一类特定工作负载，组合胜过规模——这类应用需要回答、决策和转录，而运行三个模型意味着三套部署、三种延迟和三份账单。让这一押注变得低成本的工程实现——共享 KV 缓存、按 token 切换适配器、在聊天模板中解析控制 token——确实非同寻常，而且它是本次发布中一年后仍将重要的部分。

尚未确定的是，组合后的答案是否好。决策适配器已发布的性能概况参差不齐，语音路径仅支持英语且未经过联合训练，而且整套东西才出来两天，背后没有任何独立运行。请阅读构建清单，自己运行 compose 命令，并在相信任何人给出的 42.9 之前，用你自己的标签集对决策适配器进行基准测试。