Kolibri 详解：Aleph Alpha 在 Apache 2.0 下发布 78B 德语-英语模型

Aleph Alpha 发布了 Kolibri，发布时间为 2026 年 10 月 3 日。它是一款拥有 781 亿参数的混合专家模型，每个 token 激活 34.6 亿个参数，具有经过验证的 1,048,576 个 token 的上下文窗口，并以完整权重在 Hugging Face 上根据 Apache 2.0 许可证发布。海德堡实验室在德国统一日将其发布，一同发布的还有一份技术报告、一份德英双语模型卡，以及一份关于其训练方式的异常详细说明。在 Aleph Alpha 自己的文档中通篇用来与它对比的模型是 Kolibri Origin——那个拥有 306 亿参数、激活 32.7 亿参数的前代模型，于 2026 年 6 月 11 日完成预训练，且从未公开发布。两个模型相隔三个月，而它们之间的差距是本次发布中最有意思的地方。

让 Kolibri 值得仔细一读的原因，并不在于它是目前最强的模型。在 Aleph Alpha 自家的对比表上它并非最强，这一点我们后面会谈到。真正值得注意的是，一家欧洲实验室竟然真的发布了这一规模的开放权重模型，并同时公布了训练流程、数据来源和能耗数据，而且将许可证设为 Apache 2.0，而非专门定制的研究许可证。对于采购规则首先就问"数据流向何处"的团队来说，这一组合本身就是产品。

规格表，以及真正重要的两个数字

以下所有内容均来自 Aleph Alpha 随权重一同发布的模型卡；其中没有任何内容已被独立复现，截至撰写本文时，Artificial Analysis 中也没有 Kolibri 的条目。

• 总参数量 — 78,103,074,560，每个 token 的激活参数量为 3,457,573,120，比例约为 22.6 比 1。

• 架构 — 一个 50 层 Transformer，所有层均为专家混合（MoE），每层有 384 个专家，其中 1 个共享、6 个路由，并且在整个堆栈中滑动窗口注意力与分组查询注意力按 4:1 混合。

• 上下文——在 16,384 个 token 上训练，在 65,536 个 token 上进行中期训练，并扩展到原生 262,144。由于位置编码仅应用于滑动窗口层，Aleph Alpha 表示该窗口可以在不进行位置缩放的情况下扩展，并已验证在多达 1,048,576 个 token 时的质量和服务效率。该卡片建议，对于延迟敏感的工作以及复杂任务，保持在 262,144 或以下。

• 精度 — FP8 权重采用 128×128 分块，激活值动态量化，并使用 FP8 KV 缓存进行评估；嵌入层、LM head、归一化层和 MoE 路由层保持 bfloat16。

• 推理——四档强度级别：无、低、中和高，通过聊天模板设置。

• 工具调用 — 支持，Hermes 风格，vLLM 解析器与权重在同一仓库中发布。

• 语言——德语和英语，别无其他。这一点被表述为一种设计选择，而非遗漏。

• 训练——在筛选后的双语语料库上进行 20 万亿预训练 token 的训练，其中约 62.5% 为英语，23.9% 为德语，13.6% 为代码，另有 3.44 万亿中期训练 token 以及 2010 亿用于长上下文扩展的 token。

• 计算 — 768 块 NVIDIA B200，分布于 96 个 HGX 节点，预训练历时 21 天、共 511 小时、392,000 GPU 小时，报告算力为 6.4×10²³ FLOPs。中期训练增加了 5 天和 90,000 GPU 小时；长上下文扩展增加了 13 小时和 10,000 GPU 小时。

• 能耗 — 估计为 9.5×10² MWh，包含数据中心开销，涵盖预训练、中期训练和长上下文训练，但不包括监督微调与强化学习。

• 许可证 — Apache 2.0。无附加的可接受使用条款，无月活跃用户数门槛，无单独的商业条款。

其中有两行是买家应该读两遍的。活跃参数数量是你在推理时真正付出代价的部分，而780亿总量中有34.6亿活跃参数，这是一个非常激进的稀疏比例——这正是这种规模的模型能够仅靠两块GPU提供服务的原因。而上下文规格标注为原生262,144、经验证1,048,576，这比你在大多数关于此次发布的报道中看到的笼统“100万上下文”要严谨得多。

两款型号，相隔三个月

Kolibri 是 Aleph Alpha 所称的“模型工厂”中产出的第二个模型，而它发布的时间线才是大多数报道所忽略的那部分内容。

训练流水线的工作于2026年1月启动。Kolibri Origin于2026年6月11日在目标规模上完成预训练——总计306亿参数、激活参数32.7亿、65,536 token 的上下文窗口、7.51万亿训练 token、50层（其中2层为稠密层、48层为 MoE），并仅有一种推理模式。它在内部通过了验证，但从未公开发布。Kolibri于2026年9月11日完成预训练。

• 参数 — 总量30.6B，激活3.27B，对比总量78.1B，激活3.46B。

• 上下文 — 在 Origin 上为 8,192 个 token 的预训练上下文，相比之下 Kolibri 上为 16,384，最终达到原生的 262,144。

• 数据 —— 在 Origin 上使用 7.51 万亿预训练 token，相比之下为 20 万亿，这些 token 取自超过 200 万亿的原始数据池，该数据池经流水线过滤、去重与精选处理。

• 架构——在 Origin 上采用两个密集层加 48 个 MoE 层，而对比方案为 50 个 MoE 层，具有改变的注意力设计、三倍的专家数量、更高的稀疏度以及替换的路由算法。

• 推理 — Origin 上提供一种模式，而 Kolibri 上有无、低、中、高几种。

• 发布 — Origin 无公开发布，Kolibri 于 2026 年 10 月 3 日发布。

变化最大的数字是任务套件（task-suite）中的那些，同一个评估框架对两个模型都进行了评分。在训练后套件的德语平均分上，Origin 得分 46.4，Kolibri 得分 70.8；在英语平均分上，则为 54.1 对 75.5。在德语版 AIME 2025 上，为 73.5 对 87.5。在厂商作为垂直集合发布的内部客户代理基准上，汽车供应商套件从 0.72 提升到 0.99，半导体从 0.35 到 0.80，德国公共部门从 0.54 到 0.75，工业驱动技术从 0.31 到 0.60，航空航天从 0.14 到 0.59。

那些内部垂直领域的数字，是厂商在厂商自建、围绕厂商客户设计的评估套件上运行得出的，所以应把它们看作对意图的说明，而不是评分。公布它们的意义在于，它们说明了模型是针对什么进行优化的：不是一个排行榜，而是一组受监管行业的文档。

在这里，德语是一项设计决策，而不是一个语言标签。

大多数“多语言”模型卡指的是训练混合数据中恰好包含了一些德语。这一个则是反过来构建的，而且这张卡对具体机制有明确说明。

Aleph Alpha通过小型代理模型实验发现，混合数据中约20%的德语数据能产生最佳结果，而对于一次20万亿token的训练运行来说，这意味着要找到4万亿个德语token。去重并过滤后的开放德语数据集只提供了3900亿——比目标差了一个数量级。它通过三种方式弥补了差距：针对德语专门重新调整Common Crawl过滤器，产生了1.3万亿个独特的自然token；将现有德语文档改写成百科全书式条目、问答对话和文本段落，这又产生了约1万亿，并成为最大的单一德语来源；以及翻译，仅用于Kolibri Origin，在Kolibri中已弃用。德语最终成为一个2.4万亿token的独特池，其中80%是内部策划或生成的，在上采样后占预训练token的21.3%。

这个过滤器细节值得引用，因为这类东西只有在真正用德语训练过的实验室里才会显现出来。标准的语言数据流水线会丢弃含有过多长词的文档——但德语行政文本的平均词长经常超过英语的上限，因此默认设置会悄然删除公共行政部门所书写的那种语域。显而易见的商业后果是，一个用现成英语过滤器训练出来的模型，几乎谈不上有任何德语法律行政词汇，而没有任何基准测试会告诉你这一点。

分词器也得到同样的处理。Aleph Alpha 使用一种名为 UniBPE 的新方法训练了一个双语的德英分词器，词表规模为 128,000 个 token，它保留了字节对编码自底向上的合并方式，但以 unigram 目标来选择合并。在德语网络文本上，它报告的平均每 token 字节数为 4.90，领先于 GPT-5 的 4.35、Gemini 的 4.13、Qwen3.5–3.8 的 4.17、GLM 5.3 的 3.93、DeepSeek V4 的 3.72 以及 Kimi K3 的 3.28——这些全是厂商报告的数字，出自厂商自己的对比。每个 token 承载更多文本意味着每个任务所需的 token 更少，这带来的是直接的推理成本效应，而非质量上的宣称，而且这类效率优势会在文档处理工作负载中不断累积。

供应商的表格未能解决什么

Aleph Alpha 发布了一份涵盖十四个模型的训练后对比，它比大多数发布表格更有用，因为它不美化对象。

在同一测试框架下，当 Kolibri 的推理强度设为高时，Qwen3.8 27B 的英语平均分为 80.2，而 Kolibri 为 75.5；德语平均分为 79.9，而 Kolibri 为 70.8。它还在 GPQA Diamond、LiveCodeBench v6、SWE-Bench Verified 和两项长上下文基准测试中领先。Nemotron 3 Super 120B-A12B 的英语得分为 73.0，而 Kolibri 为 75.5——差距更小，并在 AIME 2025 上领先。Gemma 4 26B-A4B IT 的两项平均分分别为 71.9 和 66.3。

所以，对这次发布的诚实总结并不是“最先进的”。而是：Kolibri 处于一批每个 token 激活 30 亿到 120 亿参数的模型正中间，明显胜过那些规模小得多的模型，却在它自己表格的大多数行上输给来自 Alibaba 的稠密 270 亿参数模型，而它激活的参数大约只有后者的八分之一。Aleph Alpha 对此的表述是质量与每 GPU 每秒解码 token 数之间的帕累托前沿——在所有被比较的模型中，没有一个能在相同服务成本下提供更高的质量，也没有一个能以更低的成本提供相同的质量。这才是需要审视的主张，而且它是服务经济学层面的主张，而不是能力层面的主张。

这些数字都没有经过独立验证。Artificial Analysis 上没有 Kolibri 的条目，评估框架没有第三方复现，垂直基准也是厂商自己构建的。这个比较在结构上对 Kolibri 还一方面偏宽松、另一方面偏严苛：所有十四个模型都通过 Aleph Alpha 自己的测试框架运行，使用相同的提示词和少样本设置，这是正确的做法，但这仍然只是一个实验室的测试框架。在别人运行之前，请把本节中的每个数字都当作厂商报告的数据。

运行它需要什么

Kolibri 不是那种能在笔记本电脑上试用的模型。FP8 权重的模型内存占用约为 78 GB，而显卡的最低要求是两块 A100 80 GB 显卡、两块 H100 SXM5、一块 H200、一块 B200 或一块 B300；推荐配置是两块 H100 SXM5、两块 H200、一块 B200 或一块 B300。

为其提供服务意味着安装 aleph-alpha-inference 包（该包提供 Kolibri vLLM 插件，并固定其支持的 vLLM 版本），或者拉取容器镜像 ghcr.io/aleph-alpha/aleph-alpha-inference。之后就是标准的 vLLM 调用，使用 FP8 KV 缓存、Kolibri 推理解析器和 Kolibri 工具调用解析器。超过 262,144 个 token 的上下文需要显式的 maximum-model-length 标志和位置嵌入覆盖。推荐的采样参数为 temperature 1.0、top-p 0.97 和 top-k 128。

这套 API 接口与 OpenAI 兼容，这一点的重要性超出字面听感：推理强度会以 reasoning_effort 值的形式通过聊天模板传递，工具调用则在标准的 tools 字段中发出。已经熟悉 chat-completions 格式的团队，可以把现有代码直接指向自家楼里某台机器上的 Kolibri 端点，无需任何封装层。

Kolibri 目前还没有的功能

有四项缺失值得直白说明，因为发布报道往往会略过它们。

• 无独立评估。Artificial Analysis 没有 Kolibri 的模型页面，也没有任何第三方发布过对厂商基准测试表的复现。

• 供应商未提供托管端点。该发布内容为权重加一份技术报告；在随模型发布的材料中，没有面向 Kolibri 的 Aleph Alpha API SKU。

• OrcaRouter 上没有路由，在我们叫得出名字的任何聚合器上也没有。我们查遍了目录，尝试了供应商前缀和模型名的每一种拼写，Kolibri 都不在其中——所以如果你想调用它，就得自己下载 78 GB 并运行一个 vLLM 端点。我们宁愿这么说，也不愿暗示我们提供它。

• 没有多模态输入。文本进，文本出，两种语言。这就是该实验室为了深度而牺牲广度所做的取舍；对于文档处理部署而言，这很可能是正确的选择，但它确实是一条真实的边界。

如果你今天真正需要的只是一个无需购买两块 GPU 就能调用的小型混合专家模型，那么 Gemma 4 MoE 层级就是路由端点上现成可用的最接近选择：在 26B-A4B 变体上，每百万输入 token 为 $0.06、每百万输出 token 为 $0.33，并拥有 262,144 token 的窗口。对于任何将自托管的 78B 主权部署与之权衡的人来说，真正有用的比较不是基准测试的表格行——而是 78 GB 显存和一场采购洽谈，对应一条按 token 计费的账单项目。OrcaRouter 用单一 OpenAI 兼容密钥路由该层级，按提供商的标价原样透传，不额外加价，这是判断该工作负载是否值得自购硬件的一条低成本途径。

Kolibri 本身是更有趣的产物。一个在 Apache 2.0 下发布的 780 亿参数德英模型，把数据流水线、分词器方法、能耗数据和为期三个月的迭代历程都与权重一同公开，这与通常的权重发布不同——披露本身就是产品的一部分，而不是一篇关于它的博客文章。帕累托主张是否站得住脚，如今成了拥有两块 H100 和一只秒表的人要回答的问题，而答案不会来自任何写过模型卡的人。