SkyRL 在八个节点上将 Mistral Large 4 的 AIME 分数提高了 11 分：在 1T MoE 上开展 Day-0 RL 证明了什么

Mistral Large 4 于 2026 年 10 月 6 日作为 API 预览版发布，而其权重直到 10 月 29 日 14:51 UTC 才可供下载——这使得同日发布的强化学习报告因一个作者并未详述的原因而值得注意：在那天下午之前，Mistral 之外没有任何人有可发表的微调结果。该说明来自 NovaSky 的 SkyRL 团队。八个 NVIDIA GB200 节点，在 NVFP4 检查点上进行 LoRA 强化学习，由 vLLM 提供 rollout 服务，AIME 2024 average@8 在 75 个训练步骤中从约 64% 升至约 75%。在一个通常以零点几分之差决出胜负的基准上，11 个百分点要么是本季度最有用的发布首日结果，要么是最不可复现的结果，而按现有文字，这份说明无法告诉你究竟是哪一种。

它确实告诉你的内容是真实的，而且值得把它与它没有告诉你的内容区分开来。硬件被点名了。检查点被点名了。rollout 引擎被点名了。训练框架则被列为两者之一。缺失的是奖励函数、适配器秩、评估工具链以及任何学习曲线——也就是另一个团队要尝试进行同一轮训练所需的四样东西。因此，这是一份附带头条数字的配方公告，而不是一个复现包。把它当作前者来读，它确实能提供有用的信息：在 2026 年底，后训练一个万亿参数的混合专家模型需要付出多少成本。把它当作后者来读，你就会高估某一任务上的某一项基准测试。

SkyRL 的说明究竟说了什么

整个主张五行就能说完，所以这里不加铺垫，直接给出：

• 硬件——8 个 NVIDIA GB200 节点，采用租用而非自购方式；按每节点四块 GPU 计算，即 32 块 Blackwell 芯片，每块 GPU 配备 192 GB 显存，合计约 6.1 TB 聚合 HBM。

• 检查点——开源发布版的 NVFP4 量化同系列版本，由 32 个分片组成，总计 610.1 GB，而不是 1,060.6 GB 的 FP8 父版本。这个选择至关重要：正是它让 1T 模型能够装进八个节点，并为激活值、KV 缓存以及两份 rollout 引擎权重留出余量。

• 方法 —— 采用 LoRA 而非全参数 RL。只有适配器会接收到梯度，因此优化器状态保持较小，冻结的基础模型也能以其量化形式存在。

• 循环 —— vLLM 生成 rollout；FSDP2 或 Megatron 负责训练那一半。说明中两种方案都提到了，这表明在撰写结果时，训练后端仍在更换之中。

• 结果 — 在 75 个训练步数内，AIME 2024 average@8 从约 64% 提升至约 75%。

那份清单中没有任何内容构成对该次运行的规格说明。没有批大小，没有序列长度，没有学习率，没有策略梯度的组大小，也没有说明奖励究竟是什么，除了隐含的“AIME 答案可检查”之外。75 步这个数字是精确的；但解读它所需的几乎所有其他信息都不是。

为什么重点是节点数量，而不是 AIME 分数

一万亿参数这个数字主要起到威慑作用。FP8 检查点是 1.06 TB，如果你有数据中心，这没问题；如果你只有一个机架，这就是个麻烦。NVFP4 检查点将其减半到 610 GB，而 610 GB 是你可以分发到八个节点上的量，无需借助那些在通信上付出的代价超过在内存上节省的分片技巧。

这就是为什么说明里那句有意思的话并不是包含百分比的那句。Hugging Face 已经为这个模型发布了一份监督微调方案——通过 TRL 的 SFT 训练器使用 LoRA，在单个节点、八块 B300 GPU 上，基于 FP8 权重。因此，单节点 SFT 在权重发布还不到一天时就已经有文档记录了。没有被记录的是强化学习，原因是结构性的：RL 需要一个与训练器同时运行的推理引擎，以足够快的速度生成 rollout，使训练所花费的 GPU 时间不会被采样所花费的 GPU 时间比下去。SFT 读取固定数据集。RL 则必须自己生成数据。

所以，两份已发布方案之间的差异并不是八个节点对一个节点。而是八个节点加一套服务栈，对一个没有服务栈的单节点；而且在这个任务中，模型必须先对三十道题各尝试八次，之后才能学到任何东西。rollout 引擎是新的成本中心，而将 vLLM 指定为生成器，正是这份说明中其他团队今天就能采取行动的部分。

人人都会做的这种比较，以及为什么它在两个方向上都不公平

Mistral 在发布权重之前，对该模型运行了自己的 RL，并且公司对其具体形态作了明确说明：在 10 月 6 日预览之后又进行了大约三周，运行在法国算力上，公司用兆瓦而非 GPU 来描述——约 10 MW——而其他报道称更广泛的 RL 基础设施规模达到 3,000 块 GPU。它从那次运行中公布的结果：

• Terminal-Bench 4.0 — 额外强化学习之前为 28.3%，之后为 41%。

• BrowseComp — 之前为 75%，之后为 84.5%。

• B3 智能体安全套件——优化前 93.3%，优化后 97.1%。

• 输出长度——经过 RL 后，每个任务约减少 30% 的 token，这比任何一行准确率数据都更让买家在意。

把这个数字和 AIME 上的 64 到 75 摆在一起看，人就难免想去算每提升一分要花多少 GPU 小时。要忍住，因为这两次运行几乎不共享任何变量。Mistral 的增益出在智能体式终端操作与浏览任务上，测量方是一家把奖励设计握在自己手里的厂商，耗时三周实际时间。SkyRL 的增益出在竞赛数学上，测量方是一位合作伙伴，用的是租来的集群，奖励则是一个脚本就能验证的东西。Terminal-Bench 上 13 分的提升和 AIME 上 11 分的提升，并非同一项成就在不同单位下的表达；它们是两项不同的成就，只是恰好大小相近。

公允的解读范围更窄，也更有用：在数据中心规模上进行三周 RL，使 Mistral 的终端得分提高了 13 分；而在八节点规模上进行数小时 LoRA RL，使一位合作伙伴的数学得分提高了 11 分。这两个数字说明的是同一件事——这个 checkpoint 对强化学习响应很快——但两者都没有说明对方的情况。

AIME 2024 上 64 到 75 分能证明什么、不能证明什么

从算术开始，因为这是其中唯一无需 GPU 就能核查的部分。AIME 2024 共有三十道题。Average@8 表示每道题采样八次尝试，因此所报告的数字基于 240 次完成。在该样本量下，接近 70% 的比例的抽样误差为几个百分点，这使得十一个百分点的变化稳稳超出噪声范围。如果这两个数字来自同一测试框架，那么在该任务上的提升是真实的。

这是所能给出的最强说法，而且值得明确说出来，因为大多数“零日”主张甚至都达不到这个程度。现在说说局限：

• 对于该模型，Mistral 没有发布 AIME 分数。64% 的基线是 SkyRL 在其自有测试框架上对基础检查点所做的自身测量，因此这一差值在内部是一致的，但在外部缺乏参照——你无法将其与厂商数据核对，因为不存在这样的厂商数据。

• Average@8 并不等于 pass@1。每道题尝试八次，会让任何采样分布较宽的模型都显得更好；而在竞赛数学中，这两个指标之间的差距通常达到五到十五分。真正决定你是否会部署这个模型的数字，是你在生产环境中给它的那一次尝试。

• AIME 2024 已有两年半历史，是后训练数据中出现频率最高的数学题集之一。一个 2026 年的模型在该测试上取得好成绩，只能证明存在一个可训练的检查点，并不能作为对推理能力的定论。该说明中没有任何内容报告留出集或更新版本的评测。

• 一个任务，一次运行，一份奖励。在可验证数学上的强化学习是最简单的情形：奖励无需评判者、无需评分标准，也无需人类。这一结果说明了该模型在最廉价的强化学习信号下能前进多远；这确实是正确的首个实验，但也是最不可迁移的一个。

复现它需要哪些条件，以及许可证允许做什么

实用购物清单——系从该便条重建而成，而非便条本身所公布：

• NVFP4 检查点——610 GB、32 个分片、无访问限制，今天即可下载，无需 Hugging Face 账户门槛。

• 大约 32 块 Blackwell 级 GPU，分布在八个节点上，另加互连，以免适配器同步占用单步时间。

• 一个针对该架构具备可用 NVFP4 路径的 vLLM 构建版本。模型卡推荐使用 vLLM，并提供官方容器以及张量并行规模为 8 的配置，同时指出其内置了一个推测解码头，厂商声称该解码头可带来最高 1.9× 的吞吐量提升——这个解码头并非 RL 循环所需，但该容器是。

• 适配器等级和奖励得由你自己选择，因为说明中并没有写明。

许可证问题比技术问题解决起来更干净。Mistral 以 Mistral Ecosystem Open-Weight License 发布了它，这是一份经过修改的 MIT 许可证文本，允许商业使用、微调和衍生作品，仅当在其之上经营 model-as-a-service 业务时，才要求另行取得商业许可证。内部微调、私有适配器、在租用节点上运行评估——所有这些都属于授权范围。而搭建按 token 计费的 API 并出售对你微调模型的访问权限，则不属于。如果你的计划属于前者，许可证就不是你的问题。如果属于后者，它就是全部问题，而且再多的 AIME 成绩提升也改变不了这一点。

循环中后期会变得昂贵的那一半

AIME 是低成本情形，原因值得详细说明。奖励是一个由脚本比对的答案字符串。循环中没有评判者、没有评分标准、没有第二个模型，因此一次 rollout 的边际成本只有推理，别无其他。把同样的配方搬到智能体任务、开放式写作，或任何按偏好评分的任务上，奖励就变成一次模型调用——以 rollout 规模发出，每一步数千次，贯穿整个运行过程。这与训练算力是不同的采购问题，也是大多数团队在预订好 GPU 之后才发现的问题。

Mistral Large 4 本身并不是我们提供的模型，所以这篇文章并不是通往它的途径——自行托管它意味着要依赖 Hugging Face 仓库和厂商自己的 API。可路由的是这个循环的另一半。如果你的验证器是评判模型而不是脚本，它必须能在 rollout 规模下承受调用：一个端点覆盖 200+ 个模型，按提供商标价透传、不额外加价，并且当单个评判端点在一个训练步骤中途触发限流时能够故障转移。你实际会用作评判模型的那些模型，连同上下文长度和价格，都收录于 OrcaRouter 模型目录。重点不是路由让 RL 变便宜。重点在于，奖励信号是 RL 运行中你无法绕开安排的那部分，因此它值得被放在一个稳定的接口之后。

接下来看什么

有三件事能把这篇东西从一份有希望的笔记变成一项真正的成果。SkyRL 团队公开适配器秩、奖励定义和一条学习曲线，这样其他团队就能尝试同样的运行，而不只是赞叹它。第二个任务——理想情况下其奖励不是字符串比较——用来检验该效应在与评判器接触后是否依然成立。以及对已发布检查点进行独立的 AIME 或更难数学评测，因为 64% 的下限目前是合作方自己的测量结果，而消除这一保留意见的唯一办法就是让其他人来测。

在那之前，诚实的总结很短。权重才发布一天，一位合作伙伴用 LoRA 适配器在八台租用节点上把一项数学基准提高了十一点，而还没有人复现这一结果。这比大多数开放权重发布在第一周所能提供的要多，但比标题所暗示的要少。