权重已经放出，八块 Blackwell 就能装得下：深入 Mistral Large 4 首发日 NVFP4 版本发布

过去一周发布的每一篇自托管指南，都在告诉你关于 Mistral Large 4 的同样三件事：许可证文件返回 404，不存在量化检查点，而你写下的任何配置都是从上一代模型借来的推测。截至 2026 年 10 月 29 日上午，这三件事全都错了。许可证就在仓库里——足足 2,632 字节——而且检查点家族确实存在：mistralai/Mistral-Large-4-1T-A52B，包含 54 个 FP8 分片、共 1,060.6 GB，另有一个 NVFP4 同门版本，32 个分片、共 610.1 GB。NVIDIA 的零日说明——就是那份在同一口气里既祝贺 Mistral AI 团队、又提到 Hugging Face 上支持 NVFP4 的说明——是这个故事最短的版本。有用的版本则更长：公开配方究竟假设了什么，价格在无人注意时发生了什么变化，以及周二那些自托管建议中哪些现在正在主动误导人。如果你想比较今天哪些模型可以路由，而不是哪些可以下载，OrcaRouter 模型目录列出了我们服务的每一个模型、其上下文窗口和每 token 价格，并按路由配置了故障转移。

先从日期说起，因为这是大多数报道在两个方向上最容易弄错的部分。Mistral Large 4 于 2026 年 10 月 6 日作为 API 预览版发布——这是一个拥有 1.05 万亿参数的混合专家模型，每 token 激活 490 亿参数，计入嵌入层和输出层后则为 520 亿参数；它还配备了一个 16 亿参数的视觉编码器和一个 100 万 token 的上下文窗口，定价为每百万输入 token 1.36 美元，而每百万输出 token 为 4.18 美元。开放权重曾承诺在 10 月底前发布。它们于 10 月 29 日 14:51 UTC 发布，比新闻报道所确定的 10 月 27 日大约晚了两天。这一时间差很重要，因为大量关于该模型的文章正是在这段时间差内写成的。

今天早上 Hub 上到底有什么？

仓库元数据比公告正文提供的信息更多，因此直接列在这里：

• 主检查点 — mistralai/Mistral-Large-4-1T-A52B，共 54 个 safetensors 分片，磁盘占用 1,060.6 GB，标记为 fp8，仓库创建于 2026 年 9 月 30 日，权重最后写入时间为 10 月 29 日 14:51 UTC，未设访问限制。

• 量化同系列模型 — mistralai/Mistral-Large-4-1T-A52B-NVFP4，32 个分片，610.1 GB，仓库创建于 2026 年 10 月 15 日，并于今天 14:11 UTC 更新——比父仓库完成时间早四十分钟。

• 许可证 — Mistral 生态系统开放权重许可证（Mistral Ecosystem Open-Weight License），Mistral 将其称为修改版 MIT 许可证，且不附带任何收入门槛。

• 架构，来自 params.json——128 个专家，每个 token 路由四个，外加一个共享专家，72 层，隐藏维度 6,144，一个可接受最高 1,540 像素图像的 30 层视觉塔，以及大多数层之间共享 KV。

• 这些对不上的数字——NVFP4 模型卡列出了 39 种语言；公告则声称有 160 多种。模型卡统计的是每 token 激活 490 亿参数；API 文档和厂商自己的表格却写着 520 亿，也就是把嵌入层和输出层计入后的同一数字。Mistral 的帖子称训练使用了 3,800 块 Grace Blackwell GPU；多家媒体将其四舍五入为 4,000。这些都不是致命问题，而且每处差异都能告诉你哪份文件是由哪个团队写的。

610 GB 这个数字就是发布版本。

一个1.05万亿参数的模型，下载起来绝不是任何人会轻描淡写描述的那样。FP8检查点就有1,060.6 GB——在尚未计入任何一个token的KV缓存、激活或碎片之前，仅权重就已经轻松超过1TB。在八卡Blackwell节点上，它装得下，大约还能余出400 GB。在八张H200上，装下后几乎不剩任何余量。NVFP4检查点将其降至610.1 GB，而且这种节省不是表面功夫：它决定了节点是整台都被权重占满，还是还能为模型宣称的100万token上下文留出空间。

该量化方案也比“4-bit”更为具体。根据产品卡，专家混合权重采用 NVFP4，而线性层保持 FP8，并且 vLLM 配方要求 MLA 层使用 FP8 KV 缓存。这是一个混合精度服务栈，而非一刀切的降精度转换，并且它专门针对 Blackwell——所提及的型号是 B200、B300、GB200 和 GB300。

对于任何计划采购的人来说，有一个后果值得强调：官方方案仍然要求八块 GPU。vLLM 发布时采用的是张量并行 8；SGLang 采用的是 tp-size 4。这里的量化主要不是用来减少节点数量的手段。它是为了让节点留出足够内存，能够真正服务长上下文，而公开的 serving 参数就是证据。

这个配方，逐个标志说明

这次发布与大多数开放权重模型的发布不同之处在于，供应商直接提供了服务部署说明，而不是把它们留给社区。已发布的 vLLM 路径如下：

• 镜像 — vllm/vllm-openai:mistral-large-4

• 并行度 — --tensor-parallel-size 8

• 缓存 — --kv-cache-dtype fp8_ds_mla，同时使用 --gpu-memory-utilization 0.85

• 解析器 — --tool-call-parser mistral、--reasoning-parser mistral、--enable-auto-tool-choice

• 可选推测——--speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

SGLang 的路径有几处不同，值得多读一遍：

• 镜像 — lmsysorg/sglang:mistral-large-4，使用 --tp-size 4 和 --mem-fraction-static 0.85

• 推测 — --speculative-algorithm DSPARK，在发布的命令中默认开启

• 服务限制 — --max-running-requests 64，推理和工具解析器均设置为 auto

功能标志能告诉你、但公告不会告诉你的三件事

第一点是，DSpark 并不是一个独立的模型。配置文件描述了三个多 token 预测层，它们配有一个小型循环草稿头——马尔可夫秩为 512——并内嵌在检查点本身之中。投机解码通常意味着在大模型旁边运行第二个更小的模型，并为其内存付出代价。而在这里，草稿头已经在那 610 GB 之内了，这正是投机标志只是一个简短的配置字符串、而非第二次部署的原因。

第二点在于，注意力栈是一个关于压缩的故事。配置中包含一个稀疏索引器，在32个头上使用2,048的top-k，KV LoRA秩为512，并且72层中的大多数层都共享KV——这种布局已成为DeepSeek谱系模型中的标准做法。1M上下文之所以能够实现，是因为注意力内存被 aggressively 共享，且KV缓存采用FP8，而不是因为模型有TB级缓存可供挥霍。

第三点是算术。已发布的 YaRN 块将 512 token 的原生 RoPE 窗口扩展为 2,048 倍，相乘后正好得到 1,048,576——也就是宣传的上下文长度。无论训练计划看起来如何，你正在下载的配置都是通过外推达到 1M token 的；在把一份 900,000 token 的文档喂给它、并假定模型此前见过这种形态之前，这一点值得了解。

在编写指南期间，价格手册被移动了。

Mistral 的文档列出现行费率为每百万输入 token 0.70 美元、每百万缓存输入 0.07 美元、每百万输出 2.10 美元。10 月 6 日的公告给出的标价为 1.36 美元和 4.18 美元，预览折扣约为该价格的一半。把两份文件放在一起看，这次开放权重发布并不只是交付了文件——它把永久标价降到了预览期所收取价格的水平附近。对于依据 10 月公告做预算的人来说，新的价格表大约是他们原先记下数字的一半。

独立的评测图景并不像降价那样好看。Artificial Analysis 在其当前的智能指数——于 10 月 27 日重建的 v5 系列——上给 Mistral Large 4 打出 26 分，指出完成一项指数任务需花费 2.06 美元，并测得每秒输出 161.3 个 token、首个 token 耗时 1.42 秒。速度确实出色：每秒 161 个 token 是对比集合中位数的两倍多。但每项任务的成本则不然：2.06 美元使其处于同类模型的垫底四分之一，因为一个长时间推理的模型是把钱花在 token 上，而不是花在费率表上。

Mistral 自己公布的数据，以及它未公布的那一项

Mistral 发布帖中的每一项基准测试都是 Mistral 自己的，在引用其中任何一项之前，这一点值得说明。Terminal-Bench 4.0 宣称达到 41%，比预览版高 13 个百分点，且据该帖称，这是开放权重领先；FrontierCode 2.0 为 19.7%；AA Coding Agent Index 为 48%，被描述为与 GLM-5.3 基本持平；BrowseComp 为 84.5%，而预览版的监督检查点为 75%；FinWorkBench 为 73.3%，落后于 Kimi K3 的 77.3%；在恶意网络请求上的平均拒绝率为 96.6%，这正是该发布真正围绕的数字。其中一些来自第三方测试框架——Cognition 的 FrontierCode、Artificial Analysis 的 Coding Agent Index、Surge Code 的人类偏好——但由 Mistral 运行，并由 Mistral 报告。截至撰写本文时，尚无任何一项被公开复现。

缺失的那个数字，正是自托管用户最需要的：在相同评测下，NVFP4 相对于 FP8 checkpoint 的质量表现。模型卡将量化描述为能在“性能相近”的情况下减少内存占用，但这只是一种说法，并非实测结果。在有人发布同等条件的对比运行之前，诚实的说法是：610 GB 的 checkpoint 是你能装得下的那个，而 1,060.6 GB 的 checkpoint 是有公开记录可查的那个。

把厂商表格与 Artificial Analysis 所运行的同一批基准测试对照，情况就会大不一样。AA 当前针对 Mistral Large 4 的记录——托管 API、高推理强度——显示 Terminal-Bench 4.0 为 25%，比发布帖中的 41% 低 16 个百分点；FrontierCode 2.0 为 15%，而 Mistral 引用的是 19.7%。这两个都是 Mistral 自己引用的测试框架。最可能的解释是配置：发布数据可能来自特定的推理设置或某个特定的评测子集，而 AA 衡量的是公开 API 返回的结果。不可接受的解释，则是大多数报道已经采纳的那一种——把两个数字并列印出，仿佛它们衡量的是同一件事。

决定谁可以供应它的许可证条款

这份许可证短到可以坐下来一口气读完，而真正重要的是关于“模型即服务”（model-as-a-service）的那一条款。基于这些权重运行托管服务，需要获得 Mistral 另行授予的商业许可证。但“模型即服务”的定义排除了嵌入式最终用户产品，并且还单独排除了“仅将请求转发给他人托管的模型”这一情形。这项例外比乍看之下更窄：它并不允许你搭建自己的推理服务并将其转售；同时，它确实允许网关将请求透传给由 Mistral 托管的推理服务，而无需成为被许可方。这种解读在争议中是否成立，是 Mistral 律师该回答的问题，而不是本博客要回答的问题。

这就引出了那个尴尬的部分。OrcaRouter 并未收录 Mistral Large 4——我们包含 214 个模型的目录里根本没有任何 Mistral 端点——因此本次发布的内容今天在这里一条都路由不了，谁说不是这样，谁就是在忽悠你。目录真正提供的，是这类上线项目的另一半：一套路由 DSL，能把某个工作负载固定在一个模型上，并在无需改动代码的情况下切换它；端点性能下降时自动故障转移；以及 0% 加价的直通定价，让供应商自己的费率调整在他们那边生效的同一天，也落到我们这边。那些拉取 610 GB 并自建 vLLM 机器的团队，几乎总会在最初几周里在其身后保留一条托管路由，而这正是我们真正能运营的部分。

今晚应该由谁开始下载

如果你已经运行着八块 Blackwell GPU，或者你有一条任何托管端点都无法满足的数据驻留规定，那么今天早上这笔账已经变了，而且是朝着对你有利的方向变：权重有了，许可证有了，厂商交给你的是经过测试的部署命令，而不是一句建议。先拉取 NVFP4 检查点——610.1 GB 不过是熬一个还能接受的晚上，而且 vLLM 镜像已固定版本。在把生产路径押在它上面之前，先针对托管 API 跑你自己的评估，因为那个量化声明尚未经过实测，而厂商的基准测试终究只是厂商自己的。

如果你不运行这一类硬件，那么这个版本里还没有任何东西适合你。一个 1T 模型、每个 token 有 490 亿活跃参数，这不是笔记本能下载的，也不是单卡能跑的实验，而且 FP8 checkpoint 有 1TB。真正该让你了解到的是价格线，而不是文件清单：托管 API 现在的起步价是 $0.70 和 $2.10，这大约是十月公告让你预期价格的一半，而这一变化你无需拥有一块 GPU 就能享用。

真正有意思的是那个悬而未决的问题。一个能装进 610 GB 的万亿参数模型，证明了 NVFP4 可以压缩前沿规模的混合专家模型而不改变其形态。至于它能否在压缩的同时不改变其回答，接下来两周的独立运行将给出结论；目前还没有人公布这一点——包括推出它的人。