一张生成的标题卡,标题为“PAN 2 —— 如果,变得可观看”,副标题为“来自 MBZUAI 基础模型研究所(IFM)的 29B 开放权重世界模型”,并配有一条三节点时间轴,分别写着“权重 2026年10月7日”“代码 2026年11月5日”和“vLLM-Omni 支持 2026年11月10日”,另有一幅扁平线描图,画的是一只碗、一颗草莓和一团飞溅。OrcaRouter 的标志合成在图案下方的白色条带中。
Engineering & Research

PAN 2 让“What If”变得可看——也直言其失败之处

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

把一颗草莓丢进碗里,你不用思考就已经大致知道液体会怎样溅起。PAN 2 是 MBZUAI 基础模型研究所的世界模型,它的构建目的正是要知道同样的事情并将其展示出来。给它一个起始帧,用文本描述一个动作,它就会返回最长二十秒、704×1248、每秒 24 帧的视频,展示该动作对场景造成的影响。2026 年 11 月 11 日广为流传的那段演示,是迄今为止人们对这一理念最清晰的解释:把草莓换成橡皮鸭,或者改变液体,飞溅也会随之改变,因为模型是在预测物理后果,而不是检索一段视频。IFM 自己在头天晚上发布的公告用一句话道出了核心主张——“语言模型预测下一个词。PAN 2 预测下一个世界:每个动作之后会发生什么,以时间、物理和空间为依据。”

让它不止是一句口号的,是围绕它展开的整套发布。权重采用 Apache-2.0 许可,自 2026 年 10 月 7 日起已在 Hugging Face 上提供:60 个文件共计 86.17 GB,推理代码随后于 11 月 5 日在 GitHub 上发布,Day-0 服务支持于 11 月 10 日合并进 vLLM-Omni。因此,值得回答的问题不再是 PAN 2 是否存在,或者谁能获得它,而是一个可下载的 290 亿参数模拟器在哪些方面表现得足够好,好到你愿意依据它的输出来做规划,以及团队自己的文档又在哪些地方明确告诉你不要这样做。

这个演示是一个两阶段流水线,却披着单个模型的名字。

那段草莓片段看起来像是文本到视频生成。事实并非如此,而这一区别正是整个设计的关键所在。PAN 2 实现了在《世界模型批判》(arXiv 2507.05169)中提出的生成式潜在预测模式,该模式将预测拆分为推理部分和渲染部分。

推理部分是一个语言模型——任何遵循指令的语言模型都可以——它读取观测和请求的动作,并将下一世界状态写成结构化、以时间锚定的描述:按顺序列出事件,每个动作都绑定到执行它的行动者,再加上摄像机运动。这个描述并非装饰,而是实际接口。一个冻结的 Qwen3.5-9B 文本编码器将其映射为条件特征,而一个 29B 多模态扩散 Transformer 则补全描述未涉及的感知细节;该 Transformer 从零开始,在数亿个以相同格式标注的视频上训练而成。Wan 2.2 VAE 将潜变量解码为帧。

这意味着演示真正的主张根本不在于像素。它在于:对动作的结构化描述足以作为模拟器的控制信号,使其产生物理上连贯的结果——因此,智能体可以模拟若干候选方案、对它们进行比较,并依据最佳方案行动。这正是 IFM 所说的模拟推理,也是为什么草莓、鸭子和被调换的液体是同一个问题的三次运行,而不是三段影像。

实际后果并不友好。你无法把愿望输入 PAN 2 就得到视频。仓库附带一个 prompt-rewriter 技能——一个系统提示词、一个固定的负面提示词,以及一个校验器,它会根据文本编码器 1,480 个 token 的软上限和 1,536 个 token 的硬上限来检查字幕——而模型卡明确表示,智能体案例研究依赖的是手工精炼的提示词。自由文本在被使用前会被重写。这是一个带有接口契约的模型,而不是聊天框。

A headless capture of the IFM/PAN2 model page on Hugging Face, showing the Institute of Foundation Models at MBZUAI as author, the Image-Text-to-Video pipeline tag, tags for diffusers, safetensors, English, world-model, world-simulation, text-to-video, image-to-video, diffusion-transformer and arXiv 2507.05169, an Apache-2.0 licence badge, a note that downloads are not tracked for this model, 29B parameters in F32-BF16, and the model-card overview describing a general-purpose world model that simulates how the world changes in response to actions and returns up to 20 seconds of video.

报告衡量了什么,以及它使用了哪些措辞

IFM 发布的评估内容比大多数视频模型发布时都多,并且对条件的标注也比大多数更精确。所有这些都出自团队在自家评测框架上完成的工作,模型卡也在真正重要的那一节中说明了这一点。

• 单一动作——涵盖六大能力类别的 300 个测试用例,其中 201 个图生视频、99 个文生视频,准确率以百分比形式报告。

• 多步骤计划——100 个第一人称视角日常任务以两种方式提出,共 200 条提示和 456 个步骤,按步骤完成度和完整计划完成度评分,并在三个随机种子上取平均。

• 公开基准——Physics-IQ Verified 在图像到视频设置上,经过归一化,使两次真实拍摄之间的方差等于 100;PhyGround 采用五分制,由 Qwen3.8-27B 评判;RBench 为五个任务类别和四个具身类别上的未加权平均值,再乘以 100。

• 人类偏好——在140条提示词上进行盲测成对比较,其中90条为文本生成视频、50条为图像生成视频,由13位评审在1,400次比较中根据动作符合度、物理规律与世界一致性进行评判,Elo通过Bradley–Terry模型拟合,并以1500为中心。

十三位评审是一个小评审团,而且他们是在用作者自己的基线来评判作者的模型。这仍然比该类别的大多数发布所公布的证据更多,而且表述异常谨慎:对比中的闭源模型是通过第三方推理 API 一次性生成的,模型卡还标明了哪些行是单种子。这些都不能让这些数字变得独立。它们只是让数字变得清晰可读,而这已是仅次于独立性的最好情况。

每十三秒视频需要两分钟的 GPU 时间

决定你能否使用 PAN 2 的数字并不是某个基准测试分数,而是 vLLM 方案里的那个数字:它指出,一段 13 秒的 704×1248 视频在四块 B300 GPU 上大约需要 119 秒,其中无分类器引导拆分到两个 rank,Ulysses 序列并行拆分到另外两个 rank。文档给出的默认配置是八块 H200、BF16,并在此基础上采用跨四个 tile 的 VAE patch 并行,因为解码一段 20 秒的 704×1248 视频本身就是一个显存难题。

把采样器设置套用到那个数字上,成本就变成了结构性的,而不是偶然的。在流偏移为 9 的情况下跑五十步,并且每一步都施加 2.5 的引导,意味着每个片段都要让一个 29B Transformer 执行一百次前向传递。这就是为什么引导必须并行化,而不是顺序运行;也是为什么关于 PAN 2 的诚实问题不是“它有多好”,而是“一次模拟要花我多少成本,而一个规划需要多少次模拟”。一个规划器如果在十步任务中每一步评估五个候选动作,那就是在要五十个片段。按照厂商自己公布的配置,这会让一个四 GPU 节点忙上将近两个小时,而且此时还没有从输出中学到任何东西。

规划器是较便宜的那一半,而 IFM 让它保持可互换。

这条流水线中有一个环节不需要 GPU 集群,而且报告明确指出它是可替换的。概念推理器被定义为任何遵循指令的语言模型,IFM 根据模拟计划端到端完成的频率对其中四个进行了排名:Claude Opus 5.5 位居第一,其次是中等努力程度的 GPT-6 Astra,然后是 Kimi K3,最后是 Qwen3.8-Flash。

这四款模型全都在 OrcaRouter 目录中,这使得推理器槽位成为 PAN 2 技术栈中无需租用任何资源即可进行基准测试的那一部分。通过一个 API 密钥让提示词重写器分别指向它们,将扩散那一半固定在你自己的硬件上,并让自动故障转移在实验中途吸收供应商抖动,而不是中止整次运行;定价是 按各供应商的标价原样传递,0% 加价,因此供应商价格变化会在发生当天就体现在端点上,而不是等到重新定价周期之后。OrcaRouter 不托管 PAN 2,也无法路由它——渲染器仍由你负责——但流水线中决定模拟什么的那一半是普通的按量计费文本工作,而这正是不同运行之间质量真正会有差异的那一半。

值得直说:上面的排名是 IFM 的,是在 IFM 的任务上、用 IFM 的测试框架测出来的。把它作为筛选候选名单的起点是合理的。但它不能替代你用自己的提示词把四个候选模型都跑一遍,并统计你的方案有多少次能经受住考验。

A generated scoreboard card titled 'PAN 2 — the scoreboard' with six rows: Parameters 29B diffusion transformer plus a frozen 9B text encoder; Output up to 20 s at 704x1248 and 24 fps; Weights 86.17 GB in 60 files under Apache-2.0; Sampler 50 steps at guidance 2.5; Serving 13 s of video in 119 s on 4x B300; and Plan reliability a dropped step in about 2 of 3 plans. A footer reads 'Figures from IFM's model card, report and vLLM recipe; no independent benchmark yet.' The OrcaRouter logo is composited in the white strip beneath the artwork.

局限性说明部分是该发布版本中最有用的页面。

大多数模型卡都把需要承认的问题放在一段没人会读的文字里。PAN 2 的模型卡则把数字放在最前面:大约三分之二的模拟计划包含至少一个未执行的步骤。仅这一句话就重新定义了你上面读到的所有内容。一个在三分之二的计划中漏掉步骤的模拟器,还不是你能交给机器人然后撒手不管的东西——它是你用来对候选计划排序的工具,这些计划的失败模式是你能承受的,并且闭环中要有检查器。

清单的其余部分同样具体,也同样值得按字面理解。

• 长时程一致性——每个片段最多只基于一个起始帧加文本进行模拟,因此在长交互中,不同片段之间的外观会发生漂移;卡片将感知记忆列为缺失的一环,而不是声称该问题已解决。

• 提示敏感性——观测和动作的措辞会改变结果,而超出训练分布的示例则需要人工精炼的提示词。

• 粗粒度文本动作——文本能很好地表达“打开抽屉”,却难以表达“把每根手指放在这里”,这限制了灵巧操作。

• 捷径——模拟可以在违反物理规律的情况下推进,卡片自身的例子就是意大利面在沥干之前就出现在滤水篮里。

• 失败情形能否被忠实呈现,尚未测量——定量研究覆盖的是旨在成功的开环计划;用卡片中的话说,PAN 2 对应当失败的计划模拟得有多好,尚未测量。这是对规划而言最重要的缺口,因为一个无法向你展示坏结果的模拟器还不是过滤器。

Guardrails 以单独的代码仓库形式发布,并附带编号。

IFM 还做了一件大多数开放权重视频发布都会跳过的事:它随模型一同发布了防护机制,而不是只给一段建议采用防护机制的文字。pan2-guardrail 会在生成前用 Qwen3Guard-Gen-4B 筛查请求,并在生成后用 Q16 帧分类器筛查生成的视频;模型卡则报告了这一做法在两个方向上付出的代价——有害的文本到视频请求产生不安全输出的比例从 33.9% 降至 1.5%,未观察到不安全的图像到视频输出,同时有 11.5% 的良性文本到视频请求和 3.3% 的良性图像到视频请求在流程中被拦截。

那些是团队内部的测量数据,不是审计;如果你打算大规模运行这套东西,误报率才是你该紧盯的数字:一个每九个良性请求就拒绝一个的护栏,是你产品的一项设计约束,而不是脚注。平心而论,也正是这类披露才让你有可能做出这个决定。

A headless capture of the OrcaRouter models catalogue in its English locale, headed '228 models - 17 providers - one API key, one bill', with a filter sidebar for input modalities, context length, input price, status, access tier, series, supported parameters and privacy, a card for Google Gemini 4 Carbon at $2.00 input and $10.00 output per million tokens with a 1,048,576-token context, a card for Anthropic Claude Fable 5.2 at $8.00 input and $48.00 output with a 4M context, and the API call snippet for the OpenAI-compatible endpoint.

怎样才能让这不仅仅是一个令人印象深刻的演示?

三件事,按难度从低到高排列。一项失败研究:模型卡承认,模拟那些本应失败的计划是未被衡量的;在有人发表相关成果之前,PAN 2 只是一个生成看似合理成功案例的生成器,而不是后果预测器。一项独立评估:本文中的每一项能力数据都源自 IFM,运行在 IFM 的测试框架上,人类研究使用了十三人小组,且没有任何第三方复现过其中任何一项。以及一条更廉价的服务路径:已公布的配置是一个四 GPU 节点,每十三秒要花两分钟,这对研究来说尚可,但对模拟推理实际所隐含的循环来说却极其残酷。

PAN 2 仍然是今年发布的最完整的开放世界模型,而完整性正是关键所在。权重、代码、部署配方、带 token 预算的提示词契约、附带误报数据的防护栏,以及以失败率开篇的局限性章节。你可以不认同它已经为机器人做好准备,但仍然可以在本周用它来问:如果更换液体会发生什么——对于一个整个前提就是后果可以被预览的模型来说,这是一个合理的首次测试。