PAN 2 与 Cari4D：观察一次相互作用，并预测一次相互作用

Cari4D 知道一只手对某个物体做了什么。PAN 2 则可以在你提出要求时，向你展示一只手会对某个物体做什么。这是沿着同一轴线的两个相反行进方向；在你说明自己的问题运行于哪个方向之前，对二者进行比较就像把抛硬币伪装成分析。Cari4D 是 NVIDIA 的类别无关 4D 重建系列——其中的 CoCoNet 模型会观看一个人操作一个刚性物体的单目 RGB 视频，并逐帧恢复其度量尺度姿态；自 2026 年 8 月 30 日起，Hugging Face 上提供了一个获得商业许可的 2.31 亿参数检查点。PAN 2 是 IFM 的 290 亿参数开放权重世界模型，于 2026 年 10 月 7 日以 Apache-2.0 检查点形式发布，它走的是相反方向：给它一帧画面和一段描述的动作，它就会渲染最长 20 秒的 704×1248 视频，预测该动作会带来什么结果。一个负责读取，一个负责写入。它们之所以值得放在同一页上讨论，是因为连接二者的产物——对谁对哪个对象做了什么的结构化描述——正是它们各自生产或消费的东西。

两条看似相似、实则毫无共享的流水线

Cari4D 并不是一个对视频作出响应的单一网络。它是一条由基础模型组成的链，中间带有一个学习到的校正阶段：UniDepth 用于度量深度，NLF 和 GENMO 用于人体姿态，Hunyuan3D 用于从单张图像生成物体网格，FoundationPose 用于跟踪，VolumetricSMPL 用于有符号距离人体模型。CoCoNet——NVIDIA 发布的那部分——将当前的人体和物体估计渲染为 RGB、深度和掩码，通过 DINOv2 ViT-B/14 RGB 编码器和 ViT-S/14 六通道编码器将该渲染结果与真实观测进行比较，运行两个时空注意力块，并通过 MLP 头回归逐帧校正。

PAN 2 的链条方向相反，并且其中包含一个语言模型。一个概念推理器——任何指令遵循模型——读取观测和请求的动作，并将下一个世界状态写成结构化、以时间为锚的说明文字：按顺序的事件、绑定到行动者的动作、相机运动。一个冻结的 Qwen3.5-9B 文本编码器将该说明文字映射为条件特征。一个 29B 多模态扩散 Transformer 预测该说明文字未明确的视频潜变量，以该说明文字和起始帧的 VAE 潜变量为条件，然后由 Wan 2.2 解码器渲染它们。

所以，让人们把它们配对的相似性是真实存在的——两者都关乎人、手、物体以及接触的物理原理——而底层的机制则完全不相干。

方向 — Cari4D 从像素中恢复参数；PAN 2 从参数生成像素。

• 输出 — Cari4D 返回基于 MHR 骨架的逐帧人体姿态与形状、逐帧物体姿态，以及两个手部接触 logits；PAN 2 返回一个 MP4。

• 输入 — Cari4D 接收一段单目 RGB 视频；PAN 2 接收可选的首帧以及结构化的动作说明。

• 规模 — Cari4D CoCoNet 的参数规模为 231M，训练至第 200,000 步；PAN 2 的扩散主干为 29B，并配有一个独立的冻结 9B 文本编码器和一个 Wan 2.2 VAE。

• 度量尺度——Cari4D 的核心主张是在没有深度传感器的情况下，仅凭单台相机实现度量重建；PAN 2 则完全没有度量方面的主张，其输出是预测而非测量。

• 评估——Cari4D 的数据来自一篇 CVPR 2026 论文，以及一张承认该商业模型没有独立测试集的厂商说明卡；PAN 2 的数据则来自 IFM 自己的评测框架，没有第三方复现。

许可证差异才是实际差异。

两款模型均可下载，这一点已让它们跻身少数派。而你能用它们做什么，其差异远比参数规模所暗示的更大。

PAN 2 自身的代码和权重采用 Apache-2.0 许可，不设访问限制，共 60 个文件、86.17 GB；其中包含第三方组件——Wan 2.2、Qwen3.5-9B、Diffusers——这些组件遵循各自条款，且不由 MBZUAI 再分发。你下载它、运行它、发布你所构建的内容，但须遵守 Apache 的常规义务。`pan2-guardrail` 仓库单独发布，包含请求筛选器和帧分类器；IFM 报告称，它将产生不安全输出的有害文生视频请求占比从 33.9% 降至 1.5%，同时拦截了 11.5% 的良性文生视频请求和 3.3% 的良性图生视频请求，这正是你在部署任何可生成逼真影像的系统之前想要看到的数字。

Cari4D 的定位更加分散，这让采购团队很头疼。研究仓库 nvidia/CARI4D 在模型卡上采用 NVIDIA 许可证，并注明“仅用于研究与开发”。商业检查点 nvidia/cari4d_commercial 则遵循 NVIDIA 开放模型协议，允许商业使用——但它需要先通过申请审批：在文件出现之前，你必须接受条款并共享联系方式，而且已发布的 CoCoNet 无法独立运行。更广泛的流程仍会拉取 NLF torchscript 权重、FoundationPose 权重、SMPL-H 资产和 Hunyuan3D 网格，而它们各自都有独立的许可证。商业许可证只覆盖 NVIDIA 正在发布的部分，不覆盖其周边任何内容。

还有一项 rig 迁移需要规划。研究线回归 SMPL 姿势和体型；商业检查点输出的是 Native Momentum Human Rig 参数。如果你针对研究张量编写了集成代码，那么商业卡的输出形状并非可直接替换。

两者在何处组合，以及为什么那才是有趣的部分

这就是那个两家供应商都不宣传、而任何构建物理 AI 数据管道的人都会立刻认出的连接点。

PAN 2 的接口是一段结构化描述：按顺序排列的事件、绑定到行动者的动作、摄像机运动，并且处于 1,480 个 token 的软预算和 1,536 个 token 的硬预算之内。手工生成那段描述是使用该模型过程中最繁琐的环节，而仓库之所以附带一个 prompt-rewriter 技能，正是因为自由文本无法通过该接口。现在想想 Cari4D 从一段普通视频中输出的内容：逐帧人体姿态、逐帧物体姿态，以及两个手部接触 logits——这是一份可度量、密集且时间上一致的记录，恰恰记录了世界状态描述本应描述的内容。

那是一个描述生成器。重建会给出一次交互在参数空间中的真值；语言模型将这些参数转化为 PAN 2 所依据的结构化描述；随后模拟器渲染出该交互的各种变体。把它循环起来，你就拥有了一个数据引擎：记录一次真实操作，用 Cari4D 重建它，为它生成描述，并生成反事实——不同的物体、不同的抓握方式、不同的表面——这些是你根本无力拍摄的。同一个循环反向运行即可用于评估，在同一套装置上将模拟片段与重建出的真实片段进行比较。

这个循环的两半都不是开箱即用的。Cari4D 的商业资料卡声称，它是在 2,126 个内部 FORM-HOI 序列上训练的，并且没有单独的测试数据集——评估用的是一套定性演示集——而且内部的“Daniel”语料库并未分发。其引人注目的准确率数字——在分布内重建误差比现有方法低 38%，在未见数据集上低 36%——来自 CVPR 论文，尚未被独立复现。就 PAN 2 而言，它承认约三分之二的模拟计划包含至少一个未执行的步骤，文本动作只能粗略地指定灵巧接触，而且它对本应失败的计划模拟得有多忠实尚未被测量。

把这两点承认放在一起看，这种组合是诚实的，而非宣传性的：重建的交互是一种带有已知训练分布的测量，模拟的交互则是一种带有已知步降率的预测。两者都不是关于世界的真值。两者合在一起，比任何单独一个都更有用。

计算：工作站与节点的对比

Cari4D 可在单块 GPU 上运行，并且根据其模型卡，已在 Ampere 级硬件上通过验证；部署模型为 2.31 亿参数，而周边基础模型占据了大部分内存。这是一种研究团队会在工作站上通宵针对一个视频片段文件夹运行的流水线。

PAN 2 不符合那个描述。vLLM recipe 的主打指标是：在四块 B300 GPU 上，用大约 119 秒生成 13 秒的 704×1248 视频，其中无分类器引导跨两个 rank 并行，Ulysses 序列并行跨两个 rank；文档记录的默认配置是八块 H200、BF16，VAE patch 并行分布在四个 tile 上。五十个采样器步且每一步都启用引导，意味着每个片段都要让 29B transformer 做一百次前向传递，这就是为什么并行不是可选项。如果你在循环中生成反事实，循环的成本就是片段数与该每片段开销的乘积，并且会比重建侧高出几个数量级。

这种不对称是任何混合方案在规划时的现实前提。重建的成本足够低，可以对所有已有的东西都跑一遍；模拟的成本足够高，因此只在反事实会改变决策的地方才运行它。

又是规划器槽位

两条流水线中都包含一个语言模型，而其中只有一个槽位是可以进行路由的商品化组件。

PAN 2 的概念推理器明确可替换——IFM 评估了四个，并按完整计划完成度排名：Claude Opus 5.5、中等投入的 GPT-6 Astra、Kimi K3、Qwen3.8-Flash。四者都在 OrcaRouter 目录中，因此字幕阶段可以通过单一端点运行，并具备自动故障转移，且各供应商的标价以 0% 加价透传；你可以用自有字幕对规划器进行基准测试，而不必信任基于 IFM 任务测得的排名。Cari4D 的校正阶段没有这样的位置：CoCoNet 是固定的 231M 网络，替换它意味着重新训练，而不是重新路由。OrcaRouter 不托管 PAN 2 或 Cari4D，也无法路由二者——渲染器和重建器都留在你的硬件上。

这里对路由器的诚实定位很明确：两阶段流水线中有一个阶段是按量计费的 API 调用，其余阶段则不是。这仍然值得保留，因为字幕阶段正是提示词敏感性最容易出问题的地方，也是尝试第二个模型只需花费一次请求、而不是一次训练运行的地方。

你的问题需要哪一个

如果你有视频并且需要参数——用于动画的动作捕捉、用于数据集的联系标注、用于机器人模仿学习的度量位姿、对录制的操作进行 QC 检查——Cari4D 才是工具，而 PAN 2 提供不了任何东西。先从研究检查点开始评估，在决定采用商业版之前，为装置变更和第三方许可做好预算，并且要把准确率数据视为经同行评审的厂商声明，而不是已被复现的结果。

如果你有参数或描述，并且需要看看会发生什么——计划评估、反事实数据生成、物理推理研究、预览自身动作的智能体——PAN 2 就是那个模型，而代价是每个片段需要一整个多 GPU 节点。在围绕它进行设计之前，请先了解其局限性：大多数计划中会漏掉一步；长片段的外观会漂移，因为每个片段最多只从一个起始帧进行模拟；文本对灵巧接触的指定只能做到粗略。

如果你同时有这两个问题，答案就是循环，而循环中最薄弱的一环是字幕契约。Cari4D 为你提供测量；语言模型把它转化为结构化描述；PAN 2 渲染出替代方案。三个组件、三种许可、一个研究问题——这大致就是在 2026 年的世界模型之上构建时的样子，也解释了为什么对其中任意两个进行比较，不如一张说明它们如何连接的示意图有用。