PAN 2 vs Cari4D：觀看一場互動，並預測一場互動

Cari4D 知道一隻手對一個物體做了什麼。PAN 2 則能在你要求時，展示一隻手會對一個物體做什麼。這兩者是沿著同一軸線的相反行進方向；在你說清楚你的問題往哪個方向跑之前，兩者之間的比較就像是披著分析外衣的擲硬幣。Cari4D 是 NVIDIA 的類別無關 4D 重建產品線——CoCoNet 模型會觀看一段單眼 RGB 影片，影片中有一個人操作一個剛性物體，並逐幀還原其公制尺度的姿態；自 2026 年 8 月 30 日起，Hugging Face 上有一個商業授權的 2.31 億參數檢查點。PAN 2 是 IFM 的 290 億參數開放權重世界模型，於 2026 年 10 月 7 日以 Apache-2.0 檢查點發布，它走的是另一個方向：給它一幀畫面和一個描述好的動作，它就會渲染長達二十秒的 704×1248 影片，預測該動作會造成什麼結果。一個讀取。一個寫入。它們值得放在同一頁的原因是，連接兩者的產物——對誰對哪個物體做了什麼的結構化描述——正是它們各自產出或消耗的東西。

兩條看似相似、卻毫無共通的管線

Cari4D 並非單一網路對影片做出反應。它是一條基礎模型鏈，中間有一個學習式校正階段：UniDepth 用於度量深度，NLF 與 GENMO 用於人體姿態，Hunyuan3D 用於從單張影像生成物件網格，FoundationPose 用於追蹤，VolumetricSMPL 用於有號距離人體模型。CoCoNet——NVIDIA 釋出的部分——會將當前的人體與物件估計渲染成 RGB、深度與遮罩，透過 DINOv2 ViT-B/14 RGB 編碼器與 ViT-S/14 六通道編碼器，將該渲染結果與真實觀測進行比較，執行兩個時空注意力區塊，並透過 MLP 頭回歸逐幀校正。

PAN 2 的鏈路走向相反，而且其中包含一個語言模型。概念推理器——任何遵循指令的模型——會讀取觀察結果與所請求的動作，並把下一個世界狀態寫成結構化、以時間為依據的說明文字：事件依序排列、動作綁定到行動者、攝影機運動。凍結的 Qwen3.5-9B 文字編碼器會把該說明文字映射成條件化特徵。29B 多模態擴散 Transformer 會預測說明文字未明示的影片潛在表徵，並以該說明文字及起始影格的 VAE 潛在表徵作為條件，再由 Wan 2.2 解碼器將其渲染出來。

因此，讓人們將它們相提並論的相似之處確實存在——兩者都涉及人類、雙手、物體以及接觸的物理——但底層的運作機制卻完全不相關。

• 方向 — {{1}}Cari4D{{/1}} 從像素中還原參數；{{2}}PAN 2{{/2}} 則從參數生成像素。

• 輸出 — Cari4D 會在 MHR 骨架系統上傳回逐幀的人類姿態與形體、逐幀的物體姿態，以及兩個手部接觸 logit；PAN 2 則會傳回 MP4。

• 輸入 — Cari4D 接收一段單眼 RGB 影片；PAN 2 接收可選的第一幀，外加結構化的動作描述。

• 大小 — Cari4D CoCoNet 有 231M 個參數，訓練至第 200,000 步；PAN 2 的擴散骨幹為 29B，另有一個獨立的凍結 9B 文字編碼器與 Wan 2.2 VAE。

• 公制尺度 — Cari4D 的核心主張是在沒有深度感測器的情況下，從單一相機進行公制重建；PAN 2 則完全沒有公制主張，其輸出是預測而非量測。

• 評估 — Cari4D 的數字來自一篇 CVPR 2026 論文，外加一張廠商資料卡，該卡坦承商業模型並沒有獨立的測試集；PAN 2 的數字則來自 IFM 自家的測試框架，且沒有第三方重現。

授權差異才是實務上真正關鍵的差異。

這兩款模型都可下載，這已讓它們躋身少數之列。你能用它們做什麼，差異之大遠超過參數量所暗示的程度。

PAN 2 本身的程式碼與權重採用 Apache-2.0 授權、無需申請即可取得，共六十個檔案、86.17 GB；第三方元件——Wan 2.2、Qwen3.5-9B、Diffusers——則依其各自條款授權，且未由 MBZUAI 重新散布。你下載它、執行它，並可發布你所建置的成果，但須遵守一般 Apache 義務。`pan2-guardrail` 儲存庫另行發布，內含請求篩選器與影格分類器；IFM 回報，它將有害的文字轉影片請求產生不安全輸出的比率從 33.9% 降至 1.5%，同時擋下 11.5% 的良性文字轉影片請求與 3.3% 的良性圖片轉影片請求，這正是部署任何可生成逼真影像的系統前會想看到的數字。

Cari4D 的定位較為分散，這讓採購團隊頭疼。研究儲存庫，nvidia/CARI4D，其模型卡載明 NVIDIA License，並註明「僅供研究與開發使用」。商業檢查點，nvidia/cari4d_commercial，則依 NVIDIA Open Model Agreement 提供，允許商業使用——但它設有門檻，你必須先接受條款並提供聯絡資訊，檔案才會出現，而且發布的 CoCoNet 無法單獨執行。整個流程仍會拉取 NLF torchscript 權重、FoundationPose 權重、SMPL-H 資產與 Hunyuan3D 網格，各自有各自的授權。商業授權只涵蓋 NVIDIA 所發布的部分，不涵蓋其周邊任何內容。

另外還有一項骨架（rig）遷移需要規劃。研究線會回歸預測 SMPL 的姿勢與體型；商業版檢查點則輸出 Native Momentum Human Rig 參數。如果你當初是針對研究用的張量撰寫整合程式碼，商業版模型的輸出形狀並不是可以直接替換的。

這兩者如何組合，以及為何那才是有趣的部分

這就是兩家供應商都不宣傳、但任何建構實體 AI 資料管線的人都能一眼認出的聯接。

PAN 2 的介面是一種結構化說明文字：事件依序排列、動作綁定至行為者、攝影機運動，並且落在 1,480 個詞元的軟性上限與 1,536 個詞元的硬性上限之內。手動產出那樣的說明文字，是使用這個模型時最乏味的一件事，而儲存庫之所以隨附 prompt-rewriter 技能，正是因為自由文字無法通過這個介面。現在想想 Cari4D 從一般影片輸出的內容：逐幀人體姿態、逐幀物件姿態，以及兩個手部接觸 logits——這是一份可量測、密集且時間一致的紀錄，正好是世界狀態說明文字理應描述的事物。

這就是一個描述生成器。重建會提供你互動在參數空間中的基準真值；語言模型會把這些參數轉換成 PAN 2 用來作為條件的結構化描述；模擬器接著會渲染出該互動的各種變體。把它循環起來，你就會得到一個資料引擎：錄下一次真實操作，用 Cari4D 重建它，為它生成描述，然後產生反事實樣本——不同物件、不同抓握方式、不同表面——那些你根本不可能有預算拍攝的情境。同一套循環也能反向執行以進行評估：在同一套設備上，將模擬片段與重建出的真實片段相比較。

那個迴圈的兩半都不是立即可用的。Cari4D 的商用卡指出，它是在 2,126 個內部的 FORM-HOI 序列上訓練的，而且沒有獨立的測試資料集——評估用的是一組定性示範集——內部的「Daniel」語料庫也未對外發布。其主要準確率數字——在分布內比先前技術低 38% 的重建誤差、在未見資料集上低 36%——來自 CVPR 論文，且尚未被獨立重現。至於 PAN 2，它承認約三分之二的模擬計畫包含至少一個未執行的步驟，文字動作僅粗略指定靈巧接觸，而且它模擬本應失敗的計畫時究竟有多忠實，尚未被測量。

把這兩項承認放在一起看，整體呈現是誠實的，而非宣傳性的：重建的互動是一種帶有已知訓練分佈的測量，模擬的互動則是一種帶有已知步降率的預測。兩者都不是關於世界的真實基準。兩者合起來比單獨任一者更有用。

運算：工作站與節點

Cari4D 可在單一 GPU 上執行，且根據其規格卡，已在 Ampere 等級硬體上通過驗證；部署的模型為 231M 參數，而周邊的基礎模型佔用了大部分記憶體。這是研究團隊會在工作站上隔夜對一個資料夾的影片片段跑完的那種流程。

PAN 2 並不符合那樣的描述。vLLM 配方的主打，是在四張 B300 GPU 上以約 119 秒生成十三秒的 704×1248 影片，其中無分類器引導分散到兩個 rank 上平行處理，Ulysses 序列平行化則跨兩個 rank；文件記載的預設是八張 H200、BF16，並以跨四個 tile 的 VAE patch 平行化運行。取樣器五十步且每一步都開啟引導，意味著每個片段都要讓 29B transformer 進行一百次前向傳遞，這就是為什麼平行化並非可有可無。如果你在迴圈中生成反事實樣本，迴圈成本就是片段數與每片段成本的乘積，而且會比重建端高出好幾個數量級。

這種不對稱是任何混合式做法的實際規劃事實。重建的成本低到足以套用在你手邊所有東西上；模擬的成本高到只在你需要反事實來改變決策時才執行。

又是規劃器插槽

這兩條流程中都有一個語言模型，而其中只有一個位置是可替換、可路由的通用元件。

PAN 2 的概念推理器明確可替換——IFM 評估了四款，並依完整計畫完成度排名：Claude Opus 5.5、以中等強度運作的 GPT-6 Astra、Kimi K3、Qwen3.8-Flash。這四款都在 OrcaRouter 目錄中，因此說明文字階段可透過單一端點執行，具備自動容錯移轉，且各供應商的牌價以 0% 加成原樣計費；你可以用自家說明文字來評測規劃器，而不必信任依據 IFM 任務測得的排名。Cari4D 的校正階段沒有這類可替換位置：CoCoNet 是固定的 231M 網路，替換它意味著重新訓練，而非重新路由。OrcaRouter 不託管 PAN 2 或 Cari4D，也無法路由任一者——渲染器與重建器都留在你的硬體上。

這裡對路由器的誠實定位很窄：兩階段管線中只有一個階段是需要計費的 API 呼叫，其餘階段則否。這仍然值得保留，因為字幕階段正是提示詞敏感度最容易出問題的地方，也是嘗試第二個模型只需付出一次請求、而非一次訓練執行的代價所在。

你的問題需要哪一個

如果你有影片，而且需要參數——動畫用的動作捕捉、資料集的接觸標註、機器人模仿學習用的度量姿態、對錄製的操作資料做品質檢查——Cari4D 就是工具，而 PAN 2 完全無可提供。先從研究檢查點開始評估，在決定採用商業版之前，把設備變更與第三方授權的預算編列進去，並將準確率數字視為經同儕審查的廠商聲稱，而非已重現的數據。

如果你有參數或描述，並需要看看會發生什麼——規劃評估、反事實資料生成、物理推理研究、能預覽自身動作的代理——PAN 2 就是那個模型，而代價是每個片段需要一個多 GPU 節點。在圍繞它設計之前，先讀它的限制：大多數規劃中會漏掉一個步驟；長片段會在外觀上漂移，因為每個片段至多只從一個起始幀模擬；文字對靈巧接觸的指定只有粗略程度。

如果你同時有這兩個問題，答案就是迴路，而迴路最弱的一環是圖說契約。Cari4D 提供量測；語言模型把它轉成結構化描述；PAN 2 渲染替代方案。三個元件、三種授權、一個研究問題——這大致就是建立在 2026 年世界模型之上的樣子，也正是為什麼任兩者之間的比較，不如一張說明它們如何連結的圖示來得有用。