PAN 2 vs Cari4D：相互作用を観察すること、そしてそれを予測すること

Cari4Dは、手が物体に対して何をしたかを把握します。PAN 2は、頼めば、手が物体に対して何をするかを示してくれます。これらは同じ軸上を逆方向に進むものであり、あなたの問題がどちらの方向に進むのかを明言するまでは、両者を比較することは、分析の装いをしたコイントスにすぎません。Cari4DはNVIDIAのカテゴリ非依存の4D再構築ラインです — CoCoNetモデルは、1人が1つの剛体物体を扱う単眼RGB動画を視聴し、そのメートルスケールのポーズをフレームごとに復元します。2026年8月30日以降、Hugging Faceで商用ライセンスされた2億3,100万パラメータのチェックポイントが提供されています。PAN 2はIFMの290億パラメータのオープンウェイト世界モデルで、2026年10月7日にApache-2.0チェックポイントとしてリリースされ、逆方向に進みます。フレームと記述されたアクションを渡すと、そのアクションによって何が起こるかを予測する最大20秒の704×1248動画をレンダリングします。一方は読み取り、他方は書き出します。両者を同じページに載せる価値があるのは、それらをつなぐ成果物 — 誰がどの物体に何をしたかの構造化された記述 — が、まさにそれぞれが生成または消費するものだからです。

見た目は似ているが何も共有しない2つのパイプライン

Cari4Dは、動画に応答する単一のネットワークではない。それは、中間に学習済みの補正ステージを備えた基盤モデルの連鎖である。メトリック深度にはUniDepth、人間姿勢にはNLFとGENMO、単一画像からのオブジェクトメッシュにはHunyuan3D、トラッキングにはFoundationPose、符号付き距離身体モデルにはVolumetricSMPLを使用する。CoCoNet — NVIDIAが公開する部分 — は、現在の人物と物体の推定をRGB、深度、マスクにレンダリングし、そのレンダリングを実観測と、DINOv2 ViT-B/14 RGBエンコーダおよびViT-S/14 6チャネルエンコーダを通じて比較し、2つの時空間アテンションブロックを実行し、MLPヘッドを通じてフレームごとの補正を回帰する。

PAN 2の連鎖は逆方向に進み、その中に言語モデルを備えている。概念推論器——指示追従型モデルなら何でもよい——が観測と要求された行動を読み、次の世界状態を、構造化された時間に接地したキャプションとして書き出す。すなわち、出来事を順序どおりに、行動を行為者に紐付け、カメラの動きを記す。凍結されたQwen3.5-9Bテキストエンコーダがそのキャプションを条件付け特徴に写像する。29Bのマルチモーダル拡散トランスフォーマーが、キャプションでは未確定のまま残された動画潜在を、そのキャプションと開始フレームのVAE潜在に条件付けられて予測し、Wan 2.2デコーダがそれらをレンダリングする。

だから、人々が両者を対にして語りたくなる類似性は実在する——どちらも人間、手、物体、そして接触の物理を扱っている——が、その根底にある仕組みはまったく無関係だ。

• 方向性 — Cari4D はピクセルからパラメータを復元し、PAN 2 はパラメータからピクセルを生成します。

• 出力 — Cari4D は、MHR リグ上のフレームごとの人体ポーズと形状、フレームごとのオブジェクトポーズ、および2つの手接触ロジットを返します。PAN 2 は MP4 を返します。

• 入力 — Cari4D は単眼 RGB 動画を 1 本受け取り、PAN 2 は任意の最初のフレームと構造化されたアクションキャプションを受け取ります。

• サイズ — Cari4D CoCoNetは2億3100万パラメータで、20万ステップまで学習されています。PAN 2の拡散バックボーンは290億パラメータで、別個の凍結された90億パラメータのテキストエンコーダーとWan 2.2 VAEを備えています。

• メートルスケール — Cari4D の中核的な主張は、深度センサーを使わずに単一カメラからメートル法で再構成することであり、PAN 2 にはメートル法に関する主張が一切なく、その出力は測定ではなく予測である。

• 評価 — Cari4D の数値は、CVPR 2026 の論文と、商用モデルには独立したテストセットがないことを認めるベンダー資料に基づいている。PAN 2 の数値は IFM 自身のハーネスによるもので、第三者による再現はない。

ライセンスの違いは実用的な違いです。

両モデルはダウンロード可能で、それだけでもう少数派の仲間入りです。それらで何ができるかは、パラメータ数の差が示唆する以上に異なります。

PAN 2 自体のコードと重みは Apache-2.0 で、ゲートなし、60 ファイル、86.17 ギガバイトです。第三者のコンポーネント — Wan 2.2、Qwen3.5-9B、Diffusers — はそれぞれの条件に従い、MBZUAI による再配布はありません。ダウンロードして実行し、構築したものを出荷できます。ただし通常の Apache の義務に従います。`pan2-guardrail` リポジトリは、リクエストスクリーナーとフレーム分類器を備えて別途提供されます。IFM によると、安全でない出力を生成する有害なテキスト→動画リクエストを 33.9% から 1.5% に削減する一方で、無害なテキスト→動画リクエストの 11.5%、無害な画像→動画リクエストの 3.3% を阻止したとのことです。これは、リアルな映像を生成するものを展開する前に欲しい種類の数値です。

Cari4Dの立場はより分断されており、このことが調達チームを混乱させます。研究用リポジトリnvidia/CARI4Dは、モデルカードに「研究開発専用」と記載されたNVIDIA Licenseの下にあります。商用チェックポイントnvidia/cari4d_commercialはNVIDIA Open Model Agreementの下にあり、商用利用を許可しています — ただしゲート付きで、ファイルが表示される前に規約に同意し連絡先情報を共有する必要があり、リリースされたCoCoNetは単独では動作しません。より広いパイプラインは依然としてNLF torchscriptの重み、FoundationPoseの重み、SMPL-Hアセット、Hunyuan3Dメッシュを取得し、それぞれに独自のライセンスがあります。商用ライセンスはNVIDIAがリリースしている部分を対象とし、その周辺は対象外です。

リグの移行も計画する必要があります。研究用ラインはSMPLのポーズとシェイプを回帰しますが、商用チェックポイントはNative Momentum Human Rigパラメータを出力します。研究用テンソルを前提に統合コードを書いた場合、商用カードの出力形状はそのまま差し替えられるものではありません。

その2つが組み合わさるのはどこか、そしてなぜそこが面白いのか

これが、どちらのベンダーも宣伝しておらず、フィジカルAIデータパイプラインを構築する人なら誰でもすぐに認識するジョインです。

PAN 2のインターフェースは構造化キャプションである。出来事は順序どおりに、行動は行為者に紐づけられ、カメラの動きも含まれ、ソフトで1,480トークン、ハードで1,536トークンの予算内に収まる。そのキャプションを手作業で生成することは、このモデルを使ううえで最も退屈な作業であり、リポジトリにプロンプト書き換えスキルが同梱されているのはまさに、自由文がこのインターフェースを通り抜けられないからだ。ここで、Cari4Dが普通の動画から出力するものを見てみよう。フレームごとの人体姿勢、フレームごとの物体姿勢、そして2つの手接触ロジット——まさに世界状態キャプションが記述すべき対象を、計量的で、密で、時間的に一貫した記録にしたものだ。

それはキャプション生成器です。再構成によって、パラメータ空間におけるインタラクションのグラウンドトゥルースが得られます。言語モデルがそれらのパラメータを、PAN 2 が条件とする構造化記述に変換し、シミュレータがそのインタラクションのバリエーションをレンダリングします。これをループさせればデータエンジンになります。実世界の操作を1回記録し、Cari4D で再構成し、キャプションを付け、撮影する余裕など決してない反実仮想——異なる物体、異なるグリップ、異なる表面——を生成するのです。同じループは評価のために逆方向にも回り、同じリグ上でシミュレーションされたクリップを再構成された実クリップと比較します。

そのループのどちらの半分もターンキーではない。Cari4Dの商用カードには、2,126件の社内FORM-HOIシーケンスで学習されたこと、別途のテストデータセットは存在しないこと——評価は定性的なデモセットであること——、そして社内の「Daniel」コーパスは配布されていないことが記載されている。その主要な精度指標である、分布内で従来手法より再構成誤差が38%低いという数値と、未見データセットで36%低いという数値は、CVPR論文に由来するものであり、独立に再現されていない。PAN 2については、約3分の2のシミュレーション計画に実行されないステップが少なくとも1つ含まれること、テキストアクションは器用な接触を粗くしか指定していないこと、失敗すべき計画をどれだけ忠実にシミュレートするかは測定されていないことを認めている。

その二つの自認を並べて読めば、この組み合わせは宣伝的ではなく誠実だ。再構成された相互作用は既知の訓練分布を持つ測定であり、シミュレートされた相互作用は既知のステップ低下率を持つ予測である。どちらも世界についてのグラウンドトゥルースではない。両方はどちらか一方だけよりも有用である。

コンピュート: ワークステーション対ノード

Cari4Dは単一のGPU上で動作し、そのカードによればAmpereクラスのハードウェアで検証済みです。デプロイされたモデルは231Mパラメータで、周辺の基盤モデルがメモリの大部分を占めています。これは研究チームがワークステーション上で一晩かけ、クリップのフォルダに対して実行する類のパイプラインです。

PAN 2はその説明に当てはまらない。vLLMレシピの目玉は、4基のB300 GPU上で704×1248の13秒動画を約119秒で生成することにあり、classifier-free guidanceを2ランクにまたがって並列化し、Ulyssesシーケンス並列化を2ランクにまたがって行う。文書化されているデフォルトは、BF16でH200を8基使い、VAEパッチ並列化を4タイルにまたがって行う構成だ。サンプラーを50ステップ実行し、各ステップでガイダンスを有効にすると、クリップごとに29Bトランスフォーマーを100回フォワードパスさせることになる。だからこそ並列化は省略できない。ループで反実仮想を生成しているなら、ループのコストはクリップ数とそのクリップあたりのコストの積になり、再構成側を桁違いに圧倒する。

その非対称性は、どんなハイブリッドにも当てはまる実務計画上の事実である。再構成は手持ちのすべてに対して実行できるほど安価であり、シミュレーションは反実仮想が意思決定を変える場合にのみ実行するほど高価である。

またプランナースロットか

どちらのパイプラインにも言語モデルが組み込まれていますが、そうしたスロットのうち、ルーティングできるコモディティは1つだけです。

PAN 2の概念推論器は明示的に交換可能です。IFMは4つを評価し、計画全体の完了度で順位付けしました：Claude Opus 5.5、中程度のエフォートで動作するGPT-6 Astra、Kimi K3、Qwen3.8-Flash。4つともOrcaRouterのカタログに含まれているため、キャプション工程は自動フェイルオーバー付きの単一エンドポイントで実行でき、各プロバイダーの定価は0%のマークアップでそのまま適用されます。また、IFMのタスクで測定されたランキングを信じるのではなく、自社のキャプションに対してプランナーをベンチマークできます。Cari4Dの補正段階にはそのような差し込み枠はありません。CoCoNetは固定の231Mネットワークであり、交換するには再ルーティングではなく再トレーニングが必要です。OrcaRouterはPAN 2もCari4Dもホストしておらず、どちらもルーティングできません。レンダラーと再構成器はどちらもお客様のハードウェア上に残ります。

ここでのルーターについての正直な位置づけは狭いものです。2段階パイプラインのうち1つの段階は従量課金のAPI呼び出しで、残りはそうではありません。それでも導入する価値はあります。キャプション段階こそ、プロンプトへの敏感さが効いてくる場所であり、別のモデルを試すのにトレーニング実行ではなく1回のリクエスト分のコストで済む場所だからです。

あなたの問題にはどれが必要ですか？

動画があり、パラメータが必要な場合——アニメーション用のモーションキャプチャ、データセット用の接触ラベリング、ロボットの模倣学習用のメートル法ポーズ、記録されたマニピュレーションに対するQCパス——Cari4Dがそのツールであり、PAN 2には提供できるものは何もありません。評価するには研究用チェックポイントから始め、商用のものにコミットする前にリグ変更と第三者ライセンスの予算を計上し、精度の数値は再現されたものではなく査読済みのベンダー主張として扱ってください。

パラメータや記述があり、何が起こるかを確認する必要があるなら——計画評価、反実仮想データ生成、物理推論研究、自分の行動をプレビューするエージェント——{{1}}PAN 2{{/1}}がそのモデルであり、コストはクリップごとにマルチGPUノード1台分です。これを前提に設計する前に、その制限を読んでください。ほとんどの計画でステップが1つ抜け落ち、長いクリップでは見た目がドリフトします。各クリップは最大でも1つの開始フレームからシミュレーションされるためです。また、テキストでは器用な接触を粗くしか指定できません。

両方の問題を抱えているなら、答えはループであり、そのループの最も弱いリンクはキャプション契約です。Cari4Dが測定値を与え、言語モデルがそれを構造化された記述に変え、PAN 2が代替案をレンダリングします。3つの構成要素、3つのライセンス、1つの研究課題——これはおおよそ、2026年のワールドモデルの上に構築するとはどういうことかを示しており、また、どれか2つを比較するよりも、それらがどうつながるかを示す図の方が有用である理由でもあります。