PAN 2 vs Cari4D: Mengamati Interaksi, dan Memprediksi Salah Satunya

Cari4D mengetahui apa yang dilakukan tangan terhadap suatu objek. PAN 2 dapat menunjukkan kepada Anda apa yang akan dilakukan tangan terhadap suatu objek jika Anda memintanya. Itu adalah arah perjalanan yang berlawanan di sepanjang sumbu yang sama, dan sampai Anda menyebutkan arah mana masalah Anda berjalan, perbandingan di antara keduanya adalah lemparan koin yang didandani sebagai analisis. Cari4D adalah lini rekonstruksi 4D yang agnostik terhadap kategori milik NVIDIA — model CoCoNet yang menonton video RGB monokuler dari satu orang yang menangani satu objek kaku dan memulihkan pose skala metriknya bingkai demi bingkai, dengan checkpoint 231 juta parameter berlisensi komersial di Hugging Face sejak 30 Agustus 2026. PAN 2 adalah model dunia berbobot terbuka 29 miliar parameter milik IFM, dirilis sebagai checkpoint Apache-2.0 pada 7 Oktober 2026, yang bergerak ke arah sebaliknya: berikan satu bingkai dan tindakan yang dideskripsikan, dan ia merender video 704×1248 hingga dua puluh detik yang memprediksi apa yang dilakukan tindakan tersebut. Satu membaca. Satu menulis. Alasan keduanya layak ditempatkan di halaman yang sama adalah bahwa artefak yang menghubungkan keduanya — deskripsi terstruktur tentang siapa melakukan apa terhadap objek mana — justru merupakan hal yang masing-masing hasilkan atau konsumsi.

Dua pipeline yang tampak serupa dan tidak berbagi apa pun

Cari4D bukanlah satu jaringan yang merespons video. Ini adalah rangkaian model fondasi dengan tahap koreksi yang dipelajari di tengahnya: UniDepth untuk kedalaman metrik, NLF dan GENMO untuk pose manusia, Hunyuan3D untuk mesh objek dari satu gambar, FoundationPose untuk pelacakan, VolumetricSMPL untuk model tubuh signed-distance. CoCoNet — bagian yang dirilis NVIDIA — merender estimasi manusia dan objek saat ini menjadi RGB, kedalaman, dan mask, membandingkan render tersebut dengan observasi nyata melalui encoder RGB DINOv2 ViT-B/14 dan encoder enam kanal ViT-S/14, menjalankan dua blok atensi spasial-temporal, dan meregresi koreksi per frame melalui kepala MLP.

Rantai PAN 2 berjalan ke arah sebaliknya dan memiliki model bahasa di dalamnya. Penalar konseptual — model apa pun yang mengikuti instruksi — membaca observasi dan aksi yang diminta lalu menuliskan keadaan dunia berikutnya sebagai keterangan terstruktur yang berlandaskan waktu: peristiwa secara berurutan, aksi yang terikat pada aktor, gerakan kamera. Encoder teks Qwen3.5-9B yang dibekukan memetakan keterangan itu menjadi fitur pengondisian. Transformer difusi multimodal 29B memprediksi latent video yang dibiarkan terbuka oleh keterangan tersebut, dengan pengondisian pada keterangan itu dan pada latent VAE dari frame awal, dan decoder Wan 2.2 merendernya.

Jadi kemiripan yang membuat orang memasangkannya memang nyata — keduanya tentang manusia, tangan, benda, dan fisika kontak — dan mekanisme di baliknya sama sekali tidak berhubungan.

• Arah — Cari4D memulihkan parameter dari piksel; PAN 2 menghasilkan piksel dari parameter.

• Output — Cari4D mengembalikan pose dan bentuk manusia per bingkai pada rig MHR, pose objek per bingkai, dan dua logit kontak tangan; PAN 2 mengembalikan MP4.

• Input — Cari4D menerima satu video RGB monokular; PAN 2 menerima frame pertama yang opsional ditambah keterangan aksi terstruktur.

• Ukuran — Cari4D CoCoNet memiliki 231M parameter, dilatih hingga langkah 200.000; backbone difusi PAN 2 adalah 29B, dengan encoder teks 9B terpisah yang dibekukan dan VAE Wan 2.2.

• Skala metrik — Klaim inti Cari4D adalah rekonstruksi metrik dari satu kamera tanpa sensor kedalaman; PAN 2 sama sekali tidak memiliki klaim metrik, dan outputnya adalah prediksi, bukan pengukuran.

• Evaluasi — Angka Cari4D berasal dari makalah CVPR 2026 ditambah kartu vendor yang mengakui bahwa model komersialnya tidak memiliki set pengujian terpisah; angka PAN 2 berasal dari harness milik IFM sendiri tanpa reproduksi pihak ketiga.

Perbedaan lisensinya bersifat praktis.

Kedua model dapat diunduh, yang sudah menempatkan keduanya dalam klub kecil. Apa yang boleh Anda lakukan dengan keduanya berbeda lebih jauh daripada yang disiratkan oleh jumlah parameter mereka.

Kode dan bobot milik PAN 2 sendiri berlisensi Apache-2.0, tanpa pembatasan akses, enam puluh berkas dan 86,17 gigabyte, dengan komponen pihak ketiga — Wan 2.2, Qwen3.5-9B, Diffusers — yang tunduk pada ketentuan masing-masing dan tidak didistribusikan ulang oleh MBZUAI. Anda mengunduhnya, menjalankannya, dan mendistribusikan apa yang Anda bangun, dengan tunduk pada kewajiban Apache yang lazim. Repositori `pan2-guardrail` dirilis secara terpisah dengan penyaring permintaan dan pengklasifikasi bingkai; IFM melaporkan bahwa alat ini menurunkan permintaan teks-ke-video berbahaya yang menghasilkan keluaran tidak aman dari 33,9% menjadi 1,5% sekaligus menghentikan 11,5% permintaan teks-ke-video yang tidak berbahaya dan 3,3% permintaan gambar-ke-video yang tidak berbahaya, yang merupakan jenis angka yang Anda inginkan sebelum men-deploy apa pun yang menghasilkan rekaman realistis.

Posisi Cari4D lebih terfragmentasi, dan hal ini menyulitkan tim pengadaan. Repositori riset, nvidia/CARI4D, membawa Lisensi NVIDIA dengan keterangan "for research and development only" pada kartu modelnya. Checkpoint komersial, nvidia/cari4d_commercial, berada di bawah NVIDIA Open Model Agreement dan mengizinkan penggunaan komersial — tetapi aksesnya dibatasi (gated), Anda harus menyetujui ketentuan dan membagikan informasi kontak sebelum file tersedia, dan CoCoNet yang dirilis tidak dapat berjalan sendiri. Pipeline yang lebih luas masih menarik bobot torchscript NLF, bobot FoundationPose, aset SMPL-H, dan mesh Hunyuan3D, yang masing-masing memiliki lisensinya sendiri. Lisensi komersial hanya mencakup bagian yang dirilis NVIDIA dan tidak mencakup komponen di sekitarnya.

Ada juga migrasi rig yang perlu direncanakan. Lini riset melakukan regresi pose dan bentuk SMPL; checkpoint komersial mengeluarkan parameter Native Momentum Human Rig. Jika Anda menulis kode integrasi terhadap tensor riset, bentuk keluaran kartu komersial tidak dapat langsung dipakai sebagai pengganti.

Di mana keduanya berpadu, dan mengapa itulah bagian yang menarik

Inilah penggabungan yang tidak diiklankan oleh kedua vendor dan yang akan langsung dikenali oleh siapa pun yang membangun pipeline data AI fisik.

Antarmuka PAN 2 adalah caption terstruktur: peristiwa secara berurutan, aksi yang terikat pada aktor, gerakan kamera, dalam anggaran 1.480 token soft dan 1.536 hard. Menghasilkan caption itu secara manual adalah bagian paling melelahkan dalam menggunakan model, dan repositori menyertakan skill prompt-rewriter justru karena teks bebas tidak bertahan pada antarmuka tersebut. Sekarang pertimbangkan apa yang dipancarkan Cari4D dari video biasa: pose manusia per frame, pose objek per frame, dan dua logit kontak tangan — catatan metrik, padat, dan konsisten secara temporal tentang persis hal yang seharusnya dijelaskan oleh caption keadaan dunia.

Itu adalah generator caption. Rekonstruksi memberi Anda ground truth suatu interaksi dalam ruang parameter; model bahasa mengubah parameter tersebut menjadi deskripsi terstruktur yang menjadi dasar pengondisian PAN 2; simulator kemudian merender variasi interaksi itu. Ulangi siklusnya dan Anda memiliki mesin data: rekam satu manipulasi nyata, rekonstruksi dengan Cari4D, beri caption, lalu hasilkan counterfactual — objek berbeda, genggaman berbeda, permukaan berbeda — yang tidak akan pernah mampu Anda biayai untuk direkam. Siklus yang sama berjalan terbalik untuk evaluasi, membandingkan klip simulasi dengan klip nyata yang direkonstruksi pada rig yang sama.

Tidak ada satu pun dari kedua bagian loop itu yang siap pakai. Kartu komersial Cari4D menyatakan bahwa model itu dilatih pada 2.126 sekuens FORM-HOI internal dan bahwa tidak ada dataset pengujian terpisah — evaluasinya adalah set demo kualitatif — dan korpus internal "Daniel" tidak didistribusikan. Angka akurasi utamanya, yaitu error rekonstruksi 38% lebih rendah daripada metode sebelumnya pada distribusi dan 36% pada dataset yang belum pernah dilihat, berasal dari makalah CVPR dan belum direproduksi secara independen. PAN 2, pada bagiannya, mengakui bahwa sekitar dua dari tiga rencana simulasi mengandung setidaknya satu langkah yang tidak dijalankan, bahwa aksi teks hanya menentukan kontak dexterous secara kasar, dan bahwa seberapa setia ia mensimulasikan rencana yang seharusnya gagal belum diukur.

Bacalah kedua pengakuan itu bersama-sama dan komposisinya jujur, bukan promosional: interaksi yang direkonstruksi adalah pengukuran dengan distribusi pelatihan yang diketahui, dan interaksi yang disimulasikan adalah prediksi dengan laju penurunan langkah yang diketahui. Keduanya bukan ground truth tentang dunia. Keduanya lebih berguna daripada salah satunya saja.

Komputasi: stasiun kerja versus node

Cari4D berjalan pada satu GPU dan telah divalidasi pada perangkat keras kelas Ampere menurut kartu modelnya; model yang di-deploy memiliki 231M parameter dan model-model fondasi di sekitarnya merupakan bagian terbesar dari memori. Ini adalah jenis pipeline yang dijalankan tim riset di workstation semalaman terhadap folder berisi klip.

PAN 2 tidak cocok dengan deskripsi itu. Sorotan utama resep vLLM adalah tiga belas detik video 704×1248 dalam sekitar 119 detik pada empat GPU B300, dengan classifier-free guidance diparalelkan di dua rank dan paralelisme sekuens Ulysses di dua rank; default yang terdokumentasi adalah delapan H200 dalam BF16 dengan paralelisme patch VAE di empat tile. Lima puluh langkah sampler dengan guidance pada setiap langkah berarti seratus forward pass melalui transformer 29B per klip, itulah sebabnya paralelisme bukan opsional. Jika Anda menghasilkan kontrafaktual dalam loop, biaya loop adalah hasil kali jumlah klip dan tagihan per klip tersebut, dan itu jauh melampaui sisi rekonstruksi hingga beberapa orde besaran.

Asimetri itu adalah fakta perencanaan praktis dari setiap sistem hibrida. Rekonstruksi cukup murah untuk dijalankan pada semua yang Anda miliki; simulasi cukup mahal sehingga Anda hanya menjalankannya ketika suatu kontrafaktual mengubah keputusan.

Slot planner, lagi.

Kedua pipeline memiliki model bahasa di dalamnya, dan hanya salah satu dari slot tersebut yang merupakan komoditas yang dapat Anda rutekan.

Penalar konseptual PAN 2 secara eksplisit dapat dipertukarkan — IFM mengevaluasi empat dan memeringkatkannya berdasarkan penyelesaian rencana penuh: Claude Opus 5.5, GPT-6 Astra dengan effort sedang, Kimi K3, Qwen3.8-Flash. Keempatnya ada dalam katalog OrcaRouter, sehingga tahap caption dapat berjalan melalui satu endpoint dengan failover otomatis dan harga daftar tiap penyedia diteruskan dengan markup 0%, dan Anda dapat melakukan benchmark perencana terhadap caption Anda sendiri alih-alih memercayai peringkat yang diukur pada tugas IFM. Tahap koreksi Cari4D tidak memiliki slot seperti itu: CoCoNet adalah jaringan tetap berukuran 231M, dan menggantinya berarti pelatihan ulang, bukan pengalihan rute. OrcaRouter tidak menghosting PAN 2 atau Cari4D dan tidak dapat merutekan salah satu pun — renderer dan rekonstruktor keduanya tetap di perangkat keras Anda.

Perumusan yang jujur untuk router di sini memang sempit: satu tahap dari pipeline dua tahap adalah panggilan API berbayar per penggunaan dan sisanya bukan. Itu tetap layak dipertahankan, karena tahap caption adalah tempat sensitivitas prompt paling terasa dan tempat mencoba model kedua hanya memakan satu permintaan alih-alih satu proses pelatihan.

Yang mana yang dibutuhkan masalah Anda

Jika Anda memiliki video dan memerlukan parameter — motion capture untuk animasi, pelabelan kontak untuk dataset, pose metrik untuk pembelajaran imitasi robot, pemeriksaan QC atas rekaman manipulasi — Cari4D adalah alatnya dan PAN 2 tidak menawarkan apa pun. Mulailah dengan checkpoint riset untuk dievaluasi, anggarkan perubahan rig dan lisensi pihak ketiga sebelum Anda berkomitmen pada versi komersialnya, dan perlakukan angka akurasi sebagai klaim vendor yang telah ditinjau sejawat, bukan yang telah direproduksi.

Jika Anda memiliki parameter atau deskripsi dan perlu melihat apa yang terjadi — evaluasi rencana, pembangkitan data kontrafaktual, penelitian penalaran fisik, agen yang mempratinjau tindakannya — PAN 2 adalah modelnya, dan biayanya adalah satu node multi-GPU per klip. Baca batasannya sebelum Anda merancang berdasarkan model ini: satu langkah dihilangkan dalam sebagian besar rencana, klip panjang mengalami pergeseran tampilan karena setiap klip disimulasikan dari paling banyak satu frame awal, dan teks hanya menentukan kontak cekatan secara kasar.

Jika Anda memiliki kedua masalah itu, jawabannya adalah loop, dan tautan terlemah dalam loop adalah kontrak caption. Cari4D memberi Anda pengukuran; model bahasa mengubahnya menjadi deskripsi terstruktur; PAN 2 merender alternatifnya. Tiga komponen, tiga lisensi, satu pertanyaan penelitian — yang kira-kira seperti itulah membangun di atas model dunia 2026, dan mengapa perbandingan antara dua di antaranya kurang berguna dibandingkan diagram tentang bagaimana mereka terhubung.