PAN 2 vs Cari4D: Obserwowanie interakcji i przewidywanie jej

Cari4D wie, co ręka zrobiła z obiektem. PAN 2 potrafi pokazać, co ręka zrobiłaby z obiektem, gdybyś o to poprosił. To dwa przeciwne kierunki ruchu wzdłuż tej samej osi, a dopóki nie powiesz, w którym kierunku biegnie twój problem, porównywanie ich to rzut monetą przebrany za analizę. Cari4D to niezależna od kategorii linia rekonstrukcji 4D firmy NVIDIA — model CoCoNet, który obserwuje monokularowe wideo RGB przedstawiające jedną osobę manipulującą jednym sztywnym obiektem i odtwarza jej pozy w skali metrycznej klatka po klatce, z komercyjnie licencjonowanym checkpointem o 231 milionach parametrów na Hugging Face od 30 sierpnia 2026 roku. PAN 2 to model świata o otwartych wagach firmy IFM z 29 miliardami parametrów, udostępniony jako checkpoint na licencji Apache-2.0 7 października 2026 roku, który działa w drugą stronę: podaj mu klatkę i opisane działanie, a wyrenderuje do dwudziestu sekund wideo 704×1248, przewidując, co to działanie powoduje. Jeden czyta. Drugi zapisuje. Powód, dla którego warto umieścić je na jednej stronie, jest taki, że artefakt, który je łączy — uporządkowany opis tego, kto co zrobił i z jakim obiektem — jest dokładnie tym, co każde z nich wytwarza lub konsumuje.

Dwa potoki, które wyglądają podobnie i nie mają ze sobą nic wspólnego

Cari4D nie jest jedną siecią reagującą na wideo. To łańcuch modeli bazowych z wyuczonym etapem korekcji pośrodku: UniDepth do głębokości metrycznej, NLF i GENMO do pozy człowieka, Hunyuan3D do siatek obiektów z pojedynczego obrazu, FoundationPose do śledzenia, VolumetricSMPL do modelu ciała opartego na funkcji odległości ze znakiem. CoCoNet — część udostępniana przez NVIDIA — renderuje bieżące oszacowanie człowieka i obiektu do RGB, głębokości i masek, porównuje ten render z rzeczywistą obserwacją za pomocą enkodera RGB DINOv2 ViT-B/14 oraz sześciokanałowego enkodera ViT-S/14, uruchamia dwa bloki uwagi czasowo-przestrzennej i regresuje korekty dla poszczególnych klatek przez głowy MLP.

Łańcuch PAN 2 działa w drugą stronę i zawiera model językowy. Rozumujący koncepcyjnie — dowolny model podążający za instrukcjami — odczytuje obserwację i żądane działania, po czym zapisuje następny stan świata jako ustrukturyzowany, osadzony w czasie opis: zdarzenia po kolei, działania przypisane aktorom, ruch kamery. Zamrożony enkoder tekstowy Qwen3.5-9B odwzorowuje ten opis na cechy warunkujące. 29B wielomodalny transformator dyfuzyjny przewiduje latentne reprezentacje wideo, które opis pozostawia otwarte, warunkując je na nim oraz na latencie VAE klatki początkowej, a dekoder Wan 2.2 je renderuje.

A więc podobieństwo, które sprawia, że ludzie łączą je w pary, jest rzeczywiste — oba dotyczą ludzi, dłoni, przedmiotów i fizyki kontaktu — a mechanizmy, które się pod tym kryją, w ogóle nie są ze sobą powiązane.

• Kierunek — Cari4D odzyskuje parametry z pikseli; PAN 2 generuje piksele z parametrów.

• Wynik — Cari4D zwraca pozę i kształt ciała człowieka dla każdej klatki w riggu MHR, pozę obiektu dla każdej klatki oraz dwa logity kontaktu dłoni; PAN 2 zwraca plik MP4.

• Dane wejściowe — Cari4D przyjmuje jedno monokularowe wideo RGB; PAN 2 przyjmuje opcjonalną pierwszą klatkę oraz ustrukturyzowany opis akcji.

• Rozmiar — Cari4D CoCoNet ma 231 mln parametrów, trenowany do kroku 200 000; szkielet dyfuzyjny PAN 2 ma 29 mld, z osobnym zamrożonym enkoderem tekstowym o wielkości 9 mld i VAE Wan 2.2.

• Skala metryczna — kluczowe twierdzenie Cari4D to rekonstrukcja metryczna z pojedynczej kamery bez czujnika głębi; PAN 2 w ogóle nie deklaruje metryczności, a jego wynik jest predykcją, a nie pomiarem.

• Ocena — liczby Cari4D pochodzą z artykułu CVPR 2026 oraz karty dostawcy, która przyznaje, że model komercyjny nie ma osobnego zbioru testowego; liczby PAN 2 pochodzą z własnego środowiska testowego IFM, bez reprodukcji przez strony trzecie.

Różnica licencyjna jest tą praktyczną.

Oba modele można pobrać, co już stawia je w wąskim gronie. To, co można z nimi zrobić, różni się bardziej, niż sugerują ich liczby parametrów.

Kod i wagi samego PAN 2 są objęte licencją Apache-2.0, bez ograniczeń dostępu — sześćdziesiąt plików i 86,17 gigabajta — a komponenty zewnętrzne (Wan 2.2, Qwen3.5-9B, Diffusers) podlegają własnym warunkom i nie są redystrybuowane przez MBZUAI. Pobierasz go, uruchamiasz i wdrażasz to, co zbudujesz, z zastrzeżeniem zwykłych obowiązków wynikających z Apache. Repozytorium `pan2-guardrail` jest dostarczane osobno, z narzędziem do oceny żądań i klasyfikatorem klatek; IFM podaje, że ograniczyło ono szkodliwe żądania text-to-video generujące niebezpieczne wyniki z 33,9% do 1,5%, jednocześnie zatrzymując 11,5% nieszkodliwych żądań text-to-video i 3,3% nieszkodliwych żądań image-to-video — to liczby, które chcesz mieć przed wdrożeniem czegokolwiek, co generuje realistyczny materiał filmowy.

Pozycja Cari4D jest bardziej rozdrobniona, co sprawia kłopot zespołom ds. zakupów. Repozytorium badawcze nvidia/CARI4Dobjęte jest licencją NVIDIA z adnotacją „wyłącznie do badań i rozwoju". Komercyjny checkpoint nvidia/cari4d_commercialpodlega umowie NVIDIA Open Model Agreement i dopuszcza użycie komercyjne — ale jest objęty ograniczeniem dostępu: trzeba zaakceptować warunki i podać dane kontaktowe, zanim pliki się pojawią, a udostępniony CoCoNet nie działa samodzielnie. Szerszy pipeline nadal pobiera wagi NLF torchscript, wagi FoundationPose, zasoby SMPL-H i siatki Hunyuan3D, z których każdy ma własną licencję. Licencja komercyjna obejmuje tę część, którą udostępnia NVIDIA, i nic poza nią.

Trzeba też zaplanować migrację riga. Linia badawcza regresuje pozę i kształt SMPL; komercyjny checkpoint zwraca parametry Native Momentum Human Rig. Jeśli pisałeś kod integracyjny pod tensory badawcze, kształt wyjścia karty komercyjnej nie jest zamiennikiem typu drop-in.

Gdzie te dwa się łączą i dlaczego właśnie to jest interesujące

Oto join, którego żaden z dostawców nie reklamuje, a który każdy, kto buduje potoki danych dla fizycznej AI, natychmiast rozpozna.

Interfejs PAN 2 to ustrukturyzowany opis: zdarzenia w kolejności, akcje przypisane do aktorów, ruch kamery, w budżecie 1 480 tokenów miękkim i 1 536 twardym. Ręczne tworzenie takiego opisu to najbardziej żmudna część korzystania z modelu, a repozytorium zawiera umiejętność prompt-rewriter właśnie dlatego, że wolny tekst nie przetrwa interfejsu. Teraz rozważ, co Cari4D emituje ze zwykłego wideo: pozę człowieka w każdej klatce, pozę obiektu w każdej klatce i dwa logity kontaktu dłoni — metryczny, gęsty, spójny czasowo zapis dokładnie tego, co opis stanu świata powinien opisywać.

To generator opisów. Rekonstrukcja daje ci stan rzeczywisty interakcji w przestrzeni parametrów; model językowy zamienia te parametry na ustrukturyzowany opis, na którym opiera się PAN 2; symulator renderuje następnie warianty tej interakcji. Zapętl to, a otrzymasz silnik danych: nagraj jedną rzeczywistą manipulację, zrekonstruuj ją za pomocą Cari4D, wygeneruj jej opis i twórz kontrfaktyczne warianty — inny obiekt, inny chwyt, inna powierzchnia — których nigdy nie byłoby cię stać sfilmować. Ta sama pętla działa w odwrotnym kierunku podczas oceny, porównując symulowany klip ze zrekonstruowanym rzeczywistym klipem na tym samym stanowisku.

Żadna z połówek tej pętli nie jest gotowa do użycia. Karta komercyjna Cari4D stwierdza, że został wytrenowany na 2126 wewnętrznych sekwencjach FORM-HOI i że nie ma oddzielnego zbioru testowego — ocena opiera się na jakościowym zestawie demonstracyjnym — a wewnętrzny korpus „Daniel” nie jest dystrybuowany. Jego główne wskaźniki dokładności — 38% niższy błąd rekonstrukcji niż wcześniejsze metody w rozkładzie i 36% na niewidzianych zbiorach danych — pochodzą z artykułu CVPR i nie zostały niezależnie odtworzone. PAN 2 ze swojej strony przyznaje, że około dwie na trzy symulowane plany zawierają co najmniej jeden krok, który nie jest wykonywany, że akcje tekstowe określają zręczny kontakt tylko zgrubnie oraz że nie zmierzono, jak wiernie symuluje plany, które powinny się nie udać.

Przeczytaj te dwa wyznania razem, a całość okaże się uczciwa, a nie promocyjna: zrekonstruowana interakcja jest pomiarem o znanym rozkładzie treningowym, a symulowana — przewidywaniem o znanej częstości spadków krokowych. Żadna z nich nie jest obiektywną prawdą o świecie. Obie są bardziej użyteczne niż każda z osobna.

Obliczenia: stacja robocza kontra węzeł

Cari4D działa na pojedynczym GPU i – zgodnie z jego kartą – został zweryfikowany na sprzęcie klasy Ampere; wdrożony model ma 231 mln parametrów, a otaczające go modele bazowe zajmują większość pamięci. To rodzaj pipeline'u, jaki zespół badawczy uruchamia na stacji roboczej przez noc na folderze klipów.

PAN 2 nie pasuje do tego opisu. Nagłówek przepisu vLLM to trzynaście sekund wideo 704×1248 w około 119 sekund na czterech GPU B300, z classifier-free guidance zrównoleglonym na dwóch rangach i równoległością sekwencji Ulysses na dwóch; udokumentowany wariant domyślny to osiem H200 w BF16 z równoległością patchy VAE na czterech kafelkach. Pięćdziesiąt kroków próbkowania z guidance na każdym kroku oznacza sto przebiegów forward przez transformer 29B na klip, dlatego zrównoleglenie nie jest opcjonalne. Jeśli generujesz przykłady kontrfaktyczne w pętli, koszt pętli to iloczyn liczby klipów i tego kosztu na klip, a przewyższa on część rekonstrukcyjną o rzędy wielkości.

Ta asymetria jest praktycznym faktem planistycznym każdego rozwiązania hybrydowego. Rekonstrukcja jest wystarczająco tania, by przeprowadzać ją dla wszystkiego, czym dysponujesz; symulacja jest wystarczająco kosztowna, że uruchamia się ją tylko tam, gdzie scenariusz kontrfaktyczny zmienia decyzję.

Znowu slot planera

Oba potoki zawierają model językowy, a tylko jedno z tych miejsc jest towarem, którym można kierować.

Moduł rozumowania konceptualnego PAN 2 jest jawnie wymienny — IFM ocenił cztery i uszeregował je według ukończenia pełnego planu: Claude Opus 5.5, GPT-6 Astra w trybie średniego wysiłku, Kimi K3, Qwen3.8-Flash. Wszystkie cztery znajdują się w katalogu OrcaRouter, więc etap generowania opisów może działać przez pojedynczy punkt końcowy z automatycznym przełączaniem awaryjnym, a cena katalogowa każdego dostawcy jest przekazywana z narzutem 0%; moduły planujące można testować na własnych opisach, zamiast ufać rankingowi zmierzonemu na zadaniach IFM. Etap korekcji w Cari4D nie ma takiego gniazda: CoCoNet to stała sieć 231M, a jej wymiana oznacza ponowne trenowanie, a nie przekierowanie. OrcaRouter nie hostuje PAN 2 ani Cari4D i nie może przekierowywać żadnego z nich — zarówno renderer, jak i rekonstruktor pozostają na Twoim sprzęcie.

Uczciwe ujęcie routera jest tutaj wąskie: jeden etap dwuetapowego potoku to rozliczane wywołanie API, a reszta nie. To wciąż ma sens, ponieważ etap generowania opisów to miejsce, w którym wrażliwość na prompt daje się we znaki i w którym wypróbowanie drugiego modelu kosztuje jedno żądanie, a nie cały trening.

Którego z nich potrzebuje twój problem

Jeśli masz wideo i potrzebujesz parametrów — przechwytywania ruchu do animacji, etykietowania kontaktów dla zbioru danych, pozy metrycznej do uczenia robotów przez naśladownictwo, przebiegu kontroli jakości nagranej manipulacji — Cari4D jest narzędziem, a PAN 2 nie ma nic do zaoferowania. Zacznij od checkpointu badawczego do oceny, zaplanuj budżet na zmianę rigu i licencje firm trzecich, zanim zdecydujesz się na wersję komercyjną, i traktuj liczby dotyczące dokładności jako recenzowane twierdzenia dostawcy, a nie odtworzone wyniki.

Jeśli masz parametry lub opis i chcesz zobaczyć, co się stanie — ocena planu, generowanie danych kontrfaktycznych, badania nad rozumowaniem fizycznym, agent, który podgląda swoje działania — PAN 2 jest tym modelem, a koszt to węzeł z wieloma GPU na klip. Przeczytaj jego ograniczenia, zanim zaczniesz pod nie projektować: w większości planów pomijany jest krok, w długich klipach następuje dryf wyglądu, ponieważ każdy jest symulowany z co najwyżej jednej klatki początkowej, a tekst określa kontakt zręczny tylko zgrubnie.

Jeśli masz oba problemy, odpowiedzią jest pętla, a najsłabszym ogniwem pętli jest kontrakt podpisów. Cari4D dostarcza pomiar; model językowy zamienia go na ustrukturyzowany opis; PAN 2 renderuje alternatywę. Trzy komponenty, trzy licencje, jedno pytanie badawcze — mniej więcej tak wygląda budowanie na modelach świata z 2026 roku i dlatego porównanie dowolnych dwóch z nich jest mniej użyteczne niż diagram pokazujący, jak się łączą.