PAN 2 vs Cari4D: Att titta på en interaktion – och förutsäga en

Cari4D knows what a hand did to an object. PAN 2 can show you what a hand would do to an object if you asked it to. Those are opposite directions of travel along the same axis, and until you say which direction your problem runs in, a comparison between them is a coin toss dressed as analysis. Cari4D is NVIDIA's category-agnostic 4D reconstruction line — the CoCoNet model that watches a monocular RGB video of one person handling one rigid object and recovers their metric-scale poses frame by frame, with a commercially licensed 231-million-parameter checkpoint on Hugging Face since 30 August 2026. PAN 2 is IFM's 29-billion-parameter open-weight world model, released as an Apache-2.0 checkpoint on 7 October 2026, that goes the other way: hand it a frame and a described action and it renders up to twenty seconds of 704×1248 video predicting what the action does. One reads. One writes. The reason they are worth putting on the same page is that the artefact connecting them — a structured description of who did what to which object — is precisely what each of them produces or consumes.

Två pipelines som liknar varandra men inte har något gemensamt

Cari4D is not one network responding to video. It is a chain of foundation models with a learned correction stage in the middle: UniDepth for metric depth, NLF and GENMO for human pose, Hunyuan3D for object meshes from a single image, FoundationPose for tracking, VolumetricSMPL for a signed-distance body model. CoCoNet — the part NVIDIA releases — renders the current human and object estimate into RGB, depth and masks, compares that render against the real observation through a DINOv2 ViT-B/14 RGB encoder and a ViT-S/14 six-channel encoder, runs two spatial-temporal attention blocks and regresses per-frame corrections through MLP heads.

PAN 2:s kedja går åt andra hållet och innehåller en språkmodell. En begreppslig resonerare – vilken instruktionsföljande modell som helst – läser observationen och de begärda åtgärderna och skriver nästa världstillstånd som en strukturerad, tidsförankrad bildtext: händelser i ordning, åtgärder knutna till aktörer, kamerarörelse. En fryst Qwen3.5-9B-textkodare mappar den bildtexten till konditioneringsfunktioner. En multimodal diffusionstransformer på 29B förutsäger de videolatenter som bildtexten lämnar öppna, betingat på den och på VAE-latenten för startbildrutan, och en Wan 2.2-dekodare renderar dem.

Så likheten som får folk att koppla ihop dem är verklig — båda handlar om människor, händer, föremål och kontaktens fysik — och maskineriet under ytan är inte alls besläktat.

• Riktning — Cari4D återställer parametrar från pixlar; PAN 2 genererar pixlar från parametrar.

• Utdata — Cari4D returnerar mänsklig pose och kroppsform per bildruta på MHR-riggen, objektpose per bildruta samt två logits för handkontakt; PAN 2 returnerar en MP4.

• Indata — Cari4D tar en monokulär RGB-video; PAN 2 tar en valfri första bildruta plus en strukturerad handlingsbeskrivning.

• Storlek — Cari4D CoCoNet har 231M parametrar och tränades till steg 200 000; PAN 2:s diffusionsbackbone är 29B, med en separat fryst 9B-textkodare och en Wan 2.2-VAE.

• Metrisk skala – Cari4D:s centrala anspråk är metrisk rekonstruktion från en enda kamera utan djup sensor; PAN 2 har inget metriskt anspråk alls, och dess utdata är en prediktion snarare än en mätning.

• Utvärdering — Cari4D:s siffror kommer från en CVPR 2026-artikel plus ett leverantörsdatablad som medger att den kommersiella modellen inte har någon separat testmängd; PAN 2:s siffror kommer från IFM:s egen testrigg utan någon tredjepartsreproduktion.

Licensskillnaden är den praktiska.

Båda modellerna är nedladdningsbara, vilket redan placerar dem i en liten skara. Vad du får göra med dem skiljer sig mer än vad deras parameterantal antyder.

PAN 2's own code and weights are Apache-2.0, ungated, sixty files and 86.17 gigabytes, with third-party components — Wan 2.2, Qwen3.5-9B, Diffusers — under their own terms and not redistributed by MBZUAI. You download it, you run it, you ship what you build, subject to the usual Apache obligations. The `pan2-guardrail` repository ships separately with a request screener and a frame classifier; IFM reports that it cut harmful text-to-video requests producing unsafe output from 33.9% to 1.5% while stopping 11.5% of benign text-to-video requests and 3.3% of benign image-to-video requests, which is the kind of number you want before deploying anything that generates realistic footage.

Cari4D:s position är mer fragmenterad, och detta ställer till problem för inköps team. Forskningsförrådet, nvidia/CARI4D, bär NVIDIA-licensen med "endast för forskning och utveckling" på kortet. Den kommersiella checkpointen, nvidia/cari4d_commercial, omfattas av NVIDIA Open Model Agreement och tillåter kommersiell användning – men den är gated, du accepterar villkor och delar kontaktinformation innan filerna visas, och den släppta CoCoNet körs inte ensam. Den bredare pipelinen drar fortfarande in NLF torchscript-vikter, FoundationPose-vikter, SMPL-H-tillgångar och Hunyuan3D-meshar, var och en med sin egen licens. Den kommersiella licensen täcker den del NVIDIA släpper och ingenting runt omkring.

Det finns också en rigg-migrering att planera för. Forskningslinjen regredierar SMPL-pose och -form; den kommersiella checkpointen matar ut parametrar för Native Momentum Human Rig. Om du skrev integrationskod mot forskningstensorerna är det kommersiella kortets utdatashape inte direkt utbytbar.

Där de två bildar en helhet, och varför det är den intressanta delen

Här är kopplingen som ingen av leverantörerna gör reklam för och som alla som bygger datapipelines för fysisk AI omedelbart kommer att känna igen.

PAN 2's interface is a structured caption: events in order, actions bound to actors, camera motion, inside a budget of 1,480 tokens soft and 1,536 hard. Producing that caption by hand is the single most tedious part of using the model, and the repository ships a prompt-rewriter skill precisely because free text does not survive the interface. Now consider what Cari4D emits from an ordinary video: per-frame human pose, per-frame object pose, and two hand-contact logits — a metric, dense, temporally consistent record of exactly the thing a world-state caption is supposed to describe.

That is a caption generator. Reconstruction gives you the ground truth of an interaction in parameter space; a language model turns those parameters into the structured description PAN 2 conditions on; the simulator then renders variations of that interaction. Loop it and you have a data engine: record one real manipulation, reconstruct it with Cari4D, caption it, and generate the counterfactuals — different object, different grip, different surface — that you could never afford to film. The same loop runs in reverse for evaluation, comparing a simulated clip against a reconstructed real one on the same rig.

Neither half of that loop is turnkey. Cari4D's commercial card states it was trained on 2,126 internal FORM-HOI sequences and that there is no separate testing dataset — evaluation is a qualitative demo set — and the internal "Daniel" corpus is not distributed. Its headline accuracy figures, 38% lower reconstruction error than prior art in distribution and 36% on unseen datasets, come from the CVPR paper and have not been independently reproduced. PAN 2, for its part, admits that about two in three simulated plans contain at least one step that is not carried out, that text actions specify dexterous contact only coarsely, and that how faithfully it simulates plans which should fail is unmeasured.

Read those two admissions together and the composition is honest rather than promotional: a reconstructed interaction is a measurement with a known training distribution, and a simulated one is a prediction with a known step-drop rate. Neither is ground truth about the world. Both are more useful than either alone.

Beräkna: en arbetsstation kontra en nod

Cari4D runs on a single GPU and has been validated on Ampere-class hardware according to its card; the deployed model is 231M parameters and the surrounding foundation models are the bulk of the memory. It is the sort of pipeline a research team runs on a workstation overnight against a folder of clips.

PAN 2 does not fit that description. The vLLM recipe's headline is thirteen seconds of 704×1248 video in roughly 119 seconds on four B300 GPUs, with classifier-free guidance parallelised across two ranks and Ulysses sequence parallelism across two; the documented default is eight H200s in BF16 with VAE patch parallelism across four tiles. Fifty sampler steps with guidance on every step means a hundred forward passes through a 29B transformer per clip, which is why the parallelism is not optional. If you are generating counterfactuals in a loop, the loop's cost is the product of clips and that per-clip bill, and it dwarfs the reconstruction side by orders of magnitude.

Den asymmetrin är ett praktiskt planeringsfaktum för alla hybrider. Rekonstruktion är tillräckligt billigt för att köras på allt du har; simulering är tillräckligt dyrt för att du bara kör det där ett kontrafaktiskt scenario förändrar ett beslut.

Planeringsplatsen, igen

Båda pipelineerna innehåller en språkmodell, och bara en av dessa platser är en utbytbar standardvara som du kan dirigera om.

PAN 2's conceptual reasoner is explicitly interchangeable — IFM evaluated four and ranked them by full-plan completion: Claude Opus 5.5, GPT-6 Astra at medium effort, Kimi K3, Qwen3.8-Flash. All four are in the OrcaRouter catalogue, so the caption stage can run through a single endpoint with automatic failover and each provider's list price passed through at 0% markup, and you can benchmark planners against your own captions rather than trusting a ranking measured on IFM's tasks. Cari4D's correction stage has no such slot: CoCoNet is a fixed 231M network, and swapping it means retraining, not rerouting. OrcaRouter does not host PAN 2 or Cari4D and cannot route either — the renderer and the reconstructor both stay on your hardware.

Den ärliga beskrivningen av routern här är snäv: ett steg i en tvåstegspipeline är ett avgiftsbelagt API-anrop och resten är det inte. Det är ändå värt att ha, eftersom caption-steget är där promptkänslighet biter och där ett försök med en andra modell kostar en förfrågan i stället för en träningskörning.

Vilken av dem behöver ditt problem

Om du har video och behöver parametrar – motion capture för animering, kontaktmärkning för ett dataset, metrisk pose för robotimitationsinlärning, en QC-genomgång av inspelad manipulation – är Cari4D verktyget och PAN 2 har inget att erbjuda. Börja med forskningscheckpointen för att utvärdera, budgetera för riggbytet och tredjepartslicenserna innan du binder dig till den kommersiella, och behandla noggrannhetssiffrorna som peer-granskade leverantörspåståenden snarare än reproducerade sådana.

Om du har parametrar eller en beskrivning och behöver se vad som händer – planutvärdering, kontrafaktisk datagenerering, forskning om fysiskt resonemang, en agent som förhandsgranskar sina åtgärder – är PAN 2 modellen, och kostnaden är en multi-GPU-nod per klipp. Läs dess begränsningar innan du anpassar designen efter den: ett steg tappas i de flesta planer, långa klipp får drift i utseendet eftersom varje klipp simuleras från högst en startbild, och text anger fingerfärdig kontakt bara grovt.

Om du har båda problemen är svaret loopen, och den svagaste länken i loopen är bildtextskontraktet. Cari4D ger dig mätningen; en språkmodell förvandlar den till den strukturerade beskrivningen; PAN 2 renderar alternativet. Tre komponenter, tre licenser, en forskningsfråga – vilket ungefär är hur det ser ut att bygga vidare på 2026 års världsmodeller, och varför jämförelsen mellan vilka två som helst av dem är mindre användbar än ett diagram över hur de hänger samman.