PAN 2 vs Cari4D: Een interactie bekijken, en er een voorspellen

Cari4D weet wat een hand met een object heeft gedaan. PAN 2 kan je laten zien wat een hand met een object zou doen als je het dat zou vragen. Dat zijn tegengestelde bewegingsrichtingen langs dezelfde as, en zolang je niet zegt welke kant je probleem opgaat, is een vergelijking tussen beide een muntworp in het gewaad van een analyse. Cari4D is NVIDIA's categorie-agnostische 4D-reconstructielijn — het CoCoNet-model dat een monoculaire RGB-video bekijkt van één persoon die één star object hanteert en hun poses op metrische schaal frame voor frame reconstrueert, met sinds 30 augustus 2026 een commercieel gelicentieerde checkpoint van 231 miljoen parameters op Hugging Face. PAN 2 is IFM's open-weight wereldmodel met 29 miljard parameters, op 7 oktober 2026 uitgebracht als een Apache-2.0-checkpoint, dat de andere kant op werkt: geef het een frame en een beschreven actie, en het rendert tot twintig seconden 704×1248-video waarin het voorspelt wat de actie teweegbrengt. De een leest. De ander schrijft. De reden dat ze het verdienen op dezelfde pagina te staan, is dat het artefact dat hen verbindt — een gestructureerde beschrijving van wie wat met welk object deed — precies is wat elk van hen produceert of consumeert.

Twee pipelines die op elkaar lijken en niets gemeen hebben

Cari4D is niet één netwerk dat op video reageert. Het is een keten van funderingsmodellen met in het midden een aangeleerde correctiefase: UniDepth voor metrische diepte, NLF en GENMO voor menselijke pose, Hunyuan3D voor objectmeshes uit één afbeelding, FoundationPose voor tracking, VolumetricSMPL voor een signed-distance-lichaamsmodel. CoCoNet — het deel dat NVIDIA uitbrengt — rendert de huidige schatting van mens en object naar RGB, diepte en masks, vergelijkt die render met de echte waarneming via een DINOv2 ViT-B/14 RGB-encoder en een ViT-S/14-encoder met zes kanalen, voert twee ruimtelijk-temporele attention-blokken uit en regresseert per-frame correcties via MLP-heads.

De keten van PAN 2 werkt juist omgekeerd en bevat een taalmodel. Een conceptuele redeneerder — elk instructievolgend model — leest de observatie en de gevraagde acties en schrijft de volgende wereldtoestand als een gestructureerd, tijdsgebonden bijschrift: gebeurtenissen in volgorde, acties gekoppeld aan actoren, camerabeweging. Een bevroren Qwen3.5-9B-tekstencoder zet dat bijschrift om in conditioneeringskenmerken. Een 29B multimodale diffusietransformer voorspelt de videolatenten die het bijschrift openlaat, geconditioneerd op dat bijschrift en op de VAE-latent van het startframe, en een Wan 2.2-decoder rendert ze.

Dus de gelijkenis die mensen ze doet koppelen, is echt — beide gaan over mensen, handen, objecten en de fysica van contact — en de onderliggende machinerie is helemaal niet verwant.

• Richting — Cari4D herstelt parameters uit pixels; PAN 2 genereert pixels uit parameters.

• Uitvoer — Cari4D retourneert per frame menselijke pose en vorm op de MHR-rig, objectpose per frame en twee handcontact-logits; PAN 2 retourneert een MP4.

• Invoer — Cari4D gebruikt één monoculaire RGB-video; PAN 2 gebruikt een optioneel eerste frame plus een gestructureerde actiebeschrijving.

• Grootte — Cari4D CoCoNet heeft 231M parameters en is getraind tot stap 200.000; de diffusie-backbone van PAN 2 is 29B, met een aparte bevroren 9B-tekstencoder en een Wan 2.2 VAE.

• Metrische schaal — Cari4D's kernclaim is metrische reconstructie uit één camera zonder dieptesensor; PAN 2 heeft helemaal geen metrische claim, en de output is een voorspelling in plaats van een meting.

• Evaluatie — De cijfers van Cari4D komen uit een CVPR 2026-paper plus een leverancierskaart die toegeeft dat het commerciële model geen aparte testset heeft; die van PAN 2 komen uit IFM's eigen harness zonder reproductie door derden.

Het licentieverschil is het praktische verschil

Beide modellen zijn downloadbaar, wat ze al in een kleine club plaatst. Wat je ermee mag doen, verschilt meer dan hun parameteraantallen doen vermoeden.

PAN 2's eigen code en weights zijn Apache-2.0, zonder toegangsbeperking, zestig bestanden en 86,17 gigabyte, met third-party componenten — Wan 2.2, Qwen3.5-9B, Diffusers — onder hun eigen voorwaarden en niet herverdeeld door MBZUAI. Je downloadt het, je draait het, je levert wat je bouwt, met inachtneming van de gebruikelijke Apache-verplichtingen. De repository `pan2-guardrail` wordt apart geleverd met een request screener en een frame classifier; IFM meldt dat het schadelijke text-to-video-verzoeken die onveilige output opleverden terugbracht van 33,9% naar 1,5%, terwijl het 11,5% van de goedaardige text-to-video-verzoeken en 3,3% van de goedaardige image-to-video-verzoeken tegenhield — precies het soort cijfer dat je wilt hebben voordat je iets uitrolt dat realistische beelden genereert.

De positie van Cari4D is gefragmenteerder, en dat brengt inkoopteams in de war. De onderzoeksrepository, nvidia/CARI4D, draagt de NVIDIA-licentie met "alleen voor onderzoek en ontwikkeling" op de kaart. Het commerciële checkpoint, nvidia/cari4d_commercial, valt onder de NVIDIA Open Model Agreement en staat commercieel gebruik toe — maar het is afgeschermd: je moet voorwaarden accepteren en contactgegevens delen voordat de bestanden verschijnen, en de vrijgegeven CoCoNet werkt niet op zichzelf. De bredere pipeline haalt nog steeds NLF-torchscript-gewichten, FoundationPose-gewichten, SMPL-H-assets en Hunyuan3D-meshes binnen, elk met een eigen licentie. De commerciële licentie dekt het deel dat NVIDIA vrijgeeft en niets daaromheen.

Er moet ook een rig-migratie worden gepland. De onderzoekslijn regresseert SMPL-pose en -vorm; de commerciële checkpoint levert Native Momentum Human Rig-parameters op. Als je integratiecode hebt geschreven op basis van de onderzoekstensors, is de uitvoervorm van de commerciële kaart geen drop-in.

Waar de twee samenkomen, en waarom dat het interessante deel is

Hier is de join die geen van beide leveranciers adverteert en die iedereen die datapipelines voor fysieke AI bouwt onmiddellijk zal herkennen.

De interface van PAN 2 is een gestructureerde caption: gebeurtenissen in volgorde, acties gekoppeld aan actoren, camerabeweging, binnen een budget van 1.480 tokens soft en 1.536 hard. Die caption met de hand produceren is het allervervelendste onderdeel van het gebruik van het model, en de repository levert juist een prompt-rewriter-skill mee omdat vrije tekst de interface niet overleeft. Bedenk nu wat Cari4D uit een gewone video afgeeft: menselijke pose per frame, objectpose per frame en twee hand-contact-logits — een metrische, dichte, temporeel consistente registratie van precies hetgeen een world-state-caption hoort te beschrijven.

Dat is een captiongenerator. Reconstructie geeft je de ground truth van een interactie in de parameterruimte; een taalmodel zet die parameters om in de gestructureerde beschrijving waarop PAN 2 conditioneert; de simulator rendert vervolgens variaties van die interactie. Herhaal dit in een lus en je hebt een data-engine: leg één echte manipulatie vast, reconstrueer die met Cari4D, voorzie die van een caption en genereer de counterfactuals — ander object, andere grip, ander oppervlak — die je je nooit zou kunnen veroorloven om te filmen. Dezelfde lus werkt omgekeerd voor evaluatie, waarbij een gesimuleerde clip wordt vergeleken met een gereconstrueerde echte clip op dezelfde rig.

Geen van beide helften van die lus is kant-en-klaar. Op de commerciële kaart van Cari4D staat dat het is getraind op 2.126 interne FORM-HOI-sequenties en dat er geen aparte testdataset is — evaluatie gebeurt op een kwalitatieve demoset — en dat het interne corpus "Daniel" niet wordt verspreid. De belangrijkste nauwkeurigheidscijfers, 38% lagere reconstructiefout dan bestaande methoden in-distribution en 36% op ongeziene datasets, komen uit de CVPR-paper en zijn niet onafhankelijk gereproduceerd. PAN 2 geeft van zijn kant toe dat ongeveer twee op de drie gesimuleerde plannen minstens één stap bevatten die niet wordt uitgevoerd, dat tekstacties behendige contacten slechts grof specificeren, en dat niet is gemeten hoe getrouw het plannen simuleert die zouden moeten mislukken.

Lees die twee toegevingen samen en de combinatie is eerlijk in plaats van promotioneel: een gereconstrueerde interactie is een meting met een bekende trainingsverdeling, en een gesimuleerde is een voorspelling met een bekend percentage stapuitval. Geen van beide is de grondwaarheid over de wereld. Beide zijn nuttiger dan elk afzonderlijk.

Bereken: een werkstation versus een node

Cari4D draait op één GPU en is volgens de specificatiekaart gevalideerd op hardware uit de Ampere-klasse; het uitgerolde model telt 231M parameters en de omliggende foundationmodellen vormen het grootste deel van het geheugen. Het is het soort pipeline dat een onderzoeksteam 's nachts op een workstation draait op een map met clips.

PAN 2 past niet bij die beschrijving. De kop van het vLLM-recept is dertien seconden 704×1248-video in ongeveer 119 seconden op vier B300-GPU's, met classifier-free guidance geparalleliseerd over twee ranks en Ulysses-sequentieparallelisme over twee; de gedocumenteerde standaard is acht H200's in BF16 met VAE-patchparallelisme over vier tiles. Vijftig samplerstappen met guidance bij elke stap betekent honderd forward passes door een 29B-transformer per clip, en daarom is de parallellisatie niet optioneel. Als je in een lus counterfactuals genereert, zijn de kosten van de lus het product van het aantal clips en die kosten per clip, en die is orden van grootte groter dan de reconstructiekant.

Die asymmetrie is het praktische planningsfeit van elke hybride. Reconstructie is goedkoop genoeg om op alles wat je hebt te draaien; simulatie is duur genoeg dat je die alleen draait waar een contrafactisch scenario een beslissing verandert.

De planner-slot, opnieuw

In beide pipelines zit een taalmodel, en slechts één van die slots is een commodity die je kunt routeren.

De conceptuele reasoner van PAN 2 is expliciet uitwisselbaar — IFM evalueerde er vier en rangschikte ze op voltooiing van het volledige plan: Claude Opus 5.5, GPT-6 Astra bij medium effort, Kimi K3, Qwen3.8-Flash. Alle vier staan in de OrcaRouter-catalogus, dus de captionfase kan via één endpoint lopen met automatische failover, waarbij de lijstprijs van elke provider tegen 0% opslag wordt doorgegeven, en je kunt planners benchmarken tegen je eigen captions in plaats van te vertrouwen op een rangschikking die op IFM-taken is gemeten. De correctiefase van Cari4D heeft geen zo'n slot: CoCoNet is een vast netwerk van 231M, en het vervangen ervan betekent hertraining, niet herroutering. OrcaRouter host geen PAN 2 of Cari4D en kan geen van beide routeren — zowel de renderer als de reconstructor blijven op je hardware.

De eerlijke framing voor de router is hier smal: één fase van een tweefasige pipeline is een getarifeerde API-aanroep en de rest niet. Dat is nog steeds de moeite waard, want de captionfase is waar promptgevoeligheid toeslaat en waar een tweede model proberen een request kost in plaats van een trainingsrun.

Welke heeft jouw probleem nodig?

Als je video hebt en parameters nodig hebt — motion capture voor animatie, contactlabeling voor een dataset, metrische pose voor robot-imitatielearning, een QC-ronde over opgenomen manipulatie — dan is Cari4D het hulpmiddel en heeft PAN 2 niets te bieden. Begin met het onderzoekscheckpoint om te evalueren, begroot de rigwijziging en de licenties van derden voordat je voor de commerciële versie kiest, en beschouw de nauwkeurigheidscijfers als peer-reviewed leveranciersclaims in plaats van gereproduceerde cijfers.

Als je parameters of een beschrijving hebt en wilt zien wat er gebeurt — plan-evaluatie, het genereren van counterfactuele data, onderzoek naar fysiek redeneren, een agent die zijn acties vooraf visualiseert — dan is PAN 2 het model, en de rekening is een multi-GPU-node per clip. Lees de beperkingen voordat je eromheen ontwerpt: in de meeste plannen wordt een stap overgeslagen, lange clips gaan geleidelijk afwijken in uiterlijk omdat elke clip vanuit ten hoogste één startframe wordt gesimuleerd, en tekst specificeert behendig contact slechts grof.

Heb je beide problemen, dan is het antwoord de loop, en de zwakste schakel van de loop is het caption-contract. Cari4D levert de meting; een taalmodel zet die om in de gestructureerde beschrijving; PAN 2 rendert het alternatief. Drie componenten, drie licenties, één onderzoeksvraag — wat ongeveer is hoe voortbouwen op de wereldmodellen van 2026 eruitziet, en waarom de vergelijking tussen elk tweetal daarvan minder nuttig is dan een diagram van hoe ze met elkaar verbonden zijn.