PAN 2 vs Cari4D : observer une interaction et en prédire une

Cari4D sait ce qu’une main a fait à un objet. PAN 2 peut vous montrer ce qu’une main ferait à un objet si vous le lui demandiez. Ce sont deux directions opposées le long du même axe, et tant que vous n’avez pas dit dans quelle direction se situe votre problème, une comparaison entre les deux relève du pile ou face déguisé en analyse. Cari4D est la gamme de reconstruction 4D indépendante des catégories de NVIDIA — le modèle CoCoNet qui observe une vidéo RVB monoculaire d’une personne manipulant un objet rigide et en récupère les poses à l’échelle métrique image par image, avec un point de contrôle de 231 millions de paramètres sous licence commerciale disponible sur Hugging Face depuis le 30 août 2026. PAN 2 est le modèle du monde à poids ouverts de 29 milliards de paramètres d’IFM, publié sous forme de point de contrôle Apache-2.0 le 7 octobre 2026, qui va dans l’autre sens : donnez-lui une image et une action décrite, et il génère jusqu’à vingt secondes de vidéo en 704×1248 prédisant ce que produit l’action. L’un lit. L’autre écrit. Ce qui justifie de les mettre sur la même page, c’est que l’artefact qui les relie — une description structurée de qui a fait quoi à quel objet — est précisément ce que chacun d’eux produit ou consomme.

Deux pipelines qui se ressemblent et n’ont rien en commun

Cari4D n'est pas un seul réseau répondant à la vidéo. C'est une chaîne de modèles de base avec une étape de correction apprise au milieu : UniDepth pour la profondeur métrique, NLF et GENMO pour la pose humaine, Hunyuan3D pour les maillages d'objets à partir d'une seule image, FoundationPose pour le suivi, VolumetricSMPL pour un modèle de corps à distance signée. CoCoNet — la partie que NVIDIA publie — rend l'estimation courante de l'humain et des objets en RGB, profondeur et masques, compare ce rendu à l'observation réelle via un encodeur RGB DINOv2 ViT-B/14 et un encodeur six canaux ViT-S/14, exécute deux blocs d'attention spatio-temporelle et régresse les corrections par image via des têtes MLP.

La chaîne de PAN 2 fonctionne dans l'autre sens et contient un modèle de langage. Un raisonneur conceptuel — tout modèle capable de suivre des instructions — lit l'observation et les actions demandées, puis écrit l'état du monde suivant sous forme de légende structurée et ancrée temporellement : les événements dans l'ordre, les actions liées aux acteurs, le mouvement de caméra. Un encodeur de texte Qwen3.5-9B gelé transforme cette légende en caractéristiques de conditionnement. Un transformer de diffusion multimodal de 29B prédit les latents vidéo que la légende laisse ouverts, conditionné par celle-ci et par le latent VAE de l'image de départ, et un décodeur Wan 2.2 les restitue.

Donc la similitude qui pousse les gens à les associer est réelle — les deux portent sur des humains, des mains, des objets et la physique du contact — et la mécanique sous-jacente n'a aucun rapport.

Direction — Cari4D récupère les paramètres à partir des pixels ; PAN 2 génère des pixels à partir des paramètres.

• Sortie — Cari4D renvoie, par image, la pose et la forme humaines sur le rig MHR, la pose d’objet par image, ainsi que deux logits de contact de main ; PAN 2 renvoie un MP4.

• Entrée — Cari4D prend une vidéo RVB monoculaire ; PAN 2 prend une première image facultative ainsi qu’une légende d’action structurée.

• Taille — Cari4D CoCoNet compte 231 M de paramètres, entraîné jusqu’à l’étape 200 000 ; le backbone de diffusion de PAN 2 est de 29 B, avec un encodeur de texte gelé séparé de 9 B et un VAE Wan 2.2.

• Échelle métrique — L’affirmation centrale de Cari4D est la reconstruction métrique à partir d’une seule caméra, sans capteur de profondeur ; PAN 2 ne revendique aucunement un caractère métrique, et sa sortie est une prédiction plutôt qu’une mesure.

• Évaluation — Les chiffres de Cari4D proviennent d'un article CVPR 2026 ainsi que d'une fiche fournisseur qui reconnaît que le modèle commercial ne dispose pas d'un ensemble de test distinct ; ceux de PAN 2 proviennent du propre banc d'essai d'IFM, sans reproduction par un tiers.

La différence de licence est celle qui compte en pratique.

Les deux modèles sont téléchargeables, ce qui les place déjà dans un club restreint. Ce que vous pouvez en faire diffère davantage que ne le suggèrent leurs nombres de paramètres.

Le code et les poids propres à PAN 2 sont sous Apache-2.0, sans restriction d'accès, soixante fichiers et 86,17 gigaoctets, avec des composants tiers — Wan 2.2, Qwen3.5-9B, Diffusers — soumis à leurs propres conditions et non redistribués par MBZUAI. Vous le téléchargez, vous l'exécutez, vous livrez ce que vous construisez, sous réserve des obligations Apache habituelles. Le dépôt `pan2-guardrail` est distribué séparément avec un filtre de requêtes et un classificateur de trames ; IFM rapporte qu'il a fait passer les requêtes texte-vers-vidéo nuisibles produisant des sorties dangereuses de 33,9 % à 1,5 %, tout en bloquant 11,5 % des requêtes texte-vers-vidéo bénignes et 3,3 % des requêtes image-vers-vidéo bénignes, soit le genre de chiffre que l'on souhaite avant de déployer quoi que ce soit qui génère des séquences vidéo réalistes.

La position de Cari4D est plus fragmentée, ce qui pose problème aux équipes d'approvisionnement. Le dépôt de recherche, nvidia/CARI4D, porte la licence NVIDIA avec la mention « for research and development only » sur la fiche. Le checkpoint commercial, nvidia/cari4d_commercial, est régi par la NVIDIA Open Model Agreement et autorise un usage commercial — mais il est soumis à autorisation : vous devez accepter les conditions et communiquer vos coordonnées avant que les fichiers n'apparaissent, et le CoCoNet publié ne fonctionne pas seul. Le pipeline global récupère encore les poids TorchScript NLF, les poids FoundationPose, les ressources SMPL-H et les maillages Hunyuan3D, chacun avec sa propre licence. La licence commerciale couvre la partie que NVIDIA publie et rien de ce qui l'entoure.

Il y a aussi une migration de rig à prévoir. La branche recherche effectue une régression sur la pose et la forme SMPL ; le checkpoint commercial génère des paramètres Native Momentum Human Rig. Si vous avez écrit du code d’intégration basé sur les tenseurs de recherche, la forme de sortie de la carte commerciale n’est pas directement interchangeable.

Là où les deux se composent, et pourquoi c’est là que réside l’intérêt

Voici la jointure qu’aucun des deux fournisseurs ne promeut et que toute personne qui construit des pipelines de données d’IA physique reconnaîtra immédiatement.

L'interface de PAN 2 est une légende structurée : des événements dans l'ordre, des actions liées à des acteurs, un mouvement de caméra, le tout dans un budget de 1 480 tokens en mode souple et 1 536 en mode strict. Produire cette légende à la main est la partie la plus fastidieuse de l'utilisation du modèle, et le dépôt fournit un skill de réécriture de prompt précisément parce que le texte libre ne survit pas à l'interface. Considérez maintenant ce que Cari4D émet à partir d'une vidéo ordinaire : la pose humaine image par image, la pose d'objet image par image, et deux logits de contact de main — un enregistrement métrique, dense et temporellement cohérent de exactement ce qu'une légende d'état du monde est censée décrire.

C’est un générateur de légendes. La reconstruction vous donne la vérité terrain d’une interaction dans l’espace des paramètres ; un modèle de langage transforme ces paramètres en la description structurée sur laquelle PAN 2 est conditionné ; le simulateur rend ensuite des variations de cette interaction. Bouclez le processus et vous obtenez un moteur de données : enregistrez une manipulation réelle, reconstruisez-la avec Cari4D, légendez-la et générez les contrefactuels — objet différent, prise différente, surface différente — que vous ne pourriez jamais vous permettre de filmer. La même boucle fonctionne à l’envers pour l’évaluation, en comparant un clip simulé à un clip réel reconstruit sur le même dispositif.

Aucune des deux moitiés de cette boucle n'est clé en main. La fiche commerciale de Cari4D indique qu'il a été entraîné sur 2 126 séquences FORM-HOI internes et qu'il n'existe pas de jeu de données de test distinct — l'évaluation repose sur un ensemble de démonstration qualitatif —, et que le corpus interne « Daniel » n'est pas distribué. Ses chiffres de précision phares — une erreur de reconstruction inférieure de 38 % à celle des travaux antérieurs en distribution et de 36 % sur des jeux de données inédits — proviennent de l'article CVPR et n'ont pas été reproduits de manière indépendante. PAN 2, pour sa part, admet qu'environ deux plans simulés sur trois contiennent au moins une étape qui n'est pas exécutée, que les actions textuelles ne spécifient le contact dextre que de façon grossière, et que la fidélité avec laquelle il simule des plans censés échouer n'est pas mesurée.

Lisez ces deux aveux ensemble : la composition est honnête plutôt que promotionnelle. Une interaction reconstruite est une mesure dont la distribution d’entraînement est connue, et une interaction simulée est une prédiction dont le taux de décrochage par étape est connu. Ni l’une ni l’autre n’est la vérité terrain sur le monde. Les deux sont plus utiles que chacune prise isolément.

Calcul : un poste de travail versus un nœud

Cari4D s’exécute sur un seul GPU et a été validé sur du matériel de classe Ampere d’après sa fiche ; le modèle déployé compte 231 M de paramètres et les modèles de base environnants constituent l’essentiel de la mémoire. C’est le genre de pipeline qu’une équipe de recherche exécute sur une station de travail pendant la nuit sur un dossier de clips.

PAN 2 ne correspond pas à cette description. Le chiffre phare de la recette vLLM est treize secondes de vidéo en 704×1248 en environ 119 secondes sur quatre GPU B300, avec le guidage sans classifieur parallélisé sur deux rangs et le parallélisme de séquence Ulysses sur deux ; la configuration par défaut documentée est de huit H200 en BF16 avec un parallélisme de patchs VAE sur quatre tuiles. Cinquante étapes d’échantillonnage avec guidage à chaque étape impliquent cent passes avant dans un transformer de 29B par clip, ce qui explique pourquoi le parallélisme n’est pas optionnel. Si vous générez des contrefactuels en boucle, le coût de la boucle est le produit du nombre de clips et de cette facture par clip, et il éclipse le volet reconstruction de plusieurs ordres de grandeur.

Cette asymétrie est la donnée pratique de planification de tout hybride. La reconstruction est assez peu coûteuse pour être exécutée sur tout ce que vous avez ; la simulation est assez coûteuse pour que vous ne l’exécutiez que là où un contrefactuel change une décision.

Encore le créneau du planificateur.

Les deux pipelines intègrent chacun un modèle de langage, et un seul de ces emplacements est une commodité que vous pouvez router.

Le raisonneur conceptuel de PAN 2 est explicitement interchangeable — IFM en a évalué quatre et les a classés selon l'achèvement du plan complet : Claude Opus 5.5, GPT-6 Astra en effort moyen, Kimi K3, Qwen3.8-Flash. Tous les quatre figurent au catalogue OrcaRouter, de sorte que l'étape de légendage peut s'exécuter via un point de terminaison unique avec basculement automatique et que le prix catalogue de chaque fournisseur est répercuté à 0 % de marge, et vous pouvez évaluer les planificateurs par rapport à vos propres légendages plutôt que de vous fier à un classement mesuré sur les tâches d'IFM. L'étape de correction de Cari4D n'a pas d'emplacement de ce type : CoCoNet est un réseau fixe de 231 M, et le remplacer implique un réentraînement, pas un reroutage. OrcaRouter n'héberge ni PAN 2 ni Cari4D et ne peut router ni l'un ni l'autre — le moteur de rendu et le reconstructeur restent tous deux sur votre matériel.

La formulation honnête pour le routeur ici est étroite : une étape d’un pipeline en deux étapes est un appel API facturé, et le reste ne l’est pas. Cela vaut quand même la peine, car c’est à l’étape de légendage que la sensibilité aux prompts se fait sentir et où essayer un second modèle coûte une requête plutôt qu’un entraînement.

De laquelle votre problème a-t-il besoin ?

Si vous disposez de vidéos et avez besoin de paramètres — capture de mouvement pour l’animation, étiquetage des contacts pour un jeu de données, pose métrique pour l’apprentissage par imitation robotique, passe de contrôle qualité sur des manipulations enregistrées — Cari4D est l’outil et PAN 2 n’a rien à offrir. Commencez par le checkpoint de recherche pour évaluer, prévoyez un budget pour le changement de matériel et les licences de tiers avant de vous engager sur l’offre commerciale, et considérez les chiffres de précision comme des affirmations du fournisseur revues par les pairs plutôt que comme des résultats reproduits.

Si vous disposez de paramètres ou d’une description et que vous avez besoin de voir ce qui se passe — évaluation de plan, génération de données contrefactuelles, recherche en raisonnement physique, un agent qui prévisualise ses actions — PAN 2 est le modèle, et la facture s’élève à un nœud multi-GPU par clip. Lisez ses limites avant de concevoir en fonction : une étape est omise dans la plupart des plans, l’apparence des clips longs dérive parce que chacun est simulé à partir d’au plus une image de départ, et le texte ne précise les contacts dextres que de manière grossière.

Si vous rencontrez les deux problèmes, la réponse est la boucle, et le maillon faible de la boucle est le contrat de légende. Cari4D vous donne la mesure ; un modèle de langage la transforme en description structurée ; PAN 2 produit le rendu de l’alternative. Trois composants, trois licences, une question de recherche — ce qui correspond à peu près à ce que signifie construire sur les modèles du monde de 2026, et pourquoi la comparaison entre deux d’entre eux est moins utile qu’un diagramme de leurs connexions.