PAN 2 vs Cari4D: osservare un'interazione e prevederne una

Cari4D sa cosa ha fatto una mano a un oggetto. PAN 2 può mostrarti cosa farebbe una mano a un oggetto se glielo chiedessi. Sono direzioni opposte di percorrenza lungo lo stesso asse e, finché non dici in quale direzione corre il tuo problema, un confronto tra i due è un lancio di moneta travestito da analisi. Cari4D è la linea di ricostruzione 4D agnostica rispetto alla categoria di NVIDIA — il modello CoCoNet che osserva un video RGB monoculare di una persona che maneggia un singolo oggetto rigido e ne recupera le pose in scala metrica fotogramma per fotogramma, con un checkpoint da 231 milioni di parametri con licenza commerciale su Hugging Face dal 30 agosto 2026. PAN 2 è il modello del mondo open-weight da 29 miliardi di parametri di IFM, rilasciato come checkpoint Apache-2.0 il 7 ottobre 2026, che va nella direzione opposta: dagli un fotogramma e un'azione descritta e renderizza fino a venti secondi di video 704×1248 prevedendo cosa fa l'azione. Uno legge. L'altro scrive. Il motivo per cui vale la pena metterli sulla stessa pagina è che l'artefatto che li collega — una descrizione strutturata di chi ha fatto cosa a quale oggetto — è esattamente ciò che ciascuno dei due produce o consuma.

Due pipeline che si somigliano e non condividono nulla

Cari4D non è un'unica rete che risponde al video. È una catena di modelli di base con uno stadio di correzione appreso nel mezzo: UniDepth per la profondità metrica, NLF e GENMO per la posa umana, Hunyuan3D per le mesh degli oggetti da una singola immagine, FoundationPose per il tracciamento, VolumetricSMPL per un modello corporeo a distanza con segno. CoCoNet — la parte che NVIDIA rilascia — esegue il rendering della stima corrente della persona e dell'oggetto in RGB, profondità e maschere, confronta quel rendering con l'osservazione reale tramite un encoder RGB DINOv2 ViT-B/14 e un encoder a sei canali ViT-S/14, esegue due blocchi di attenzione spazio-temporale e regredisce le correzioni per frame tramite teste MLP.

La catena di PAN 2 funziona nel senso opposto e contiene al suo interno un modello linguistico. Un ragionatore concettuale — qualsiasi modello in grado di seguire istruzioni — legge l'osservazione e le azioni richieste e scrive il successivo stato del mondo sotto forma di didascalia strutturata e ancorata al tempo: gli eventi in ordine, le azioni associate agli attori, il movimento della camera. Un text encoder Qwen3.5-9B congelato mappa quella didascalia in feature di condizionamento. Un diffusion transformer multimodale da 29B predice i latenti video che la didascalia lascia aperti, condizionato da essa e dal latente VAE del frame iniziale, e un decoder Wan 2.2 li renderizza.

Dunque la somiglianza che spinge le persone ad accostarli è reale — entrambi parlano di esseri umani, mani, oggetti e della fisica del contatto — e il meccanismo che sta sotto non ha nulla a che vedere.

• Direzione — Cari4D recupera i parametri dai pixel; PAN 2 genera i pixel dai parametri.

• Output — Cari4D restituisce posa e forma umana per fotogramma sul rig MHR, posa dell'oggetto per fotogramma e due logit di contatto con la mano; PAN 2 restituisce un MP4.

• Input — Cari4D accetta un video RGB monoculare; PAN 2 accetta un primo frame opzionale e una didascalia d'azione strutturata.

• Dimensioni — Cari4D CoCoNet ha 231M parametri, addestrato fino allo step 200.000; il backbone di diffusione di PAN 2 è da 29B, con un text encoder separato e congelato da 9B e un VAE Wan 2.2.

• Scala metrica — l'affermazione centrale di Cari4D è la ricostruzione metrica da una singola fotocamera senza sensore di profondità; PAN 2 non ha alcuna pretesa metrica, e il suo output è una previsione anziché una misurazione.

• Valutazione — I numeri di Cari4D provengono da un articolo CVPR 2026 più una scheda del fornitore che ammette che il modello commerciale non ha un set di test separato; quelli di PAN 2 provengono dall'harness interno di IFM senza riproduzione da parte di terzi.

La differenza di licenza è quella pratica

Entrambi i modelli sono scaricabili, il che li colloca già in un club ristretto. Ciò che puoi farne varia più di quanto suggeriscano i loro numeri di parametri.

Il codice e i pesi di PAN 2 sono Apache-2.0, senza gating, sessanta file e 86,17 gigabyte, con componenti di terze parti — Wan 2.2, Qwen3.5-9B, Diffusers — soggetti ai propri termini e non redistribuiti da MBZUAI. Lo scarichi, lo esegui, distribuisci ciò che costruisci, nel rispetto dei consueti obblighi Apache. Il repository `pan2-guardrail` viene distribuito separatamente con uno screener delle richieste e un classificatore di frame; IFM riferisce che ha ridotto le richieste dannose text-to-video che producono output non sicuri dal 33,9% all'1,5%, bloccando al contempo l'11,5% delle richieste text-to-video benigne e il 3,3% delle richieste image-to-video benigne, che è il tipo di numero che desideri prima di distribuire qualsiasi cosa generi filmati realistici.

La posizione di Cari4D è più frammentata, e questo mette in difficoltà i team di procurement. Il repository di ricerca, nvidia/CARI4D, riporta la NVIDIA License con "for research and development only" sulla scheda. Il checkpoint commerciale, nvidia/cari4d_commercial, è regolato dal NVIDIA Open Model Agreement e consente l'uso commerciale — ma è ad accesso limitato: si accettano i termini e si condividono le informazioni di contatto prima che i file siano disponibili, e il CoCoNet rilasciato non funziona da solo. La pipeline più ampia richiama ancora pesi torchscript NLF, pesi FoundationPose, asset SMPL-H e mesh Hunyuan3D, ciascuno con la propria licenza. La licenza commerciale copre la parte che NVIDIA sta rilasciando e nulla di ciò che la circonda.

C'è anche una migrazione del rig da pianificare. La linea di ricerca regredisce la posa e la forma SMPL; il checkpoint commerciale restituisce parametri Native Momentum Human Rig. Se hai scritto codice di integrazione basato sui tensori della ricerca, la forma dell'output della scheda commerciale non è un rimpiazzo diretto.

Dove i due si compongono, e perché questa è la parte interessante

Ecco il join che nessuno dei due fornitori pubblicizza e che chiunque costruisca pipeline di dati per l’IA fisica riconoscerà immediatamente.

L'interfaccia di PAN 2 è una didascalia strutturata: eventi in ordine, azioni legate agli attori, movimento della camera, entro un budget di 1.480 token soft e 1.536 hard. Produrre quella didascalia a mano è la parte più noiosa in assoluto nell'uso del modello, e il repository include una skill di riscrittura dei prompt proprio perché il testo libero non sopravvive all'interfaccia. Ora considera ciò che Cari4D emette da un video ordinario: posa umana per frame, posa degli oggetti per frame e due logit di contatto mano-oggetto — un registro metrico, denso e temporalmente coerente esattamente di ciò che una didascalia dello stato del mondo dovrebbe descrivere.

Questo è un generatore di didascalie. La ricostruzione fornisce la verità di riferimento di un'interazione nello spazio dei parametri; un modello linguistico trasforma quei parametri nella descrizione strutturata su cui PAN 2 si basa; il simulatore genera quindi varianti di quell'interazione. Mettilo in ciclo e ottieni un motore di dati: registra una manipolazione reale, ricostruiscila con Cari4D, creane la didascalia e genera i controfattuali — oggetto diverso, presa diversa, superficie diversa — che non potresti mai permetterti di filmare. Lo stesso ciclo funziona al contrario per la valutazione, confrontando una clip simulata con una reale ricostruita sullo stesso setup.

Nessuna delle due metà di quel ciclo è pronta all'uso. La scheda commerciale di Cari4D afferma che è stato addestrato su 2.126 sequenze FORM-HOI interne e che non esiste un dataset di test separato — la valutazione è un set demo qualitativo — e che il corpus interno «Daniel» non è distribuito. Le cifre di accuratezza principali, un errore di ricostruzione inferiore del 38% rispetto allo stato dell'arte in distribuzione e del 36% su dataset non visti, provengono dal paper CVPR e non sono state riprodotte in modo indipendente. PAN 2, dal canto suo, ammette che circa due piani simulati su tre contengono almeno un passo che non viene eseguito, che le azioni testuali specificano solo in modo approssimativo il contatto di destrezza e che non è misurata la fedeltà con cui simula piani che dovrebbero fallire.

Leggi quelle due ammissioni insieme e la composizione risulta onesta anziché promozionale: un'interazione ricostruita è una misurazione con una distribuzione di addestramento nota, e una simulata è una previsione con un tasso di calo per passo noto. Nessuna delle due è la verità di riferimento sul mondo. Entrambe sono più utili di ciascuna presa da sola.

Calcolo: una workstation rispetto a un nodo

Cari4D gira su una singola GPU ed è stato validato su hardware di classe Ampere secondo la sua scheda; il modello distribuito ha 231M di parametri e i modelli di base circostanti costituiscono la maggior parte della memoria. È il tipo di pipeline che un team di ricerca esegue su una workstation durante la notte su una cartella di clip.

PAN 2 non corrisponde a quella descrizione. Il dato di punta della ricetta vLLM è di tredici secondi di video 704×1248 in circa 119 secondi su quattro GPU B300, con classifier-free guidance parallelizzato su due rank e Ulysses sequence parallelism su due; il default documentato è otto H200 in BF16 con VAE patch parallelism su quattro tile. Cinquanta passi del sampler con guidance a ogni passo significano cento forward pass attraverso un transformer da 29B per clip, motivo per cui il parallelismo non è opzionale. Se generi controfattuali in un ciclo, il costo del ciclo è il prodotto tra le clip e quel costo per clip, ed è di ordini di grandezza superiore rispetto al lato ricostruzione.

Quell'asimmetria è il dato pratico di pianificazione di qualsiasi ibrido. La ricostruzione è abbastanza economica da poter essere eseguita su tutto ciò che hai; la simulazione è abbastanza costosa da eseguirla solo dove un controfattuale cambia una decisione.

Di nuovo lo slot del planner

Entrambe le pipeline contengono un modello linguistico, e solo uno di quegli slot è un componente standardizzabile che puoi instradare.

Il reasoner concettuale di PAN 2 è esplicitamente intercambiabile — IFM ne ha valutati quattro e li ha classificati in base al completamento dell'intero piano: Claude Opus 5.5, GPT-6 Astra con sforzo medio, Kimi K3, Qwen3.8-Flash. Tutti e quattro sono nel catalogo OrcaRouter, quindi la fase di captioning può essere eseguita tramite un unico endpoint con failover automatico e il prezzo di listino di ciascun provider trasferito senza ricarico (0%), e puoi valutare i planner sulle tue didascalie invece di fidarti di una classifica misurata sui task di IFM. La fase di correzione di Cari4D non ha uno slot del genere: CoCoNet è una rete fissa da 231M, e sostituirla significa riaddestrare, non reindirizzare. OrcaRouter non ospita PAN 2 né Cari4D e non può instradare nessuno dei due — sia il renderer sia il reconstructor restano sul tuo hardware.

La formulazione onesta per il router in questo caso è limitata: una fase di una pipeline a due fasi è una chiamata API a consumo e il resto no. Vale comunque la pena averlo, perché è nella fase delle didascalie che la sensibilità ai prompt si fa sentire e che provare un secondo modello costa una richiesta invece di un'esecuzione di addestramento.

Quale serve al tuo problema

Se hai video e hai bisogno di parametri — motion capture per l'animazione, etichettatura dei contatti per un dataset, posa metrica per l'apprendimento per imitazione dei robot, un controllo QC su manipolazioni registrate — Cari4D è lo strumento e PAN 2 non ha nulla da offrire. Inizia dal checkpoint di ricerca da valutare, metti in budget il cambio di rig e le licenze di terze parti prima di optare per la versione commerciale, e considera le cifre di accuratezza come dichiarazioni del fornitore sottoposte a peer review anziché come risultati riprodotti.

Se hai parametri o una descrizione e devi vedere cosa succede — valutazione di piani, generazione di dati controfattuali, ricerca sul ragionamento fisico, un agente che previsualizza le proprie azioni — PAN 2 è il modello, e il conto è un nodo multi-GPU per clip. Leggi i suoi limiti prima di progettare su di esso: nella maggior parte dei piani viene saltato un passo, le clip lunghe presentano deriva nell'aspetto perché ciascuna è simulata a partire da al massimo un frame iniziale, e il testo specifica il contatto dexterous solo in modo grossolano.

Se hai entrambi i problemi, la risposta è il loop, e l'anello più debole del loop è il contratto della didascalia. Cari4D ti fornisce la misurazione; un modello linguistico la trasforma nella descrizione strutturata; PAN 2 rende l'alternativa. Tre componenti, tre licenze, una domanda di ricerca — che è all'incirca ciò che significa costruire sui modelli del mondo del 2026, e il motivo per cui il confronto tra due qualsiasi di essi è meno utile di un diagramma di come si connettono.