PAN 2 vs Cari4D: observar una interacción y predecir una

Cari4D sabe qué le hizo una mano a un objeto. PAN 2 puede mostrarte qué le haría una mano a un objeto si se lo pidieras. Esas son direcciones opuestas de desplazamiento a lo largo del mismo eje y, hasta que digas en qué dirección se plantea tu problema, una comparación entre ambos es un cara o cruz disfrazado de análisis. Cari4D es la línea de reconstrucción 4D agnóstica a categorías de NVIDIA: el modelo CoCoNet que observa un vídeo RGB monocular de una persona manipulando un único objeto rígido y recupera sus poses a escala métrica fotograma a fotograma, con un checkpoint de 231 millones de parámetros con licencia comercial en Hugging Face desde el 30 de agosto de 2026. PAN 2 es el modelo del mundo de pesos abiertos de 29 mil millones de parámetros de IFM, publicado como checkpoint Apache-2.0 el 7 de octubre de 2026, que va en la otra dirección: dale un fotograma y una acción descrita y genera hasta veinte segundos de vídeo de 704×1248 prediciendo qué hace la acción. Uno lee. El otro escribe. La razón por la que vale la pena ponerlos en la misma página es que el artefacto que los conecta —una descripción estructurada de quién hizo qué a qué objeto— es precisamente lo que cada uno de ellos produce o consume.

Dos pipelines que se parecen y no comparten nada

Cari4D no es una única red que responde a vídeo. Es una cadena de modelos fundacionales con una etapa de corrección aprendida en medio: UniDepth para profundidad métrica, NLF y GENMO para pose humana, Hunyuan3D para mallas de objetos a partir de una sola imagen, FoundationPose para seguimiento, VolumetricSMPL para un modelo corporal de distancia con signo. CoCoNet —la parte que NVIDIA publica— renderiza la estimación actual de la persona y el objeto en RGB, profundidad y máscaras, compara ese render con la observación real mediante un codificador RGB DINOv2 ViT-B/14 y un codificador de seis canales ViT-S/14, ejecuta dos bloques de atención espaciotemporal y aplica regresión de correcciones por fotograma mediante cabezales MLP.

La cadena de PAN 2 funciona en sentido inverso y contiene un modelo de lenguaje. Un razonador conceptual —cualquier modelo que siga instrucciones— lee la observación y las acciones solicitadas y escribe el siguiente estado del mundo como una descripción estructurada y anclada en el tiempo: eventos en orden, acciones vinculadas a actores, movimiento de cámara. Un codificador de texto Qwen3.5-9B congelado convierte esa descripción en características de condicionamiento. Un transformer de difusión multimodal de 29B predice los latentes de vídeo que la descripción deja abiertos, condicionado por ella y por el latente VAE del fotograma inicial, y un decodificador Wan 2.2 los renderiza.

Así que la similitud que hace que la gente los empareje es real —ambos tratan de humanos, manos, objetos y la física del contacto—, y la maquinaria subyacente no tiene ninguna relación en absoluto.

• Dirección — Cari4D recupera parámetros a partir de píxeles; PAN 2 genera píxeles a partir de parámetros.

• Salida — Cari4D devuelve la pose y forma humana por fotograma en el rig MHR, la pose del objeto por fotograma y dos logits de contacto de manos; PAN 2 devuelve un MP4.

• Entrada — Cari4D toma un vídeo RGB monocular; PAN 2 toma un primer fotograma opcional junto con una descripción estructurada de la acción.

• Tamaño — Cari4D CoCoNet tiene 231M de parámetros, entrenado hasta el paso 200.000; el backbone de difusión de PAN 2 es de 29B, con un codificador de texto congelado de 9B independiente y un VAE de Wan 2.2.

• Escala métrica — la afirmación central de Cari4D es la reconstrucción métrica a partir de una única cámara sin sensor de profundidad; PAN 2 no tiene ninguna afirmación métrica, y su salida es una predicción en lugar de una medición.

• Evaluación — las cifras de Cari4D provienen de un artículo de CVPR 2026 y de una ficha de proveedor que admite que el modelo comercial no cuenta con un conjunto de prueba independiente; las de PAN 2 provienen del propio harness de IFM, sin reproducción por terceros.

La diferencia de licencia es la práctica.

Ambos modelos se pueden descargar, lo que ya los coloca en un club selecto. Lo que puedes hacer con ellos difiere más de lo que sugieren sus recuentos de parámetros.

El código y los pesos propios de PAN 2 son Apache-2.0, sin restricciones de acceso, sesenta archivos y 86,17 gigabytes, con componentes de terceros —Wan 2.2, Qwen3.5-9B, Diffusers— bajo sus propias condiciones y no redistribuidos por MBZUAI. Tú lo descargas, tú lo ejecutas y tú distribuyes lo que construyas, sujeto a las obligaciones habituales de Apache. El repositorio `pan2-guardrail` se distribuye por separado con un filtro de solicitudes y un clasificador de fotogramas; IFM informa que redujo del 33,9 % al 1,5 % las solicitudes dañinas de texto a vídeo que producían resultados no seguros, mientras bloqueaba el 11,5 % de las solicitudes benignas de texto a vídeo y el 3,3 % de las benignas de imagen a vídeo, que es el tipo de cifra que uno quiere ver antes de desplegar cualquier cosa que genere metraje realista.

La posición de Cari4D está más fragmentada, y esto hace tropezar a los equipos de compras. El repositorio de investigación, nvidia/CARI4D, incluye la Licencia de NVIDIA con "for research and development only" en la ficha. El checkpoint comercial, nvidia/cari4d_commercial, está bajo el Acuerdo de Modelo Abierto de NVIDIA y permite el uso comercial — pero es de acceso restringido: hay que aceptar los términos y compartir información de contacto antes de que aparezcan los archivos, y el CoCoNet publicado no funciona por sí solo. El pipeline en su conjunto sigue incorporando pesos torchscript de NLF, pesos de FoundationPose, recursos de SMPL-H y mallas de Hunyuan3D, cada uno con su propia licencia. La licencia comercial cubre la parte que NVIDIA está publicando y nada de lo que la rodea.

También hay que planificar una migración de rig. La línea de investigación regresa la pose y la forma de SMPL; el checkpoint comercial genera parámetros de Native Momentum Human Rig. Si escribiste código de integración contra los tensores de investigación, la forma de salida de la tarjeta comercial no es directamente sustituible.

Donde ambos se componen, y por qué esa es la parte interesante

Aquí está el join que ningún proveedor anuncia y que cualquiera que construya canalizaciones de datos de IA física reconocerá de inmediato.

La interfaz de PAN 2 es una descripción estructurada: eventos en orden, acciones vinculadas a actores, movimiento de cámara, dentro de un presupuesto de 1,480 tokens soft y 1,536 hard. Producir esa descripción a mano es la parte más tediosa, con diferencia, de usar el modelo, y el repositorio incluye una habilidad de reescritura de prompts precisamente porque el texto libre no sobrevive a la interfaz. Ahora consideremos lo que Cari4D emite a partir de un vídeo normal: pose humana por fotograma, pose de objetos por fotograma y dos logits de contacto de manos: un registro métrico, denso y temporalmente consistente de exactamente aquello que se supone que describe una descripción del estado del mundo.

Eso es un generador de descripciones. La reconstrucción te da la verdad de referencia de una interacción en el espacio de parámetros; un modelo de lenguaje convierte esos parámetros en la descripción estructurada de la que depende PAN 2; después, el simulador genera variaciones de esa interacción. Ponlo en bucle y tendrás un motor de datos: registra una manipulación real, reconstrúyela con Cari4D, descríbela y genera los contrafactuales —otro objeto, otro agarre, otra superficie— que nunca podrías permitirte filmar. El mismo bucle se ejecuta a la inversa para la evaluación, comparando un clip simulado con uno real reconstruido en el mismo montaje.

Ninguna de las dos mitades de ese ciclo es una solución llave en mano. La ficha comercial de Cari4D afirma que se entrenó con 2.126 secuencias internas FORM-HOI y que no hay un conjunto de datos de prueba separado —la evaluación es un conjunto de demostración cualitativo—, y que el corpus interno «Daniel» no se distribuye. Sus cifras de precisión más destacadas, un 38 % menos de error de reconstrucción que los trabajos anteriores dentro de la distribución y un 36 % en conjuntos de datos no vistos, provienen del artículo de CVPR y no han sido reproducidas de forma independiente. PAN 2, por su parte, admite que aproximadamente dos de cada tres planes simulados contienen al menos un paso que no se lleva a cabo, que las acciones de texto especifican el contacto diestro solo de forma aproximada y que no se ha medido con qué fidelidad simula planes que deberían fallar.

Si lees esas dos admisiones en conjunto, la composición resulta honesta en lugar de promocional: una interacción reconstruida es una medición con una distribución de entrenamiento conocida, y una simulada es una predicción con una tasa de caída de pasos conocida. Ninguna es la verdad de referencia sobre el mundo. Ambas son más útiles que cualquiera por separado.

Cómputo: una estación de trabajo frente a un nodo

Cari4D se ejecuta en una sola GPU y se ha validado en hardware de clase Ampere según su ficha; el modelo implementado tiene 231M de parámetros y los modelos fundacionales que lo rodean constituyen la mayor parte de la memoria. Es el tipo de pipeline que un equipo de investigación ejecuta en una estación de trabajo durante la noche sobre una carpeta de clips.

PAN 2 no se ajusta a esa descripción. El titular de la receta de vLLM son trece segundos de vídeo de 704×1248 en aproximadamente 119 segundos en cuatro GPU B300, con la guía libre de clasificador paralelizada entre dos rangos y el paralelismo de secuencia Ulysses entre dos; el valor predeterminado documentado es ocho H200 en BF16 con paralelismo de parches de VAE entre cuatro teselas. Cincuenta pasos del muestreador con guía en cada paso implican cien pasadas hacia delante por un transformador de 29B por clip, por lo que el paralelismo no es opcional. Si estás generando contrafactuales en un bucle, el coste del bucle es el producto de los clips y esa factura por clip, y empequeñece el lado de la reconstrucción en órdenes de magnitud.

Esa asimetría es el hecho práctico de planificación de cualquier híbrido. La reconstrucción es lo bastante barata como para ejecutarla sobre todo lo que tienes; la simulación es lo bastante cara como para ejecutarla solo donde un contrafactual cambia una decisión.

El espacio del planificador, otra vez.

Ambas canalizaciones contienen un modelo de lenguaje, y solo una de esas ranuras es un componente básico que puedes enrutar.

El razonador conceptual de PAN 2 es explícitamente intercambiable: IFM evaluó cuatro y los clasificó por tasa de finalización de plan completo: Claude Opus 5.5, GPT-6 Astra con esfuerzo medio, Kimi K3, Qwen3.8-Flash. Los cuatro están en el catálogo de OrcaRouter, por lo que la etapa de leyendas puede ejecutarse a través de un único endpoint con conmutación por error automática y el precio de lista de cada proveedor se traslada sin margen (0 %), y puedes evaluar los planificadores con tus propias leyendas en lugar de confiar en una clasificación medida en las tareas de IFM. La etapa de corrección de Cari4D no tiene ese espacio: CoCoNet es una red fija de 231 M, y cambiarla implica reentrenar, no redirigir. OrcaRouter no aloja PAN 2 ni Cari4D y no puede enrutar ninguno de los dos; el renderizador y el reconstructor permanecen ambos en tu hardware.

El planteamiento honesto para el router aquí es limitado: una etapa de un pipeline de dos etapas es una llamada de API facturada y el resto no. Aun así, vale la pena tenerlo, porque la etapa de generación de descripciones es donde más afecta la sensibilidad a los prompts y donde probar un segundo modelo cuesta una solicitud en lugar de una ejecución de entrenamiento.

¿Cuál necesita tu problema?

Si tienes vídeo y necesitas parámetros —captura de movimiento para animación, etiquetado de contactos para un conjunto de datos, pose métrica para aprendizaje por imitación en robótica, una pasada de control de calidad sobre manipulación grabada—, Cari4D es la herramienta y PAN 2 no tiene nada que ofrecer. Empieza por el checkpoint de investigación para evaluar, presupuesta el cambio de rig y las licencias de terceros antes de comprometerte con la versión comercial, y trata las cifras de precisión como afirmaciones del proveedor revisadas por pares en lugar de cifras reproducidas.

Si tienes parámetros o una descripción y necesitas ver qué ocurre —evaluación de planes, generación de datos contrafactuales, investigación de razonamiento físico, un agente que previsualiza sus acciones—, PAN 2 es el modelo, y la factura es un nodo multi-GPU por clip. Lee sus limitaciones antes de diseñar en torno a él: se omite un paso en la mayoría de los planes, los clips largos presentan deriva en su apariencia porque cada uno se simula a partir de como máximo un fotograma inicial, y el texto especifica el contacto diestro solo de forma aproximada.

Si tienes ambos problemas, la respuesta es el bucle, y el eslabón más débil del bucle es el contrato de descripción. Cari4D te da la medición; un modelo de lenguaje la convierte en la descripción estructurada; PAN 2 renderiza la alternativa. Tres componentes, tres licencias, una pregunta de investigación — que es más o menos cómo se ve construir sobre los modelos del mundo de 2026, y por qué la comparación entre dos cualesquiera de ellos es menos útil que un diagrama de cómo se conectan.