PAN 2 vs Cari4D: Observando uma Interação e Prevendo Outra

O Cari4D sabe o que uma mão fez a um objeto. O PAN 2 pode mostrar o que uma mão faria a um objeto se você pedisse. Essas são direções opostas de deslocamento ao longo do mesmo eixo e, até você dizer em qual direção o seu problema corre, uma comparação entre eles é um cara ou coroa vestido de análise. O Cari4D é a linha de reconstrução 4D agnóstica a categorias da NVIDIA — o modelo CoCoNet que observa um vídeo RGB monocular de uma pessoa manipulando um objeto rígido e recupera as poses em escala métrica quadro a quadro, com um checkpoint de 231 milhões de parâmetros licenciado comercialmente no Hugging Face desde 30 de agosto de 2026. O PAN 2 é o modelo de mundo de pesos abertos de 29 bilhões de parâmetros da IFM, lançado como checkpoint Apache-2.0 em 7 de outubro de 2026, que vai na direção oposta: entregue a ele um quadro e uma ação descrita e ele renderiza até vinte segundos de vídeo em 704×1248 prevendo o que a ação faz. Um lê. O outro escreve. O motivo de valer a pena colocá-los na mesma página é que o artefato que os conecta — uma descrição estruturada de quem fez o quê a qual objeto — é exatamente o que cada um deles produz ou consome.

Dois pipelines que se parecem e não compartilham nada

O Cari4D não é uma única rede respondendo a vídeo. É uma cadeia de modelos de fundação com um estágio de correção aprendido no meio: UniDepth para profundidade métrica, NLF e GENMO para pose humana, Hunyuan3D para malhas de objetos a partir de uma única imagem, FoundationPose para rastreamento, VolumetricSMPL para um modelo corporal de distância assinada. O CoCoNet — a parte que a NVIDIA libera — renderiza a estimativa atual de humano e objeto em RGB, profundidade e máscaras, compara essa renderização com a observação real por meio de um codificador RGB DINOv2 ViT-B/14 e de um codificador de seis canais ViT-S/14, executa dois blocos de atenção espaço-temporal e regride correções por quadro por meio de cabeças MLP.

A cadeia do PAN 2 funciona no sentido oposto e inclui um modelo de linguagem. Um raciocinador conceitual — qualquer modelo que siga instruções — lê a observação e as ações solicitadas e escreve o próximo estado do mundo como uma legenda estruturada e ancorada no tempo: eventos em ordem, ações vinculadas a atores, movimento de câmera. Um codificador de texto Qwen3.5-9B congelado mapeia essa legenda para features de condicionamento. Um transformador de difusão multimodal de 29B prevê os latentes de vídeo que a legenda deixa em aberto, condicionado por ela e pelo latente VAE do quadro inicial, e um decodificador Wan 2.2 os renderiza.

Então, a semelhança que leva as pessoas a emparelhá-los é real — ambos tratam de humanos, mãos, objetos e da física do contato — e a maquinaria subjacente não tem relação alguma.

• Direção — Cari4D recupera parâmetros a partir de pixels; PAN 2 gera pixels a partir de parâmetros.

• Saída — Cari4D retorna pose e forma humanas por quadro no rig MHR, pose de objeto por quadro e dois logits de contacto com as mãos; PAN 2 retorna um MP4.

• Entrada — Cari4D recebe um vídeo RGB monocular; PAN 2 recebe um primeiro quadro opcional mais uma legenda de ação estruturada.

• Tamanho — O Cari4D CoCoNet tem 231M parâmetros, treinado até o passo 200.000; o backbone de difusão do PAN 2 tem 29B, com um codificador de texto congelado de 9B separado e um VAE Wan 2.2.

• Escala métrica — a principal alegação do Cari4D é a reconstrução métrica a partir de uma única câmera sem sensor de profundidade; o PAN 2 não faz nenhuma alegação métrica, e sua saída é uma previsão e não uma medição.

• Avaliação — os números do Cari4D vêm de um artigo da CVPR 2026 somado a uma ficha de fornecedor que admite que o modelo comercial não possui conjunto de teste separado; os do PAN 2 vêm do harness da própria IFM, sem reprodução por terceiros.

A diferença de licença é a prática.

Ambos os modelos podem ser baixados, o que já os coloca em um clube seleto. O que você pode fazer com eles difere mais do que os números de parâmetros sugerem.

O código e os pesos do próprio PAN 2 são Apache-2.0, sem restrições de acesso, sessenta arquivos e 86,17 gigabytes, com componentes de terceiros — Wan 2.2, Qwen3.5-9B, Diffusers — sob seus próprios termos e não redistribuídos pela MBZUAI. Você o baixa, o executa e distribui o que construir, sujeito às obrigações habituais da Apache. O repositório `pan2-guardrail` é distribuído separadamente com um triador de solicitações e um classificador de quadros; a IFM relata que ele reduziu solicitações prejudiciais de texto para vídeo que produzem saída insegura de 33,9% para 1,5%, ao mesmo tempo que bloqueou 11,5% das solicitações benignas de texto para vídeo e 3,3% das solicitações benignas de imagem para vídeo, o tipo de número que você quer antes de implantar qualquer coisa que gere filmagens realistas.

A posição do Cari4D é mais fragmentada, e isso complica o trabalho das equipes de compras. O repositório de pesquisa, nvidia/CARI4D, traz a Licença NVIDIA com "apenas para pesquisa e desenvolvimento" na ficha. O checkpoint comercial, nvidia/cari4d_commercial, está sob o NVIDIA Open Model Agreement e permite uso comercial — mas tem acesso controlado: é preciso aceitar os termos e compartilhar informações de contato antes que os arquivos apareçam, e o CoCoNet disponibilizado não funciona sozinho. O pipeline mais amplo ainda depende de pesos TorchScript do NLF, pesos do FoundationPose, ativos SMPL-H e malhas do Hunyuan3D, cada um com sua própria licença. A licença comercial cobre a parte que a NVIDIA está disponibilizando e nada além dela.

Também há uma migração de rig a planejar. A linha de pesquisa faz regressão de pose e forma SMPL; o checkpoint comercial produz parâmetros do Native Momentum Human Rig. Se você escreveu código de integração com base nos tensores de pesquisa, o formato de saída do cartão comercial não é um substituto direto.

Onde os dois se compõem, e por que essa é a parte interessante

Aqui está a junção que nenhum dos fornecedores anuncia e que qualquer pessoa que construa pipelines de dados de IA física reconhecerá imediatamente.

A interface do PAN 2 é uma legenda estruturada: eventos em ordem, ações vinculadas a atores, movimento de câmera, dentro de um orçamento de 1.480 tokens flexível e 1.536 rígido. Produzir essa legenda manualmente é a parte mais tediosa de usar o modelo, e o repositório inclui uma habilidade de reescrita de prompt justamente porque texto livre não sobrevive à interface. Agora considere o que o Cari4D emite de um vídeo comum: pose humana por quadro, pose de objeto por quadro e dois logits de contato com as mãos — um registro métrico, denso e temporalmente consistente exatamente daquilo que uma legenda de estado do mundo deve descrever.

Esse é um gerador de legendas. A reconstrução fornece a verdade de referência de uma interação no espaço de parâmetros; um modelo de linguagem transforma esses parâmetros na descrição estruturada sobre a qual o PAN 2 condiciona; o simulador então renderiza variações dessa interação. Coloque isso em loop e você tem um motor de dados: registre uma manipulação real, reconstrua-a com o Cari4D, gere a legenda e produza os contrafactuais — objeto diferente, empunhadura diferente, superfície diferente — que você nunca poderia custear para filmar. O mesmo loop funciona ao contrário para avaliação, comparando um clipe simulado com um clipe real reconstruído no mesmo aparato.

Nenhuma das duas metades desse ciclo é pronta para uso. A ficha comercial da Cari4D afirma que ela foi treinada em 2.126 sequências internas FORM-HOI e que não há um conjunto de dados de teste separado — a avaliação é um conjunto de demonstração qualitativo — e o corpus interno "Daniel" não é distribuído. Seus principais números de precisão, erro de reconstrução 38% menor que o de técnicas anteriores em distribuição e 36% em conjuntos de dados não vistos, vêm do artigo da CVPR e não foram reproduzidos de forma independente. A PAN 2, por sua vez, admite que cerca de dois em cada três planos simulados contêm pelo menos uma etapa que não é executada, que as ações de texto especificam o contato dextro apenas de forma grosseira e que a fidelidade com que ela simula planos que deveriam falhar não é medida.

Leia essas duas admissões em conjunto, e a composição é honesta e não promocional: uma interação reconstruída é uma medição com uma distribuição de treinamento conhecida, e uma simulada é uma previsão com uma taxa de queda de etapa conhecida. Nenhuma das duas é a verdade absoluta sobre o mundo. Ambas são mais úteis do que qualquer uma delas isoladamente.

Computação: uma estação de trabalho versus um nó

O Cari4D roda em uma única GPU e foi validado em hardware da classe Ampere conforme sua ficha técnica; o modelo implantado tem 231M de parâmetros, e os modelos de fundação ao redor constituem a maior parte da memória. É o tipo de pipeline que uma equipe de pesquisa executa em uma estação de trabalho durante a noite sobre uma pasta de clipes.

PAN 2 não se encaixa nessa descrição. O destaque da receita do vLLM são treze segundos de vídeo 704×1248 em cerca de 119 segundos em quatro GPUs B300, com orientação sem classificador paralelizada em duas ranks e paralelismo de sequência Ulysses em duas; o padrão documentado é oito H200s em BF16 com paralelismo de patch do VAE em quatro tiles. Cinquenta etapas do amostrador com orientação em cada etapa significam cem passagens diretas por um transformer de 29B por clipe, e é por isso que o paralelismo não é opcional. Se você estiver gerando contrafactuais em loop, o custo do loop é o produto dos clipes pela conta por clipe, e ele ofusca o lado de reconstrução em ordens de magnitude.

Essa assimetria é o fato prático de planejamento de qualquer híbrido. A reconstrução é barata o suficiente para ser executada em tudo o que você tem; a simulação é cara o suficiente para que você a execute apenas onde um contrafactual muda uma decisão.

O espaço do planejador, de novo

Ambos os pipelines contêm um modelo de linguagem, e apenas um desses slots é uma commodity que você pode rotear.

O raciocinador conceitual do PAN 2 é explicitamente intercambiável — a IFM avaliou quatro e os classificou pela conclusão do plano completo: Claude Opus 5.5, GPT-6 Astra com esforço médio, Kimi K3, Qwen3.8-Flash. Todos os quatro estão no catálogo do OrcaRouter, então a etapa de legendagem pode ser executada por um único endpoint com failover automático e o preço de tabela de cada provedor repassado com 0% de margem, e você pode avaliar planejadores usando suas próprias legendas em vez de confiar em uma classificação medida nas tarefas da IFM. A etapa de correção do Cari4D não tem essa opção de encaixe: a CoCoNet é uma rede fixa de 231M, e trocá-la significa retreinar, não redirecionar. O OrcaRouter não hospeda o PAN 2 nem o Cari4D e não consegue rotear nenhum dos dois — o renderizador e o reconstrutor permanecem no seu hardware.

O enquadramento honesto para o roteador aqui é estreito: um estágio de um pipeline de dois estágios é uma chamada de API tarifada, e o restante não é. Isso ainda vale a pena, porque é no estágio de legendagem que a sensibilidade ao prompt pesa e onde experimentar um segundo modelo custa uma requisição em vez de uma execução de treinamento.

Qual deles o seu problema precisa

Se você tem vídeo e precisa de parâmetros — captura de movimento para animação, rotulagem de contato para um conjunto de dados, pose métrica para aprendizado por imitação em robôs, uma passagem de controle de qualidade sobre manipulação gravada —, o Cari4D é a ferramenta e o PAN 2 não tem nada a oferecer. Comece pelo checkpoint de pesquisa para avaliar, reserve orçamento para a mudança de rig e para as licenças de terceiros antes de optar pela versão comercial, e trate os números de precisão como alegações do fornecedor revisadas por pares, e não como reproduzidas.

Se você tem parâmetros ou uma descrição e precisa ver o que acontece — avaliação de planos, geração de dados contrafactuais, pesquisa em raciocínio físico, um agente que pré-visualiza suas ações — o PAN 2 é o modelo, e a conta é um nó multi-GPU por clipe. Leia suas limitações antes de projetar em torno dele: um passo é omitido na maioria dos planos, clipes longos sofrem variação de aparência porque cada um é simulado a partir de no máximo um quadro inicial, e o texto especifica contato dextro apenas de forma grosseira.

Se você tem os dois problemas, a resposta é o ciclo, e o elo mais fraco do ciclo é o contrato de legenda. O Cari4D fornece a medição; um modelo de linguagem a transforma na descrição estruturada; o PAN 2 renderiza a alternativa. Três componentes, três licenças, uma questão de pesquisa — que é mais ou menos como é construir sobre os modelos de mundo de 2026, e por que a comparação entre quaisquer dois deles é menos útil do que um diagrama de como se conectam.