PAN 2 vs Cari4D: 상호작용을 관찰하고 예측하기

Cari4D는 손이 물체에 무엇을 했는지 압니다. PAN 2는 요청만 하면 손이 물체에 무엇을 할지 보여줄 수 있습니다. 이 둘은 같은 축을 따라 반대 방향으로 가는 것이며, 여러분의 문제가 어느 방향으로 흐르는지 말하기 전까지 이 둘 사이의 비교는 분석인 척하는 동전 던지기일 뿐입니다. Cari4D는 NVIDIA의 범주에 구애받지 않는 4D 재구성 계열로, 한 사람이 하나의 강체 물체를 다루는 단안 RGB 영상을 보고 프레임별로 미터 스케일 포즈를 복원하는 CoCoNet 모델이며, 2026년 8월 30일부터 Hugging Face에서 상용 라이선스가 부여된 2억 3,100만 개 매개변수 체크포인트로 제공됩니다. PAN 2는 IFM의 290억 개 매개변수 공개 가중치 세계 모델로, 2026년 10월 7일 Apache-2.0 체크포인트로 공개되었으며 반대 방향으로 작동합니다. 프레임과 설명된 동작을 주면 그 동작이 어떤 결과를 낳는지 예측하는 최대 20초 길이의 704×1248 영상을 렌더링합니다. 하나는 읽고, 하나는 씁니다. 이 둘을 같은 페이지에 올릴 가치가 있는 이유는 둘을 연결하는 아티팩트, 즉 누가 어떤 물체에 무엇을 했는지에 대한 구조화된 설명이 바로 각자가 생산하거나 소비하는 것이기 때문입니다.

비슷해 보이지만 아무것도 공유하지 않는 두 파이프라인

Cari4D는 비디오에 반응하는 하나의 네트워크가 아니다. 그것은 중간에 학습된 보정 단계를 둔 기반 모델들의 연쇄다. UniDepth는 메트릭 깊이를, NLF와 GENMO는 사람 자세를, Hunyuan3D는 단일 이미지로부터 객체 메시를, FoundationPose는 추적을, VolumetricSMPL은 부호 있는 거리 신체 모델을 담당한다. NVIDIA가 공개하는 부분인 CoCoNet은 현재의 사람 및 객체 추정치를 RGB, 깊이, 마스크로 렌더링하고, 그 렌더를 DINOv2 ViT-B/14 RGB 인코더와 ViT-S/14 6채널 인코더를 통해 실제 관측과 비교하며, 두 개의 시공간 어텐션 블록을 실행하고 MLP 헤드를 통해 프레임별 보정을 회귀한다.

PAN 2의 체인은 반대 방향으로 작동하며 언어 모델을 포함합니다. 개념적 추론기, 즉 명령을 따르는 모든 모델은 관찰과 요청된 행동을 읽고 다음 세계 상태를 구조화된 시간 기반 캡션으로 작성합니다. 사건은 순서대로, 행동은 행위자에 연결되고, 카메라 움직임도 담깁니다. 동결된 Qwen3.5-9B 텍스트 인코더가 그 캡션을 조건화 특징으로 매핑합니다. 29B 멀티모달 확산 트랜스포머가 캡션이 열어 둔 비디오 잠재 변수를 예측하며, 캡션과 시작 프레임의 VAE 잠재 변수를 조건으로 삼고, Wan 2.2 디코더가 이를 렌더링합니다.

그래서 사람들이 둘을 짝지어 생각하게 만드는 유사성은 실제로 존재한다 — 둘 다 인간, 손, 사물, 그리고 접촉의 물리학에 관한 것이다 — 그리고 그 밑에 있는 메커니즘은 전혀 관련이 없다.

• 방향성 — Cari4D는 픽셀로부터 파라미터를 복원하고, PAN 2는 파라미터로부터 픽셀을 생성한다.

• 출력 — Cari4D는 MHR 리그에서 프레임별 인체 포즈 및 형상, 프레임별 객체 포즈, 두 개의 손 접촉 로짓을 반환하며, PAN 2는 MP4를 반환합니다.

• 입력 — Cari4D는 단안 RGB 비디오 하나를 입력받고, PAN 2는 선택적 첫 프레임과 구조화된 동작 캡션을 입력받습니다.

• 규모 — Cari4D CoCoNet은 231M 파라미터이며 200,000스텝까지 학습되었습니다. PAN 2의 디퓨전 백본은 29B이고, 별도의 동결된 9B 텍스트 인코더와 Wan 2.2 VAE를 갖추고 있습니다.

• 메트릭 스케일 — Cari4D의 핵심 주장은 깊이 센서 없이 단일 카메라로부터 메트릭 재구성을 수행한다는 것입니다. PAN 2는 메트릭 주장이 전혀 없으며, 그 출력은 측정값이 아니라 예측값입니다.

• 평가 — Cari4D의 수치는 CVPR 2026 논문과, 상용 모델에는 별도 테스트 세트가 없음을 인정하는 벤더 카드에서 나온다. PAN 2의 수치는 제3자 재현 없이 IFM 자체 하네스에서 나온 것이다.

실질적인 차이는 라이선스 차이입니다.

두 모델 모두 다운로드할 수 있다는 점만으로도 이미 소수만 포함되는 클럽에 들어간 셈입니다. 두 모델로 할 수 있는 일은 매개변수 수가 시사하는 것보다 더 크게 다릅니다.

PAN 2 자체 코드와 가중치는 Apache-2.0이며, 게이트가 없고, 파일 60개에 86.17기가바이트입니다. 타사 구성 요소인 Wan 2.2, Qwen3.5-9B, Diffusers는 자체 조건을 따르며 MBZUAI가 재배포하지 않습니다. 여러분은 이를 다운로드하고 실행하며, 만든 것을 배포할 수 있고, 일반적인 Apache 의무를 준수해야 합니다. `pan2-guardrail` 저장소는 요청 스크리너와 프레임 분류기와 함께 별도로 제공됩니다. IFM은 이것이 안전하지 않은 출력을 생성하는 유해한 텍스트-투-비디오 요청을 33.9%에서 1.5%로 줄이는 동시에, 정상적인 텍스트-투-비디오 요청의 11.5%와 정상적인 이미지-투-비디오 요청의 3.3%를 차단한다고 보고합니다. 이는 사실적인 영상을 생성하는 무엇이든 배포하기 전에 원하는 유형의 수치입니다.

Cari4D의 입지는 더 분산되어 있어 조달 팀을 곤란하게 만듭니다. 연구용 리포지토리 nvidia/CARI4D는 카드에 "연구 및 개발 전용"이라는 문구가 있는 NVIDIA 라이선스를 적용받습니다. 상용 체크포인트 nvidia/cari4d_commercial는 NVIDIA Open Model Agreement에 따라 상용 사용이 허용되지만, 접근이 제한되어 있어 파일이 나타나기 전에 약관에 동의하고 연락처 정보를 공유해야 하며, 공개된 CoCoNet은 단독으로 실행되지 않습니다. 더 넓은 파이프라인은 여전히 NLF torchscript 가중치, FoundationPose 가중치, SMPL-H 자산 및 Hunyuan3D 메시를 가져오며, 각각 자체 라이선스가 있습니다. 상용 라이선스는 NVIDIA가 공개하는 부분만 포괄하며 그 주변은 포함하지 않습니다.

또한 리그 마이그레이션도 계획해야 합니다. 연구용 라인은 SMPL 포즈와 형상을 회귀하고, 상용 체크포인트는 Native Momentum Human Rig 파라미터를 출력합니다. 연구용 텐서를 기준으로 통합 코드를 작성했다면, 상용 카드의 출력 형태는 바로 대체 가능한 형태가 아닙니다.

두 가지가 함께 구성되는 지점, 그리고 그것이 흥미로운 부분인 이유

다음은 어느 벤더도 광고하지 않지만, 피지컬 AI 데이터 파이프라인을 구축하는 사람이라면 누구나 즉시 알아볼 수 있는 연결점입니다.

PAN 2의 인터페이스는 구조화된 캡션입니다. 이벤트는 순서대로, 액션은 액터에 바인딩되고, 카메라 움직임은 1,480토큰 소프트 및 1,536토큰 하드 예산 안에 있습니다. 그 캡션을 수작업으로 생성하는 것은 모델을 사용할 때 가장 지루한 부분이며, 저장소가 프롬프트 재작성 스킬을 제공하는 이유는 바로 자유 텍스트가 이 인터페이스를 견디지 못하기 때문입니다. 이제 Cari4D가 일반 비디오에서 내보내는 것을 생각해 보십시오. 프레임별 사람 포즈, 프레임별 객체 포즈, 그리고 두 개의 손 접촉 로짓 — 세계 상태 캡션이 설명해야 하는 바로 그 대상에 대한 메트릭하고 조밀하며 시간적으로 일관된 기록입니다.

그것이 캡션 생성기입니다. 재구성은 매개변수 공간에서 상호작용의 정답을 제공합니다. 언어 모델은 그 매개변수를 PAN 2가 조건으로 삼는 구조화된 설명으로 바꾸고, 시뮬레이터는 그 상호작용의 변형들을 렌더링합니다. 이를 반복하면 데이터 엔진이 됩니다. 실제 조작 하나를 기록하고, Cari4D로 재구성하고, 캡션을 달고, 촬영할 엄두도 못 냈을 반사실적 변형들 — 다른 물체, 다른 그립, 다른 표면 — 을 생성하는 것입니다. 같은 루프는 평가를 위해 역방향으로도 작동하며, 동일한 리그에서 시뮬레이션된 클립과 재구성된 실제 클립을 비교합니다.

그 루프의 어느 절반도 턴키 방식이 아니다. Cari4D의 상용 카드에는 2,126개의 내부 FORM-HOI 시퀀스로 학습되었고 별도의 테스트 데이터셋은 없으며 평가는 정성적 데모 세트로 이루어진다고 명시되어 있고, 내부 "Daniel" 코퍼스는 배포되지 않는다. 분포 내에서 기존 기법보다 재구성 오차가 38% 낮고 보지 못한 데이터셋에서는 36% 낮다는 대표 정확도 수치는 CVPR 논문에서 나온 것이며 독립적으로 재현되지 않았다. PAN 2는 그 나름대로, 시뮬레이션된 계획 약 세 개 중 두 개에 수행되지 않는 단계가 최소 하나 포함되어 있고, 텍스트 동작은 손재주가 요구되는 접촉을 조악하게만 지정하며, 실패해야 하는 계획을 얼마나 충실히 시뮬레이션하는지는 측정되지 않았다고 인정한다.

그 두 인정을 함께 읽으면 그 구성은 홍보가 아니라 정직하다. 재구성된 상호작용은 알려진 학습 분포를 가진 측정이고, 시뮬레이션된 상호작용은 알려진 단계 하락률을 가진 예측이다. 어느 것도 세계에 대한 진실 자체는 아니다. 둘 다 어느 하나만보다 더 유용하다.

컴퓨팅: 워크스테이션 대 노드

Cari4D는 단일 GPU에서 실행되며, 해당 카드에 따르면 Ampere급 하드웨어에서 검증되었습니다. 배포된 모델은 231M 파라미터이고, 주변의 파운데이션 모델들이 메모리의 대부분을 차지합니다. 이는 연구팀이 클립 폴더를 대상으로 워크스테이션에서 밤새 실행하는 종류의 파이프라인입니다.

PAN 2는 그 설명에 부합하지 않습니다. vLLM 레시피의 핵심 수치는 B300 GPU 4개에서 704×1248 영상 13초를 약 119초에 생성한다는 것이며, 이때 classifier-free guidance는 두 개의 rank에 걸쳐, Ulysses 시퀀스 병렬화는 두 개의 rank에 걸쳐 병렬화됩니다. 문서화된 기본 구성은 BF16의 H200 8개이며 VAE 패치 병렬화는 4개 타일에 걸쳐 이루어집니다. 매 스텝 guidance를 적용하는 50개의 샘플러 스텝은 클립당 29B 트랜스포머를 통과하는 100회의 포워드 패스를 의미하므로, 병렬화는 선택 사항이 아닙니다. 루프에서 반사실(counterfactual)을 생성하는 경우, 루프의 비용은 클립 수와 클립당 비용의 곱이며, 이는 재구성 측 비용을 몇 자릿수나 압도합니다.

그 비대칭성은 모든 하이브리드의 실질적인 계획 전제다. 재구성은 보유한 모든 것에 적용할 수 있을 만큼 저렴하고, 시뮬레이션은 반사실적 시나리오가 결정을 바꾸는 경우에만 실행할 만큼 비싸다.

또다시 플래너 슬롯

두 파이프라인 모두 언어 모델을 포함하고 있으며, 그중 오직 한 슬롯만이 라우팅할 수 있는 범용 부품입니다.

PAN 2의 개념적 추론기는 명시적으로 교체 가능합니다 — IFM은 네 가지를 평가하고 전체 계획 완료율로 순위를 매겼습니다: Claude Opus 5.5, 중간 노력의 GPT-6 Astra, Kimi K3, Qwen3.8-Flash. 네 가지 모두 OrcaRouter 카탈로그에 있으므로 캡션 단계는 자동 장애 조치와 각 제공업체의 정가를 0% 마크업으로 그대로 적용하는 단일 엔드포인트를 통해 실행할 수 있으며, IFM의 작업에서 측정된 순위를 신뢰하는 대신 자체 캡션을 기준으로 플래너를 벤치마크할 수 있습니다. Cari4D의 교정 단계에는 그런 슬롯이 없습니다: CoCoNet은 고정된 231M 네트워크이며, 이를 교체하는 것은 재라우팅이 아니라 재학습을 의미합니다. OrcaRouter는 PAN 2나 Cari4D를 호스팅하지 않으며 둘 다 라우팅할 수 없습니다 — 렌더러와 재구성기는 모두 사용자의 하드웨어에 남습니다.

여기서 라우터에 대해 정직하게 짚자면 범위는 좁습니다. 2단계 파이프라인 중 한 단계는 사용량이 과금되는 API 호출이고 나머지는 그렇지 않습니다. 그래도 가치는 있습니다. 캡션 단계가 프롬프트 민감도가 문제를 일으키는 지점이고, 두 번째 모델을 시도하는 데 학습 실행이 아니라 요청 한 번이 들기 때문입니다.

당신의 문제에 필요한 것은 어느 것입니까?

영상이 있고 파라미터가 필요하다면 — 애니메이션용 모션 캡처, 데이터셋용 접촉 라벨링, 로봇 모방 학습용 미터법 포즈, 기록된 조작에 대한 QC 패스 — 도구는 Cari4D이며 PAN 2는 제공할 것이 없습니다. 평가를 위해 연구 체크포인트로 시작하고, 상용 버전을 선택하기 전에 리그 변경과 제3자 라이선스 비용을 예산에 반영하며, 정확도 수치는 재현된 것이 아니라 동료 검토를 거친 공급업체 주장으로 취급하십시오.

매개변수나 설명이 있고 무슨 일이 일어나는지 확인해야 한다면 — 계획 평가, 반사실적 데이터 생성, 물리 추론 연구, 자신의 행동을 미리 보는 에이전트 — PAN 2가 바로 그 모델이며, 비용은 클립당 멀티 GPU 노드 하나입니다. 이를 기반으로 설계하기 전에 한계를 읽어 보세요: 대부분의 계획에서 한 단계가 누락되고, 긴 클립은 최대 하나의 시작 프레임에서만 시뮬레이션되므로 외관이 흐트러지며, 텍스트는 정교한 접촉을 아주 거칠게만 지정합니다.

두 문제를 모두 안고 있다면 답은 루프이며, 그 루프의 가장 약한 고리는 캡션 계약입니다. Cari4D는 측정값을 제공하고, 언어 모델은 이를 구조화된 설명으로 바꾸며, PAN 2는 대안을 렌더링합니다. 세 구성 요소, 세 라이선스, 하나의 연구 질문 — 이것이 대략 2026년의 월드 모델 위에서 구축하는 일의 모습이며, 그중 어느 둘 사이의 비교가 이들이 어떻게 연결되는지를 보여주는 다이어그램보다 덜 유용한 이유이기도 합니다.