PAN 2 so với Cari4D: Theo dõi một tương tác và dự đoán một tương tác

Cari4D biết một bàn tay đã làm gì với một vật thể. PAN 2 có thể cho bạn thấy một bàn tay sẽ làm gì với một vật thể nếu bạn yêu cầu nó. Đó là hai hướng di chuyển ngược nhau trên cùng một trục, và cho đến khi bạn nói bài toán của mình chạy theo hướng nào, thì so sánh giữa chúng chỉ là một lần tung đồng xu được khoác áo phân tích. Cari4D là dòng tái tạo 4D không phân biệt danh mục của NVIDIA — mô hình CoCoNet theo dõi một video RGB đơn mắt về một người thao tác một vật thể rắn và khôi phục tư thế của họ ở tỉ lệ mét theo từng khung hình, với một checkpoint 231 triệu tham số được cấp phép thương mại trên Hugging Face kể từ ngày 30 tháng 8 năm 2026. PAN 2 là mô hình thế giới trọng số mở 29 tỉ tham số của IFM, được phát hành dưới dạng checkpoint Apache-2.0 vào ngày 7 tháng 10 năm 2026, đi theo hướng ngược lại: đưa nó một khung hình và một hành động được mô tả, và nó kết xuất tối đa hai mươi giây video 704×1248 dự đoán hành động đó tạo ra gì. Một cái đọc. Một cái ghi. Lý do chúng đáng được đặt trên cùng một trang là thứ nối chúng — một mô tả có cấu trúc về việc ai đã làm gì với vật thể nào — chính xác là thứ mà mỗi bên tạo ra hoặc tiêu thụ.

Hai pipeline trông giống nhau mà chẳng có điểm chung nào.

Cari4D không phải là một mạng duy nhất phản hồi video. Đó là một chuỗi các mô hình nền tảng với một giai đoạn hiệu chỉnh đã học ở giữa: UniDepth cho độ sâu theo đơn vị mét, NLF và GENMO cho tư thế người, Hunyuan3D cho lưới đối tượng từ một ảnh duy nhất, FoundationPose cho việc theo dõi, VolumetricSMPL cho mô hình cơ thể dạng trường khoảng cách có dấu. CoCoNet — phần mà NVIDIA phát hành — kết xuất ước lượng người và đối tượng hiện tại thành RGB, độ sâu và mặt nạ, so sánh bản kết xuất đó với quan sát thật thông qua một bộ mã hóa RGB DINOv2 ViT-B/14 và một bộ mã hóa sáu kênh ViT-S/14, chạy hai khối chú ý không gian-thời gian và hồi quy các hiệu chỉnh theo từng khung hình thông qua các đầu MLP.

Chuỗi của PAN 2 chạy theo hướng ngược lại và có một mô hình ngôn ngữ bên trong. Một bộ suy luận khái niệm — bất kỳ mô hình tuân theo chỉ dẫn nào — đọc phần quan sát và các hành động được yêu cầu rồi viết trạng thái thế giới tiếp theo dưới dạng một chú thích có cấu trúc, được neo theo thời gian: các sự kiện theo thứ tự, các hành động gắn với tác nhân, chuyển động camera. Một bộ mã hóa văn bản Qwen3.5-9B đóng băng ánh xạ chú thích đó thành các đặc trưng điều kiện. Một transformer khuếch tán đa phương thức 29B dự đoán các latent video mà chú thích để ngỏ, được điều kiện hóa bởi chú thích đó và bởi latent VAE của khung hình bắt đầu, rồi một bộ giải mã Wan 2.2 kết xuất chúng.

Vậy nên sự tương đồng khiến người ta ghép chúng với nhau là có thật — cả hai đều nói về con người, bàn tay, đồ vật và vật lý của sự tiếp xúc — còn cỗ máy bên dưới thì hoàn toàn không liên quan gì đến nhau.

• Hướng — Cari4D khôi phục tham số từ pixel; PAN 2 tạo pixel từ tham số.

Đầu ra — Cari4D trả về tư thế và hình dạng người theo từng khung hình trên rig MHR, tư thế vật thể theo từng khung hình và hai logit tiếp xúc bàn tay; PAN 2 trả về một tệp MP4.

• Đầu vào — Cari4D nhận một video RGB đơn mắt; PAN 2 nhận một khung hình đầu tiên tùy chọn cùng với chú thích hành động có cấu trúc.

• Kích thước — Cari4D CoCoNet có 231M tham số, được huấn luyện đến bước 200.000; phần xương sống diffusion của PAN 2 là 29B, với một bộ mã hóa văn bản 9B đông lạnh riêng và một VAE Wan 2.2.

• Thang đo mét — {{1}}Tuyên bố cốt lõi của Cari4D là tái tạo theo đơn vị mét từ một camera duy nhất không có cảm biến độ sâu{{/1}}; {{2}}PAN 2 hoàn toàn không có tuyên bố về thang đo mét, và đầu ra của nó là dự đoán chứ không phải phép đo.{{/2}}

• Đánh giá — Các con số của Cari4D đến từ một bài báo CVPR 2026 cùng với tài liệu sản phẩm của nhà cung cấp, trong đó thừa nhận mô hình thương mại không có bộ kiểm thử riêng; các con số của PAN 2 đến từ bộ khung kiểm thử của chính IFM mà không có bản tái lập nào từ bên thứ ba.

Sự khác biệt về giấy phép mới là vấn đề thực tiễn.

Cả hai mô hình đều có thể tải xuống, điều này đã đưa chúng vào một nhóm nhỏ. Những gì bạn có thể làm với chúng khác biệt nhiều hơn so với những gì số lượng tham số của chúng gợi ý.

Mã nguồn và trọng số của chính PAN 2 theo giấy phép Apache-2.0, không bị hạn chế truy cập, gồm 60 tệp và 86,17 gigabyte, với các thành phần bên thứ ba — Wan 2.2, Qwen3.5-9B, Diffusers — theo điều khoản riêng của chúng và không được MBZUAI phân phối lại. Bạn tải nó về, chạy nó, phát hành những gì bạn xây dựng, tuân theo các nghĩa vụ Apache thông thường. Kho lưu trữ `pan2-guardrail` được phát hành riêng với một bộ sàng lọc yêu cầu và một bộ phân loại khung hình; IFM báo cáo rằng nó đã giảm các yêu cầu text-to-video có hại tạo ra đầu ra không an toàn từ 33,9% xuống 1,5%, đồng thời chặn 11,5% yêu cầu text-to-video lành tính và 3,3% yêu cầu image-to-video lành tính, một con số đúng kiểu bạn muốn có trước khi triển khai bất cứ thứ gì tạo ra cảnh quay chân thực.

Vị thế của Cari4D phân mảnh hơn, và điều này khiến các nhóm thu mua gặp khó khăn. Kho nghiên cứu, nvidia/CARI4D, mang NVIDIA License với điều kiện "chỉ dành cho nghiên cứu và phát triển" trên thẻ. Checkpoint thương mại, nvidia/cari4d_commercial, thuộc NVIDIA Open Model Agreement và cho phép sử dụng thương mại — nhưng nó được kiểm soát truy cập, bạn phải chấp nhận điều khoản và chia sẻ thông tin liên hệ trước khi các tệp xuất hiện, và CoCoNet được phát hành không chạy độc lập. Toàn bộ pipeline rộng hơn vẫn kéo các trọng số torchscript NLF, trọng số FoundationPose, tài sản SMPL-H và lưới Hunyuan3D, mỗi thứ có giấy phép riêng. Giấy phép thương mại chỉ bao phủ phần NVIDIA đang phát hành và không bao gồm những gì xung quanh nó.

Ngoài ra còn phải lên kế hoạch cho một cuộc di trú rig. Dòng nghiên cứu hồi quy tư thế và hình dạng SMPL; còn checkpoint thương mại lại xuất ra tham số Native Momentum Human Rig. Nếu bạn đã viết mã tích hợp dựa trên các tensor của bản nghiên cứu, thì hình dạng đầu ra của card thương mại không thể thay thế trực tiếp được.

Nơi hai điều đó kết hợp, và vì sao đó lại là phần thú vị

Đây là phép join mà cả hai nhà cung cấp đều không quảng cáo và bất kỳ ai đang xây dựng pipeline dữ liệu AI vật lý cũng sẽ nhận ra ngay lập tức.

Giao diện của PAN 2 là một chú thích có cấu trúc: sự kiện theo thứ tự, hành động gắn với tác nhân, chuyển động camera, nằm trong ngân sách 1.480 token mềm và 1.536 token cứng. Việc tạo ra chú thích đó bằng tay là phần tẻ nhạt nhất khi sử dụng mô hình, và kho lưu trữ cung cấp một kỹ năng prompt-rewriter chính xác là vì văn bản tự do không thể tồn tại qua giao diện. Giờ hãy xem xét những gì Cari4D phát ra từ một video thông thường: tư thế người theo từng khung hình, tư thế vật thể theo từng khung hình, và hai logit tiếp xúc bàn tay — một bản ghi có số đo, dày đặc, nhất quán theo thời gian về đúng thứ mà một chú thích trạng thái thế giới phải mô tả.

Đó là một trình tạo chú thích. Việc tái dựng mang lại cho bạn dữ liệu chuẩn thực của một tương tác trong không gian tham số; một mô hình ngôn ngữ biến những tham số đó thành mô tả có cấu trúc mà PAN 2 dùng làm điều kiện; sau đó trình mô phỏng kết xuất các biến thể của tương tác đó. Lặp lại quy trình này và bạn có một cỗ máy dữ liệu: ghi lại một thao tác thật, tái dựng nó bằng Cari4D, tạo chú thích cho nó, rồi sinh ra các tình huống phản thực — vật thể khác, cách cầm khác, bề mặt khác — mà bạn không bao giờ có đủ khả năng để quay. Vòng lặp tương tự chạy theo chiều ngược lại để đánh giá, so sánh một đoạn clip mô phỏng với một đoạn thật đã được tái dựng trên cùng một giàn thiết bị.

Không nửa nào trong vòng lặp đó là giải pháp sẵn dùng. Thẻ thương mại của Cari4D nêu rằng nó được huấn luyện trên 2.126 chuỗi FORM-HOI nội bộ và rằng không có tập kiểm thử riêng — đánh giá là một bộ demo định tính — và kho ngữ liệu nội bộ “Daniel” không được phân phối. Các con số độ chính xác nổi bật của nó, lỗi tái tạo thấp hơn 38% so với phương pháp trước đó trên phân phối và 36% trên các tập dữ liệu chưa thấy, đến từ bài báo CVPR và chưa được tái tạo độc lập. Về phần mình, PAN 2 thừa nhận rằng khoảng hai trong ba kế hoạch mô phỏng chứa ít nhất một bước không được thực hiện, rằng các hành động văn bản chỉ chỉ định tiếp xúc khéo léo một cách thô, và rằng mức độ trung thực khi nó mô phỏng các kế hoạch đáng lẽ thất bại thì chưa được đo lường.

Đọc hai lời thừa nhận đó cùng nhau và sự kết hợp này là trung thực chứ không phải quảng cáo: một tương tác được tái dựng là một phép đo với phân phối huấn luyện đã biết, và một tương tác được mô phỏng là một dự đoán với tỷ lệ giảm bước đã biết. Cả hai đều không phải là chân lý nền về thế giới. Cả hai đều hữu ích hơn so với từng cái riêng lẻ.

Tính toán: máy trạm so với một nút

Cari4D chạy trên một GPU duy nhất và đã được kiểm chứng trên phần cứng lớp Ampere theo thông tin trên card của nó; mô hình được triển khai có 231M tham số và các mô hình nền xung quanh chiếm phần lớn bộ nhớ. Đó là kiểu pipeline mà một nhóm nghiên cứu chạy trên máy trạm qua đêm với một thư mục chứa các clip.

PAN 2 không khớp với mô tả đó. Điểm nhấn trong recipe vLLM là mười ba giây video 704×1248 trong khoảng 119 giây trên bốn GPU B300, với classifier-free guidance được song song hóa trên hai rank và song song chuỗi Ulysses trên hai; cấu hình mặc định được tài liệu hóa là tám H200 ở BF16 với song song patch VAE trên bốn tile. Năm mươi bước sampler với guidance ở mỗi bước nghĩa là một trăm lượt forward qua một transformer 29B cho mỗi clip, đó là lý do việc song song hóa không phải tùy chọn. Nếu bạn đang tạo counterfactual trong một vòng lặp, chi phí của vòng lặp là tích của số clip và chi phí trên mỗi clip đó, và nó lấn át phía tái tạo theo nhiều bậc độ lớn.

Sự bất đối xứng đó là thực tế lập kế hoạch thực tiễn của bất kỳ hệ lai nào. Tái dựng đủ rẻ để chạy trên mọi thứ bạn có; mô phỏng đủ đắt nên bạn chỉ chạy nó ở nơi một phản thực tế làm thay đổi một quyết định.

Lại là ô lập kế hoạch

Cả hai pipeline đều có một mô hình ngôn ngữ, và chỉ một trong những vị trí đó là thành phần phổ thông mà bạn có thể định tuyến.

Bộ lập luận khái niệm của PAN 2 có thể hoán đổi rõ ràng — IFM đã đánh giá bốn mô hình và xếp hạng chúng theo mức hoàn thành toàn bộ kế hoạch: Claude Opus 5.5, GPT-6 Astra ở mức nỗ lực trung bình, Kimi K3, Qwen3.8-Flash. Cả bốn đều có trong danh mục OrcaRouter, vì vậy giai đoạn tạo chú thích có thể chạy qua một điểm cuối duy nhất với chuyển đổi dự phòng tự động và giá niêm yết của từng nhà cung cấp được chuyển qua với mức chênh lệch 0%, đồng thời bạn có thể đánh giá chuẩn các bộ lập kế hoạch so với chú thích của chính mình thay vì tin vào xếp hạng được đo trên các tác vụ của IFM. Giai đoạn hiệu chỉnh của Cari4D không có vị trí như vậy: CoCoNet là một mạng cố định 231M, và hoán đổi nó nghĩa là huấn luyện lại, không phải định tuyến lại. OrcaRouter không lưu trữ PAN 2 hoặc Cari4D và không thể định tuyến cả hai — trình kết xuất và bộ tái tạo đều nằm trên phần cứng của bạn.

Cách đặt vấn đề trung thực cho router ở đây khá hẹp: một giai đoạn của pipeline hai giai đoạn là một lệnh gọi API tính phí theo lượng dùng, còn phần còn lại thì không. Điều đó vẫn đáng có, vì giai đoạn caption là nơi sự nhạy cảm với prompt gây tác động mạnh và là nơi việc thử một mô hình thứ hai chỉ tốn một yêu cầu thay vì một lượt huấn luyện.

Vấn đề của bạn cần cái nào

Nếu bạn có video và cần thông số — motion capture cho hoạt hình, dán nhãn tiếp xúc cho một bộ dữ liệu, tư thế theo đơn vị mét cho học bắt chước bằng robot, một lượt QC trên dữ liệu thao tác đã ghi — thì Cari4D là công cụ còn PAN 2 không có gì để chào mời. Hãy bắt đầu với checkpoint nghiên cứu để đánh giá, dự trù ngân sách cho việc thay đổi rig và các giấy phép bên thứ ba trước khi bạn chốt bản thương mại, và coi các con số độ chính xác là tuyên bố của nhà cung cấp đã qua bình duyệt chứ không phải là kết quả đã được tái lập.

Nếu bạn có tham số hoặc mô tả và cần xem điều gì sẽ xảy ra — đánh giá kế hoạch, tạo dữ liệu phản thực, nghiên cứu lập luận vật lý, một tác nhân xem trước hành động của nó — thì PAN 2 là mô hình phù hợp, và cái giá phải trả là một node đa GPU cho mỗi clip. Hãy đọc các hạn chế của nó trước khi bạn thiết kế dựa trên nó: một bước bị bỏ qua trong hầu hết các kế hoạch, các clip dài bị trôi dạt về ngoại hình vì mỗi clip chỉ được mô phỏng từ tối đa một khung hình khởi đầu, và văn bản chỉ mô tả tiếp xúc khéo léo một cách thô.

Nếu bạn gặp cả hai vấn đề, câu trả lời là vòng lặp, và mắt xích yếu nhất của vòng lặp là hợp đồng chú thích. Cari4D cung cấp cho bạn phép đo; một mô hình ngôn ngữ biến nó thành mô tả có cấu trúc; PAN 2 kết xuất phương án thay thế. Ba thành phần, ba giấy phép, một câu hỏi nghiên cứu — đại khái đó là việc xây dựng dựa trên các mô hình thế giới của năm 2026 trông như thế nào, và là lý do vì sao so sánh bất kỳ hai thành phần nào trong số đó lại ít hữu ích hơn một sơ đồ về cách chúng kết nối.