PAN 2 กับ Cari4D: การสังเกตปฏิสัมพันธ์ และการคาดการณ์หนึ่งรายการ

Cari4D รู้ว่ามือหนึ่งทำอะไรกับวัตถุหนึ่ง PAN 2 สามารถแสดงให้คุณเห็นว่ามือหนึ่งจะทำอะไรกับวัตถุหนึ่งหากคุณขอให้มันทำ ทั้งสองเป็นทิศทางการเดินทางที่ตรงข้ามกันบนแกนเดียวกัน และจนกว่าคุณจะระบุว่าปัญหาของคุณวิ่งไปในทิศทางใด การเปรียบเทียบระหว่างทั้งสองก็เป็นเพียงการโยนเหรียญที่แต่งตัวเป็นบทวิเคราะห์ Cari4D คือสายงานการสร้างใหม่แบบ 4D ที่ไม่จำกัดหมวดหมู่ของ NVIDIA — โมเดล CoCoNet ที่เฝ้าดูวิดีโอ RGB แบบตาเดียวของคนหนึ่งคนที่จัดการวัตถุแข็งหนึ่งชิ้น และฟื้นคืนท่าทางในระดับสเกลเมตริกของพวกเขาทีละเฟรม โดยมีเช็กพอยต์ขนาด 231 ล้านพารามิเตอร์ที่ได้รับอนุญาตเชิงพาณิชย์อยู่บน Hugging Face ตั้งแต่วันที่ 30 สิงหาคม 2026 PAN 2 คือโมเดลโลกแบบเปิดน้ำหนักขนาด 29 พันล้านพารามิเตอร์ของ IFM ซึ่งเปิดตัวเป็นเช็กพอยต์ Apache-2.0 เมื่อวันที่ 7 ตุลาคม 2026 และไปในทิศทางตรงกันข้าม: ป้อนเฟรมและคำอธิบายการกระทำให้มัน แล้วมันจะเรนเดอร์วิดีโอขนาด 704×1248 ได้นานสูงสุดยี่สิบวินาทีโดยทำนายว่าการกระทำนั้นก่อให้เกิดอะไร ตัวหนึ่งอ่าน อีกตัวหนึ่งเขียน เหตุผลที่ทั้งสองควรถูกวางไว้ในหน้าเดียวกันคือ อาร์ติแฟกต์ที่เชื่อมโยงทั้งสองเข้าไว้ด้วยกัน — คำอธิบายแบบมีโครงสร้างว่าใครทำอะไรกับวัตถุใด — คือสิ่งที่แต่ละตัวผลิตขึ้นหรือบริโภคพอดี

สองไปป์ไลน์ที่ดูคล้ายกันแต่ไม่มีอะไรเกี่ยวข้องกันเลย

Cari4D ไม่ใช่เครือข่ายเดียวที่ตอบสนองต่อวิดีโอ แต่เป็นห่วงโซ่ของ foundation models ที่มีขั้นตอนการแก้ไขที่เรียนรู้ได้อยู่ตรงกลาง: UniDepth สำหรับ metric depth, NLF และ GENMO สำหรับท่าทางมนุษย์, Hunyuan3D สำหรับ mesh ของวัตถุจากภาพเพียงภาพเดียว, FoundationPose สำหรับการติดตาม และ VolumetricSMPL สำหรับโมเดลร่างกายแบบ signed-distance CoCoNet — ส่วนที่ NVIDIA เปิดตัว — เรนเดอร์ค่าประมาณมนุษย์และวัตถุในปัจจุบันออกเป็น RGB, depth และมาสก์ เปรียบเทียบภาพเรนเดอร์นั้นกับการสังเกตจริงผ่านตัวเข้ารหัส RGB DINOv2 ViT-B/14 และตัวเข้ารหัสหกช่องสัญญาณ ViT-S/14 รันบล็อก attention เชิงพื้นที่-เวลา 2 บล็อก และทำ regression การแก้ไขรายเฟรมผ่าน MLP heads

เชนของ PAN 2 ทำงานในทิศทางตรงกันข้าม และมีโมเดลภาษาอยู่ภายใน ตัวให้เหตุผลเชิงแนวคิด — โมเดลใดก็ตามที่ทำตามคำสั่ง — อ่านข้อสังเกตและการกระทำที่ร้องขอ แล้วเขียนสถานะของโลกถัดไปเป็นคำบรรยายที่มีโครงสร้างและยึดโยงกับเวลา ได้แก่ เหตุการณ์ตามลำดับ การกระทำที่ผูกกับผู้กระทำ และการเคลื่อนกล้อง ตัวเข้ารหัสข้อความ Qwen3.5-9B ที่ถูกแช่แข็งจะแมปคำบรรยายนั้นเป็นฟีเจอร์กำหนดเงื่อนไข ทรานส์ฟอร์เมอร์แบบดิฟฟิวชันหลายรูปแบบขนาด 29B จะทำนายแลเทนต์วิดีโอที่คำบรรยายยังเปิดไว้ โดยมีเงื่อนไขจากคำบรรยายนั้นและจากแลเทนต์ VAE ของเฟรมเริ่มต้น และตัวถอดรหัส Wan 2.2 จะเรนเดอร์แลเทนต์เหล่านั้น

ดังนั้นความคล้ายคลึงที่ทำให้ผู้คนนำทั้งสองมาจับคู่กันจึงเป็นเรื่องจริง — ทั้งสองเกี่ยวข้องกับมนุษย์ มือ วัตถุ และฟิสิกส์ของการสัมผัส — และกลไกที่อยู่เบื้องหลังนั้นไม่มีความเกี่ยวข้องกันเลย

• ทิศทาง — Cari4D เรียกคืนพารามิเตอร์จากพิกเซล ส่วน PAN 2 สร้างพิกเซลจากพารามิเตอร์

• เอาต์พุต — Cari4D ส่งคืนท่าทางและรูปร่างมนุษย์แบบรายเฟรมบนริก MHR ท่าทางวัตถุแบบรายเฟรม และลอจิตการสัมผัสมือสองค่า; PAN 2 ส่งคืนไฟล์ MP4

• อินพุต — Cari4D รับวิดีโอ RGB แบบโมโนคิวลาร์หนึ่งรายการ; PAN 2 รับเฟรมแรกแบบไม่บังคับพร้อมแคปชันการกระทำแบบมีโครงสร้าง

• ขนาด — Cari4D CoCoNet มีพารามิเตอร์ 231M ฝึกจนถึงสเต็ป 200,000; แบ็กโบนแบบ diffusion ของ PAN 2 มีขนาด 29B พร้อมตัวเข้ารหัสข้อความแบบแช่แข็งแยกต่างหากขนาด 9B และ Wan 2.2 VAE

• มาตราส่วนเมตริก — ข้ออ้างหลักของ Cari4D คือการสร้างแบบจำลองสามมิติแบบเมตริกจากกล้องตัวเดียวโดยไม่มีเซนเซอร์วัดความลึก ส่วน PAN 2 ไม่มีข้ออ้างเรื่องเมตริกเลย และผลลัพธ์ของมันเป็นการคาดการณ์มากกว่าการวัด

• การประเมิน — ตัวเลขของ Cari4D มาจากบทความ CVPR 2026 บวกกับการ์ดข้อมูลผู้ขายที่ยอมรับว่าโมเดลเชิงพาณิชย์ไม่มีชุดทดสอบแยกต่างหาก; ส่วนตัวเลขของ PAN 2 มาจากฮาร์เนสของ IFM เอง โดยไม่มีการทำซ้ำจากบุคคลที่สาม

ความแตกต่างด้านใบอนุญาตคือความแตกต่างในทางปฏิบัติ

ทั้งสองโมเดลสามารถดาวน์โหลดได้ ซึ่งทำให้ทั้งคู่อยู่ในกลุ่มเล็กๆ อยู่แล้ว สิ่งที่คุณทำได้กับทั้งสองโมเดลนั้นแตกต่างกันมากกว่าที่จำนวนพารามิเตอร์จะบ่งบอก

โค้ดและเวตของ PAN 2 เองอยู่ภายใต้ Apache-2.0 แบบไม่มีการกั้นการเข้าถึง มีหกสิบไฟล์และ 86.17 กิกะไบต์ พร้อมคอมโพเนนต์จากบุคคลที่สาม — Wan 2.2, Qwen3.5-9B, Diffusers — ภายใต้ข้อกำหนดของตนเองและไม่ได้ถูกแจกจ่ายต่อโดย MBZUAI คุณดาวน์โหลด รัน และนำสิ่งที่คุณสร้างไปเผยแพร่ได้ ภายใต้ข้อผูกพัน Apache ตามปกติ รีโพซิทอรี `pan2-guardrail` เผยแพร่แยกต่างหากพร้อมตัวคัดกรองคำขอและตัวจำแนกเฟรม; IFM รายงานว่ามันลดคำขอแปลงข้อความเป็นวิดีโอที่เป็นอันตรายซึ่งสร้างเอาต์พุตที่ไม่ปลอดภัยจาก 33.9% เหลือ 1.5% ขณะที่หยุดคำขอแปลงข้อความเป็นวิดีโอที่ไม่เป็นอันตราย 11.5% และคำขอแปลงภาพเป็นวิดีโอที่ไม่เป็นอันตราย 3.3% ซึ่งเป็นตัวเลขแบบที่คุณต้องการก่อนติดตั้งใช้งานสิ่งใดก็ตามที่สร้างฟุตเทจสมจริง

สถานะของ Cari4D กระจัดกระจายมากกว่า และเรื่องนี้ทำให้ทีมจัดซื้อจัดจ้างยุ่งยาก รีโพซิทอรีงานวิจัยnvidia/CARI4D มี NVIDIA License พร้อมข้อความ “เพื่อการวิจัยและพัฒนาเท่านั้น” บนการ์ดโมเดล เช็กพอยต์เชิงพาณิชย์nvidia/cari4d_commercial อยู่ภายใต้ NVIDIA Open Model Agreement และอนุญาตให้ใช้เชิงพาณิชย์ — แต่ถูกจำกัดการเข้าถึง คุณต้องยอมรับข้อกำหนดและแบ่งปันข้อมูลติดต่อก่อนที่ไฟล์จะปรากฏ และ CoCoNet ที่เผยแพร่ไม่สามารถทำงานได้โดยลำพัง ไปป์ไลน์ที่กว้างขึ้นยังดึงเวต NLF torchscript เวต FoundationPose แอสเซต SMPL-H และเมช Hunyuan3D ซึ่งแต่ละอย่างมีสัญญาอนุญาตของตัวเอง สัญญาอนุญาตเชิงพาณิชย์ครอบคลุมเฉพาะส่วนที่ NVIDIA กำลังเผยแพร่ และไม่ครอบคลุมสิ่งอื่นรอบ ๆ

ยังมีเรื่องการย้าย rig ที่ต้องวางแผนด้วย ไลน์วิจัยทำ regression ของท่าและรูปร่าง SMPL ส่วน checkpoint เชิงพาณิชย์ส่งออกพารามิเตอร์ Native Momentum Human Rig หากคุณเขียนโค้ดอินทิเกรตโดยอิงกับเทนเซอร์จากงานวิจัย รูปร่างเอาต์พุตของการ์ดเชิงพาณิชย์ไม่ใช่สิ่งที่ใช้แทนกันได้แบบ drop-in

จุดที่ทั้งสองอย่างประกอบเข้าด้วยกัน และเหตุใดนั่นจึงเป็นส่วนที่น่าสนใจ

นี่คือการ join ที่ผู้จำหน่ายทั้งสองรายไม่ได้โฆษณา และทุกคนที่สร้างไปป์ไลน์ข้อมูล physical-AI จะรู้จักทันที

อินเทอร์เฟซของ PAN 2 คือคำบรรยายแบบมีโครงสร้าง: เหตุการณ์เรียงตามลำดับ การกระทำที่ผูกโยงกับผู้แสดง การเคลื่อนที่ของกล้อง ภายใต้งบประมาณ 1,480 โทเค็นแบบซอฟต์และ 1,536 แบบฮาร์ด การสร้างคำบรรยายนั้นด้วยมือเป็นส่วนที่น่าเบื่อที่สุดเพียงอย่างเดียวของการใช้โมเดล และรีโพซิทอรีมาพร้อมสกิล prompt-rewriter ก็เพราะข้อความอิสระไม่สามารถผ่านอินเทอร์เฟซไปได้ ตอนนี้ลองพิจารณาสิ่งที่ Cari4D ส่งออกมาจากวิดีโอทั่วไป: ท่าทางมนุษย์รายเฟรม ท่าทางวัตถุรายเฟรม และ logits การสัมผัสมือสองค่า — บันทึกแบบเมตริกที่หนาแน่นและสอดคล้องตามเวลา ของสิ่งที่คำบรรยายสถานะโลกถูกออกแบบมาให้อธิบายอย่างตรงเป้า

นี่คือตัวสร้างคำบรรยาย การสร้างใหม่จะให้ค่าความจริงพื้นฐาน (ground truth) ของปฏิสัมพันธ์ในปริภูมิพารามิเตอร์แก่คุณ โมเดลภาษาจะแปลงพารามิเตอร์เหล่านั้นเป็นคำอธิบายแบบมีโครงสร้างที่ PAN 2 ใช้เป็นเงื่อนไข จากนั้นตัวจำลองจะเรนเดอร์รูปแบบต่าง ๆ ของปฏิสัมพันธ์นั้น วนลูปแล้วคุณจะได้เครื่องยนต์ข้อมูล: บันทึกการจัดการจริงหนึ่งครั้ง สร้างใหม่ด้วย Cari4D เขียนคำบรรยายให้มัน แล้วสร้างเคาน์เตอร์แฟกชวล — วัตถุต่างกัน การจับต่างกัน พื้นผิวต่างกัน — ที่คุณไม่มีทางมีงบถ่ายทำได้ ลูปเดียวกันนี้ทำงานย้อนกลับสำหรับการประเมิน โดยเปรียบเทียบคลิปจำลองกับคลิปจริงที่สร้างใหม่บนริกเดียวกัน

ครึ่งทั้งสองของลูปนั้นไม่ใช่โซลูชันสำเร็จรูปพร้อมใช้ การ์ดเชิงพาณิชย์ของ Cari4D ระบุว่าได้รับการฝึกบนลำดับ FORM-HOI ภายในจำนวน 2,126 ลำดับ และไม่มีชุดข้อมูลทดสอบแยกต่างหาก — การประเมินเป็นชุดสาธิตเชิงคุณภาพ — และคลังข้อมูล "Daniel" ภายในไม่ได้ถูกเผยแพร่ ตัวเลขความแม่นยำหลักของมัน ซึ่งระบุว่ามีข้อผิดพลาดในการสร้างใหม่ต่ำกว่างานก่อนหน้า 38% สำหรับข้อมูลแบบ in-distribution และ 36% สำหรับชุดข้อมูลที่ไม่เคยเห็น มาจากบทความ CVPR และยังไม่ได้รับการทำซ้ำอย่างอิสระ ส่วน PAN 2 ยอมรับว่าแผนจำลองประมาณสองในสามมีอย่างน้อยหนึ่งขั้นตอนที่ไม่ถูกดำเนินการ ว่าการกระทำแบบข้อความระบุการสัมผัสที่ต้องใช้ความคล่องแคล่วเพียงระดับหยาบ ๆ และว่าการจำลองแผนซึ่งควรล้มเหลวมีความแม่นยำเพียงใดนั้นยังไม่ได้ถูกวัด

อ่านคำยอมรับทั้งสองข้อนี้ควบคู่กัน แล้วจะเห็นว่าการประกอบกันนี้ตรงไปตรงมาแทนที่จะเป็นเชิงโปรโมต: ปฏิสัมพันธ์ที่สร้างขึ้นใหม่คือการวัดที่มีการทราบการแจกแจงของการฝึก และปฏิสัมพันธ์ที่จำลองขึ้นคือการคาดการณ์ที่มีการทราบอัตราการหลุดของขั้นตอน ทั้งสองอย่างไม่ใช่ความจริงพื้นฐานเกี่ยวกับโลก ทั้งคู่มีประโยชน์มากกว่าการใช้อย่างใดอย่างหนึ่งเพียงลำพัง

การประมวลผล: เวิร์กสเตชันเทียบกับโหนด

{{1}}Cari4D{{/1}} ทำงานบน GPU เดียว และได้รับการตรวจสอบความถูกต้องบนฮาร์ดแวร์ระดับ Ampere ตามการ์ดของมัน; โมเดลที่ติดตั้งใช้งานมี 231M พารามิเตอร์ และโมเดลพื้นฐานที่อยู่โดยรอบเป็นส่วนหลักของหน่วยความจำ มันเป็นไปป์ไลน์แบบที่ทีมวิจัยรันบนเวิร์กสเตชันข้ามคืนกับโฟลเดอร์คลิป

PAN 2 ไม่ตรงกับคำอธิบายนั้น พาดหัวของสูตร vLLM คือวิดีโอ 704×1248 ความยาวสิบสามวินาทีในเวลาประมาณ 119 วินาทีบน GPU B300 สี่ตัว โดยมี classifier-free guidance ที่ทำขนานข้ามสอง rank และ Ulysses sequence parallelism ข้ามสอง rank; ค่าเริ่มต้นที่เอกสารระบุคือ H200 แปดตัวใน BF16 พร้อม VAE patch parallelism ครอบคลุมสี่ไทล์ ขั้นตอน sampler ห้าสิบขั้นพร้อม guidance ในทุกขั้นหมายถึง forward pass หนึ่งร้อยครั้งผ่าน transformer ขนาด 29B ต่อคลิป ซึ่งเป็นเหตุผลว่าทำไม parallelism จึงไม่ใช่ตัวเลือกเสริม หากคุณสร้าง counterfactual ในลูป ต้นทุนของลูปคือผลคูณของจำนวนคลิปกับค่าใช้จ่ายต่อคลิปนั้น และมันใหญ่กว่าฝั่ง reconstruction หลายลำดับขนาด

ความไม่สมมาตรนั้นคือข้อเท็จจริงเชิงปฏิบัติในการวางแผนของระบบไฮบริดใด ๆ การสร้างใหม่นั้นถูกพอที่จะรันกับทุกสิ่งที่มีอยู่ ส่วนการจำลองนั้นแพงพอที่จะรันเฉพาะจุดที่สถานการณ์สมมติแบบตรงกันข้ามเปลี่ยนแปลงการตัดสินใจเท่านั้น

ช่องแพลนเนอร์อีกแล้ว

ไปป์ไลน์ทั้งสองมีโมเดลภาษาอยู่ภายใน และมีเพียงช่องเดียวในนั้นที่เป็นสินค้าโภคภัณฑ์ซึ่งคุณสามารถกำหนดเส้นทางได้

ตัวให้เหตุผลเชิงแนวคิดของ PAN 2 สามารถสลับเปลี่ยนกันได้อย่างชัดเจน — IFM ประเมินสี่ตัวและจัดอันดับตามการทำแผนให้เสร็จสมบูรณ์: Claude Opus 5.5, GPT-6 Astra ที่ระดับความพยายามปานกลาง, Kimi K3, Qwen3.8-Flash ทั้งสี่ตัวอยู่ในแคตตาล็อกของ OrcaRouter ดังนั้นขั้นตอนการสร้างคำบรรยายจึงสามารถทำงานผ่านปลายทางเดียวพร้อมการสลับสำรองอัตโนมัติ และราคาตามรายการของผู้ให้บริการแต่ละรายถูกส่งต่อโดยบวกกำไร 0% และคุณสามารถทดสอบประสิทธิภาพตัววางแผนเทียบกับคำบรรยายของคุณเอง แทนที่จะเชื่อการจัดอันดับที่วัดจากงานของ IFM ขั้นตอนการแก้ไขของ Cari4D ไม่มีช่องแบบนั้น: CoCoNet เป็นเครือข่ายขนาด 231M แบบตายตัว และการสลับมันหมายถึงการฝึกใหม่ ไม่ใช่การเปลี่ยนเส้นทาง OrcaRouter ไม่ได้โฮสต์ PAN 2 หรือ Cari4D และไม่สามารถกำหนดเส้นทางให้ทั้งคู่ได้ — ทั้งตัวเรนเดอร์และตัวสร้างใหม่ยังคงอยู่บนฮาร์ดแวร์ของคุณ

การวางกรอบอย่างซื่อตรงสำหรับเราเตอร์ตรงนี้แคบ: หนึ่งขั้นของไปป์ไลน์สองขั้นเป็นการเรียก API แบบคิดค่าตามปริมาณ และส่วนที่เหลือไม่ใช่ แบบนั้นก็ยังคุ้มค่าที่จะมีไว้ เพราะขั้นแคปชันเป็นจุดที่ความไวต่อพรอมต์กัดกิน และเป็นจุดที่การลองโมเดลที่สองมีค่าใช้จ่ายเป็นหนึ่งคำขอแทนที่จะเป็นการรันเทรน

ปัญหาของคุณต้องการอันไหน

หากคุณมีวิดีโอและต้องการพารามิเตอร์ — ไม่ว่าจะเป็นโมชันแคปเจอร์สำหรับแอนิเมชัน การติดป้ายข้อมูลการสัมผัสสำหรับชุดข้อมูล ท่าทางเชิงเมตริกสำหรับการเรียนรู้แบบเลียนแบบของหุ่นยนต์ หรือรอบตรวจสอบคุณภาพของงานหยิบจับที่บันทึกไว้ — Cari4D คือเครื่องมือที่คุณต้องการ และ PAN 2 ไม่มีอะไรจะเสนอ เริ่มจากเช็กพอยต์งานวิจัยเพื่อประเมิน เตรียมงบประมาณสำหรับการเปลี่ยนชุดอุปกรณ์และใบอนุญาตจากบุคคลที่สามก่อนที่คุณจะตัดสินใจเลือกเวอร์ชันเชิงพาณิชย์ และมองตัวเลขความแม่นยำเป็นข้อกล่าวอ้างของผู้ขายที่ผ่านการตรวจทานโดยผู้เชี่ยวชาญ ไม่ใช่ค่าที่ทำซ้ำได้เอง

หากคุณมีพารามิเตอร์หรือคำอธิบายและต้องการดูว่าจะเกิดอะไรขึ้น — การประเมินแผน การสร้างข้อมูลแบบสวนทางข้อเท็จจริง การวิจัยการให้เหตุผลเชิงกายภาพ หรือเอเจนต์ที่แสดงตัวอย่างการกระทำของตนเองล่วงหน้า — PAN 2 คือโมเดลนั้น และค่าใช้จ่ายคือโหนดหลาย GPU ต่อหนึ่งคลิป อ่านข้อจำกัดของมันก่อนที่คุณจะออกแบบโดยอิงกับมัน: ในแผนส่วนใหญ่จะมีขั้นตอนหนึ่งถูกตัดออก คลิปยาวจะเบี่ยงเบนไปในด้านรูปลักษณ์เพราะแต่ละคลิปถูกจำลองจากเฟรมเริ่มต้นได้อย่างมากเพียงหนึ่งเฟรม และข้อความระบุการสัมผัสที่ต้องใช้ความคล่องแคล่วได้เพียงระดับหยาบ ๆ เท่านั้น

หากคุณมีปัญหาทั้งสองอย่าง คำตอบคือลูป และจุดอ่อนที่สุดของลูปคือสัญญาว่าด้วยคำบรรยาย Cari4D ให้การวัดแก่คุณ โมเดลภาษาเปลี่ยนให้เป็นคำอธิบายที่มีโครงสร้าง PAN 2 เรนเดอร์ทางเลือก สามองค์ประกอบ สามสัญญาอนุญาต หนึ่งคำถามวิจัย — ซึ่งประมาณได้ว่าการต่อยอดจากเวิลด์โมเดลปี 2026 มีหน้าตาอย่างไร และเป็นเหตุผลว่าทำไมการเปรียบเทียบระหว่างสองตัวใด ๆ ในนั้นจึงมีประโยชน์น้อยกว่าแผนภาพว่าพวกมันเชื่อมโยงกันอย่างไร