Hi3D V1.0 กับ CARI4D: โครงสร้างหลักเดียวกัน แต่เป็นสองคำถามที่แตกต่างกัน

ข้อเท็จจริงที่ช่วยให้เข้าใจชัดเจนที่สุดเกี่ยวกับ Hi3D V1.0 และ CARI4D คือทั้งสองสามารถเรียกใช้ Hunyuan3D-2 ของ Tencent ได้ Hi3D V1.0 ซึ่งเปิดตัวเมื่อวันที่ 23 ตุลาคม 2026 ในฐานะผู้สืบทอดโอเพนซอร์สของ Sparc3D ใช้ตัวปรับ Hunyuan3D-2 mini ในเดโมเพื่อสร้างเมชหยาบแล้วจึงปรับแต่งต่อ CARI4D ซึ่งเป็นการสร้างใหม่ 4D ของปฏิสัมพันธ์ระหว่างมนุษย์กับวัตถุที่ไม่จำกัดหมวดหมู่ของ NVIDIA ใช้ Hunyuan3D-2 เพื่อสร้างเมชของวัตถุใหม่จากเฟรมแรกของวิดีโอก่อนที่จะติดตามว่าวัตถุนั้นเคลื่อนไหวอย่างไร โมเดลเรขาคณิตต้นทางเดียวกัน แต่งานที่แตกต่างกันโดยสิ้นเชิงสองงาน: Hi3D ถามว่าพื้นผิวของวัตถุควรมีลักษณะอย่างไรที่ความละเอียดสูง และ CARI4D ถามว่าบุคคลและวัตถุได้ทำอะไรลงไปเมื่อเวลาผ่านไป

Hunyuan3D-2 อยู่ตรงจุดไหนกันแน่

ควรพูดให้ชัดเจน เพราะว่า “ทั้งคู่ใช้ Hunyuan3D” อาจสื่อถึงความสัมพันธ์ที่ใกล้ชิดกว่าที่มีอยู่จริง

ไลบรารีหลักของ Hi3D ไม่จำเป็นต้องใช้ Hunyuan เลย ไปป์ไลน์การปรับปรุงรายละเอียดจะรับภาพอ้างอิงและเมชหยาบ และ demo/refine_mesh.pyไม่ได้อิมพอร์ตสิ่งใดจาก Tencent เลย อะแดปเตอร์ mini ของ Hunyuan3D-2 อยู่ใน demo/coarse_stage.pyเป็นส่วนเสริมและมีไว้เพื่อให้ผู้ที่มีเพียงภาพสามารถสร้างเมชหยาบที่ตัวปรับปรุงรายละเอียดต้องการได้ โค้ด น้ำหนัก และเอาต์พุตของ Tencent ยังคงอยู่ภายใต้สัญญาอนุญาตของตนเอง และต้องได้รับแยกต่างหาก ในไปป์ไลน์การผลิต Hunyuan เป็นเพียงหนึ่งในต้นทางที่เป็นไปได้ท่ามกลางหลาย ๆ ตัว

การพึ่งพาของ CARI4D เป็นเชิงโครงสร้าง ขั้นตอนการสร้างวัตถุขึ้นใหม่จะนำเฟรมแรกมาแบ่งส่วนวัตถุที่ถูกจัดการ แล้วสร้างเรขาคณิตของวัตถุนั้นขึ้นใหม่ด้วย Hunyuan3D-2 จากนั้นเมชดังกล่าวจะถูกวางในมาตราส่วนเมตริกโดยใช้ UniDepth และการค้นหาแบบหยาบไปจนละเอียดผ่าน FoundationPose ส่วนที่เหลือของไปป์ไลน์ — NLF สำหรับมนุษย์ ขั้นตอนการเลือกสมมติฐานท่าทาง CoCoNet สำหรับการแก้ไขด้วยการเรนเดอร์และเปรียบเทียบ และการปรับให้เหมาะสมร่วมแบบรับรู้การสัมผัส — ขึ้นอยู่กับว่าเมชวัตถุนั้นดีพอที่จะใช้ติดตามเทียบได้

ผลที่ตามมาคือกรอบที่มีประโยชน์สำหรับการเปรียบเทียบนี้ จุดประสงค์ทั้งหมดของ Hi3D คือการแก้ไขรูปทรงเรขาคณิตแบบที่ Hunyuan3D-2 สร้างขึ้น จุดประสงค์ของ CARI4D คือการกู้คืนการเคลื่อนไหว และมันปฏิบัติต่อเมชเป็นอินพุตที่สืบทอดมา โมเดลหนึ่งมุ่งเป้าไปที่จุดอ่อนของอีกโมเดล โดยที่ทั้งสองโครงการไม่ได้ระบุเช่นนั้น

แต่ละโมเดลที่เรียนรู้แล้วมีไว้เพื่ออะไร

องค์ประกอบที่เรียนรู้ของ Hi3D คือ sparse flow ที่กำหนดเงื่อนไขบนคุณลักษณะภาพ ซึ่งนิยามบนพิกัดที่นำมาจาก coarse mesh โดยจะสุ่ม sparse latents ถอดรหัสด้วย self-pruning sparse VAE ดึงพื้นผิวออกมา ทำ voxel ใหม่ แล้วทำซ้ำ สามรอบจะพา structural grid จาก 64³ ไปเป็น 128³ ไปเป็น 192³ และ sparse extraction grid จาก 512³ ไปเป็น 1024³ ไปเป็น 1536³ โดยใช้ 25 scheduler updates ต่อรอบ โมเดลกำลังเรียนรู้รายละเอียดเรขาคณิตเฉพาะจุด: ขอบ โครงสร้างบาง ความต่อเนื่องของพื้นผิว และส่วนที่ตัวสร้างแบบ coarse ทำให้เรียบหายไป

องค์ประกอบที่เรียนรู้ของ CARI4D คือ CoCoNet ซึ่งเป็นเครือข่ายแบบเรนเดอร์แล้วเปรียบเทียบ โดยเรนเดอร์ค่าประมาณปัจจุบันของวัตถุและมนุษย์เป็น RGB, depth และมาสก์ เข้ารหัสภาพเรนเดอร์นั้นด้วย DINOv2 ViT-B/14 และตัวเข้ารหัส XYZ-and-mask แบบหกช่องสัญญาณ ViT-S/14 รัน attention เชิง spazio-temporal และถดถอยการแก้ไขท่าทางต่อเฟรม พร้อม logits การสัมผัสมือสองค่า checkpoint งานวิจัยมี 194M พารามิเตอร์ ส่วนตัวแปร MHR ที่ได้รับอนุญาตเชิงพาณิชย์ซึ่งเผยแพร่เมื่อ 30 สิงหาคม 2026 มี 231M สิ่งที่มันเรียนรู้ไม่ใช่รายละเอียดรูปร่าง แต่เป็นความสัมพันธ์ระหว่างสมมติฐานที่เรนเดอร์แล้วกับเฟรมที่สังเกตได้

สัญญาณการฝึกเหล่านี้แตกต่างกันและรูปแบบความล้มเหลวก็แตกต่างกัน Hi3D สามารถทำให้ภาพเงาที่ผิดพลาดคมชัดขึ้นได้ ส่วน CARI4D สามารถติดตามวัตถุที่มีรูปร่างผิดเพี้ยนได้อย่างแม่นยำตลอดทั้งวิดีโอ แต่ก็ยังให้เมชที่มีคุณภาพต่ำได้ เพราะเมตริกของมันเกี่ยวข้องกับท่าทางและการสัมผัส ไม่ใช่ความเที่ยงตรงของพื้นผิว

อะไรออกมาบ้าง ทีละบรรทัด

• อินพุต — Hi3D V1.0: ภาพอ้างอิงหนึ่งภาพพร้อมเมชหยาบ เทียบกับ CARI4D: วิดีโอ RGB จากกล้องตัวเดียว

• เอาต์พุต — Hi3D V1.0 เป็นเมช trimeshที่มีเฉพาะเรขาคณิต เทียบกับ CARI4D ซึ่งมีท่าทางและรูปร่างมนุษย์รายเฟรม การหมุนและการเลื่อนตำแหน่งของวัตถุ และลอจิตการสัมผัสมือสองค่า

• มาตราส่วน — Hi3D V1.0 ถูกจัดให้อยู่กึ่งกลางใหม่และปรับให้เป็นมาตรฐานโดยให้รัศมีสูงสุดเป็นหนึ่งหน่วย เทียบกับมาตราส่วนเมตริกของ CARI4D ที่กู้คืนผ่าน UniDepth และ FoundationPose

• เท็กซ์เจอร์ — Hi3D V1.0 none เทียบกับ CARI4D none; ระบบจะคืนค่าโพสและการสัมผัส ไม่ใช่แอสเซ็ตที่มีเท็กซ์เจอร์

• การประมวลผล — Hi3D V1.0 วัดผลบน NVIDIA H20 ขนาด 96 GB ไม่มีเส้นทาง CPU ขนาดแบตช์ 1 เทียบกับ CARI4D PyTorch บน NVIDIA Ampere ตรวจสอบความถูกต้องบน A100 พร้อมอิมเมจ Docker

• สัญญาอนุญาต — Hi3D V1.0 ใช้ Hi3D Open License 1.0 โดยอนุญาตให้ใช้เชิงพาณิชย์เมื่อถึงเงื่อนไข 200,000 MAU หรือรายได้ต่อเดือน 1 ล้าน USD เทียบกับ CARI4D ที่ใช้ NVIDIA Open Model Agreement สำหรับเช็กพอยต์เชิงพาณิชย์ขนาด 231M และอนุญาตเฉพาะการวิจัยสำหรับรีลีสขนาด 194M

• หลักฐาน — Hi3D V1.0 ไม่มีการเผยแพร่ benchmark เชิงตัวเลข เมื่อเทียบกับ CARI4D ซึ่งเป็นบทความ CVPR 2026 ที่มีการทดลอง ablation และผลลัพธ์จาก BEHAVE โดยรายงานจากผู้ขายและไม่ได้รับการทำซ้ำอย่างอิสระ

การทดลองที่ไม่มีใครเคยตีพิมพ์

นี่คือองค์ประกอบที่แกนกลางที่ใช้ร่วมกันทำให้เห็นได้ชัดเจน โดยระบุไว้ในฐานะการทดลองมากกว่าคุณสมบัติ

CARI4D สร้างเมชวัตถุของตนขึ้นใหม่จากเฟรมแรกเพียงเฟรมเดียวผ่าน Hunyuan3D-2 Hi3D จะขัดเกลาเมชหยาบชนิดนั้นให้ละเอียดขึ้น โดยใช้ภาพอ้างอิงของวัตถุเดียวกันเป็นเงื่อนไข — และ CARI4D มีภาพดังกล่าว เพราะเฟรมแรกคือภาพอ้างอิง ในหลักการ ไปป์ไลน์หนึ่งสามารถนำภาพเฟรมแรกและเมช Hunyuan ของ CARI4D ไปรัน Hi3D ที่ 1024³ หรือ 1536³ แล้วส่งพื้นผิวที่ขัดเกลาแล้วกลับไปยังขั้นตอนที่วางตำแหน่งและติดตามมัน

ในทางปฏิบัติมีอุปสรรคสี่ประการ และไม่มีสักประการใดที่เล็กเลย

• สเกล Hi3D ทำการจัดตำแหน่งศูนย์กลางเอาต์พุตใหม่และปรับให้เป็นมาตรฐานให้มีรัศมีสูงสุดหนึ่งหน่วย CARI4D ต้องการเมชที่มีสเกลเมตริกเพื่อเริ่มต้น FoundationPose การแปลงกลับไม่ได้ถูกเผยแพร่ และหากทำผิดพลาดจะเปลี่ยนขนาดที่ปรากฏของวัตถุในทุกเฟรม

• โครงสร้าง. Hi3D ปรับโครงสร้างหยาบที่ได้รับให้ละเอียดขึ้น แต่ไม่ได้แก้ไขให้ถูกต้อง หาก Hunyuan3D-2 อ่านโครงสร้างเชิงทอพอโลยีของวัตถุผิดจากเฟรมเดียว Hi3D จะทำให้การอ่านผิดนั้นละเอียดยิ่งขึ้น การเลือกสมมติฐานท่าทางของ CARI4D สามารถรองรับความคลาดเคลื่อนของวัตถุได้บางส่วน — บทความรายงานว่าลด Chamfer distance ของวัตถุจากประมาณ 1,565 cm เหลือ 16.85 cm เมื่อเริ่มต้น — แต่ไม่ใช่ขั้นตอนการซ่อมรูปร่าง

• Runtime: Hi3D ประมวลผลทีละออบเจกต์ สูงสุดสามพาส พาสละ 25 สเต็ป โดยไม่มีการเผยแพร่ค่าความหน่วง ไปป์ไลน์ของ CARI4D เชื่อมต่อ Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet และการปรับให้เหมาะสมร่วมกันอยู่แล้ว การเพิ่มขั้นตอนการรีไฟน์เมนต์ขนาด 96 GB ไว้ด้านหน้าลูปประมวลผลทีละคลิปอาจมีเหตุผลพอรับได้ในโหมดออฟไลน์ แต่เป็นไปไม่ได้ในโหมดโต้ตอบ

• การตรวจสอบความถูกต้อง ยังไม่มีใครเผยแพร่การผสานรวมนี้ ตัวเลขในบทความของ CARI4D วัดความแม่นยำของ pose และการสัมผัส ไม่ได้วัดผลของ mesh วัตถุที่ดีขึ้นต่อตัวเลขเหล่านั้น เป็นไปได้อย่างยิ่งว่าการปรับปรุงให้ละเอียดขึ้นจะทำให้ mesh ดีขึ้นแต่แทบไม่ขยับเมตริกการสร้างใหม่ เพราะการติดตามมีความทนทานต่อรายละเอียดพื้นผิว และยังเป็นไปได้เช่นกันว่า mesh ที่คมชัดขึ้นจะช่วยปรับปรุงคู่สอดคล้องของ FoundationPose จนกว่าจะมีใครรัน ablation ทั้งสองอย่างก็ยังเป็นการคาดเดา

คุณค่าที่แท้จริงของข้อสังเกตนี้ไม่ใช่ “ใช้ทั้งสองอย่างร่วมกัน” แต่คือการที่รีลีสทั้งสองเสริมกัน ณ รอยต่อเฉพาะจุดหนึ่ง และรอยต่อนั้นมีคำถามที่วัดได้ผูกอยู่ ซึ่งไม่มีผู้ขายรายใดตอบไว้

หลักฐานสองประเภท ซึ่งต่างก็ไม่เป็นอิสระต่อกัน

CARI4D ดูเหมือนจะมีหลักฐานรองรับดีกว่า Hi3D และก็เป็นเช่นนั้นจริง แต่ความแตกต่างนั้นเล็กกว่าที่เห็นในตอนแรก CARI4D มีบทความ CVPR 2026 ที่ผ่านการ peer review มี benchmark ที่มีชื่อเรียกเฉพาะ มีการทดลอง ablation และรายงานว่าความคลาดเคลื่อนในการสร้างใหม่ต่ำลง 38% ใน-distribution และ 36% บนข้อมูลที่ไม่เคยเห็น ตัวเลขเหล่านี้เป็นตัวเลขของ NVIDIA จากการประเมินของ NVIDIA เอง ยังไม่มีห้องแล็บที่เป็นกลางใดทำซ้ำผลเหล่านี้ได้ โค้ดและสคริปต์การประเมินเป็นสาธารณะ ซึ่งทำให้การทำซ้ำเป็นไปได้ แต่ยังไม่ได้ทำ

Hi3D ไม่มีเกณฑ์มาตรฐานเชิงตัวเลขใด ๆ เลย ที่เก็บโค้ดเผยแพร่การเปรียบเทียบภาพระหว่างเก้าธรรมเนียมสำหรับเรขาคณิตเฉพาะจุด ข้อกล่าวอ้างเกี่ยวกับขนาดการฝึกที่ประมาณสองล้านแอสเซ็ตที่คัดสรรแล้ว และข้อกล่าวอ้างเรื่องความละเอียดของการสกัดแบบเบาบางที่ 1536³ ข่าวประชาสัมพันธ์เพิ่มอัตราความสำเร็จในการสไลซ์ 90% และข้อกล่าวอ้างว่ามีคะแนนความเที่ยงตรงหลายมุมมองและรายละเอียดสูงที่สุดในการประเมินที่รายงานไว้ โดยไม่ระบุคะแนน ไม่มีค่าฐานเปรียบเทียบ และไม่ระบุชื่อโปรแกรมสไลซ์ โค้ดสำหรับฝึกและชุดเครื่องมือประเมินผลไม่ปรากฏ จึงไม่สามารถสร้างตารางในบทความขึ้นใหม่จากข่าวประชาสัมพันธ์ได้

กล่าวอีกนัยหนึ่ง ทั้งสองกรณีเป็นข้อมูลที่ผู้จำหน่ายรายงานเอง กรณีหนึ่งมีเอกสารวิชาการแนบมา ส่วนอีกกรณีมีข่าวประชาสัมพันธ์ ผู้ซื้อควรถือว่าตราสัญลักษณ์ CVPR เป็นเหตุผลให้พิจารณาระเบียบวิธีอย่างจริงจัง ไม่ใช่สิ่งทดแทนการทดสอบที่เป็นอิสระ

จริง ๆ แล้วคุณมีคำถามอะไร

หากคุณมีวิดีโอของคนกำลังจัดการวัตถุ และคุณจำเป็นต้องรู้ว่ามือ วัตถุ และร่างกายเคลื่อนไหวอย่างไร — ท่าทางในระดับเมตริก จุดสัมผัส ทีละเฟรม — CARI4D คือระบบที่สร้างมาเพื่อสิ่งนี้ และเช็กพอยต์เชิงพาณิชย์ทำให้สามารถนำไปใช้งานได้ Hi3D ไม่สามารถตอบคำถามนั้นได้เลย มันไม่มีโมเดลเชิงเวลา ไม่มีเอาต์พุตท่าทาง และไม่มีการอนุมานการสัมผัส

หากคุณมีภาพอ้างอิงและเมชหยาบ และต้องการแอสเซตแบบสแตติกที่คมชัดกว่า Hi3D คือเครื่องมือที่ตรงจุด CARI4D ก็ไม่สามารถตอบคำถามนั้นได้เช่นกัน: เมชวัตถุของมันเป็นผลพลอยได้จากไปป์ไลน์การติดตาม ถูกสร้างขึ้นด้วยความละเอียดเท่าที่ Hunyuan3D-2 ให้ได้จากเฟรมเดียว และมันแสดงท่าทางแทนที่จะเป็นพื้นผิวที่ผ่านการขัดเกลาให้ละเอียด

หากคุณกำลังสร้างคอมโพสิต — ไปป์ไลน์การสร้างใหม่ที่เรขาคณิตของวัตถุเป็นจุดอ่อน — สิ่งที่น่าสนใจคือการทดสอบว่าการปรับแต่งของ Hi3D ช่วยพัฒนาเมตริกปลายน้ำของ CARI4D หรือไม่ นั่นคือคำถามวิจัยที่มีการทดลองชัดเจนและยังไม่มีคำตอบที่เผยแพร่ ตั้งงบสำหรับการแปลงสเกลและ GPU ก่อนที่คุณจะตั้งงบสำหรับบทความ

เลเยอร์ที่ล้อมรอบทั้งสอง

โมเดลทั้งสองไม่ได้ให้บริการผ่าน OrcaRouter และทั้งคู่ก็ไม่ใช่โมเดลภาษา แคตตาล็อกประกอบด้วยข้อความ ภาพ วีดีโอ embedding และเสียง ส่วนการสร้างแบบจำลอง 3D จะทำบนฮาร์ดแวร์ของคุณเอง อย่างไรก็ตาม การเรียกใช้ที่อยู่รอบ ๆ การสร้างแบบจำลองนั้นเป็นการเรียกใช้โมเดล ได้แก่ การใส่คำบรรยายให้เฟรมแรก การอธิบายวัตถุสำหรับระเบียนแอสเซ็ต หรือการตัดสินว่าภาพเรนเดอร์ที่ขัดเกลาแล้วยังตรงกับภาพอ้างอิงจากสามมุมหรือไม่

ข้อสุดท้ายเหมาะกับการหลอมรวมโมเดลมาก แทนที่จะเชื่อความเห็นของโมเดลวิชันเพียงตัวเดียวว่าเมชที่ปรับแต่งแล้วนั้นตรงตามต้นฉบับ ให้ส่งการเปรียบเทียบแบบหลายมุมมองชุดเดียวกันไปยังกลุ่มโมเดล แล้วให้คำตอบของแต่ละโมเดลถูกรวมเข้าด้วยกัน OrcaRouter เปิดให้ใช้ fusion และโมเดลแต่ละตัวมากกว่า 200 โมเดลผ่าน API เดียว โดยราคาตามรายการของผู้ให้บริการถูกส่งต่อโดยมีมาร์กอัป 0% และสลับไปใช้ตัวสำรองอัตโนมัติหากผู้ให้บริการรายใดรายหนึ่งมีประสิทธิภาพลดลง เรขาคณิตยังคงอยู่บน GPU ของคุณ ส่วนการประเมินรอบ ๆ เรขาคณิตนั้นสามารถทำซ้ำซ้อนได้โดยไม่ต้องมีค่าใช้จ่ายสูงในการเชื่อมต่อ

อะไรจะยุติเรื่องนี้ได้

การทำ ablation เพียงครั้งเดียวจะให้ผลมากกว่าการเปรียบเทียบสเปกไม่ว่าจะมากเพียงใด: ใช้ลำดับ BEHAVE หนึ่งลำดับ ปรับแต่ง mesh ของวัตถุด้วย Hi3D ที่ 1024³ ย้อนการทำ normalization และรายงานเมตริก pose และ contact เทียบกับ baseline ที่ยังไม่ปรับแต่ง หากตัวเลขขยับ backbone ที่ใช้ร่วมกันก็กลายเป็นไปป์ไลน์ หากไม่ขยับ คุณค่าของ Hi3D ก็ยังอยู่ตรงจุดที่แข็งแกร่งที่สุด — ในฐานะเครื่องมือ geometry แบบ standalone สำหรับผู้ที่มี coarse mesh อยู่แล้ว

จนกว่าการทดลองนั้นจะมีอยู่จริง การแบ่งที่สมเหตุสมผลก็ง่ายมาก Hi3D V1.0 เป็นตัวปรับแต่งเรขาคณิตที่มีน้ำหนักแบบเปิดและไม่มีเบนช์มาร์ก CARI4D เป็นตัวสร้างการเคลื่อนไหวขึ้นใหม่ที่มีเปเปอร์และเช็กพอยต์เชิงพาณิชย์ ทั้งสองมาบรรจบกันที่ Hunyuan3D-2 และไม่มีตัวใดเป็นสิ่งทดแทนอีกตัวหนึ่ง