Genie 4 กับ CARI4D: ตัวหนึ่งสร้างโลก อีกตัวแก้โจทย์วิดีโอ

สิ่งเดียวที่ Genie 4 และ CARI4Dมีร่วมกันอย่างแน่นอนก็คือป้ายชื่อ Genie 4 ซึ่ง Google DeepMind ประกาศเมื่อวันที่ 27 ตุลาคม 2026 เป็นโมเดลโลกเชิงสร้างสรรค์: คุณอธิบายฉาก กำกับทิศทางด้วยภาษาธรรมชาติ และมันสร้างวิดีโอพร้อมเสียงที่ซิงโครไนซ์กันยาวประมาณสองสามนาที CARI4D วิธีการรีคอนสตรัคชัน CVPR 2026 ของ NVIDIA Research ทำงานในทิศทางตรงกันข้าม มันรับวิดีโอจากกล้องตัวเดียวของบุคคลที่กำลังจัดการวัตถุ แล้วคืนค่าท่าทางของบุคคลนั้น วิถีการเคลื่อนที่แบบหกองศาอิสระของวัตถุ และคะแนนการสัมผัสมือสองค่าในทุกเฟรม ตัวหนึ่งประดิษฐ์โลกที่สมเหตุสมผล อีกตัววัดโลกจริง เมื่อวางทั้งสองไว้ในหน้าเดียวกัน คำถามที่มีประโยชน์ก็ไม่ใช่ "อันไหนดีกว่า" อีกต่อไป แต่กลายเป็น "ปัญหาของฉันกำลังมุ่งไปในทิศทางใด"

ความสับสนนี้เป็นเรื่องที่เข้าใจได้ เพราะผลิตภัณฑ์ทั้งสองถูกจัดอยู่ในหมวด "4D" และทั้งคู่ต่างสร้างผลลัพธ์บางอย่างที่เคลื่อนที่ไปตามกาลเวลา แต่ตัวสร้าง (generator) และวิธีการสร้างใหม่ (reconstruction method) ไม่ใช่การนำไปใช้งานที่แข่งขันกันของงานเดียวกัน พวกมันล้มเหลวในแบบที่ตรงกันข้าม และถูกซื้อโดยคนละกลุ่มผู้ซื้อ Genie 4 สามารถประดิษฐ์ถนนที่ดูน่าเชื่อถือซึ่งไม่เคยมีอยู่จริง และไม่สามารถบอกคุณได้ว่าสิ่งใดในถนนนั้นอยู่ที่ตำแหน่งใดจริง ๆ CARI4D สามารถบอกคุณได้แม่นถึงระดับเฟรมว่ามือกำรอบกาต้มน้ำอย่างไร และไม่สามารถประดิษฐ์กาต้มน้ำที่มันไม่เคยเห็นได้ ด้านล่างนี้ โมเดลทั้งสองถูกแยกความแตกต่างด้วยสิ่งที่โมเดลแต่ละตัวรับเข้ามา สิ่งที่ส่งกลับคืนมา และสิ่งที่แต่ละโมเดลไม่สามารถทำได้โดยโครงสร้างของมัน

Genie 4 ส่งคืนอะไร: เซสชัน ไม่ใช่ไฟล์ฉาก

สิ่งแรกที่ต้องเข้าใจเกี่ยวกับ Genie 4 คือผลลัพธ์ของมันถูกใช้งานแบบเรียลไทม์ และไม่ได้คงอยู่หลังจบเซสชันในฐานะเรขาคณิต คำอธิบายของ Google เองระบุว่าเป็นโลกที่คุณตั้งให้เคลื่อนไหวและบังคับทิศทางได้: ขยับกล้อง เปลี่ยนสภาพอากาศ เพิ่มตัวละคร และโมเดล Gemini จะปรับคำสั่งให้เข้ากับสิ่งที่อยู่บนหน้าจออยู่แล้ว เฟรมต่าง ๆ ถูกสร้างแบบ autoregressive ซึ่งเป็นเหตุผลว่าความสอดคล้องจึงวัดกันเป็นวินาทีและนาที มากกว่าความซับซ้อนของฉาก

สิ่งที่เพิ่มเข้ามาเหนือ Genie 3 คือสิ่งที่ทุกพาดหัวข่าวหยิบยกขึ้นมา เสียงถูกสร้างขึ้นโดยตรง — ทั้งเสียงรอบข้าง ดนตรี และบทสนทนาโต้ตอบ — แทนที่จะนำมาเติมทีหลัง การควบคุมเกิดขึ้นแบบเรียลไทม์ แทนที่จะเป็นการใช้พรอมต์ที่เริ่มโลกใหม่ และมีรายงานว่าหน้าต่างความสอดคล้องอยู่ที่ประมาณสองนาที ซึ่งเป็นสองเท่าของรุ่นก่อน แม้ว่าบล็อกของ Google จะระบุเพียง “เซสชันสั้น ๆ” และตัวเลขสองนาทีนั้นมาจากการบรีฟเปิดตัว

สิ่งที่ขาดหายไปก็สำคัญไม่แพ้กัน ไม่มีการส่งออก mesh ไม่มี scene graph ไม่มีแทร็กกล้อง ไม่มี depth buffer และไม่มีวิธีนำโลกที่สร้างขึ้นไปใช้ใน Blender, Unity หรือ Unreal สตูดิโอที่ต้องการบล็อกช็อตสามารถดู Genie 4 ทำสิ่งนั้นได้ แต่ไม่สามารถส่งผลลัพธ์ให้ไปป์ไลน์ได้ ยังไม่มีการเผยแพร่ความละเอียด อัตราเฟรม ขนาดโมเดล benchmark หรือราคา และการเข้าถึงถูกจำกัดอยู่ในกลุ่มผู้ทดสอบที่เชื่อถือได้จำนวนจำกัดซึ่งมีรายการรอแบบสาธารณะ — ผู้ใช้บริการ AI Ultra ผ่าน Project Genie และพาร์ตเนอร์ early-access ของ Gemini API ได้รับคำสัญญาว่า "เร็ว ๆ นี้" โดยไม่มีกำหนดวันที่

Google ระบุรูปแบบความผิดพลาดไว้ ซึ่งมากกว่าที่โพสต์เปิดตัวส่วนใหญ่ทำ: รายละเอียดและความคงอยู่ของวัตถุจะคลาดเคลื่อนในเซสชันที่ยาวขึ้นและหลังการแก้ไขซ้ำ ๆ ความแม่นยำเชิงพื้นที่ยังไม่สมบูรณ์ ข้อความภายในฉากมักอ่านไม่ออก และความแม่นยำของเสียงยังแก้ไม่ตก ผลลัพธ์ทั้งหมดมีลายน้ำ SynthID กำกับ สำหรับเครื่องมือพรีวิชวลไลเซชัน ข้อจำกัดเหล่านั้นยังพอรับได้ แต่สำหรับสิ่งใดก็ตามที่ต้องใช้การวัดค่า ข้อจำกัดเหล่านี้ทำให้ใช้ไม่ได้

สิ่งที่ CARI4D ส่งคืน: ท่าทาง วิถีการเคลื่อนที่ และการสัมผัส

CARI4D เป็นไปป์ไลน์ ไม่ใช่เครือข่ายเดียว และเอาต์พุตของมันถูกจำกัดอย่างตั้งใจ เมื่อได้รับวิดีโอ RGB จากกล้องตัวเดียว ระบบจะสร้างมนุษย์ขึ้นใหม่ด้วยแบบจำลองร่างกายแบบพารามิเตอร์ สร้างเมชของวัตถุที่ถูกจัดการจากเฟรมแรก วางทั้งสองอย่างในมาตราส่วนเมตริก และติดตามทั้งสองตลอดลำดับ องค์ประกอบที่เรียนรู้ซึ่งทำหน้าที่แก้ไขคือ CoCoNet ซึ่งเป็นทรานส์ฟอร์เมอร์แบบเรนเดอร์แล้วเปรียบเทียบ ที่รับค่าประมาณปัจจุบัน เรนเดอร์ค่าดังกล่าวเป็น RGB ความลึก และมาสก์ แล้วทำการรีเกรสชันการแก้ไขท่ารายเฟรม พร้อมลอจิกการสัมผัสหนึ่งค่าต่อมือแต่ละข้าง

การพึ่งพาต่างๆ ถูกระบุไว้อย่างชัดเจนในรีโพซิทอรี: UniDepth สำหรับความลึกแบบเมตริก, NLF สำหรับโพสมนุษย์, Hunyuan3D สำหรับเมชของวัตถุ, FoundationPose สำหรับการค้นหาและติดตามโพส และ CoCoNet สำหรับพาสการแก้ไข สิ่งนี้สำคัญเมื่อคุณจัดงบประมาณการดีพลอย เพราะแต่ละตัวเป็นเช็กพอยต์แยกต่างหากที่มีไลเซนส์ของตัวเองและโปรไฟล์ฮาร์ดแวร์ของตัวเอง

CARI4D มาในสองรูปแบบ โดยเช็กพอยต์สำหรับงานวิจัย nvidia/CARI4D ถูกระบุว่าใช้เพื่อการวิจัยและพัฒนาเท่านั้น และมีลิงก์ไปยัง arXiv 2512.11988 ซึ่งเผยแพร่เมื่อวันที่ 12 ธันวาคม 2025 ส่วนรูปแบบเชิงพาณิชย์ cari4d_commercial ครอบคลุม Momentum Human Rig ของ NVIDIA และอยู่ภายใต้ข้อตกลง NVIDIA Open Model Agreement ทั้งสองรูปแบบไม่ถูก deploy โดยผู้ให้บริการ inference รายใดบน Hugging Face ดังนั้น "available" จึงหมายถึง weights พร้อมการตั้งค่า Docker และ NVIDIA GPU ไม่ใช่ endpoint ไม่มีแถวบน leaderboard สาธารณะและการทำซ้ำโดยอิสระ หลักฐานเชิงตัวเลขคือ ablation ของงานวิจัย CVPR เองบน BEHAVE ซึ่งเป็นการวิจัยที่ผู้ผลิตจัดทำขึ้น

การเปรียบเทียบ ทีละมิติ

• อินพุต — Genie 4 รับคำอธิบายเป็นข้อความพร้อมคำสั่งบังคับทิศทางแบบเรียลไทม์; CARI4D รับวิดีโอ RGB แบบกล้องเดี่ยวที่มีอยู่แล้ว

• เอาต์พุต — Genie 4 ส่งคืนวิดีโอและเสียงที่สร้างขึ้น ซึ่งสตรีมภายในเซสชัน; CARI4D ส่งคืนท่าทางและรูปร่างของมนุษย์รายเฟรม การหมุนและการเลื่อนตำแหน่งของวัตถุ และลอจิตต์การสัมผัสมือ

• การยึดโยงกับข้อมูลจริง — Genie 4 ดูสมเหตุสมผลแต่ไม่มีการยึดโยงกับข้อมูลจริง ไม่มีสิ่งใดในเอาต์พุตที่สอดคล้องกับพิกัดที่วัดได้ CARI4D เป็นแบบเมตริก โดยฟื้นคืนมาตราส่วนผ่านการประมาณความลึกและการค้นหา pose เทียบกับเฟรมที่สังเกตได้

• ความคงอยู่ของข้อมูล — โลกของ Genie 4 สิ้นสุดลงเมื่อเซสชันสิ้นสุด และไม่สามารถส่งออกได้ ผลลัพธ์ของ CARI4D คือโครงสร้างข้อมูลที่คุณสามารถจัดเก็บ เรนเดอร์ใหม่ และเปรียบเทียบได้

• เสียง — Genie 4 สร้างเสียงได้ รวมถึงบทสนทนา ส่วน CARI4D ไม่มีเสียงและไม่ได้จำลองเสียง

• การเข้าถึง — Genie 4 เป็นแบบเฉพาะผู้ได้รับเชิญและไม่มีราคา; CARI4D เป็นน้ำหนักโมเดลที่ดาวน์โหลดได้ภายใต้ใบอนุญาตเพื่อการวิจัย และมีเวอร์ชันเชิงพาณิชย์ภายใต้ข้อตกลงของ NVIDIA

• หลักฐาน — Genie 4 มีเดโมและคำกล่าวอ้างจากผู้จำหน่าย แต่ไม่มีผลการทดสอบมาตรฐานที่เผยแพร่ ส่วน CARI4D มีบทความที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญ การทดสอบแบบจำลองเฉพาะส่วนที่ผู้จำหน่ายดำเนินการเอง และไม่มีการทำซ้ำโดยบุคคลที่สาม

ความทับซ้อนที่มีอยู่ และความทับซ้อนที่ไม่มีอยู่

องค์ประกอบที่ชวนให้ทำตามคือการใช้ CARI4D เพื่อสร้างปฏิสัมพันธ์จริงขึ้นใหม่ แล้วใช้ Genie 4 เพื่อจินตนาการถึงรูปแบบต่าง ๆ ของมัน ในทางทฤษฎี การส่งต่อดูเป็นธรรมชาติ: CARI4D สร้างฉากมนุษย์–วัตถุที่มีมาตราวัดที่แม่นยำ และ Genie 4 สร้างผลลัพธ์ทางเลือก ในทางปฏิบัติกลับไม่มีอินเทอร์เฟซระหว่างกัน Genie 4 รับข้อความและอินพุตสำหรับกำกับทิศทาง ไม่ใช่ฉากที่สร้างขึ้นใหม่ เมช หรือแทร็กท่าทาง ไม่มีสิ่งใดที่ทีมใดทีมหนึ่งเผยแพร่ซึ่งอธิบายการป้อนผลลัพธ์จากตัวหนึ่งเข้าไปยังอีกตัวหนึ่ง และข้อเท็จจริงที่ว่าผลลัพธ์ทั้งสองดูเป็นสามมิติในภาพหน้าจอไม่ได้ทำให้รูปแบบของทั้งสองเข้ากันได้

ความทับซ้อนที่มีอยู่จริงนั้นแคบกว่าและมีประโยชน์มากกว่า: ทั้งคู่เป็นเครื่องมือสำหรับให้เหตุผลเกี่ยวกับสิ่งที่จะเกิดขึ้นต่อไปในฉากทางกายภาพ CARI4D ให้พลวัตที่สังเกตได้ — การสัมผัส การจับ และวิถีการเคลื่อนที่ — ซึ่งเป็นสัญญาณแบบที่ไปป์ไลน์การเรียนรู้ของหุ่นยนต์ต้องการเพื่อติดป้ายกำกับตัวอย่างการสาธิต Genie 4 ให้สถานการณ์สมมติแบบสวนทาง ซึ่งเป็นสิ่งที่ นโยบาย ต้องการเพื่อซ้อมสถานการณ์ที่ยังไม่เคยบันทึกไว้ ห้องปฏิบัติการที่สร้างข้อมูลแบบ embodied อาจใช้ทั้งสองอย่างได้อย่างสมเหตุสมผล ในด้านที่แตกต่างกันของชุดข้อมูลเดียวกัน โดยที่ไม่มีโมเดลใดสื่อสารกับอีกโมเดลเลย

รูปแบบความล้มเหลวของทั้งสองก็เป็นภาพสะท้อนของกันและกันเช่นกัน Genie 4 สามารถเรนเดอร์วัตถุที่ผิดให้ออกมาสวยงามได้ และค่อย ๆ เบี่ยงเบนออกไปจากวัตถุนั้นในช่วงสองนาที ส่วน CARI4D สามารถติดตามวัตถุที่มีรูปร่างผิดเพี้ยนได้อย่างแม่นยำตลอดทั้งวิดีโอ แต่ก็ยังส่งมอบ mesh ที่แย่ให้คุณ เพราะเมตริกของมันวัดเรื่อง pose และการสัมผัส มากกว่าความเที่ยงตรงของพื้นผิว ไม่มีโมเดลใดที่แก้จุดอ่อนของอีกโมเดลได้

สิ่งที่คุณรันได้จริง ๆ ในสัปดาห์นี้

CARI4D คือตัวที่มีเส้นทางสู่การนำไปใช้งานจริง ค่าเวตต์เป็นแบบสาธารณะ มี Docker image อยู่แล้ว และเป้าหมายที่ระบุไว้ในเอกสารคือ GPU ระดับ A100 มันยังเป็นไปป์ไลน์งานวิจัยที่ต้องอ่านเปเปอร์และต้องประกอบเช็กพอยต์ภายนอกหลายตัว แต่ทีมที่มีฮาร์ดแวร์ก็สามารถเริ่มรันได้ภายในสัปดาห์นี้ ส่วน Genie 4 คือตัวที่มีรายชื่อรอ

การพูดตรง ๆ เกี่ยวกับแคตตาล็อกของเราเองเป็นเรื่องที่ควรทำ: OrcaRouter ไม่ได้โฮสต์โมเดลทั้งสองตัวนี้เลย CARI4D เป็นไปป์ไลน์การสร้างใหม่เพื่อการวิจัยที่ไม่มีปลายทางแบบโฮสต์อยู่ที่ไหนเลย และ Genie 4 ก็ไม่มี API สาธารณะให้จัดเส้นทาง สิ่งที่เราจัดเส้นทางให้คือส่วนหนึ่งของเลเยอร์การให้เหตุผลที่ Google สร้างขึ้นรอบ ๆ Genie 4 — Gemini 3.8 Flash ซึ่งเป็นโมเดลที่คอยดูเฟรมที่ถูกสร้างขึ้นแล้ววางแผนใหม่ และ Gemini Robotics ER 1.6 preview — ผ่าน API เดียวครอบคลุมกว่า 200 โมเดล โดยส่งผ่านราคาตามรายการของผู้ให้บริการในอัตรากำไร 0% พร้อมการสลับไปยังผู้ให้บริการรายอื่นอัตโนมัติเมื่อเกิดข้อขัดข้อง หากงานจริงของคุณคือการถามคำถามเกี่ยวกับวิดีโอ ไม่ใช่การสร้างใหม่หรือสร้างวิดีโอขึ้นมา โมเดลมัลติโมดัลแบบโฮสต์คือคำตอบที่ประหยัดกว่า และไม่จำเป็นต้องมีคำเชิญ

สำหรับคนอื่นๆ การตัดสินใจแต่ละเรื่องเหลือเพียงประโยคเดียว หากวิดีโอมีอยู่แล้วและคุณต้องรู้ว่าคนกับวัตถุนั้นทำอะไร CARI4D คือตัวเดียวในสองตัวเลือกที่ตอบคำถามนี้ได้ หากโลกนั้นยังไม่มีอยู่และคุณต้องเห็นมันเคลื่อนไหว Genie 4 คือตัวเดียวที่จะแสดงให้คุณเห็น — เมื่อมีคนอนุญาตให้คุณเข้าไป