PAN 2 กับ Odyssey 3: เวิลด์โมเดลเดียวในที่นี้ที่มีป้ายราคา ยังเปิดเผยตัวเลขที่แย่ที่สุดของตัวเองด้วย

ข้อกล่าวอ้างสองข้อเกี่ยวกับการให้เหตุผลเชิงกายภาพ ซึ่งเผยแพร่ห่างกันสามสัปดาห์ และความแตกต่างระหว่างสองข้อนี้ไม่ได้อยู่ที่คะแนน PAN 2 คือแบบจำลองโลกแบบโอเพนเวตขนาด 29,000 ล้านพารามิเตอร์ของ Institute of Foundation Models — น้ำหนักโมเดลภายใต้สัญญาอนุญาต Apache-2.0 เผยแพร่เมื่อวันที่ 7 ตุลาคม 2026 โค้ดเผยแพร่เมื่อวันที่ 5 พฤศจิกายน และการรองรับ vLLM-Omni ตั้งแต่ Day-0 เมื่อวันที่ 10 พฤศจิกายน — ซึ่งเรนเดอร์วิดีโอความละเอียด 704×1248 ได้นานสูงสุดยี่สิบวินาทีที่ 24 เฟรมต่อวินาที จากเฟรมตั้งต้นและคำอธิบายการกระทำ Odyssey 3 คือทรานส์ฟอร์เมอร์แบบดิฟฟิวชันออโตรีเกรสซีฟขนาดประมาณ 14,000 ล้านพารามิเตอร์จาก Odyssey เปิดตัวเป็นพรีวิวสำหรับการวิจัยฟรีเมื่อวันที่ 8 ตุลาคม 2026 ในราคาประมาณ $0.139 ต่อวิดีโอที่สร้างขึ้นในระดับพื้นฐาน และ $0.267 ในระดับ Pro ตัวหนึ่งเป็นเช็กพอยต์ที่ดาวน์โหลดได้โดยไม่มีราคา อีกตัวเป็นผลิตภัณฑ์ที่คิดค่าบริการตามการใช้งานโดยไม่มีน้ำหนักโมเดล และเหตุผลที่การจับคู่นี้คุ้มค่ากับบทความมากกว่าหนึ่งย่อหน้าคือ ตัวที่ต้องจ่ายเงินได้เผยแพร่ข้อแม้เกี่ยวกับการทดสอบประสิทธิภาพซึ่งห้องปฏิบัติการส่วนใหญ่คงเก็บงำไว้ ขณะที่ตัวที่ให้ฟรีไม่เคยถูกทดสอบประสิทธิภาพโดยใครเลยแม้แต่รายเดียว

การกลับทิศนั้นแหละคือส่วนที่มีประโยชน์ สัญชาตญาณคือการอ่าน "open weights" ว่า "โปร่งใสกว่า" และ "commercial API" ว่า "เป็นการตลาดมากกว่า" แต่ในกรณีนี้มันกลับกัน และการเข้าใจว่าทำไมจึงบอกอะไรคุณได้มากกว่าเกี่ยวกับการประเมิน world models ในปี 2026 มากกว่าตำแหน่งใด ๆ บน leaderboard

สิ่งที่ Odyssey เผยแพร่ รวมถึงส่วนที่ทำให้เสียคะแนนหนึ่งคะแนน

Odyssey 3 Pro รายงานผล 66.1 บน Physics-IQ Verified ซึ่งเป็นเบนช์มาร์กการให้เหตุผลเชิงฟิสิกส์แบบวิดีโอต่อวิดีโอ และเรียกผลนี้ว่าล้ำสมัยที่สุด ส่วนที่น่าสนใจคือวิธีการเบื้องหลังตัวเลขนั้น: มันมาจากการรันเพียงครั้งเดียวโดยใช้การเลือกผลที่ดีที่สุดจากแปดครั้ง ขณะที่กฎของเบนช์มาร์กเองกำหนดให้รันสี่ครั้งพร้อมรายงานค่าเบี่ยงเบนมาตรฐาน หากไม่มีการเลือก ค่าเฉลี่ยจากการรันสี่ครั้งอยู่ที่ 63.37

ตัวเลขทั้งสองเป็นของ Odyssey ช่องว่าง 2.73 จุดระหว่างสองค่านี้คือราคาที่ต้องจ่ายสำหรับการเลือกตัวอย่างที่ดีที่สุดจากแปดตัวอย่างแล้วเรียกมันว่าคะแนน และการที่ตัวเลขทั้งสองปรากฏต่อสาธารณะก็เป็นความโปร่งใสมากกว่าที่หมวดหมู่นี้มักมีให้ เมื่อใช้ตัววัดของเบนช์มาร์กเองสำหรับการปรับปรุงสุทธิเทียบกับค่าเฉลี่ยของแทร็ก Odyssey 3 Pro อยู่ในอันดับสองที่ +11.15 เปอร์เซ็นต์พอยต์ ตามหลัง FLUX 3 [large] ที่ +12.27 ใน WorldMark ซึ่งเป็นการประเมินของ Odyssey เอง ได้อันดับหนึ่งในสามจากสี่หมวดหมู่ — 77.2 บุคคลที่หนึ่งแบบสไตไลซ์, 79.0 บุคคลที่สามแบบสมจริง, 76.3 บุคคลที่สามแบบสไตไลซ์ — และอยู่อันดับสามในหมวดบุคคลที่หนึ่งแบบสมจริงที่ 80.6 ตามหลัง Lyra 2.0 ที่ 84.4 และ AlayaWorld ที่ 83.0

อ่านตัวเลขเหล่านั้นในแบบที่ผู้ซื้อควรอ่าน แล้วจะมีสามสิ่งตามมา ประการแรก โมเดลแข่งขันได้จริง: การเป็นอันดับสองในตัวชี้วัดการปรับปรุงของเบนช์มาร์กเองไม่ใช่ผลจากศิลปะการตลาด ประการที่สอง มันไม่ได้ชนะในหมวดหมู่ที่มันถูกทำการตลาด และการประเมินของมันเองก็บอกเช่นนั้นในหนึ่งในสี่แทร็ก ประการที่สาม และเป็นประโยชน์ที่สุด ความเต็มใจของผู้ขายที่จะเผยแพร่ตัวเลขที่คัดเลือกมาแล้วกับค่าเฉลี่ยที่ไม่ได้คัดเลือกวางเคียงกัน เป็นสัญญาณเกี่ยวกับวิธีอ่านทุกอย่างอื่นที่พวกเขาเผยแพร่

ตอนนี้ลองใช้มุมมองเดียวกันกับ PAN 2. IFM เผยแพร่การประเมินไว้มากกว่าการเปิดตัวโมเดลวิดีโอส่วนใหญ่พอสมควร — เคสการกระทำเดี่ยว 300 เคสในหกหมวดความสามารถ; งานหลายขั้นตอนแบบ ego-centric 100 งานที่ตั้งโจทย์ทั้งสองแบบ พร้อมพรอมต์ 200 รายการและ 456 ขั้นตอน ให้คะแนนจากการทำแต่ละขั้นตอนสำเร็จและการทำแผนทั้งหมดสำเร็จ across สาม seed; Physics-IQ Verified ในโหมดภาพเป็นวิดีโอที่ปรับมาตรฐานให้ความแปรปรวนระหว่างการถ่ายจริงสองครั้งมีค่าเท่ากับ 100; PhyGround บนมาตรา 5 ระดับที่ตัดสินโดย Qwen3.8-27B; RBench เป็นค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักจากหมวดงานห้าประเภทและหมวด embodiment สี่ประเภท; และการศึกษาเปรียบเทียบแบบ pairwise ในมนุษย์แบบ blind บนพรอมต์ 140 รายการ โดยผู้ตรวจสอบ 13 คนสร้างการเปรียบเทียบ 1,400 ครั้ง ค่า Elo ปรับด้วย Bradley–Terry และมีศูนย์กลางที่ 1500. สิ่งที่ IFM ไม่ได้เผยแพร่คือข้อควรระวังเรื่องการคัดเลือก เพราะเท่าที่การ์ดแสดง ไม่มีอะไรให้คัดเลือกตั้งแต่แรก: ตัวเลขเหล่านั้นถูกรายงานเป็นเอาต์พุตของ harness.

ทั้งคู่ยังไม่ผ่านการตรวจสอบ มีเพียงตัวเดียวเท่านั้นที่นำไปเปรียบเทียบกับสิ่งอื่นได้ เพราะ Odyssey รันการทดสอบมาตรฐานแบบสาธารณะ ส่วนตัวเลขหลักของ PAN 2 มาจากชุดทดสอบส่วนตัว ความแตกต่างนี้ — การทดสอบมาตรฐานกับชุดทดสอบ — มีค่ามากกว่าตัวคะแนนเสียอีก

สองผลิตภัณฑ์ สองแบบของความฝืด

ราคาคือจุดที่การเปรียบเทียบนั้นง่ายที่สุดที่จะพูดออกมา และยากที่สุดที่จะลงมือทำ

• ราคาต่อหน่วย — Odyssey 3 อยู่ที่ประมาณ $0.139 ต่อวิดีโอที่สร้างที่ 832×480 ในระดับพื้นฐาน และประมาณ $0.267 ที่ 1280×720 ใน Pro; PAN 2 ไม่มีราคาต่อหน่วยเพราะไม่มีบริการแบบโฮสต์ มีเพียงน้ำหนักโมเดลและค่าใช้จ่าย GPU

• ต้นทุนที่แท้จริง — {{1}}ราคาของ Odyssey 3 คือต้นทุนทั้งหมดของคลิปหนึ่งคลิป ส่วนราคาของ PAN 2 คือตัวเครื่อง:{{/1}} วิดีโอ 704×1248 ความยาว 13 วินาทีใช้เวลาประมาณ 119 วินาทีบน B300 จำนวนสี่เครื่อง โดยมี H200 จำนวนแปดเครื่องใน BF16 เป็นค่าเริ่มต้นตามที่ระบุในเอกสาร

• อุปสรรคในการเข้าถึง — {{1}}Odyssey 3{{/1}} มีเดโมเบราว์เซอร์ฟรีที่ใครก็เปิดได้ และการเข้าถึง API ผ่านแบบฟอร์มติดต่อ โดยไม่มีคีย์แบบบริการตนเองและไม่มีตารางอัตราค่าบริการเผยแพร่; {{2}}PAN 2{{/2}} มีขนาด 86.17 กิกะไบต์ กระจายอยู่ในหกสิบไฟล์ภายใต้ Apache-2.0 ไม่มีข้อจำกัดการเข้าถึง ไม่ต้องติดต่อพูดคุยกับใคร

• น้ำหนักโมเดล — Odyssey 3 ไม่เผยแพร่เลยและไม่มีสัญญาอนุญาตให้อ่าน ส่วนของ PAN 2 เป็น Apache-2.0 โดยไม่มีข้อกำหนดการระบุแหล่งที่มา ไม่มีเกณฑ์จำนวนผู้ใช้ และไม่มีข้อจำกัดด้านขอบเขตการใช้งาน

• {{1}}ความเร็วในฮาร์เนส{{/1}} — Odyssey 3 ทำงานที่ 16 เฟรมต่อวินาทีที่ 832×480 โดยถูกกลั่นให้เหลือเพียงไม่กี่ขั้นตอนเพื่อให้ผู้ใช้สามารถควบคุมได้แบบเรียลไทม์; PAN 2 ทำงานที่ 24 เฟรมต่อวินาทีตลอดห้าสิบขั้นตอนของตัวสุ่มตัวอย่างที่ค่ากำกับ 2.5

เมื่อนำห้าบรรทัดนั้นมารวมกัน จะเห็นได้ว่าผลิตภัณฑ์ทั้งสองมุ่งเป้าไปที่ผู้ซื้อที่แตกต่างกัน Odyssey 3 ตั้งราคาไว้สำหรับคนที่ต้องการคลิปและไม่อยากเป็นเจ้าของดาต้าเซ็นเตอร์ — ทีมคอนเทนต์ กลุ่มวิจัยที่รันการสร้างผลลัพธ์ไม่กี่พันครั้ง ใครก็ตามที่มีเศรษฐศาสตร์ต่อหน่วยคิดเป็นต่อผลลัพธ์ PAN 2 ตั้งราคาไว้สำหรับคนที่มีโหนดอยู่แล้ว เพราะสำหรับคนอื่น ๆ การที่ไลเซนส์ฟรีคือสิ่งสำคัญน้อยที่สุดเกี่ยวกับผลิตภัณฑ์นี้

ตัวเลขที่หายไปของทั้งสองฝ่ายคือตัวเลขเดียวกัน และมันไม่ใช่ราคา ผู้ขายทั้งสองรายไม่เผยแพร่อัตราความสำเร็จของสิ่งที่ผู้ซื้อสนใจจริง ๆ Odyssey ได้รันนโยบายการขับขี่ แขนหุ่นยนต์ และหุ่นยนต์ฮิวแมนนอยด์ภายในโลกที่มันสร้างขึ้น และรายละเอียดของการสาธิตเหล่านั้นก็ควรค่าแก่การอ่านอย่างละเอียด — แต่ตัวเลขที่ผู้ซื้อต้องการไม่มีอยู่ในนั้นเลย: ไม่มีอัตราความสำเร็จในภารกิจบนถนน ไม่มีค่าฐานเทียบกับการฝึกในโลกจริง และไม่มีการทดลอง ablation ที่แสดงว่าส่วนใดของโลกที่สร้างขึ้นเป็นตัวทำให้งานสำเร็จ

ตัวเลขที่เทียบได้ของ PAN 2 แย่กว่าและเปิดเผยต่อสาธารณะ การ์ดโมเดลของมันระบุว่าประมาณสองในสามของแผนจำลองมีอย่างน้อยหนึ่งขั้นตอนที่ไม่ได้รับการดำเนินการ นั่นเป็นตัวเลขที่เลวร้ายสำหรับใครก็ตามที่หวังจะส่งเอาต์พุตให้หุ่นยนต์ และยังเป็นประโยคที่มีประโยชน์ที่สุดเพียงประโยคเดียวในเอกสารเผยแพร่ทั้งสองฉบับ เพราะมันบอกอัตราความล้มเหลวของสิ่งที่คุณกำลังจะสร้างต่อยอด ผู้ขายที่เผยแพร่อัตราความล้มเหลวสองในสามกับผู้ขายที่ไม่เผยแพร่อัตราเลยไม่ได้ให้ข้อมูลเท่ากัน และรายที่มีตัวเลขแย่คือรายที่คุณวางแผนรับมือได้

แต่ละตัวสร้างอะไรออกมาบ้างจริง ๆ และเหตุใดความแตกต่างจึงเป็นเรื่องระดับสถาปัตยกรรม

Odyssey 3 เป็น autoregressive diffusion transformer ขนาดประมาณ 14,000 ล้านพารามิเตอร์ ฝึกจากวิดีโอบนอินเทอร์เน็ต ฟุตเทจเกมเพลย์ที่มีอินพุตจัดแนวเวลา และการจำลองปฏิสัมพันธ์ของวัตถุแข็ง จากนั้นจึงกลั่นเป็นโมเดลแบบไม่กี่ขั้นตอน เพื่อให้ผู้ใช้สามารถสำรวจผลลัพธ์ได้แบบเรียลไทม์: คุณป้อนพรอมต์สภาพแวดล้อม เคลื่อนที่ผ่านมันในมุมมองบุคคลที่หนึ่งหรือบุคคลที่สามด้วยการควบคุมกล้องอิสระ และกระตุ้นเหตุการณ์ต่าง ๆ ไปพร้อมกัน ระดับต่าง ๆ แตกต่างกันเพียงสิ่งที่คุณมองเห็น — 832×480 ในระดับพื้นฐานที่ประมาณ 0.139 ดอลลาร์ต่อวิดีโอ และ 1280×720 ใน Pro ที่ประมาณ 0.267 ดอลลาร์ — โดยมีเวอร์ชัน Flash อยู่เบื้องหลังเดโมในเบราว์เซอร์ฟรีที่ใครก็เปิดได้โดยไม่ต้องมีบัญชี

PAN 2 เป็นตัวเรนเดอร์แบบแบตช์ที่มีโมเดลภาษาฝังอยู่ภายใน ตัวให้เหตุผลเชิงแนวคิดจะเขียนสถานะโลกถัดไปเป็นคำอธิบายที่มีโครงสร้างและยึดโยงกับเวลา ตัวเข้ารหัสข้อความ Qwen3.5-9B ที่ถูกแช่แข็งจะแปลงสิ่งนั้นเป็นฟีเจอร์สำหรับกำหนดเงื่อนไข ทรานส์ฟอร์เมอร์แบบดิฟฟิวชันขนาด 29B จะเติมรายละเอียดเชิงการรับรู้ และ VAE Wan 2.2 จะถอดรหัสวิดีโอ 20 วินาทีที่ 704×1248 ด้วยอัตรา 24 เฟรมต่อวินาที ไม่มีลูปโต้ตอบ: เรียกหนึ่งครั้ง ได้คลิปหนึ่งคลิป และไม่มีการป้อนกลับภายในระหว่างการเรียกครั้งนั้น สิ่งที่มาแทนคือข้อตกลง — สกิล prompt-rewriter, negative prompt แบบคงที่ และตัวตรวจสอบที่ตรวจแคปชันเทียบกับงบโทเคนของตัวเข้ารหัสที่ 1,480 โทเคนแบบซอฟต์และ 1,536 โทเคนแบบฮาร์ด โดยการ์ดยอมรับว่ากรณีศึกษาเอเจนต์อาศัยพรอมป์ที่ผ่านการปรับแต่งด้วยมือ

ความแตกต่างนั้นเป็นตัวกำหนดว่าทั้งสองเหมาะกับงานแบบไหน มากกว่าที่ราคาจะเป็นตัวกำหนด Odyssey 3 ถูกสร้างมาสำหรับคนที่อยู่ในสภาพแวดล้อมหนึ่ง: สร้าง ดูรอบ ๆ ปรับ แล้วสร้างอีกครั้ง PAN 2 ถูกสร้างมาสำหรับเครื่องที่กำลังถามคำถามว่า: ถ้าฉันทำสิ่งนี้ จะเกิดอะไรขึ้น และผู้ตรวจสอบจะชอบตัวเลือกอื่นมากกว่าหรือไม่ ตัวแซมเปลอร์ถ่ายทอดเจตนาไว้ — แปดขั้นตอนกลั่นสำหรับตัวหนึ่ง ห้าสิบขั้นตอนพร้อมการชี้นำที่ 2.5 ในทุกขั้นตอนสำหรับอีกตัว — และความล้มเหลวที่แต่ละตัวบันทึกไว้ก็เช่นกัน

การสาธิตว่าทั้งสองบริษัทไม่ได้เปลี่ยนให้เป็นการวัด

การเปิดตัวทั้งสองครั้งอาศัยหลักฐานวิดีโอของการที่นโยบายหนึ่งเรียนรู้ภายในโลกที่สร้างขึ้น และไม่มีรายใดเผยแพร่ตัวเลขที่จะทำให้หลักฐานนั้นมีน้ำหนักน่าเชื่อถือได้

Odyssey ฝึก policy การขับขี่โดยใช้ข้อมูลถนนจริงของอินเดียประมาณ 20 ชั่วโมง ด้วย backbone แบบ frozen ภายในโลกที่สร้างขึ้นของตน และยังแสดงแยกต่างหากถึงการควบคุมแขนหุ่นยนต์ที่เรียนรู้จากตัวอย่างสาธิตหลายสิบชั่วโมง ซึ่งรวมถึงพฤติกรรมการกู้คืนที่ไม่มีอยู่ในข้อมูลฝึก, policy หุ่นยนต์ฮิวแมนนอยด์ที่สร้างด้วย Flexion, การนำทางโดรน และ policy ที่ฝึกด้วย GTA V ซึ่งถ่ายโอนไปยัง Red Dead Redemption 2 การถ่ายโอนจากเกมสู่เกมเป็นข้อโต้แย้งที่แข็งแกร่งที่สุดสำหรับ video world model แบบทั่วไปในฐานะ training substrate เพราะถ้า policy เรียนรู้จากภาพวิดีโอของเกมหนึ่งแล้วทำงานได้ในอีกเกมหนึ่ง แบบจำลองก็จับอะไรบางอย่างเกี่ยวกับ dynamics มากกว่าพิกเซล สิ่งที่ยังขาดอยู่คืออัตราความสำเร็จที่เผยแพร่สำหรับงานถนนในอินเดีย, baseline ใด ๆ ที่เทียบกับการฝึกในโลกจริง และ ablation ใด ๆ ที่แสดงว่าส่วนใดของโลกที่สร้างขึ้นมีส่วนทำให้เกิดผลลัพธ์

PAN 2 ไม่มีเดโมเชิงนโยบายแบบนั้น และมีสิ่งที่ Odyssey ไม่มี นั่นคืออัตราความล้มเหลวที่เผยแพร่แล้ว ประมาณสองในสามของแผนจำลองมีอย่างน้อยหนึ่งขั้นตอนที่ไม่ถูกดำเนินการ การ์ดของมันยังยอมรับว่า การจำลองแผนที่ควรล้มเหลวเป็นสิ่งที่ ตามคำของมันเอง ยังไม่ได้วัด ซึ่งสำคัญต่อฐานสำหรับการฝึก เพราะโลกที่แสดงเฉพาะความสำเร็จจะสอนนโยบายว่าทุกอย่างได้ผล

เมื่อนำคำยอมรับทั้งสองข้อนั้นมาเทียบกัน ช่องว่างในหมวดนี้ก็จะปรากฏให้เห็น บริษัทหนึ่งสาธิตการถ่ายโอนแต่ไม่ได้วัดความน่าเชื่อถือ อีกบริษัทหนึ่งวัดโหมดความล้มเหลวแต่ไม่ได้สาธิตการถ่ายโอน ทั้งสองกรณีไม่ใช่การศึกษาที่ผู้ซื้อต้องการ ซึ่งการศึกษาที่ต้องการคือการทดสอบโมเดลทั้งสองบนงานเดียวกัน ด้วยนโยบายเดียวและตัวชี้วัดเดียว และทำซ้ำมากพอจนค่าเบี่ยงเบนมาตรฐานเล็กกว่าช่องว่าง

สิ่งที่เส้นทางการเข้าถึงทำให้คุณต้องเสียไปในรูปของเวลา ไม่ใช่เงิน

จุดติดขัดของ Odyssey 3 คือการต้องพูดคุยกัน มีพรีวิวงานวิจัยสาธารณะให้ใช้ฟรีในเบราว์เซอร์ การเข้าถึง API ผ่านแบบฟอร์มติดต่อ ไม่มีคีย์แบบบริการตนเอง ไม่มีการเผยแพร่ตารางราคาต่อโทเคนหรือต่อคลิป นอกเหนือจากตัวเลขตามระดับแพ็กเกจ ไม่มีเวตแบบเปิด และไม่มีสัญญาอนุญาตให้อ่าน สำหรับทีมที่อยากทดสอบโมเดลเทียบกับภาระงานของตัวเองในบ่ายนี้ นั่นเป็นอุปสรรคคนละแบบกับเรื่องราคา คุณลองเดโมได้ และคุยกับฝ่ายขายได้ แต่ทั้งสองอย่างไม่ได้ทำให้คุณได้ฮาร์เนสที่ทำซ้ำได้

ความฝืดของ PAN 2 คือเรื่องของเครื่องจักร น้ำหนักโมเดลมีขนาด 86.17 กิกะไบต์ กระจายอยู่ในหกสิบไฟล์ภายใต้ Apache-2.0 ไม่มีเกต ไม่ต้องมีการพูดคุยใด ๆ — แล้วคุณก็พบว่าการกำหนดค่าการให้บริการที่ระบุไว้ในเอกสารนั้นเป็นโหนดเดียว ตัวแซมเปลอร์ต้องทำ forward pass หนึ่งร้อยครั้งต่อคลิป และคลิปความยาวยี่สิบวินาทีที่ 704×1248 ก็เป็นปัญหาการถอดรหัสในตัวเองก่อนที่จะพูดถึงการประมวลผลแบบขนานด้วยซ้ำ สัญญาอนุญาตนั้นฟรี แต่ฮาร์ดแวร์ไม่ฟรี ซึ่งเป็นข้อแลกเปลี่ยนเดียวกันกับที่หมวดหมู่โอเพนเวตทั้งหมดต้องทำ และเป็นสิ่งที่ผู้ซื้อมักเข้าใจผิดบ่อยที่สุด

ความฝืดทั้งสองแบบไม่ใช่ข้อบกพร่อง但它们คือสองรูปแบบที่การเปิดตัวงานวิจัยในปี 2026 จะเป็นไปได้: ผลิตภัณฑ์ที่มีราคาและแบบฟอร์ม หรือเช็กพอยต์ที่มีสัญญาอนุญาตและใบเรียกเก็บเงิน การรู้ว่าคุณสามารถรองรับรูปแบบไหนได้คือตัวกรองที่มีประโยชน์กว่าตำแหน่งบน benchmark ใด ๆ และเป็นตัวกรองที่ทีมส่วนใหญ่ใช้เป็นลำดับสุดท้ายแทนที่จะเป็นลำดับแรก

ผลิตภัณฑ์ 16 fps และโมเดลงานวิจัย 24 fps แต่ละอย่างมีไว้เพื่ออะไร

ทั้งสองบริษัทใช้คำว่าเรียลไทม์ แต่ไม่ได้หมายถึงปริมาณเดียวกันเลย Odyssey 3 ที่ 16 เฟรมต่อวินาทีคือ 62.5 มิลลิวินาทีต่อเฟรม เร็วพอที่คนที่กำลังบังคับกล้องจะไม่รู้สึกถึงความหน่วง — นั่นคือสิ่งที่ผลิตภัณฑ์ต้องการ และเป็นเหตุผลว่าทำไมโมเดลจึงถูกกลั่นให้เหลือเพียงไม่กี่สเต็ปแทนที่จะเป็นห้าสิบ ส่วน PAN 2 ที่ยี่สิบวินาทีและ 24 เฟรมต่อวินาทีนั้นไม่ใช่แบบโต้ตอบเลย มันคือการเรนเดอร์แบบแบตช์ซึ่งวัดต้นทุนเป็นโหนด-นาที และมีจุดประสงค์เพื่อสร้างคลิปที่เอเจนต์หรือนักวิจัยจะนำไปตรวจดูในภายหลัง

ผลลัพธ์สำหรับใครก็ตามที่วางแผนงานคือ ทั้งสองใช้งานได้ในลูปที่แตกต่างกัน Odyssey 3 เหมาะกับเวิร์กโฟลว์แบบมีมนุษย์อยู่ในลูป: สร้าง ดู ปรับ แล้วสร้างใหม่ ในราคาที่ต่ำพอจนการวนซ้ำมีต้นทุนถูก PAN 2 เหมาะกับลูปอัตโนมัติ: สร้างผลลัพธ์ตัวเลือกห้ารายการ ให้คะแนนด้วยตัวตรวจสอบ ลงมือกับตัวที่ดีที่สุด ในราคาที่สูงพอจนคุณต้องคิดก่อนจะสร้างชุดนั้น ตัวหนึ่งปรับให้เหมาะกับความหน่วงต่อคลิป อีกตัวปรับให้เหมาะกับความเที่ยงตรงต่อคลิป และการตั้งค่าตัวสุ่มทำให้การแลกเปลี่ยนนี้ชัดเจน — ห้าสิบสเต็ปโดยใช้ค่า guidance 2.5 ในทุกสเต็ปคือการส่งผ่านไปข้างหน้าหนึ่งร้อยครั้งผ่านทรานส์ฟอร์เมอร์ขนาด 29B เทียบกับแปดสเต็ปแบบกลั่นผ่านตัวหนึ่งที่มีขนาดระดับ 8 ถึง 14B

ยังมีความแตกต่างเชิงโครงสร้างในเรื่องที่เอาต์พุตสามารถนำไปใช้ได้ด้วย โลกที่สร้างขึ้นของ Odyssey 3 เคยใช้ฝึกนโยบายการขับขี่และแขนหุ่นยนต์ ซึ่งเป็นหลักฐานสาธารณะที่แข็งแกร่งที่สุดว่าแบบจำลองโลกวิดีโอทั่วไปสามารถทำหน้าที่เป็นฐานสำหรับการฝึกควบคุมแบบฝังตัวได้ ส่วนเอาต์พุตของ PAN 2 ยังทำเช่นนั้นไม่ได้ และการ์ดของมันระบุชัดเจนว่าการจำลองแผนที่ควรล้มเหลวยังไม่ถูกวัด ซึ่งสำคัญ เพราะฐานการฝึกที่แสดงเฉพาะความสำเร็จจะสอนนโยบายว่า ทุกอย่างได้ผล การสาธิตของ Odyssey ก็ไม่ได้คลี่คลายประเด็นนี้เช่นกัน: นโยบายที่ฝึกในโลกที่สร้างขึ้นซึ่งไม่เคยถูกประเมินเทียบกับฐานอ้างอิงในโลกจริงเป็นผลลัพธ์ที่มีแนวโน้มดี ไม่ใช่วิธีที่ผ่านการตรวจสอบแล้ว

จุดที่ OrcaRouter เข้าไปเกี่ยวข้องกับทั้งสองกรณีคือชั้นการประเมิน ไม่ใช่ชั้นการสร้าง และควรพูดให้ตรงประเด็น ทั้ง PAN 2 และ Odyssey 3 ต่างก็ไม่ได้อยู่ในแคตตาล็อกของเรา: ตัวหนึ่งเป็นโมเดล diffusion ขนาด 29B ที่คุณรันบนโหนดของคุณเอง อีกตัวเป็นผลิตภัณฑ์แบบโฮสต์ที่ขายผ่านแบบฟอร์มติดต่อ และไม่มีเราเตอร์ใดให้บริการทั้งสองตัวได้ สิ่งที่เราเตอร์จัดการได้คือกลไกโดยรอบทั้งสอง ซึ่งในทั้งสองกรณีเป็นจุดที่ค่าใช้จ่ายจริงสะสม — ตัวประเมินแบบ vision-language ที่ให้คะแนนคลิปที่สร้างขึ้นเทียบกับ rubric, ตัววางแผนที่เปลี่ยนคำถามวิจัยให้เป็นชุดพรอมป์ต์, ตัวเขียนแคปชันที่สร้างคำอธิบายสถานะโลกแบบมีโครงสร้างซึ่ง text encoder ของ PAN 2 นำไปใช้ภายในงบ 1,480 โทเคนแบบ soft และ 1,536 แบบ hard สิ่งเหล่านี้คือการเรียกแบบธรรมดาหลายพันครั้งไปยังโมเดลที่ผลลัพธ์แต่ละชิ้นทำให้คุณต้องจ่ายเป็นเวลา GPU หนึ่งนาที ซึ่งเป็นรูปแบบงานที่พอมีคีย์เดียวใช้ได้กับโมเดลมากกว่า 200 โมเดล, ราคาตามรายการของผู้ให้บริการที่ส่งผ่านโดยมี markup 0% และการ failover อัตโนมัติระหว่างผู้ให้บริการก็เลิกเป็นเพียงความสะดวกสบาย และเริ่มเป็นความแตกต่างระหว่างแบตช์ที่ทำงานจนจบกับแบตช์ที่ตายตอน 80%

วิธีอ่านอันถัดไปของสิ่งเหล่านี้

สามคำถาม เรียงตามลำดับ และไม่มีข้อไหนเลยที่ถามว่า “มันได้คะแนนเท่าไร”

ตัวเลขนั้นมาจาก benchmark สาธารณะหรือฮาร์เนสส่วนตัว? ค่าเฉลี่ยจากการรันสี่ครั้งที่ 63.37 ของ Odyssey สามารถเปรียบเทียบกับรายการอื่น ๆ บนแทร็กเดียวกันได้ ตัวเลขความสำเร็จของขั้นตอนของ PAN 2 ไม่สามารถเปรียบเทียบกับสิ่งใดได้ เพราะไม่มีใครอื่นรันฮาร์เนสนั้น ทั้งสองอย่างถูกต้องตามหลัก แต่มีเพียงอย่างเดียวที่พอร์ตได้

คะแนนนั้นถูกเลือกมาหรือเปล่า? ตัวเลขแบบดีที่สุดจากแปดครั้งกับค่าเฉลี่ยจากการรันสี่ครั้งวัดคนละสิ่ง และผู้ขายที่เผยแพร่ทั้งสองอย่างได้บอกคุณแล้วว่าควรอ้างอิงตัวไหน ส่วนผู้ขายที่เผยแพร่เฉพาะอย่างแรกก็บอกอะไรบางอย่างกับคุณเช่นกัน

อัตราความล้มเหลวในงานที่คุณให้ความสำคัญเป็นเท่าไร? PAN 2 ตอบคำถามนี้ด้วยข้อมูลที่ว่าแผนสองในสามแผนตกหล่นไปหนึ่งขั้นตอน ส่วน Odyssey ไม่ได้ตอบคำถามนี้สำหรับการทดลองบนถนนในอินเดีย การไม่ตอบไม่ใช่ความไม่ซื่อสัตย์ — ยังไม่มีใครทำการศึกษานี้ — แต่ผู้ซื้อที่ไม่ถามก็กำลังซื้อเดโมอยู่

เมื่อนำมาใช้กับตัวเลือกที่อยู่ตรงหน้าคุณ: Odyssey 3 คือเครื่องมือที่เข้าถึงได้ มีเดโมฟรีในเบราว์เซอร์ แบบฟอร์มติดต่อ ราคาต่อคลิปที่คุณคูณเองได้ และตัวเลข benchmark ที่มีวิธีการซึ่งจัดทำเป็นเอกสารรองรับอยู่เบื้องหลัง หากคุณต้องลองเวิลด์โมเดลภายในสัปดาห์นี้และงบประมาณของคุณคิดเป็นราคาต่อคลิป มันเป็นหนึ่งในสองตัวเลือกที่คุณเริ่มต้นได้ และข้อควรระวังคือ “เข้าถึงได้” ในที่นี้หมายถึงการคุยกับฝ่ายขาย ไม่ใช่การได้รับคีย์

PAN 2 เป็นเครื่องมือที่ตรวจสอบได้ ทั้งเวต โค้ด สูตรการให้บริการ โคอนแทรกต์แคปชันที่มีงบโทเคน การ์ดเรลพร้อมตัวเลขผลบวกลวงแนบมาด้วย — คำขอข้อความเป็นวิดีโอที่ไม่เป็นอันตรายถูกปฏิเสธ 11.5% และคำขอภาพเป็นวิดีโอที่ไม่เป็นอันตรายถูกปฏิเสธ 3.3% โดยเอาต์พุตข้อความเป็นวิดีโอที่ไม่ปลอดภัยลดลงจาก 33.9% เหลือ 1.5% — และส่วนข้อจำกัดที่ขึ้นต้นด้วยอัตราความล้มเหลว หากคุณมีฮาร์ดแวร์และต้องการรู้ว่ามันทำงานอย่างไร ไม่ใช่แค่ว่ามันทำงาน นี่คือรีลีสที่สมบูรณ์กว่าในหมวดหมู่นี้อย่างมาก

สิ่งที่ทำให้การเปรียบเทียบนี้ได้ข้อยุติคือการศึกษาที่ทั้งสองบริษัทยังไม่ได้ทำ นั่นคือใช้ทั้งสองโมเดล งานเดียวกัน นโยบายเดียวกัน ตัวชี้วัดเดียว และจำนวนการรันมากพอที่ส่วนเบี่ยงเบนมาตรฐานจะเล็กกว่าช่องว่าง ยังไม่มีใครเสนอสิ่งนี้ จนกว่าจะมีคนทำ สรุปที่ถูกต้องคือโมเดลแบบเสียเงินเผยแพร่ตัวเลขที่มีเอกสารประกอบดีกว่า ส่วนโมเดลฟรีเผยแพร่ตัวเลขที่แย่กว่า และโมเดลฟรีคือโมเดลที่คุณตรวจสอบได้