Gemini Omni Flash 1.2 ขึ้นสู่อันดับ 2 ด้านการตัดต่อวิดีโอ — และแถบความคลาดเคลื่อนคือประเด็นสำคัญ

Artificial Analysis ได้จัดG​emini Omni Flash 1.2ไว้บนกระดานจัดอันดับวิดีโอสามรายการเมื่อวันที่ 10 พฤศจิกายน หกวันหลังจากที่ G​oogle เปิดให้โมเดลนี้พร้อมใช้งานทั่วไป พาดหัวข่าวก็เขียนเองได้เลย: อันดับ #2 บน AA-Video-Editing v1.1 นำหน้าอันดับ #5 ที่เป็นของ G​emini Omni 1.1 Flash พร้อมการไต่จากอันดับ #12 ขึ้นเป็น #6 บน AA-Video-T2V v2.1 และจากอันดับ #17 ขึ้นเป็น #14 บน AA-Video-I2V v2.1 ข้อสังเกตที่มีประโยชน์อยู่ในรายละเอียดชายขอบ สองในสามการขยับนั้นอยู่ภายในหรือชิดกับช่วงความเชื่อมั่น 95% ที่ทับซ้อนกัน หนึ่งในสามถูกวัดบนชุดพรอมป์ที่ลดขนาดลง และการแยกกันที่ชัดเจนที่สุดในบรรดาทั้งหมดเป็นของการเปลี่ยนแปลงอันดับที่เล็กที่สุดในชุดนี้

สามบอร์ด สามคำตอบที่แตกต่างกันว่าใครคือที่สุด

สิ่งแรกที่แถวใหม่เหล่านี้บ่งชี้คือไม่มีอันดับวิดีโอเพียงหนึ่งเดียวให้คว้า Wan 3.0 นำกระดาน editing ที่ 1,192 และกระดาน text-to-video ที่ 1,175 แล้วไปอยู่อันดับ 11 ใน image-to-video ที่ 1,108 Dreamina Seedance 2.5 ครองอันดับหนึ่ง image-to-video ที่ 1,161 ขณะอยู่อันดับสี่ด้าน editing และอันดับสี่ด้าน text-to-video ตำแหน่งของโมเดลเป็นคุณสมบัติของงาน ไม่ใช่ของโมเดล และการนำเสนอใดที่อ้างตัวเลขเดียวก็กำลังอ้างถึงงานเดียว

เมื่อเทียบกับภูมิหลังนั้น ภาพรวมของ G​emini Omni Flash 1.2 กลับเรียบแบนผิดปกติ โดยอยู่อันดับสองด้านการตัดต่อ อันดับหกด้านการแปลงข้อความเป็นวิดีโอ และอันดับสิบสี่ด้านการแปลงภาพเป็นวิดีโอ — แข่งขันได้ทุกด้าน แต่ไม่มีด้านใดโดดเด่นเลย สำหรับโมเดลที่ฟีเจอร์ชูโรงคือการตัดต่อผ่านบทสนทนา อาจกล่าวได้ว่าความเรียบแบนนั้นคือจุดสำคัญ: มันเป็นรายการเดียวในสิบอันดับแรกของตารางจัดอันดับด้านการตัดต่อที่ติดสิบอันดับแรกด้านการแปลงข้อความเป็นวิดีโอด้วย

ยี่สิบหก Elo และสองช่วงที่เกือบจะแตะกัน

การขยับจาก #12 ไปเป็น #6 บน AA-Video-T2V v2.1 คือสิ่งที่จะถูกแคปหน้าจอ เป็นการเพิ่มขึ้น 26 คะแนน จาก 1,128 เป็น 1,154 ช่วงที่ประกาศไว้คือ 1,115 ถึง 1,141 สำหรับ G​emini Omni 1.1 Flash และ 1,140 ถึง 1,168 สำหรับ 1.2 โดยทับซ้อนกันอยู่หนึ่งคะแนนพอดี

นั่นไม่ใช่เหตุผลที่จะปัดทิ้งการเพิ่มขึ้น แต่เป็นเหตุผลที่จะเลิกมองอันดับว่าเป็นการวัดค่า Artificial Analysis คำนวณช่วงเหล่านี้จากการโหวตแบบจับคู่โดยไม่เปิดเผยตัว และด้วยตัวอย่าง 5,056 รายการสำหรับ 1.2 เทียบกับ 7,943 รายการสำหรับ 1.1 โมเดลใหม่กว่าจึงมีฐานหลักฐานที่บางกว่าเพราะเพิ่งอยู่บนกระดานได้หนึ่งวัน ช่องว่าง 26 คะแนนที่แตะกันตรงขอบควรอ่านว่า "น่าจะดีกว่า แต่ยังแยกกันไม่ได้ที่ขนาดตัวอย่างนี้" ซึ่งเป็นข้อกล่าวอ้างที่ต่างจาก "ขยับขึ้นหกอันดับ" แม้ว่าทั้งสองจะบรรยายสองแถวเดียวกันก็ตาม

บอร์ดการตัดต่อเล่าเรื่องคล้ายกันโดยมีช่องว่างที่เล็กกว่า: 1,164 เทียบกับ 1,146 ซึ่งต่างกัน 18 คะแนน โดยช่วงความเชื่อมั่นทับซ้อนกันในช่วง 1,152 ถึง 1,156 ส่วนบอร์ดภาพเป็นวิดีโอเป็นกรณีตรงกันข้ามและน่าสนใจกว่า ที่นั่นช่องว่างคือ 42 คะแนน คือ 1,086 เทียบกับ 1,044 และช่วงความเชื่อมั่นไม่แตะกันเลย — 1,071 ถึง 1,101 เทียบกับ 1,030 ถึง 1,058 อันดับขยับสามตำแหน่งแทนที่จะเป็นหก และเป็นการเปรียบเทียบเดียวในสามรายการที่ผ่านการตีความแถบข้อผิดพลาดของตัวเองอย่างเข้มงวด

จัดเรียงทั้งสามตามนั้น แล้วลำดับจะกลับกัน: การเปลี่ยนแปลงอันดับที่เล็กที่สุดคือหลักฐานที่แข็งแรงที่สุด การเปลี่ยนแปลงอันดับที่ใหญ่ที่สุดคือหลักฐานที่อ่อนที่สุด การคำนวณอันดับปิดบังเรื่องนี้ไว้ เพราะอันดับคำนวณจากค่าประมาณแบบจุดโดยทิ้งช่วงความเชื่อมั่นไป

คะแนนการตัดต่อมาพร้อมกับเชิงอรรถที่แนบมาด้วย

การที่ Gemini Omni Flash 1.2 อยู่อันดับ #2 ใน AA-Video-Editing v1.1 มีหมายเหตุอยู่บนแถวนั้นเองว่า โมเดล "ปฏิเสธบางส่วนของชุดทดสอบของเราผ่านตัวกรองลิขสิทธิ์และความปลอดภัยของตน" และผลลัพธ์ของโมเดลสะท้อนเฉพาะพรอมต์ที่เหลืออยู่ ทุกแถวยังถูกทำเครื่องหมายว่าเป็นข้อมูลชั่วคราว

อ่านให้ตรงไปตรงมาเลยก็คือ คะแนนคือค่าเฉลี่ยจากพรอมป์ที่โมเดลยินดีตอบ และพรอมป์ที่มันปฏิเสธก็คือพวกที่โมเดลตัดต่อถูกขอให้แก้ไขฟุตเทจจริง ทำโลโก้ซ้ำ หรือทำงานกับสิ่งที่จดจำได้ — งานที่แยกเดโมออกจากงานส่งมอบจริง โมเดลที่ปฏิเสธหนึ่งในสามส่วนที่ยากของชุดทดสอบอาจได้คะแนนสูงกว่าโมเดลที่พยายามทำทั้งหมด โดยที่ไม่ได้เก่งงานกว่าจริง ๆ ไม่มีอะไรในผลลัพธ์ที่เผยแพร่ให้คุณปรับแก้เรื่องนี้ได้ และทิศทางของอคติคือสูงขึ้น ไม่ใช่ต่ำลง

นี่ไม่ใช่ข้อโต้แย้งว่าตัวเลขนั้นผิด แต่เป็นข้อโต้แย้งว่า #2 บนบอร์ดการตัดต่อเป็นข้อกล่าวอ้างเกี่ยวกับคุณภาพบนพรอมต์ที่ได้รับอนุญาต และชุดพรอมต์ที่ได้รับอนุญาตนั้นเล็กกว่าสำหรับโมเดลนี้เมื่อเทียบกับโมเดลที่อยู่รอบข้าง หากงานของคุณเกี่ยวข้องกับฟุตเทจจากคลัง สินทรัพย์แบรนด์ หรือรูปลักษณ์ของบุคคล พฤติกรรมการกรองของผู้ดำเนินการเองจะกำหนดผลลัพธ์ของคุณมากกว่าช่องว่าง Elo 18 คะแนน และตารางอันดับจะไม่มีทางแสดงสิ่งนั้นให้คุณเห็น เพราะการปฏิเสธไม่ถูกเผยแพร่

$6.26 ต่อนาทีคือรายการราคาของ Google เอง ซึ่งได้มาโดยอิสระ

คอลัมน์ราคาบนกระดานทั้งสามแสดง G​emini Omni Flash 1.2 ที่ $6.26 ต่อนาทีของวิดีโอที่สร้างขึ้น Artificial Analysis กำหนดคอลัมน์ดังกล่าวว่าเป็นต้นทุนในการสร้างหนึ่งนาทีผ่าน API ของผู้สร้าง ภายใต้การตั้งค่าที่ใช้ทดสอบ ซึ่งรวมถึง 1080p ในกรณีที่มีให้ใช้ — เป็นตัวเลขที่ปรับมาตรฐานแล้ว ไม่ใช่ใบเสนอราคา

ในกรณีนี้ มันบังเอิญตรงกันพอดีกับการคำนวณของผู้ขายเอง Google คิดเงินเอาต์พุตวิดีโอที่ 8,688 โทเคนต่อวินาทีสำหรับ 1080p พร้อมการอัปแซมปลิง ในอัตรา $12.00 ต่อล้านโทเคน หกสิบวินาทีคือ 521,280 โทเคน ซึ่งคิดเป็น $6.255 ตัวเลข $9.12 ของบอร์ดสำหรับ Gemini Omni 1.1 Flash ก็ตรงกันในลักษณะเดียวกันเมื่อเทียบกับ $17.50 ต่อล้าน การที่สองฝ่ายที่เป็นอิสระต่อกันมาถึงจำนวนเซนต์เดียวกันมีค่ามากกว่าตัวเลขใดตัวเลขหนึ่งเพียงลำพัง: นั่นหมายความว่าการลด 30% ที่ Google ประกาศเมื่อวันที่ 5 พฤศจิกายนนั้นปรากฏอยู่ในแบบจำลองต้นทุนของบุคคลที่สาม ไม่ใช่เพียงในข่าวประชาสัมพันธ์

สิ่งที่คอลัมน์นี้ไม่ได้บอกไว้คือความละเอียดที่คุณจะเลือกใช้จริง ที่ 720p โมเดลเดียวกันคิดเงินประมาณ $0.07 ต่อวินาที หรือราว $4.20 ต่อนาที ส่วนที่ 360p คิด $0.023 ต่อวินาที ประมาณ $1.38 ทีมที่ดราฟต์งานที่ 360p แล้วเรนเดอร์ finishing ที่ 1080p จะจ่ายในอัตราผสมที่ไม่ปรากฏอยู่ที่ไหนบนบอร์ดเลย และตัวเลขเพียงตัวเดียวบนบอร์ดจะประเมินครึ่งที่เป็นช่วงดราฟต์ของไปป์ไลน์นั้นสูงเกินจริงถึงสี่เท่า

สิ่งที่อารีนาการเปรียบเทียบความชอบบอกคุณไม่ได้

นี่คือคะแนนโหวตความชอบจากมนุษย์แบบไม่รู้ที่มา ไม่ใช่ชุดเกณฑ์มาตรฐาน ไม่มีใครกำลังวัดว่าคลิปความยาวสิบห้าวินาทีรักษาสีเสื้อแจ็กเก็ตของตัวละครไว้ได้ตลอดการตัดต่อหรือไม่ เสียงยังคงซิงก์กันในเทิร์นขยายครั้งที่สี่หรือไม่ หรือโมเดลทำตามโจทย์ภาพอ้างอิงหกภาพได้หรือไม่ คุณสมบัติเหล่านี้คือสิ่งที่บันทึกการเปลี่ยนแปลงวันที่ 5 พฤศจิกายนของ G​oogle อ้างจริง ๆ ว่า — ความสม่ำเสมอของตัวละครและตัวแบบที่ดีขึ้นตลอดการใช้ภาพอ้างอิงสูงสุดหกภาพ, การซิงก์ริมฝีปากที่ชัดเจนขึ้น, การปรับเงื่อนไขแบบหลายผู้พูดที่แยกจากกัน — และไม่มีข้อใดเลยคือสิ่งที่การโหวตแบบจับคู่ "คลิปไหนดีกว่า" วัด

คะแนนโหวตยังมองไม่เห็นโหมดความล้มเหลวที่มีความสำคัญในทางปฏิบัติการ โมเดลที่ปฏิเสธพรอมป์ต์จะไม่ได้คะแนนเลย โมเดลที่ส่งไฟล์ที่ถูกต้องทางเทคนิคแต่ใบหน้าค่อย ๆ เพี้ยนไปจะได้คะแนนดีในการเปรียบเทียบแบบคลิปเดียว และได้คะแนนแย่มากเมื่อเป็นลำดับยี่สิบช็อต Arena Elo เป็นเครื่องมือที่วัดเป็นรายคลิปซึ่งถูกนำมาใช้ตอบคำถามระดับโปรเจกต์

สิ่งนี้ทำให้ไปป์ไลน์อยู่ในจุดใด และเรากำหนดเส้นทางอะไร

Gemini Omni Flash 1.2 ไม่มีอยู่ในแคตตาล็อกของ OrcaRouter เราได้ตรวจสอบรายการโมเดลปัจจุบันแล้ว และไม่มีรายการ Omni เวอร์ชันใดเลย ดังนั้นหากคุณต้องการโมเดลนี้จริง ๆ API ของ Google เองคือเส้นทางที่ต้องใช้ และเราเลือกที่จะบอกเช่นนั้นมากกว่าจะทำให้เข้าใจเป็นอย่างอื่น สิ่งที่เลเยอร์การกำหนดเส้นทางเปลี่ยนคือส่วนของไปป์ไลน์วิดีโอที่ไม่ใช่วิดีโอ ได้แก่ รายการช็อต การขยายพรอมต์ รอบการใส่แคปชัน และการตรวจสอบย้อนหลัง ล้วนเป็นงานข้อความ และสิ่งเหล่านี้ทำงานบนโมเดลที่เรามีให้บริการจริง — รวมถึงบน คีย์เดียว ในราคาตามรายการของผู้ให้บริการ โดยมีมาร์กอัป 0% ดังนั้นการปรับราคาจากผู้ขายจะสะท้อนถึงใบเรียกเก็บเงินในวันที่เกิดขึ้น ไม่ใช่ในสัญญาฉบับถัดไป

มีตัวอย่างที่เป็นรูปธรรมของข้อโต้แย้งนั้นในรีลีสนี้ อัตราวิดีโอ 1.2 ต่ำกว่าอัตรา 1.1 อยู่ 30% และ endpoint 1.1 จะเลิกถูกเรียกเก็บเงินแยกต่างหากในวันที่ 3 ธันวาคม เมื่อ G​oogle เริ่มกำหนดเส้นทางไปยัง 1.2 โดยอัตโนมัติ ไปป์ไลน์ที่ฮาร์ดโค้ดค่าคงที่ต่อวินาทีแบบเก่าไว้ตอนนี้มีเวลาสามสัปดาห์ในการสังเกตเห็น ไปป์ไลน์ที่อ่านอัตราจากเกตเวย์ที่ ส่งผ่านราคาตามรายการจะไม่มีปัญหานี้ เพราะไม่มีอะไรต้องฮาร์ดโค้ดใหม่

อะไรจะทำให้การอ่านนี้เปลี่ยนไป

สามสิ่ง เรียงตามความมีประโยชน์ การเผยแพร่อัตราการปฏิเสธของบอร์ดแก้ไขจะทำให้อันดับ #2 กลายเป็นสิ่งที่เทียบเคียงได้ วันนี้หมายเหตุบอกเพียงว่าชุดทดสอบเล็กลง แต่ไม่บอกว่าเล็กลงเท่าไร การโหวตสัปดาห์ที่สองบน 1.2 จะทำให้ช่วงของ text-to-video แคบลงพอที่จะชี้ขาดว่า 26 Elo เป็นช่องว่างจริงหรืออาร์ติแฟกต์จากการสุ่มตัวอย่าง — การซ้อนทับในปัจจุบันกว้างหนึ่งจุด ซึ่งเป็นตำแหน่งที่ให้ข้อมูลน้อยที่สุดสำหรับช่วงหนึ่งที่จะอยู่ และการวัดใด ๆ อย่างอิสระต่อข้ออ้างเรื่องความสอดคล้องของภาพอ้างอิงจะมีค่ามากกว่าบอร์ดทั้งสามรวมกัน เพราะข้ออ้างนั้นคือสิ่งที่ G​oogle กำลังขายจริง ๆ และเป็นข้ออ้างที่ไม่มีอารีนาใดกำลังทดสอบ

จนถึงตอนนั้น สรุปที่ตรงไปตรงมาก็ยังแคบอยู่ G​emini Omni Flash 1.2 เป็นโมเดลวิดีโอที่ดีกว่า G​emini Omni 1.1 Flash ในทั้งสามบอร์ด อย่างชัดเจนในงาน image-to-video และน่าจะเป็นเช่นนั้นในอีกสองงาน ด้วยราคาต่อโทเค็นที่ถูกกว่า 30% พร้อมตัวกรองความปลอดภัยที่ตัดชุดทดสอบการตัดต่อบางส่วนออกไป และผู้ให้บริการที่จะเปลี่ยนเส้นทาง endpoint เก่าไปยัง endpoint ใหม่ภายในสามสัปดาห์ ไม่ว่าคุณจะได้ทดสอบมันแล้วหรือไม่