Gemini Omni Flash 1.2 מגיע למקום ה-2 בעריכת וידאו — ופסי השגיאה הם הסיפור

Artificial Analysis הציבה את G​emini Omni Flash 1.2 בשלושה לוחות דירוג לווידאו ב-10 בנובמבר, שישה ימים אחרי ש-G​oogle הפכה את המודל לזמין באופן כללי. הכותרת מתבקשת: מקום #2 ב-AA-Video-Editing v1.1, מעל המקום #5 של G​emini Omni 1.1 Flash, עם עלייה מ-#12 ל-#6 ב-AA-Video-T2V v2.1 ומ-#17 ל-#14 ב-AA-Video-I2V v2.1. הקריאה השימושית נמצאת בשוליים. שניים משלושת השינויים האלה נמצאים בתוך רווחי סמך חופפים של 95% או על גבולם, אחד מהשלושה נמדד על מערך פרומפטים מצומצם, וההפרדה הנקייה ביותר מבין כולם שייכת לשינוי הדירוג הקטן ביותר בקבוצה.

שלושה לוחות, שלוש תשובות שונות לגבי מי הטוב ביותר

הדבר הראשון שהשורות החדשות קובעות הוא שאין דירוג וידאו יחיד לנצח בו. Wan 3.0 מוביל בלוח העריכה עם 1,192 ובלוח טקסט לווידאו עם 1,175, ואז מגיע למקום ה-11 בתמונה לווידאו עם 1,108. Dreamina Seedance 2.5 מוביל בתמונה לווידאו עם 1,161, ובמקביל נמצא רביעי בעריכה ורביעי בטקסט לווידאו. מיקומו של מודל הוא תכונה של המשימה, לא של המודל, וכל מצג שמצטט מספר אחד מצטט משימה אחת.

על הרקע הזה, הפרופיל של Gemini Omni Flash 1.2 שטוח באופן יוצא דופן. הוא שני בעריכה, שישי בטקסט לווידאו וארבעה־עשר בתמונה לווידאו — תחרותי בכל מקום, אך לא דומיננטי באף אחד. עבור מודל שתכונת הדגל שלו היא עריכה שיחתית, ייתכן שדווקא השטיחות הזו היא הנקודה: זו השורה היחידה בעשירייה הראשונה של לוח העריכה שמופיעה גם בעשירייה הראשונה של טקסט לווידאו.

עשרים ושש Elo, ושני מרווחים שכמעט נוגעים זה בזה

המעבר מ-#12 ל-#6 ב-AA-Video-T2V v2.1 הוא זה שיתועד בצילום מסך. מדובר בעלייה של 26 נקודות, מ-1,128 ל-1,154. המרווחים שפורסמו הם 1,115 עד 1,141 עבור G​emini Omni 1.1 Flash ו-1,140 עד 1,168 עבור 1.2. הם חופפים בנקודה אחת בדיוק.

זה אינו נימוק לבטל את השיפור. זה נימוק להפסיק להתייחס לדירוג כאל מדידה. Artificial Analysis גוזרת את המרווחים האלה מהצבעות עיוורות בהשוואות זוגיות, וב־5,056 דגימות עבור 1.2 לעומת 7,943 עבור 1.1, למודל החדש יותר יש בסיס ראיות דק יותר משום שהוא נמצא בלוח רק יום אחד. פער של 26 נקודות שנוגע בגבול יש לקרוא最好是 כ"כנראה טוב יותר, אך עדיין לא ניתן להבחין ביניהם בגודל מדגם זה" — וזו טענה שונה מ"עלה שש מקומות", אף ששתיהן מתארות את אותן שתי שורות.

לוח העריכה מספר סיפור דומה עם פער קטן יותר: 1,164 מול 1,146, הבדל של 18 נקודות שהמרווחים שלו חופפים בטווח 1,152 עד 1,156. לוח התמונה-לווידאו הוא המקרה ההפוך והמעניין יותר. שם הפער הוא 42 נקודות, 1,086 מול 1,044, והמרווחים כלל אינם נוגעים זה בזה — 1,071 עד 1,101 מול 1,030 עד 1,058. הדירוג זז שלושה מקומות במקום שישה, וזהו היחיד מבין שלוש ההשוואות שעומד בקריאה מחמירה של פסי השגיאה שלו.

מיינו את שלושת אלה בהתאם לכך והסדר מתהפך: השינוי הקטן ביותר בדירוג הוא הראיה החזקה ביותר, והשינוי הגדול ביותר בדירוג הוא הראיה החלשה ביותר. אריתמטיקת הדירוגים מסתירה זאת, משום שהדירוגים מחושבים מאומדני נקודה כשהמרווחים נזרקים החוצה.

ציון העריכה מגיע עם הערת שוליים מצורפת

המקום ה־2 של Gemini Omni Flash 1.2 ב־AA-Video-Editing v1.1 נושא הערה על השורה עצמה: המודל "סירב לחלקים ממערך הבדיקות שלנו דרך מסנני זכויות היוצרים והבטיחות שלו", ותוצאתו משקפת את הפרומפטים שנותרו. כל שורה גם מסומנת כזמנית.

קראו את זה כפשוטו. הציון הוא ממוצע על פני ההנחיות שהמודל היה מוכן לענות עליהן, וההנחיות שהוא סירב להן הן בדיוק אלה שבהן מודל עריכה מתבקש לשנות חומרי צילום אמיתיים, לשחזר לוגו או לעבוד על סובייקט מזוהה — המשימות שמבדילות בין הדגמה לבין מסירה. מודל שדוחה את השליש הקשה של מערך מבחן יכול להשיג ציון גבוה יותר ממודל שמנסה את כולו בלי להיות טוב יותר בעבודה. שום דבר בתוצאה שפורסמה לא מאפשר לך לתקן את זה, וכיוון ההטיה הוא כלפי מעלה, לא כלפי מטה.

זו אינה טענה שהמספר שגוי. זו טענה ש־#2 בלוח העריכה הוא טענה לגבי איכות בפרומפטים מותרים, ושהקבוצה המותרת קטנה יותר עבור המודל הזה מאשר עבור אלה שסביבו. אם העבודה שלך כוללת צילומי ארכיון, נכסי מותג או דמות, התנהגות הסינון של המפעיל עצמו תקבע חלק גדול יותר מהתוצאות שלך מאשר פער Elo של 18 נקודות, ולוח הדירוג לעולם לא יראה לך זאת מפני שהסירובים אינם מפורסמים.

6.26 דולר לדקה הוא מחירון של Google עצמה, שנקבע באופן עצמאי

עמודת התמחור בכל שלושת הלוחות מציינת את G​emini Omni Flash 1.2 במחיר של $6.26 לדקה של וידאו שנוצר. Artificial Analysis מגדירה את העמודה הזו כעלות ליצירת דקה אחת ב-API של היוצר בהגדרות שהיא בודקת בהן, ברזולוציית 1080p כשזו מוצעת — נתון מנורמל, לא הצעת מחיר.

כאן זה מתיישב בדיוק עם החשבון של הספק עצמו. G​oogle מחייבת על פלט וידאו ב-8,688 טוקנים לשנייה עבור 1080p עם אפסימפלינג, בתעריף של $12.00 למיליון טוקנים. שישים שניות הן 521,280 טוקנים, שהם $6.255. הנתון של $9.12 של הלוח עבור G​emini Omni 1.1 Flash מתיישב באותו אופן מול $17.50 למיליון. שני צדדים בלתי תלויים שמגיעים לאותו סנט שווים יותר מכל אחד מהמספרים לבדו: זה אומר שהקיצוץ של 30% ש-G​oogle הכריזה עליו ב-5 בנובמבר גלוי במודל העלויות של צד שלישי, ולא רק בהודעה לעיתונות.

מה שהעמודה לא כוללת הוא הרזולוציה שבה הייתם בוחרים בפועל. ב-720p אותו מודל מחייב כ-0.07 דולר לשנייה, בערך 4.20 דולר לדקה; ב-360p, 0.023 דולר לשנייה, כ-1.38 דולר. צוות שמכין טיוטה ב-360p ומסיים ב-1080p משלם תעריף משולב שאינו מופיע בשום מקום בלוח, והמספר הבודד בלוח יגזים את החלק של הכנת הטיוטה באותו תהליך פי ארבעה.

מה שזירת העדפות לא יכולה לומר לך

אלו הצבעות עיוורות של העדפת בני אדם, לא חבילת מבחנים. אף אחד לא מודד אם קליפ בן חמש־עשרה שניות שומר על צבע המעיל של הדמות לאורך חיתוך, אם האודיו נשאר מסונכרן בסיבוב ההארכה הרביעי, או אם המודל מכבד בריף של שש תמונות ייחוס. אלו הם המאפיינים שיומן השינויים של Google מ-5 בנובמבר טוען להם בפועל — שיפור עקביות הדמות והנושא על פני עד שש תמונות ייחוס, סנכרון שפתיים ברור יותר, התניה מובחנת של ריבוי דוברים — ואף אחד מהם אינו מה שמודדת הצבעה זוגית מסוג "איזה קליפ טוב יותר".

ההצבעות גם אינן יכולות לראות את מצבי הכשל החשובים מבחינה תפעולית. מודל שמסרב לפרומפט לא מקבל ניקוד; מודל שמחזיר קובץ תקין מבחינה טכנית עם פנים נסחפות מקבל ניקוד טוב בהשוואת קליפ בודד וניקוד גרוע ברצף של עשרים שוטים. Arena Elo הוא כלי ברמת קליפ שמשמש כדי לענות על שאלה ברמת פרויקט.

היכן זה מותיר את הפייפליין, ומה אנחנו מנתבים

Gemini Omni Flash 1.2 אינו בקטלוג של OrcaRouter. בדקנו את רשימת המודלים הפעילה ואין רשומת Omni מאף גרסה, כך שאם המודל הוא מה שאתה צריך, ה-API של Google עצמה הוא הדרך, ואנו מעדיפים לומר זאת מאשר לרמוז אחרת. מה ששכבת הניתוב משנה הוא החלק בצינור הווידאו שאינו וידאו: רשימת השוטים, הרחבת הפרומפט, שלב הכתוביות והביקורת בדיעבד הם כולם עבודת טקסט, והם פועלים על מודלים שאנו כן מציעים — כולל על מפתח אחד, במחיר המחירון של הספק עם 0% תוספת, כך ששינוי מחיר של ספק מגיע לחשבון ביום שבו הוא קורה ולא בחוזה הבא.

יש גרסה קונקרטית של הטיעון הזה במהדורה הזו. תעריף הווידאו של 1.2 נמוך ב-30% מזה של 1.1, ונקודת הקצה 1.1 מפסיקה להיות מחויבת בנפרד ב-3 בדצמבר, כאשר G​oogle מתחילה לנתב אותה אוטומטית ל-1.2. לצינור עיבוד שקיבע בקוד את קבוע השנייה הישן יש עכשיו שלושה שבועות לשים לב. צינור עיבוד שקורא את התעריף משער שמעביר את מחיר המחירון כפי שהוא אינו נתקל בבעיה, כי אין שום דבר לקודד מחדש.

מה ישנה את הקריאה הזו?

שלושה דברים, לפי סדר התועלת. פרסום שיעור סירוב עבור לוח העריכה יהפוך את המקום השני למשהו שניתן להשוות אליו; כיום ההערה אומרת לך שמערך הבדיקה התכווץ, אבל לא בכמה. שבוע שני של הצבעות על 1.2 יצמצם את המרווח של טקסט-לווידאו מספיק כדי להכריע אם 26 Elo הוא פער אמיתי או ארטיפקט דגימה — החפיפה הנוכחית היא ברוחב נקודה אחת, וזה המקום הפחות אינפורמטיבי שבו מרווח יכול לשבת. וכל מדידה בלתי תלויה של הטענה בדבר עקביות תמונת הייחוס תהיה שווה יותר מכל שלושת הלוחות גם יחד, כי הטענה הזו היא מה ש-Google למעשה מוכרת, וזו שאף זירה לא בודקת.

עד אז, הסיכום הכנה הוא צר. {{1}}G​emini Omni Flash 1.2 הוא מודל וידאו טוב יותר מ-G​emini Omni 1.1 Flash בכל שלושת הלוחות, באופן ברור בהמרת תמונה לווידאו וכנראה גם בשניים האחרים, ב-30% פחות לכל טוקן, עם מסנן בטיחות שמסיר חלק ממערך הבדיקות לעריכה שלו ומפעיל שינתב את נקודת הקצה הישנה לחדשה בעוד שלושה שבועות, בין אם בדקתם אותה ובין אם לא.{{/1}}