Gemini Omni Flash 1.2 zajmuje #2 w edycji wideo — a prawdziwą historią są słupki błędów

Artificial Analysis umieściło G​emini Omni Flash 1.2 na trzech rankingach wideo 10 listopada, sześć dni po tym, jak G​oogle uczyniło model ogólnie dostępnym. Nagłówek pisze się sam: 2. miejsce w AA-Video-Editing v1.1, przed 5. miejscem zajmowanym przez G​emini Omni 1.1 Flash, z awansem z 12. na 6. miejsce w AA-Video-T2V v2.1 i z 17. na 14. miejsce w AA-Video-I2V v2.1. To, co najistotniejsze, kryje się na marginesach. Dwa z tych trzech przeskoków mieszczą się w nakładających się 95-procentowych przedziałach ufności lub na ich granicy, jeden z trzech zmierzono na ograniczonym zestawie promptów, a najczystsze rozdzielenie z całej grupy przypada najmniejszej zmianie pozycji w zestawie.

Trzy tablice, trzy różne odpowiedzi na temat tego, kto jest najlepszy

Pierwszą rzeczą, którą pokazują nowe wiersze, jest to, że nie istnieje jeden ranking wideo, który można wygrać. Wan 3.0 prowadzi w rankingu edycji z wynikiem 1,192 oraz w rankingu text-to-video z wynikiem 1,175, a następnie zajmuje 11. miejsce w image-to-video z wynikiem 1,108. Dreamina Seedance 2.5 jest na czele image-to-video z wynikiem 1,161, jednocześnie zajmując czwarte miejsce w edycji i czwarte w text-to-video. Pozycja modelu jest właściwością zadania, a nie modelu, a każda prezentacja, która podaje jedną liczbę, podaje jedno zadanie.

Na tym tle profil G​emini Omni Flash 1.2 jest nietypowo płaski. Model zajmuje drugie miejsce w edycji, szóste w tekst-na-wideo i czternaste w obraz-na-wideo — konkurencyjny wszędzie, dominujący nigdzie. W przypadku modelu, którego sztandarową funkcją jest edycja konwersacyjna, ta płaskość jest prawdopodobnie sednem: to jedyna pozycja w pierwszej dziesiątce rankingu edycji, która pojawia się również w pierwszej dziesiątce tekst-na-wideo.

Dwadzieścia sześć Elo i dwa przedziały, które niemal się stykają

Przejście z #12 na #6 w AA-Video-T2V v2.1 to właśnie ten awans, który trafi na zrzuty ekranu. To wzrost o 26 punktów, z 1 128 do 1 154. Opublikowane przedziały wynoszą od 1 115 do 1 141 dla G​emini Omni 1.1 Flash i od 1 140 do 1 168 dla 1.2. Pokrywają się dokładnie w jednym punkcie.

To nie jest powód, by lekceważyć ten wzrost. To powód, by przestać traktować pozycję w rankingu jako pomiar. Artificial Analysis wylicza te przedziały na podstawie zaślepionych głosów w porównaniach parami, a przy 5056 próbkach dla 1.2 wobec 7943 dla 1.1 nowszy model ma skromniejszą bazę dowodową, ponieważ jest na tablicy od jednego dnia. 26-punktową różnicę, która dotyka granicy, najlepiej odczytywać jako „prawdopodobnie lepszy, ale przy tej wielkości próby jeszcze nie do rozróżnienia” — co jest innym twierdzeniem niż „awansował o sześć miejsc”, choć oba opisują te same dwa wiersze.

Ranking edycji opowiada podobną historię, ale z mniejszą luką: 1164 kontra 1146, różnica 18 punktów, której przedziały nakładają się w zakresie od 1152 do 1156. Ranking obrazu na wideo to przypadek odwrotny i ciekawszy. Tam luka wynosi 42 punkty, 1086 kontra 1044, a przedziały w ogóle się nie stykają — od 1071 do 1101 kontra od 1030 do 1058. Pozycja przesunęła się o trzy miejsca zamiast o sześć i jest to jedyne z trzech porównań, które wytrzymuje rygorystyczne odczytanie własnych słupków błędu.

Uporządkuj te trzy odpowiednio, a kolejność się odwróci: najmniejsza zmiana rangi jest najsilniejszym dowodem, największa zmiana rangi jest najsłabszym. Arytmetyka rang to ukrywa, ponieważ rangi są obliczane na podstawie oszacowań punktowych, a przedziały są odrzucane.

Wynik edycji jest opatrzony przypisem.

Drugie miejsce G​emini Omni Flash 1.2 w AA-Video-Editing v1.1 ma adnotację przy samym wierszu: model „odrzucił część naszego zestawu testowego w wyniku działania swoich filtrów praw autorskich i bezpieczeństwa”, a jego wynik odzwierciedla pozostałe prompty. Każdy wiersz jest również oznaczony jako tymczasowy.

Przeczytaj to dosłownie. Wynik to średnia po promptach, na które model był gotów odpowiedzieć, a prompty, których odmówił, to dokładnie te, w których model do edycji jest proszony o zmodyfikowanie prawdziwego materiału filmowego, odtworzenie logo lub pracę na rozpoznawalnym obiekcie — zadania, które odróżniają demo od gotowego wdrożenia. Model, który odrzuca trudną jedną trzecią zestawu testowego, może uzyskać lepszy wynik niż model, który próbuje zmierzyć się z całością, nie będąc lepszym w tym zadaniu. Nic w opublikowanym wyniku nie pozwala tego skorygować, a kierunek tego obciążenia jest w górę, nie w dół.

To nie jest argument, że liczba jest błędna. To argument, że #2 na tablicy edycyjnej to twierdzenie o jakości na dozwolonych promptach oraz że zbiór dozwolonych jest mniejszy dla tego modelu niż dla modeli wokół niego. Jeśli Twoja praca obejmuje materiały archiwalne, zasoby marki lub wizerunek, zachowanie własnego filtra operatora zdecyduje o większej części Twoich wyników niż 18-punktowa różnica Elo, a leaderboard nigdy Ci tego nie pokaże, ponieważ odmowy nie są publikowane.

6,26 dolara za minutę to własny cennik Google, opracowany niezależnie.

Kolumna cenowa we wszystkich trzech zestawieniach podaje Gemini Omni Flash 1.2 w cenie 6,26 USD za minutę wygenerowanego wideo. Artificial Analysis definiuje tę kolumnę jako koszt wygenerowania jednej minuty przy użyciu API twórcy przy ustawieniach, które poddaje testom porównawczym, w 1080p, jeśli jest oferowane — wartość znormalizowana, a nie wycena.

Tutaj okazuje się, że dokładnie zgadza się to z własną arytmetyką dostawcy. G​oogle rozlicza wyjście wideo po 8 688 tokenów na sekundę dla 1080p z upsamplingiem, po 12,00 USD za milion tokenów. Sześćdziesiąt sekund to 521 280 tokenów, czyli 6,255 USD. Wycena zarządu na poziomie 9,12 USD dla G​emini Omni 1.1 Flash zgadza się w ten sam sposób z 17,50 USD za milion. To, że dwie niezależne strony dochodzą do tej samej kwoty co do centa, jest warte więcej niż każda z tych liczb osobno: oznacza, że obniżka o 30% ogłoszona przez G​oogle 5 listopada jest widoczna w modelu kosztów strony trzeciej, a nie tylko w komunikacie prasowym.

Ta kolumna nie pokazuje jednak rozdzielczości, którą faktycznie byś wybrał. W 720p ten sam model nalicza około 0,07 USD za sekundę, czyli mniej więcej 4,20 USD za minutę; w 360p — 0,023 USD za sekundę, około 1,38 USD. Zespół, który przygotowuje projekt w 360p, a kończy w 1080p, płaci mieszaną stawkę, która nie pojawia się nigdzie na tablicy, a jedyna liczba na tablicy zawyży połowę tego procesu odpowiadającą za przygotowanie projektu aż czterokrotnie.

Czego arena preferencji nie może ci powiedzieć

To są głosy preferencji ludzi oddawane w ciemno, a nie zestaw benchmarków. Nikt nie mierzy, czy piętnastosekundowy klip zachowuje kolor kurtki postaci przy cięciu montażowym, czy dźwięk pozostaje zsynchronizowany przy czwartym etapie przedłużania ani czy model spełnia brief z sześcioma obrazami referencyjnymi. To są właściwości, które faktycznie deklaruje dziennik zmian Google z 5 listopada — większa spójność postaci i obiektu w oparciu o maksymalnie sześć obrazów referencyjnych, wyraźniejsza synchronizacja ruchu warg, odrębne kondycjonowanie wielu mówców — i żadna z nich nie jest tym, co mierzy porównawcze głosowanie parami „który klip jest lepszy”.

Głosy nie pozwalają też dostrzec trybów awarii, które mają znaczenie operacyjnie. Model, który odmawia wykonania polecenia, nie zdobywa żadnych punktów; model, który zwraca technicznie poprawny plik z dryfującymi twarzami, wypada dobrze w porównaniu pojedynczego klipu, a źle w sekwencji dwudziestu ujęć. Arena Elo to narzędzie działające na poziomie pojedynczego klipu, którym próbuje się odpowiadać na pytanie dotyczące całego projektu.

Co to oznacza dla pipeline'u i co kierujemy

Gemini Omni Flash 1.2 nie znajduje się w katalogu OrcaRouter. Sprawdziliśmy aktualną listę modeli i nie ma żadnego wpisu Omni jakiejkolwiek wersji, więc jeśli to właśnie ten model jest ci potrzebny, właściwą drogą jest API Google i wolimy to powiedzieć, niż sugerować coś innego. Warstwa routingu zmienia tę część pipeline'u wideo, która nie jest wideo: lista ujęć, rozszerzanie promptów, etap opisywania i audyt po fakcie to praca na tekście, a te zadania działają na modelach, które mamy w ofercie — w tym na jednym kluczu, w cenie katalogowej dostawcy z 0% marży, dzięki czemu zmiana ceny u dostawcy trafia na rachunek w dniu, w którym nastąpi, a nie przy następnej umowie.

W tym wydaniu znajduje się konkretna wersja tego argumentu. Stawka za wideo w wersji 1.2 jest o 30% niższa niż w wersji 1.1, a endpoint 1.1 przestaje być osobno rozliczany 3 grudnia, kiedy Google zacznie automatycznie kierować go do wersji 1.2. Potok, który miał na sztywno wpisaną starą stałą za sekundę, ma teraz trzy tygodnie, aby to zauważyć. Potok, który odczytuje stawkę z bramy, która przekazuje cenę cennikową bez zmian nie ma tego problemu, ponieważ nie ma nic do ponownego wpisania na sztywno.

Co zmieniłoby ten odczyt?

Trzy rzeczy, w kolejności od najbardziej użytecznej. Publikowany odsetek odmów dla rankingu edycji uczyniłby z #2 coś porównywalnego; dziś notatka mówi, że zbiór testowy się zmniejszył, ale nie mówi o ile. Drugi tydzień głosów na 1.2 zawęziłby przedział text-to-video wystarczająco, by rozstrzygnąć, czy 26 Elo to rzeczywista różnica, czy artefakt próbkowania — obecne nakładanie się ma szerokość jednego punktu, co jest najmniej informatywnym miejscem, jakie przedział może zajmować. A jakikolwiek niezależny pomiar twierdzenia o spójności z obrazem referencyjnym byłby wart więcej niż wszystkie trzy rankingi razem wzięte, ponieważ to właśnie to twierdzenie G​oogle faktycznie sprzedaje, a żadna arena go nie testuje.

Do tego czasu uczciwe podsumowanie jest ograniczone. G​emini Omni Flash 1.2 to lepszy model wideo niż G​emini Omni 1.1 Flash we wszystkich trzech rankingach — wyraźnie lepszy w trybie obraz-na-wideo i prawdopodobnie lepszy w pozostałych dwóch — przy koszcie o 30% niższym za token, z filtrem bezpieczeństwa, który usuwa część jego zestawu testowego do edycji, oraz operatorem, który za trzy tygodnie przekieruje stary endpoint na nowy, niezależnie od tego, czy go przetestujesz.