Gemini Omni Flash 1.2 занимает 2-е место в редактировании видео — и вся суть в планках погрешностей

Artificial Analysis поместила G​emini Omni Flash 1.2 на три видеолидерборда 10 ноября, через шесть дней после того, как G​oogle сделала модель общедоступной. Заголовок напрашивается сам собой: №2 в AA-Video-Editing v1.1, впереди №5, который занимает G​emini Omni 1.1 Flash, с подъёмом с №12 на №6 в AA-Video-T2V v2.1 и с №17 на №14 в AA-Video-I2V v2.1. Полезное прочтение — в деталях. Два из этих трёх перемещений находятся внутри перекрывающихся 95%-ных интервалов или на их границе, одно из трёх измерено на сокращённом наборе промптов, а самое чистое разделение из всех относится к наименьшему изменению ранга в наборе.

Три совета — три разных ответа на вопрос, кто лучший.

Первое, что устанавливают новые строки: единого рейтинга видео, который можно выиграть, не существует. Wan 3.0 лидирует в таблице монтажа с 1,192 и в таблице текст-в-видео с 1,175, а затем оказывается 11-м в изображение-в-видео с 1,108. Dreamina Seedance 2.5 возглавляет изображение-в-видео с 1,161, занимая при этом четвёртое место в монтаже и четвёртое в текст-в-видео. Позиция модели — свойство задачи, а не модели, и любой питч, где приводится одна цифра, описывает лишь одну задачу.

На этом фоне профиль G​emini Omni Flash 1.2 выглядит необычно ровным. Он второй в редактировании, шестой в преобразовании текста в видео и четырнадцатый в преобразовании изображения в видео — конкурентоспособен везде, но нигде не доминирует. Для модели, главная особенность которой — диалоговое редактирование, эта ровность, возможно, и есть суть: это единственная строка в топ-10 таблицы редактирования, которая также входит в топ-10 по преобразованию текста в видео.

Двадцать шесть Эло, и два интервала, которые почти соприкасаются

Переход с #12 на #6 в AA-Video-T2V v2.1 — именно его будут скриншотить. Это прирост на 26 пунктов: с 1 128 до 1 154. Опубликованные интервалы — с 1 115 по 1 141 для G​emini Omni 1.1 Flash и с 1 140 по 1 168 для 1.2. Они пересекаются ровно на одном пункте.

Это не причина сбрасывать со счетов этот прирост. Это причина перестать воспринимать место в рейтинге как измерение. Artificial Analysis выводит эти интервалы из слепых попарных голосований, и при 5 056 выборках для 1.2 против 7 943 для 1.1 у более новой модели менее прочная доказательная база, потому что она находится в таблице всего день. Разрыв в 26 пунктов, который соприкасается на границе, лучше всего читать как «вероятно, лучше, но пока не различимо при данном размере выборки» — и это утверждение отличается от «поднялась на шесть позиций», хотя оба описывают одни и те же две строки.

Таблица лидеров по редактированию рассказывает похожую историю, но с меньшим разрывом: 1 164 против 1 146 — разница в 18 пунктов, причём интервалы перекрываются в диапазоне от 1 152 до 1 156. Таблица лидеров по преобразованию изображения в видео — противоположный случай, и более интересный. Там разрыв составляет 42 пункта — 1 086 против 1 044, и интервалы вообще не соприкасаются: от 1 071 до 1 101 против от 1 030 до 1 058. Ранг сместился на три позиции вместо шести, и это единственное из трёх сравнений, которое выдерживает строгую проверку с учётом собственных планок погрешности.

Упорядочите эти три соответствующим образом — и порядок инвертируется: наименьшее изменение ранга является самым сильным доказательством, наибольшее изменение ранга — самым слабым. Ранговая арифметика скрывает это, поскольку ранги вычисляются по точечным оценкам, а интервалы отбрасываются.

К оценке за редактирование прилагается сноска.

То, что G​emini Omni Flash 1.2 занимает #2 в AA-Video-Editing v1.1, сопровождается примечанием в самой строке: модель «отказалась обрабатывать часть нашего тестового набора из-за своих фильтров авторских прав и безопасности», а её результат отражает оставшиеся запросы. Кроме того, каждая строка помечена как предварительная.

Читайте это буквально. Оценка — это среднее по тем запросам, на которые модель согласилась ответить, а запросы, от которых она отказалась, — ровно те, где модель редактирования просят изменить реальный видеоматериал, воспроизвести логотип или работать с узнаваемым объектом, то есть задачи, которые отделяют демо от реальной сдачи. Модель, которая отказывается от сложной трети тестового набора, может набрать больше баллов, чем модель, которая пытается выполнить всё, не будучи лучше в этой работе. Ничто в опубликованном результате не позволяет скорректировать это, и направление смещения — вверх, а не вниз.

Это не довод о том, что число неверно. Это довод о том, что #2 в рейтинге редактирования — это утверждение о качестве на разрешённых промптах, и что для этой модели разрешённый набор меньше, чем для моделей рядом с ней. Если ваша работа связана с архивными видеоматериалами, брендовыми активами или изображениями реальных людей, поведение фильтра самого оператора будет определять больше ваших результатов, чем разрыв в 18 пунктов Elo, и таблица лидеров никогда вам этого не покажет, потому что отказы не публикуются.

6,26 доллара в минуту — это собственный прайс-лист Google, составленный независимо.

В колонке цен на всех трёх таблицах указана Gemini Omni Flash 1.2 по цене $6.26 за минуту сгенерированного видео. Artificial Analysis определяет эту колонку как стоимость генерации одной минуты через API создателя при настройках, которые используются для тестирования, — 1080p, где это предлагается; это нормализованный показатель, а не котировка.

Здесь это как раз в точности совпадает с собственной арифметикой поставщика. G​oogle тарифицирует вывод видео в 8 688 токенов в секунду для 1080p с апскейлингом по цене $12.00 за миллион токенов. Шестьдесят секунд — это 521 280 токенов, то есть $6.255. Цифра совета в $9.12 для G​emini Omni 1.1 Flash точно так же согласуется с $17.50 за миллион. То, что две независимые стороны приходят к одной и той же цифре с точностью до цента, ценнее любого из этих чисел по отдельности: это значит, что 30-процентное снижение, объявленное G​oogle 5 ноября, видно в модели затрат третьей стороны, а не только в пресс-релизе.

Чего не содержит этот столбец — так это разрешения, которое вы реально выбрали бы. При 720p та же модель обходится примерно в $0.07 за секунду, то есть около $4.20 в минуту; при 360p — $0.023 за секунду, примерно $1.38. Команда, которая создаёт черновик при 360p и завершает работу при 1080p, платит смешанную ставку, которой нет нигде в таблице, а единственное число в таблице завысит стоимость черновой половины этого конвейера в четыре раза.

Что арена предпочтений не может вам сказать

Это слепые голоса человеческого предпочтения, а не набор бенчмарков. Никто не проверяет, сохраняет ли пятнадцатисекундный клип цвет куртки персонажа при склейке, остаётся ли звук синхронизированным на четвёртом повороте расширения или соблюдает ли модель требования брифа с шестью референсными изображениями. Именно эти свойства на самом деле заявлены в списке изменений Google от 5 ноября — улучшенная согласованность персонажа и объекта по до шести референсным изображениям, более чёткая синхронизация губ, раздельная обусловленность для нескольких говорящих, — и ни одно из них не измеряется парным голосованием «какой клип лучше».

Голоса также не видят те режимы отказа, которые важны с операционной точки зрения. Модель, которая отклоняет запрос, не получает баллов; модель, которая возвращает технически корректный файл с «плывущими» лицами, хорошо оценивается при сравнении одного клипа и плохо — на последовательности из двадцати шотов. Arena Elo — это инструмент для отдельных клипов, который используют для ответа на вопрос уровня проекта.

Что это означает для конвейера и что мы маршрутизируем

Gemini Omni Flash 1.2 отсутствует в каталоге OrcaRouter. Мы проверили актуальный список моделей, и в нём нет ни одной записи Omni какой-либо версии, поэтому если вам нужна именно эта модель, путь — собственный API Google, и мы предпочтём сказать это прямо, а не намекать на обратное. Что меняет слой маршрутизации — так это ту часть видеоконвейера, которая не является видео: список кадров, расширение промпта, этап создания подписей и постфактум-аудит — всё это текстовая работа, и она выполняется на моделях, которые у нас есть, — в том числе на одном ключе по прайс-листу провайдера с наценкой 0%, так что изменение цены вендором отражается в счёте в тот же день, когда оно происходит, а не при следующем договоре.

В этом выпуске есть конкретное подтверждение этого аргумента. Тариф на видео 1.2 на 30% ниже, чем в 1.1, а конечная точка 1.1 перестаёт тарифицироваться отдельно 3 декабря, когда Google начнёт автоматически направлять её на 1.2. У конвейера, в котором жёстко зашита старая постоянная стоимость за секунду, теперь есть три недели, чтобы это заметить. У конвейера, который считывает тариф из шлюза, передающего прейскурантную цену без изменений, не возникает этой проблемы, потому что здесь нечего заново жёстко прописывать.

Что могло бы изменить это чтение?

Три вещи, в порядке полезности. Опубликованная доля отказов для табло редактирования сделала бы №2 сопоставимым; сейчас в примечании сказано, что тестовый набор уменьшился, но не насколько. Вторая неделя голосования по 1.2 сузила бы интервал текст-в-видео достаточно, чтобы установить, 26 Elo — это реальный разрыв или артефакт выборки: сейчас перекрытие шириной в один пункт, а это наименее информативное положение для интервала. И любое независимое измерение утверждения о согласованности референсных изображений стоило бы больше, чем все три табло вместе взятые, потому что именно это утверждение G​oogle на самом деле продаёт и именно его не проверяет ни одна арена.

Пока что честное резюме остаётся узким. G​emini Omni Flash 1.2 — более качественная видеомодель, чем G​emini Omni 1.1 Flash, на всех трёх бенчмарках: явно лучше в режиме «изображение в видео» и, вероятно, лучше в двух других, при этом на 30% дешевле за токен, с фильтром безопасности, который удаляет часть её набора тестов на редактирование, и с оператором, который через три недели перенаправит старый эндпоинт на новый независимо от того, тестировали вы его или нет.