Gemini Omni Flash 1.2、動画編集で第2位にランクイン——そして誤差範囲こそが本題だ

Artificial AnalysisはG​emini Omni Flash 1.2を11月10日、G​oogleがこのモデルを一般提供してから6日後に、3つの動画リーダーボードに掲載した。見出しは自明だ。AA-Video-Editing v1.1で2位、G​emini Omni 1.1 Flashが保持する5位を上回り、AA-Video-T2V v2.1では12位から6位へ、AA-Video-I2V v2.1では17位から14位へ上昇した。有益な読み解きは余白にある。これら3つの動きのうち2つは、重複する95%区間の内側か、それに接している。3つのうち1つは削減されたプロンプトセットで測定され、一連の中で最も明確な分離は、セット内で最小の順位変動のものに属する。

3つの掲示板、誰が最高かについて3つの異なる答え

新しい行からまず分かるのは、勝つべき単一の動画ランキングは存在しないということだ。Wan 3.0は編集ボードで1,192、テキストから動画のボードで1,175と首位に立ち、その後、画像から動画では1,108で11位につける。Dreamina Seedance 2.5は画像から動画で1,161と首位に立ちながら、編集で4位、テキストから動画で4位にいる。モデルの位置はモデルではなくタスクの属性であり、一つの数字を引用する売り込みは一つのタスクを引用しているにすぎない。

そうした状況を踏まえると、Gemini Omni Flash 1.2のプロファイルは異常なほど平坦だ。編集で2位、テキストから動画で6位、画像から動画で14位——どこでも競争力があり、どこでも支配的ではない。会話型編集を看板機能とするモデルにとって、その平坦さこそがむしろ要点と言える。編集ボードのトップ10に入り、かつテキストから動画のトップ10にも入っている唯一の行なのだ。

26 Elo、そしてほとんど接している2つの区間

AA-Video-T2V v2.1 における12位から6位への上昇は、スクリーンショットに撮られるだろう。26ポイントの上昇で、1,128から1,154だ。公表されている区間は、G​emini Omni 1.1 Flashが1,115から1,141、1.2が1,140から1,168。両者はちょうど1ポイントだけ重なっている。

それは向上分を無視する理由ではない。順位を測定値として扱うのをやめる理由である。Artificial Analysis はこれらの区間をブラインドのペアワイズ投票から導いており、1.2 の 5,056 サンプルに対して 1.1 は 7,943 サンプルなので、新しいモデルの方が証拠基盤が薄い。なぜならボードに載ってから一日しか経っていないからだ。境界に触れる 26 ポイントの差は、「おそらくより良いが、このサンプルサイズではまだ分離できない」と読むのが最善である——これは「6 位上昇した」とは異なる主張だ。両方が同じ二行を表しているとしても。

編集ボードも同様の構図で、差はより小さい。1,164 対 1,146 の18ポイント差だが、その区間は 1,152 から 1,156 にかけて重なっている。画像から動画へのボードは逆のケースで、より興味深い。そこでは差は42ポイント、1,086 対 1,044 で、区間はまったく接していない — 1,071 から 1,101 対 1,030 から 1,058。順位は6ではなく3つ動き、3つの比較のうち、自身のエラーバーを厳密に読んでも差が残るのはこれだけである。

その3つをそれに応じて並べ替えると、順序が反転する。順位の変化が最も小さいものが最も強い証拠であり、順位の変化が最も大きいものが最も弱い。順位の計算はそのことを隠してしまう。なぜなら順位は、区間を捨て去った点推定値から計算されるからだ。

編集スコアには脚注が付いている

G​emini Omni Flash 1.2のAA-Video-Editing v1.1での2位には、その行自体に注記が付いている。このモデルは「著作権および安全フィルターにより、当社のテストセットの一部を拒否した」とされ、その結果は残りのプロンプトを反映したものだ。また、すべての行に暫定というフラグが立てられている。

これを素直に読んでください。スコアは、モデルが回答する意思を示したプロンプト全体の平均であり、モデルが拒否したプロンプトこそ、編集モデルが実映像を改変する、ロゴを再現する、識別可能な被写体を扱うよう求められるもの——デモと納品を分けるタスクです。テストセットの難しい3分の1を辞退するモデルは、その仕事により優れていなくても、すべてに取り組むモデルより高いスコアを出せます。公表された結果の中には、その補正を可能にするものは何もなく、バイアスの方向は下向きではなく上向きです。

これは、その数字が間違っているという主張ではない。編集ボードの#2は、許可されたプロンプトにおける品質についての主張であり、その許可された集合は、周辺のモデルよりもこのモデルのほうが小さい、という主張だ。あなたの作業がアーカイブ映像、ブランド資産、肖像に関わるものであるなら、運営者自身のフィルター挙動が、18ポイントのElo差よりも多くの結果を左右することになり、拒否は公開されないため、リーダーボードがそれを示すことは決してない。

1分6.26ドルというのは、G​oogle自身の価格表で、独自に算出されたものです。

3つすべてのボードの価格列には、G​emini Omni Flash 1.2が生成動画1分あたり6.26ドルと記載されている。Artificial Analysisは、その列を、同社がベンチマークする設定（提供されている場合は1080p）でクリエイターのAPIを使って1分を生成するコストと定義している。これは正規化された数値であり、見積もりではない。

ここでは、たまたまベンダー自身の計算と正確に一致する。Googleは、アップサンプリング付き1080pの動画出力を毎秒8,688トークン、100万トークンあたり$12.00で課金する。60秒は521,280トークンで、$6.255になる。ボードのGemini Omni 1.1 Flashに対する$9.12も、100万トークンあたり$17.50に対して同じように整合する。二つの独立した当事者が同じセント単位の値に到達したことは、どちらか一方の数字だけよりも価値がある。それは、Googleが11月5日に発表した30%カットが、単なるプレスリリースではなく、第三者のコストモデルにも見えていることを意味する。

その列に載っていないのは、実際に選ぶことになる解像度です。720pでは同じモデルで1秒あたり約0.07ドル、1分あたりおよそ4.20ドルの請求になります。360pなら1秒あたり0.023ドル、約1.38ドルです。360pで下書きし、1080pで仕上げるチームは、一覧表のどこにも表示されない混合レートを支払うことになり、一覧表の単一の数値は、そのパイプラインの下書き部分を4倍に過大評価することになります。

選好アリーナでは分からないこと

これらはブラインド形式の人間選好投票であり、ベンチマークスイートではない。15秒のクリップがカットをまたいでキャラクターのジャケットの色を保つか、4回目の延長ターンで音声が同期し続けるか、あるいはモデルが6枚の参照画像を使ったブリーフに従うか——誰もそんなことは測定していない。それらこそが、G​oogleの11月5日の変更履歴が実際にうたっている特性——最大6枚の参照画像にわたるキャラクターと被写体の一貫性の向上、よりクリアなリップシンク、話者ごとに区別されたマルチスピーカー・コンディショニング——であり、そのいずれも、ペアワイズの「どちらのクリップが優れているか」投票が測るものではない。

投票者もまた、運用上重要な失敗モードを見ることができない。プロンプトを拒否するモデルは何も得点しない。技術的には有効なファイルを返しても顔がドリフトするモデルは、単一クリップの比較では良いスコアを出し、20ショットのシーケンスでは悪いスコアになる。Arena Eloはクリップ単位の計器であり、それがプロジェクト単位の問いに答えようと使われている。

これによってパイプラインがどうなるか、そして何をルーティングするか

Gemini Omni Flash 1.2 は OrcaRouter のカタログにありません。現行のモデル一覧を確認しましたが、どのバージョンにも Omni の項目はないため、そのモデルが必要なのであれば Google 自身の API を使うほかなく、そうでないかのようにほのめかすより、はっきりそうお伝えします。ルーティング層が変えるのは、動画パイプラインのうち動画ではない部分です。ショットリスト、プロンプト展開、キャプション生成処理、事後監査はいずれもテキスト作業で、これらは当社が実際に取り扱っているモデル上で実行されます — しかも1つのキーで、プロバイダーの定価のまま、マークアップ 0%。そのため、ベンダーの価格改定は次の契約時ではなく、実施されたその日に請求へ反映されます。

このリリースには、その主張を具体的に示す例がある。1.2 の動画レートは 1.1 より 30% 低く、1.1 のエンドポイントは 12 月 3 日に個別課金の対象外となる。Google が同日から自動的に 1.2 へルーティングするためだ。古い毎秒定数をハードコードしていたパイプラインには、それに気づくまで残り 3 週間しかない。レートを読み取るパイプラインは、定価をそのまま通すゲートウェイから読み取っていれば問題ない。再ハードコードするものがないからだ。

何がこの読みを変えるだろうか

有用な順に3つ。編集ボードの拒否率を公開すれば、#2 を比較可能なものにできる。現状の注記では、テストセットが縮小したことは分かっても、どれだけ縮小したかは分からない。1.2 への投票をもう1週間続ければ、テキスト-to-ビデオの区間が十分に狭まり、26 Elo が実際の差なのかサンプリングによるアーティファクトなのかを決着できる——現在の重なりは1ポイント幅で、これは区間が置かれる場所として最も情報量が少ない。そして、参照画像の一貫性という主張を独立に測定すれば、3つのボードを全部合わせたよりも価値がある。なぜなら、その主張こそが Google が実際に売り込んでいるものであり、どのアリーナも検証していないものだからだ。

それまでは、正直な要約は限定的だ。G​emini Omni Flash 1.2 は、3つのボードすべてで G​emini Omni 1.1 Flash より優れた動画モデルであり、画像から動画では明らかに、他の2つでもおそらくそうで、トークンあたり30%安く、その編集テストセットの一部を除外する安全性フィルターを備え、あなたがテストしたかどうかにかかわらず3週間後に旧エンドポイントを新しいエンドポイントへルーティングする運営者がいる。