Gemini Omni Flash 1.2 在影片剪輯排行榜登上第 2 名——而誤差線才是重點

Artificial Analysis 於 11 月 10 日將 G​emini Omni Flash 1.2放上三個影片排行榜，時間點就在 G​oogle 讓該模型正式全面開放使用後的第六天。標題不言自明：在 AA-Video-Editing v1.1 上排名第 2，領先 G​emini Omni 1.1 Flash所保持的第 5 名；同時在 AA-Video-T2V v2.1 上從第 12 名攀升至第 6 名，在 AA-Video-I2V v2.1 上則從第 17 名升至第 14 名。真正有用的解讀藏在邊緣細節裡。這三次變動中有兩次位於彼此重疊的 95% 區間之內或與之相抵，其中一次是在縮減過的提示集上测得，而整組中最乾淨俐落的分隔，卻屬於這組裡幅度最小的名次變動。

三個董事會，對誰最優秀給出三種不同答案

新加入的這些列首先說明的是：並不存在單一可爭奪的影片排名。Wan 3.0 以 1,192 在剪輯榜領先，並以 1,175 在文字轉影片榜領先，接著在圖像轉影片榜以 1,108 位列第 11。Dreamina Seedance 2.5 以 1,161 在圖像轉影片榜居首，同時在剪輯榜與文字轉影片榜均位列第四。一個模型的名次是任務的屬性，而非模型本身的屬性；任何引用單一數字的推銷說法，都只是在引用單一任務。

在此背景下，Gemini Omni Flash 1.2 的整體表現異常平坦。它在剪輯項目排名第二、文字轉影片第六、圖像轉影片第十四——處處具競爭力，卻無處占據主導地位。對於一個主打功能是對話式剪輯的模型而言，這種平坦表現或許正是重點：它是剪輯排行榜前十名中，唯一同時也躋身文字轉影片前十名的項目。

二十六 Elo，以及兩個幾乎相接的區間

在 AA-Video-T2V v2.1 上從 #12 躍升至 #6，正是會被截圖流傳的那一項。這是 26 分的提升，從 1,128 到 1,154。公布的區間為 G​emini Omni 1.1 Flash 的 1,115 到 1,141，以及 1.2 的 1,140 到 1,168。兩者恰好重疊一分。

這不是否定這項進展的理由。這是停止把排名當成測量值的理由。Artificial Analysis 從盲測兩兩比較投票推導出這些區間；1.2 有 5,056 個樣本，而 1.1 有 7,943 個，較新的模型因為登上榜單才一天，證據基礎較薄弱。一個在邊界處相接的 26 個百分點差距，最好解讀為「可能更好，但在此樣本量下尚無法區分」——這與「上升六名」是不同的說法，即使兩者描述的是同樣這兩列資料。

編輯排行榜呈現類似情況，但差距較小：1,164 對 1,146，相差 18 分，其區間在 1,152 到 1,156 之間重疊。圖像轉影片排行榜則相反，而且更有意思。那裡差距是 42 分，1,086 對 1,044，且區間完全不重疊——1,071 到 1,101 對 1,030 到 1,058。排名移動了三個名次，而不是六個，而且它是三項比較中唯一在嚴格解讀自身誤差線後仍站得住腳的一項。

若照此排序這三者，順序就會反轉：排名變動最小者是最強證據，排名變動最大者則是最弱證據。排名運算掩蓋了這一點，因為排名是由點估計計算而來，區間則被丟棄。

編輯評分附有一則註腳。

Gemini Omni Flash 1.2 在 AA-Video-Editing v1.1 上排名第 2，該列本身附有註記：該模型「透過其著作權與安全篩選機制，拒絕了我們部分測試集」，而其結果反映的是其餘提示。每一列也都標示為暫定。

直接這樣解讀：這個分數是對模型願意回答的提示取平均，而它拒絕的提示，正好就是要求編輯模型改動真實素材、重現標誌，或處理可辨識主體的那類提示——也就是區分示範與交付的任務。一個拒答測試集中困難三分之一題目的模型，可能得分高於嘗試全部題目的模型，即使它並沒有更擅長這份工作。公布結果中沒有任何東西能讓你校正這一點，而且偏差的方向是向上的，不是向下的。

這不是在主張那個數字有誤。這是在主張，編輯排行榜上的 #2 是關於在獲准提示詞上品質的宣稱，而且這個模型的獲准集合比排名在它前後的模型更小。如果你的工作涉及檔案影片、品牌資產或肖像，營運者自身的過濾行為對你的結果的決定性，會比 18 分的 Elo 差距更大，而排行榜永遠不會顯示這一點，因為拒絕並未公開。

每分鐘 6.26 美元是 G​oogle 自家的價目表，而且是獨立得出的。

所有三個看板上的定價欄位都列出 G​emini Omni Flash 1.2 為每分鐘生成影片 $6.26。Artificial Analysis 將該欄位定義為：在創作者 API 上，依其進行基準測試時所用的設定（若有提供則為 1080p）生成一分鐘的成本——這是一個標準化數字，而非報價。

這裡恰好與供應商自己的計算完全吻合。G​oogle 對 1080p 含升頻的影片輸出，以每百萬個 token 12.00 美元的價格、每秒 8,688 個 token 計費。六十秒是 521,280 個 token，也就是 6.255 美元。該看板所列 G​emini Omni 1.1 Flash 的 9.12 美元，也以同樣方式對應到每百萬 17.50 美元。兩個獨立來源得出相同到分位的結果，比任一數字單獨來看更有價值：這意味著 G​oogle 於 11 月 5 日宣布的 30% 抽成，確實反映在第三方的成本模型中，而不只是在新聞稿裡。

這張表沒有呈現的，是你實際會選用的解析度。在 720p 下，同一個模型每秒約收費 $0.07，換算下來每分鐘約 $4.20；在 360p 下則是每秒 $0.023，約 $1.38。一個團隊若以 360p 起草、再以 1080p 完成，所支付的混合費率在這張表上完全看不到，而表上的那個單一數字，會把這條流程中起草階段的費用高估達四倍。

偏好競技場無法告訴你的事

這些是盲測的人類偏好投票，不是基準測試套件。沒有人正在衡量一段十五秒短片是否能在剪接前後保持角色外套顏色一致、音訊在第四次延長回合時是否仍保持同步，或模型是否遵循六張參考影像的需求。那些才是 Google 11 月 5 日更新日誌實際宣稱的特性——在最多六張參考影像之間改善角色與主體一致性、更清晰的唇形同步、明確的多說話者條件控制——而這些都不是成對「哪段短片更好」投票所衡量的內容。

投票結果也看不出營運上真正重要的失效模式。拒絕回應提示的模型得零分；回傳技術上合格、但臉部會漂移的檔案的模型，在單一片段比較中得分很高，放到二十個鏡頭的序列裡卻很糟。Arena Elo 是逐片段的工具，卻被拿來回答每個專案的問題。

這讓管線處於什麼境地，以及我們要路由什麼

Gemini Omni Flash 1.2 不在 OrcaRouter 的目錄中。我們查過即時模型清單，任何版本的 Omni 項目都沒有，所以如果你需要的正是這個模型，Google 自家的 API 才是途徑，我們寧可直說，也不願暗示相反的情況。路由層所改變的，是影片管線中不屬於影片本身的部分：鏡頭清單、提示詞擴充、字幕處理與事後稽核全都是文字工作，而這些都執行在我們確實有提供的模型上——包括使用 單一金鑰，以供應商牌價、0% 加成，因此供應商調價會在發生當天反映到帳單上，而不是等到下一份合約才反映。

這個版本中就有一個體現該論點的具體實例。1.2 的影片費率比 1.1 低 30%，而 1.1 端點自 12 月 3 日起不再單獨計費，屆時 G​oogle 會自動將其路由至 1.2。若管線硬編碼了舊的每秒常數，現在只剩三週可以察覺。從一個會將定價原樣傳遞的閘道讀取費率的管線則沒有這個問題，因為沒有需要重新硬編碼的東西。

什麼會改變這個讀數？

三件事，依用處排序。若編輯排行榜公布拒絕率，會讓第 2 名變成可資比較的對象；目前的註記只告訴你測試集縮小了，卻沒說縮小多少。在 1.2 上再進行一週投票，會把文字轉影片的區間縮窄到足以判定 26 Elo 是真實差距還是取樣假象——目前重疊幅度只有一分寬，而這是區間所能落在的最不具資訊價值的位置。而任何對參考圖一致性主張的獨立量測，價值都會高於三個排行榜的總和，因為那項主張才是 G​oogle 真正在推銷的，也是沒有任何競技場在測試的。

在那之前，誠實的總結仍很有限。G​emini Omni Flash 1.2 在三個榜單上都是比 G​emini Omni 1.1 Flash 更好的影片模型：在圖像轉影片上明顯如此，另外兩項可能也是如此；每 token 的價格低 30%，而它的安全過濾器會移除其編輯測試集的一部分，且營運方無論你是否測試過，都會在三週後把舊端點導向新端點。