Gemini Omni Flash 1.2 Menempati Peringkat #2 dalam Pengeditan Video — dan Batang Error-nya Justru Menjadi Inti Ceritanya

Artificial Analysis put G​emini Omni Flash 1.2 on three video leaderboards on 10 November, six days after G​oogle made the model generally available. The headline writes itself: #2 on AA-Video-Editing v1.1, ahead of the #5 held by G​emini Omni 1.1 Flash, with a climb from #12 to #6 on AA-Video-T2V v2.1 and from #17 to #14 on AA-Video-I2V v2.1. The useful reading is in the margins. Two of those three moves sit inside or against overlapping 95% intervals, one of the three was measured on a reduced prompt set, and the cleanest separation of the lot belongs to the smallest rank change in the set.

Tiga dewan, tiga jawaban berbeda tentang siapa yang terbaik

Hal pertama yang ditunjukkan oleh baris-baris baru adalah bahwa tidak ada satu pun peringkat video untuk dimenangkan. Wan 3.0 memimpin papan editing pada 1.192 dan papan text-to-video pada 1.175, lalu berada di posisi ke-11 pada image-to-video dengan 1.108. Dreamina Seedance 2.5 memuncaki image-to-video dengan 1.161, sekaligus berada di posisi keempat pada editing dan keempat pada text-to-video. Posisi sebuah model adalah sifat dari tugas, bukan dari modelnya, dan setiap pitch yang mengutip satu angka sedang mengutip satu tugas.

Against that backdrop, G​emini Omni Flash 1.2's profile is unusually flat. It is second on editing, sixth on text-to-video and fourteenth on image-to-video — competitive everywhere, dominant nowhere. For a model whose headline feature is conversational editing, that flatness is arguably the point: it is the only row in the top ten of the editing board that also appears in the top ten of text-to-video.

Dua puluh enam Elo, dan dua interval yang hampir bersentuhan

The move from #12 to #6 on AA-Video-T2V v2.1 is the one that will get screenshotted. It is a 26-point gain, 1,128 to 1,154. The published intervals are 1,115 to 1,141 for G​emini Omni 1.1 Flash and 1,140 to 1,168 for 1.2. They overlap by exactly one point.

Itu bukan alasan untuk mengabaikan peningkatan tersebut. Itu adalah alasan untuk berhenti memperlakukan peringkat sebagai suatu pengukuran. Artificial Analysis memperoleh interval ini dari pemungutan suara berpasangan secara buta, dan dengan 5.056 sampel untuk 1.2 dibandingkan 7.943 untuk 1.1, model yang lebih baru memiliki basis bukti yang lebih tipis karena baru sehari berada di papan. Selisih 26 poin yang menyentuh batas paling baik dibaca sebagai "kemungkinan lebih baik, belum dapat dipisahkan pada ukuran sampel ini" — yang merupakan klaim berbeda dari "naik enam peringkat", meskipun keduanya menggambarkan dua baris yang sama.

Papan penyuntingan memberikan gambaran serupa dengan selisih yang lebih kecil: 1.164 berbanding 1.146, perbedaan 18 poin yang intervalnya tumpang tindih pada 1.152 hingga 1.156. Papan image-to-video adalah kasus yang berlawanan dan yang lebih menarik. Di sana selisihnya 42 poin, 1.086 berbanding 1.044, dan intervalnya sama sekali tidak bersentuhan — 1.071 hingga 1.101 berbanding 1.030 hingga 1.058. Peringkatnya bergeser tiga tempat alih-alih enam, dan ini adalah satu-satunya dari ketiga perbandingan yang bertahan dalam pembacaan ketat atas batang kesalahannya sendiri.

Urutkan ketiganya sesuai dengan itu, dan urutannya berbalik: perubahan peringkat terkecil adalah bukti terkuat, perubahan peringkat terbesar adalah yang terlemah. Aritmetika peringkat menyembunyikan hal itu, karena peringkat dihitung dari estimasi titik dengan intervalnya dibuang.

Skor penyuntingan disertai catatan kaki.

G​emini Omni Flash 1.2's #2 on AA-Video-Editing v1.1 carries a note on the row itself: the model "declined some of our test set through its copyright and safety filters", and its result reflects the remaining prompts. Every row is also flagged provisional.

Baca itu secara gamblang. Skor adalah rata-rata atas prompt yang bersedia dijawab model, dan prompt yang ditolaknya justru adalah prompt ketika model penyuntingan diminta mengubah rekaman nyata, mereproduksi logo, atau mengerjakan subjek yang dapat dikenali — tugas-tugas yang membedakan demo dari hasil kerja yang benar-benar diserahkan. Model yang menolak sepertiga bagian tersulit dari suatu set uji dapat memperoleh skor lebih tinggi daripada model yang mencoba semuanya tanpa benar-benar lebih baik dalam pekerjaan itu. Tidak ada apa pun dalam hasil yang dipublikasikan yang memungkinkan Anda mengoreksi hal itu, dan arah biasnya ke atas, bukan ke bawah.

Ini bukan argumen bahwa angka itu salah. Ini adalah argumen bahwa #2 di papan penyuntingan adalah klaim tentang kualitas pada prompt yang diizinkan, dan bahwa himpunan yang diizinkan lebih kecil untuk model ini daripada untuk model-model di sekitarnya. Jika pekerjaan Anda melibatkan rekaman arsip, aset merek, atau kemiripan, perilaku filter operator itu sendiri akan lebih menentukan hasil Anda daripada selisih Elo 18 poin, dan papan peringkat tidak akan pernah menunjukkan hal itu kepada Anda karena penolakannya tidak dipublikasikan.

$6.26 a minute is G​oogle's own price list, arrived at independently

The pricing column on all three boards lists G​emini Omni Flash 1.2 at $6.26 per minute of generated video. Artificial Analysis defines that column as the cost to generate one minute on the creator's API at the settings it benchmarks, 1080p where offered — a normalised figure, not a quote.

Here it happens to reconcile exactly with the vendor's own arithmetic. G​oogle bills video output at 8,688 tokens per second for 1080p with upsampling, at $12.00 per million tokens. Sixty seconds is 521,280 tokens, which is $6.255. The board's $9.12 for G​emini Omni 1.1 Flash reconciles the same way against $17.50 per million. Two independent parties arriving at the same cent is worth more than either number alone: it means the 30% cut G​oogle announced on 5 November is visible in a third party's cost model, not just in a press release.

Yang tidak dicantumkan oleh kolom itu adalah resolusi yang sebenarnya akan Anda pilih. Pada 720p, model yang sama menagih sekitar $0,07 per detik, kira-kira $4,20 per menit; pada 360p, $0,023 per detik, sekitar $1,38. Tim yang menyusun draf pada 360p dan menyelesaikannya pada 1080p membayar tarif gabungan yang tidak muncul di mana pun pada papan tersebut, dan angka tunggal di papan itu akan melebih-lebihkan separuh bagian penyusunan draf dari alur kerja tersebut sebesar empat kali lipat.

Apa yang tidak dapat diberitahukan oleh arena preferensi kepada Anda

These are blind human-preference votes, not a benchmark suite. Nobody is measuring whether a fifteen-second clip holds a character's jacket colour across a cut, whether the audio stays in sync at the fourth extension turn, or whether the model respects a six-reference-image brief. Those are the properties G​oogle's 5 November changelog actually claims — improved character and subject consistency across up to six reference images, clearer lip-sync, distinct multi-speaker conditioning — and none of them is what a pairwise "which clip is better" vote measures.

Suara juga tidak dapat melihat mode kegagalan yang penting secara operasional. Model yang menolak sebuah prompt tidak mendapat skor; model yang mengembalikan file yang valid secara teknis dengan wajah yang bergeser mendapat skor baik dalam perbandingan satu klip dan buruk sepanjang rangkaian dua puluh shot. Arena Elo adalah instrumen per klip yang digunakan untuk menjawab pertanyaan per proyek.

Bagaimana posisi pipeline setelah ini, dan apa yang kita rutekan

G​emini Omni Flash 1.2 is not in OrcaRouter's catalogue. We checked the live model list and there is no Omni entry of any version, so if the model is what you need, G​oogle's own API is the path and we would rather say that than imply otherwise. What the routing layer changes is the part of a video pipeline that is not video: the shot list, the prompt expansion, the captioning pass and the post-hoc audit are all text work, and those run on models we do carry — including on one key, at provider list price with 0% markup, so a vendor price move reaches the bill the day it happens rather than at the next contract.

There is a concrete version of that argument in this release. The 1.2 video rate is 30% below 1.1 and the 1.1 endpoint stops being separately billable on 3 December, when G​oogle starts routing it to 1.2 automatically. A pipeline that hard-coded the old per-second constant now has three weeks to notice. A pipeline that reads the rate from a gateway that passes list price through does not have the problem, because there is nothing to re-hardcode.

Apa yang akan mengubah pembacaan ini?

Three things, in order of usefulness. A published refusal rate for the editing board would turn the #2 into something comparable; today the note tells you the test set shrank but not by how much. A second week of votes on 1.2 would narrow the text-to-video interval enough to settle whether 26 Elo is a real gap or a sampling artefact — the current overlap is one point wide, which is the least informative place for an interval to sit. And any independent measurement of the reference-image consistency claim would be worth more than all three boards combined, because that claim is the one G​oogle is actually selling and the one no arena is testing.

Until then the honest summary is narrow. G​emini Omni Flash 1.2 is a better video model than G​emini Omni 1.1 Flash on all three boards, clearly so on image-to-video and probably so on the other two, at 30% less per token, with a safety filter that removes part of its editing test set and an operator who will route the old endpoint to the new one in three weeks whether or not you have tested it.