Gemini Omni Flash 1.2 landar på #2 inom videoredigering – och felstaplarna är historien

Artificial Analysis put G​emini Omni Flash 1.2 on three video leaderboards on 10 November, six days after G​oogle made the model generally available. The headline writes itself: #2 on AA-Video-Editing v1.1, ahead of the #5 held by G​emini Omni 1.1 Flash, with a climb from #12 to #6 on AA-Video-T2V v2.1 and from #17 to #14 on AA-Video-I2V v2.1. The useful reading is in the margins. Two of those three moves sit inside or against overlapping 95% intervals, one of the three was measured on a reduced prompt set, and the cleanest separation of the lot belongs to the smallest rank change in the set.

Tre nämnder, tre olika svar på vem som är bäst

Det första de nya raderna visar är att det inte finns någon enskild videorankning att vinna. {{1}}Wan 3.0{{/1}} leder redigeringslistan på 1 192 och text-till-video-listan på 1 175, och hamnar sedan på 11:e plats för bild-till-video på 1 108. {{2}}Dreamina Seedance 2.5{{/2}} toppar bild-till-video på 1 161 samtidigt som den ligger fyra på redigering och fyra på text-till-video. En modells placering är en egenskap hos uppgiften, inte hos modellen, och varje pitch som anger ett nummer anger en uppgift.

Against that backdrop, G​emini Omni Flash 1.2's profile is unusually flat. It is second on editing, sixth on text-to-video and fourteenth on image-to-video — competitive everywhere, dominant nowhere. For a model whose headline feature is conversational editing, that flatness is arguably the point: it is the only row in the top ten of the editing board that also appears in the top ten of text-to-video.

Tjugosex Elo, och två intervall som nästan vidrör varandra

The move from #12 to #6 on AA-Video-T2V v2.1 is the one that will get screenshotted. It is a 26-point gain, 1,128 to 1,154. The published intervals are 1,115 to 1,141 for G​emini Omni 1.1 Flash and 1,140 to 1,168 for 1.2. They overlap by exactly one point.

Det är inte ett skäl att avfärda ökningen. Det är ett skäl att sluta behandla en placering som ett mått. Artificial Analysis härleder dessa intervall från blinda parvisa röster, och med 5 056 sampel för 1.2 mot 7 943 för 1.1 har den nyare modellen ett tunnare evidensunderlag eftersom den har funnits på listan i en dag. Ett gap på 26 punkter som tangerar gränsen bör bäst tolkas som "förmodligen bättre, ännu inte särskiljbar vid denna urvalsstorlek" — vilket är ett annat påstående än "klättrade sex placeringar", även om båda beskriver samma två rader.

Redigeringstavlan visar en liknande bild med en mindre lucka: 1 164 mot 1 146, en skillnad på 18 punkter vars intervall överlappar mellan 1 152 och 1 156. Bild-till-video-tavlan är det motsatta fallet och det mer intressanta. Där är gapet 42 punkter, 1 086 mot 1 044, och intervallen vidrör inte varandra alls – 1 071 till 1 101 mot 1 030 till 1 058. Placeringen ändrades med tre platser i stället för sex, och det är den enda av de tre jämförelserna som klarar en strikt läsning av sina egna felstaplar.

Sortera de tre i enlighet med detta så inverteras ordningen: den minsta rangändringen är det starkaste beviset, den största rangändringen är det svagaste. Rangaritmetik döljer detta, eftersom rangordningar beräknas från punktuppskattningar där intervallen kastas bort.

Redigeringspoängen kommer med en bifogad fotnot.

G​emini Omni Flash 1.2's #2 on AA-Video-Editing v1.1 carries a note on the row itself: the model "declined some of our test set through its copyright and safety filters", and its result reflects the remaining prompts. Every row is also flagged provisional.

Läs det rakt på sak. Poängen är ett genomsnitt över de promptar som modellen var villig att svara på, och de promptar den vägrade är exakt de där en redigeringsmodell ombeds ändra riktigt filmmaterial, återskapa en logotyp eller arbeta med ett igenkännbart motiv – uppgifterna som skiljer en demo från en leverans. En modell som avböjer den svåra tredjedelen av en testuppsättning kan få högre poäng än en modell som försöker sig på allt, utan att vara bättre på jobbet. Inget i det publicerade resultatet gör det möjligt att korrigera för det, och snedvridningens riktning är uppåt, inte nedåt.

Det här är inte ett argument för att siffran är fel. Det är ett argument för att #2 på redigeringsrankingen är ett påstående om kvalitet på tillåtna prompter, och att den tillåtna uppsättningen är mindre för den här modellen än för modellerna runt den. Om ditt arbete involverar arkivmaterial, varumärkestillgångar eller personers utseende kommer operatörens eget filterbeteende att avgöra fler av dina utfall än en Elo-skillnad på 18 punkter, och topplistan kommer aldrig att visa dig det eftersom vägranarna inte publiceras.

$6.26 a minute is G​oogle's own price list, arrived at independently

The pricing column on all three boards lists G​emini Omni Flash 1.2 at $6.26 per minute of generated video. Artificial Analysis defines that column as the cost to generate one minute on the creator's API at the settings it benchmarks, 1080p where offered — a normalised figure, not a quote.

Here it happens to reconcile exactly with the vendor's own arithmetic. G​oogle bills video output at 8,688 tokens per second for 1080p with upsampling, at $12.00 per million tokens. Sixty seconds is 521,280 tokens, which is $6.255. The board's $9.12 for G​emini Omni 1.1 Flash reconciles the same way against $17.50 per million. Two independent parties arriving at the same cent is worth more than either number alone: it means the 30% cut G​oogle announced on 5 November is visible in a third party's cost model, not just in a press release.

Det som kolumnen inte förmedlar är den upplösning du faktiskt skulle välja. Vid 720p debiterar samma modell cirka 0,07 USD per sekund, ungefär 4,20 USD per minut; vid 360p 0,023 USD per sekund, cirka 1,38 USD. Ett team som gör utkast i 360p och färdigställer i 1080p betalar en blandad taxa som inte visas någonstans på tavlan, och tavlans enda siffra kommer att överskatta utkastdelen av den pipeline med en faktor fyra.

Vad en preferensarena inte kan berätta för dig

These are blind human-preference votes, not a benchmark suite. Nobody is measuring whether a fifteen-second clip holds a character's jacket colour across a cut, whether the audio stays in sync at the fourth extension turn, or whether the model respects a six-reference-image brief. Those are the properties G​oogle's 5 November changelog actually claims — improved character and subject consistency across up to six reference images, clearer lip-sync, distinct multi-speaker conditioning — and none of them is what a pairwise "which clip is better" vote measures.

Rösterna kan inte heller se de felmoder som är operativt relevanta. En modell som avböjer en prompt får inga poäng; en modell som returnerar en tekniskt giltig fil med ansikten som driver får bra resultat i en jämförelse av ett enskilt klipp och dåligt resultat över en sekvens på tjugo tagningar. Arena Elo är ett instrument per klipp som används för att besvara en fråga per projekt.

Vad detta innebär för en pipeline, och vad vi dirigerar

G​emini Omni Flash 1.2 is not in OrcaRouter's catalogue. We checked the live model list and there is no Omni entry of any version, so if the model is what you need, G​oogle's own API is the path and we would rather say that than imply otherwise. What the routing layer changes is the part of a video pipeline that is not video: the shot list, the prompt expansion, the captioning pass and the post-hoc audit are all text work, and those run on models we do carry — including on one key, at provider list price with 0% markup, so a vendor price move reaches the bill the day it happens rather than at the next contract.

There is a concrete version of that argument in this release. The 1.2 video rate is 30% below 1.1 and the 1.1 endpoint stops being separately billable on 3 December, when G​oogle starts routing it to 1.2 automatically. A pipeline that hard-coded the old per-second constant now has three weeks to notice. A pipeline that reads the rate from a gateway that passes list price through does not have the problem, because there is nothing to re-hardcode.

Vad skulle ändra den här avläsningen?

Three things, in order of usefulness. A published refusal rate for the editing board would turn the #2 into something comparable; today the note tells you the test set shrank but not by how much. A second week of votes on 1.2 would narrow the text-to-video interval enough to settle whether 26 Elo is a real gap or a sampling artefact — the current overlap is one point wide, which is the least informative place for an interval to sit. And any independent measurement of the reference-image consistency claim would be worth more than all three boards combined, because that claim is the one G​oogle is actually selling and the one no arena is testing.

Until then the honest summary is narrow. G​emini Omni Flash 1.2 is a better video model than G​emini Omni 1.1 Flash on all three boards, clearly so on image-to-video and probably so on the other two, at 30% less per token, with a safety filter that removes part of its editing test set and an operator who will route the old endpoint to the new one in three weeks whether or not you have tested it.