Gemini Omni Flash 1.2 landet bei der Videobearbeitung auf Platz 2 – und die Fehlerbalken sind die eigentliche Geschichte

Artificial Analysis put G​emini Omni Flash 1.2 on three video leaderboards on 10 November, six days after G​oogle made the model generally available. The headline writes itself: #2 on AA-Video-Editing v1.1, ahead of the #5 held by G​emini Omni 1.1 Flash, with a climb from #12 to #6 on AA-Video-T2V v2.1 and from #17 to #14 on AA-Video-I2V v2.1. The useful reading is in the margins. Two of those three moves sit inside or against overlapping 95% intervals, one of the three was measured on a reduced prompt set, and the cleanest separation of the lot belongs to the smallest rank change in the set.

Drei Gremien, drei verschiedene Antworten darauf, wer der Beste ist

Das Erste, was die neuen Zeilen belegen, ist, dass es kein einziges Video-Ranking gibt, das man gewinnen kann. Wan 3.0 führt die Editing-Bestenliste mit 1.192 an und die Text-to-Video-Bestenliste mit 1.175, und landet dann mit 1.108 auf Platz 11 bei Image-to-Video. Dreamina Seedance 2.5 führt Image-to-Video mit 1.161 an, während es bei Editing und bei Text-to-Video jeweils auf dem vierten Platz liegt. Die Position eines Modells ist eine Eigenschaft der Aufgabe, nicht des Modells, und jeder Pitch, der eine einzelne Zahl zitiert, zitiert eine einzelne Aufgabe.

Against that backdrop, G​emini Omni Flash 1.2's profile is unusually flat. It is second on editing, sixth on text-to-video and fourteenth on image-to-video — competitive everywhere, dominant nowhere. For a model whose headline feature is conversational editing, that flatness is arguably the point: it is the only row in the top ten of the editing board that also appears in the top ten of text-to-video.

Sechsundzwanzig Elo und zwei Intervalle, die sich fast berühren

The move from #12 to #6 on AA-Video-T2V v2.1 is the one that will get screenshotted. It is a 26-point gain, 1,128 to 1,154. The published intervals are 1,115 to 1,141 for G​emini Omni 1.1 Flash and 1,140 to 1,168 for 1.2. They overlap by exactly one point.

Das ist kein Grund, den Zugewinn abzutun. Es ist ein Grund, einen Rang nicht länger als Messung zu behandeln. Artificial Analysis leitet diese Intervalle aus blinden paarweisen Abstimmungen ab, und bei 5.056 Stichproben für 1.2 gegenüber 7.943 für 1.1 hat das neuere Modell die dünnere Evidenzbasis, weil es erst seit einem Tag auf dem Board ist. Eine Lücke von 26 Punkten, die sich an der Grenze berührt, liest sich am besten als „wahrscheinlich besser, bei dieser Stichprobengröße noch nicht trennbar“ – was eine andere Aussage ist als „sechs Plätze nach oben gerückt“, auch wenn beide dieselben zwei Zeilen beschreiben.

Das Editing-Board erzählt eine ähnliche Geschichte mit einer kleineren Lücke: 1.164 gegenüber 1.146, ein Unterschied von 18 Punkten, dessen Intervalle sich im Bereich von 1.152 bis 1.156 überschneiden. Das Image-to-Video-Board ist der umgekehrte Fall und der interessantere. Dort beträgt die Lücke 42 Punkte, 1.086 gegenüber 1.044, und die Intervalle berühren sich überhaupt nicht — 1.071 bis 1.101 gegenüber 1.030 bis 1.058. Der Rang verschob sich um drei Plätze statt um sechs, und es ist der einzige der drei Vergleiche, der einer strengen Lesart seiner eigenen Fehlerbalken standhält.

Sortiert man die drei entsprechend, kehrt sich die Reihenfolge um: Die kleinste Rangänderung ist der stärkste Beleg, die größte Rangänderung der schwächste. Die Rangarithmetik verdeckt das, weil Ränge aus Punktschätzungen berechnet werden und die Intervalle dabei verworfen werden.

Die Bearbeitungsbewertung kommt mit einer angehängten Fußnote daher.

G​emini Omni Flash 1.2's #2 on AA-Video-Editing v1.1 carries a note on the row itself: the model "declined some of our test set through its copyright and safety filters", and its result reflects the remaining prompts. Every row is also flagged provisional.

Lies das einmal ganz nüchtern. Die Punktzahl ist ein Durchschnitt über die Prompts, die das Modell bereit war zu beantworten, und die Prompts, die es verweigert hat, sind genau die, bei denen ein Bearbeitungsmodell echtes Filmmaterial verändern, ein Logo reproduzieren oder an einem erkennbaren Motiv arbeiten soll — die Aufgaben, die eine Demo von einer Lieferung unterscheiden. Ein Modell, das das schwierige Drittel eines Testsets ablehnt, kann ein Modell übertreffen, das sich an allen Aufgaben versucht, ohne für den Job besser zu sein. Nichts im veröffentlichten Ergebnis erlaubt es, das herauszurechnen, und die Richtung der Verzerrung ist nach oben, nicht nach unten.

Das ist kein Argument dafür, dass die Zahl falsch ist. Es ist ein Argument dafür, dass #2 auf dem Bearbeitungsboard eine Aussage über Qualität bei zulässigen Prompts ist und dass die zulässige Menge für dieses Modell kleiner ist als für die Modelle drumherum. Wenn Ihre Arbeit Archivmaterial, Markenassets oder Personenabbildungen umfasst, wird das Filterverhalten des Betreibers mehr Ihrer Ergebnisse entscheiden als ein Elo-Abstand von 18 Punkten, und die Bestenliste wird Ihnen das nie zeigen, weil die Ablehnungen nicht veröffentlicht werden.

$6.26 a minute is G​oogle's own price list, arrived at independently

The pricing column on all three boards lists G​emini Omni Flash 1.2 at $6.26 per minute of generated video. Artificial Analysis defines that column as the cost to generate one minute on the creator's API at the settings it benchmarks, 1080p where offered — a normalised figure, not a quote.

Here it happens to reconcile exactly with the vendor's own arithmetic. G​oogle bills video output at 8,688 tokens per second for 1080p with upsampling, at $12.00 per million tokens. Sixty seconds is 521,280 tokens, which is $6.255. The board's $9.12 for G​emini Omni 1.1 Flash reconciles the same way against $17.50 per million. Two independent parties arriving at the same cent is worth more than either number alone: it means the 30% cut G​oogle announced on 5 November is visible in a third party's cost model, not just in a press release.

Was in der Spalte nicht steht, ist die Auflösung, die man tatsächlich wählen würde. Bei 720p berechnet dasselbe Modell etwa 0,07 $ pro Sekunde, rund 4,20 $ pro Minute; bei 360p 0,023 $ pro Sekunde, etwa 1,38 $. Ein Team, das bei 360p entwirft und bei 1080p fertigstellt, zahlt einen Mischsatz, der nirgendwo auf der Übersicht erscheint, und die einzelne Zahl auf der Übersicht wird die Entwurfshälfte dieser Pipeline um den Faktor vier zu hoch ansetzen.

Was Ihnen eine Präferenz-Arena nicht sagen kann

These are blind human-preference votes, not a benchmark suite. Nobody is measuring whether a fifteen-second clip holds a character's jacket colour across a cut, whether the audio stays in sync at the fourth extension turn, or whether the model respects a six-reference-image brief. Those are the properties G​oogle's 5 November changelog actually claims — improved character and subject consistency across up to six reference images, clearer lip-sync, distinct multi-speaker conditioning — and none of them is what a pairwise "which clip is better" vote measures.

Die Stimmen können auch die Failure-Modes nicht erkennen, die im Betrieb relevant sind. Ein Modell, das einen Prompt ablehnt, bekommt keine Punkte; ein Modell, das eine technisch gültige Datei mit driftenden Gesichtern zurückgibt, schneidet bei einem Einzelclip-Vergleich gut und über eine Sequenz aus zwanzig Shots schlecht ab. Arena Elo ist ein Instrument pro Clip, das zur Beantwortung einer projektbezogenen Frage verwendet wird.

Was das für eine Pipeline bedeutet und was wir routen

G​emini Omni Flash 1.2 is not in OrcaRouter's catalogue. We checked the live model list and there is no Omni entry of any version, so if the model is what you need, G​oogle's own API is the path and we would rather say that than imply otherwise. What the routing layer changes is the part of a video pipeline that is not video: the shot list, the prompt expansion, the captioning pass and the post-hoc audit are all text work, and those run on models we do carry — including on one key, at provider list price with 0% markup, so a vendor price move reaches the bill the day it happens rather than at the next contract.

There is a concrete version of that argument in this release. The 1.2 video rate is 30% below 1.1 and the 1.1 endpoint stops being separately billable on 3 December, when G​oogle starts routing it to 1.2 automatically. A pipeline that hard-coded the old per-second constant now has three weeks to notice. A pipeline that reads the rate from a gateway that passes list price through does not have the problem, because there is nothing to re-hardcode.

Was würde diese Lesart ändern?

Three things, in order of usefulness. A published refusal rate for the editing board would turn the #2 into something comparable; today the note tells you the test set shrank but not by how much. A second week of votes on 1.2 would narrow the text-to-video interval enough to settle whether 26 Elo is a real gap or a sampling artefact — the current overlap is one point wide, which is the least informative place for an interval to sit. And any independent measurement of the reference-image consistency claim would be worth more than all three boards combined, because that claim is the one G​oogle is actually selling and the one no arena is testing.

Until then the honest summary is narrow. G​emini Omni Flash 1.2 is a better video model than G​emini Omni 1.1 Flash on all three boards, clearly so on image-to-video and probably so on the other two, at 30% less per token, with a safety filter that removes part of its editing test set and an operator who will route the old endpoint to the new one in three weeks whether or not you have tested it.