Gemini Omni Flash 1.2 fica em 2º lugar em edição de vídeo — e as barras de erro são o que importa

Artificial Analysis put G​emini Omni Flash 1.2 on three video leaderboards on 10 November, six days after G​oogle made the model generally available. The headline writes itself: #2 on AA-Video-Editing v1.1, ahead of the #5 held by G​emini Omni 1.1 Flash, with a climb from #12 to #6 on AA-Video-T2V v2.1 and from #17 to #14 on AA-Video-I2V v2.1. The useful reading is in the margins. Two of those three moves sit inside or against overlapping 95% intervals, one of the three was measured on a reduced prompt set, and the cleanest separation of the lot belongs to the smallest rank change in the set.

Três painéis, três respostas diferentes sobre quem é o melhor

A primeira coisa que as novas linhas estabelecem é que não existe um único ranking de vídeos a conquistar. O Wan 3.0 lidera o ranking de edição com 1.192 e o ranking de texto para vídeo com 1.175, e depois fica em 11º em imagem para vídeo com 1.108. O Dreamina Seedance 2.5 lidera imagem para vídeo com 1.161, enquanto ocupa a quarta posição em edição e a quarta em texto para vídeo. A posição de um modelo é uma propriedade da tarefa, não do modelo, e qualquer argumento de venda que cite um único número está citando uma única tarefa.

Against that backdrop, G​emini Omni Flash 1.2's profile is unusually flat. It is second on editing, sixth on text-to-video and fourteenth on image-to-video — competitive everywhere, dominant nowhere. For a model whose headline feature is conversational editing, that flatness is arguably the point: it is the only row in the top ten of the editing board that also appears in the top ten of text-to-video.

Vinte e seis Elo, e dois intervalos que quase se tocam

The move from #12 to #6 on AA-Video-T2V v2.1 is the one that will get screenshotted. It is a 26-point gain, 1,128 to 1,154. The published intervals are 1,115 to 1,141 for G​emini Omni 1.1 Flash and 1,140 to 1,168 for 1.2. They overlap by exactly one point.

Isso não é motivo para descartar o ganho. É motivo para parar de tratar uma classificação como uma medição. A Artificial Analysis deriva esses intervalos de votos cegos em pares e, com 5.056 amostras para a 1.2 contra 7.943 para a 1.1, o modelo mais novo tem a base de evidências mais frágil porque está no quadro há um dia. Uma diferença de 26 pontos que toca a fronteira é mais bem lida como "provavelmente melhor, ainda não separável neste tamanho de amostra" — o que é uma afirmação diferente de "subiu seis posições", embora ambas descrevam as mesmas duas linhas.

O painel de edição conta uma história semelhante com uma diferença menor: 1.164 contra 1.146, uma diferença de 18 pontos cujos intervalos se sobrepõem entre 1.152 e 1.156. O painel de imagem para vídeo é o caso oposto e o mais interessante. Ali, a diferença é de 42 pontos, 1.086 contra 1.044, e os intervalos não se tocam de forma alguma — 1.071 a 1.101 contra 1.030 a 1.058. A classificação mudou três posições em vez de seis, e é a única das três comparações que resiste a uma leitura rigorosa de suas próprias barras de erro.

Ordene os três dessa forma e a ordem se inverte: a menor mudança de ranking é a evidência mais forte, e a maior mudança de ranking é a mais fraca. A aritmética de rankings esconde isso, porque os rankings são calculados a partir de estimativas pontuais com os intervalos descartados.

A pontuação de edição vem acompanhada de uma nota de rodapé.

G​emini Omni Flash 1.2's #2 on AA-Video-Editing v1.1 carries a note on the row itself: the model "declined some of our test set through its copyright and safety filters", and its result reflects the remaining prompts. Every row is also flagged provisional.

Dito de forma clara. A pontuação é uma média sobre os prompts que o modelo se dispôs a responder, e os prompts que ele recusou são exatamente aqueles em que se pede a um modelo de edição que altere filmagens reais, reproduza um logotipo ou trabalhe sobre um sujeito reconhecível — as tarefas que separam uma demonstração de uma entrega. Um modelo que recusa o terço difícil de um conjunto de testes pode ter pontuação maior do que um modelo que tenta tudo, sem ser melhor na tarefa. Nada no resultado publicado permite corrigir isso, e a direção do viés é para cima, não para baixo.

Este não é um argumento de que o número está errado. É um argumento de que o #2 no ranking de edição é uma afirmação sobre qualidade em prompts permitidos, e que o conjunto permitido é menor para este modelo do que para os que estão ao seu redor. Se o seu trabalho envolve imagens de arquivo, ativos de marca ou semelhança de pessoas, o comportamento de filtro do próprio operador decidirá mais dos seus resultados do que uma diferença de 18 pontos no Elo, e o ranking nunca lhe mostrará isso porque as recusas não são publicadas.

$6.26 a minute is G​oogle's own price list, arrived at independently

The pricing column on all three boards lists G​emini Omni Flash 1.2 at $6.26 per minute of generated video. Artificial Analysis defines that column as the cost to generate one minute on the creator's API at the settings it benchmarks, 1080p where offered — a normalised figure, not a quote.

Here it happens to reconcile exactly with the vendor's own arithmetic. G​oogle bills video output at 8,688 tokens per second for 1080p with upsampling, at $12.00 per million tokens. Sixty seconds is 521,280 tokens, which is $6.255. The board's $9.12 for G​emini Omni 1.1 Flash reconciles the same way against $17.50 per million. Two independent parties arriving at the same cent is worth more than either number alone: it means the 30% cut G​oogle announced on 5 November is visible in a third party's cost model, not just in a press release.

O que a coluna não traz é a resolução que você realmente escolheria. Em 720p, o mesmo modelo cobra cerca de US$ 0,07 por segundo, aproximadamente US$ 4,20 por minuto; em 360p, US$ 0,023 por segundo, cerca de US$ 1,38. Uma equipe que faz os rascunhos em 360p e finaliza em 1080p paga uma tarifa combinada que não aparece em lugar nenhum da tabela, e o número único da tabela superestimará a metade de rascunho desse pipeline por um fator de quatro.

O que uma arena de preferências não pode lhe dizer

These are blind human-preference votes, not a benchmark suite. Nobody is measuring whether a fifteen-second clip holds a character's jacket colour across a cut, whether the audio stays in sync at the fourth extension turn, or whether the model respects a six-reference-image brief. Those are the properties G​oogle's 5 November changelog actually claims — improved character and subject consistency across up to six reference images, clearer lip-sync, distinct multi-speaker conditioning — and none of them is what a pairwise "which clip is better" vote measures.

Os votos também não conseguem ver os modos de falha que importam operacionalmente. Um modelo que recusa um prompt não pontua; um modelo que retorna um arquivo tecnicamente válido com rostos que se desviam pontua bem em uma comparação de clipe único e mal ao longo de uma sequência de vinte tomadas. O Arena Elo é um instrumento por clipe sendo usado para responder a uma pergunta por projeto.

Onde isso deixa um pipeline, e o que roteamos

G​emini Omni Flash 1.2 is not in OrcaRouter's catalogue. We checked the live model list and there is no Omni entry of any version, so if the model is what you need, G​oogle's own API is the path and we would rather say that than imply otherwise. What the routing layer changes is the part of a video pipeline that is not video: the shot list, the prompt expansion, the captioning pass and the post-hoc audit are all text work, and those run on models we do carry — including on one key, at provider list price with 0% markup, so a vendor price move reaches the bill the day it happens rather than at the next contract.

There is a concrete version of that argument in this release. The 1.2 video rate is 30% below 1.1 and the 1.1 endpoint stops being separately billable on 3 December, when G​oogle starts routing it to 1.2 automatically. A pipeline that hard-coded the old per-second constant now has three weeks to notice. A pipeline that reads the rate from a gateway that passes list price through does not have the problem, because there is nothing to re-hardcode.

O que mudaria essa leitura?

Three things, in order of usefulness. A published refusal rate for the editing board would turn the #2 into something comparable; today the note tells you the test set shrank but not by how much. A second week of votes on 1.2 would narrow the text-to-video interval enough to settle whether 26 Elo is a real gap or a sampling artefact — the current overlap is one point wide, which is the least informative place for an interval to sit. And any independent measurement of the reference-image consistency claim would be worth more than all three boards combined, because that claim is the one G​oogle is actually selling and the one no arena is testing.

Until then the honest summary is narrow. G​emini Omni Flash 1.2 is a better video model than G​emini Omni 1.1 Flash on all three boards, clearly so on image-to-video and probably so on the other two, at 30% less per token, with a safety filter that removes part of its editing test set and an operator who will route the old endpoint to the new one in three weeks whether or not you have tested it.