Gemini Omni Flash 1.2 komt binnen op #2 voor videobewerking — en de foutmarges zijn het verhaal

Artificial Analysis plaatste G​emini Omni Flash 1.2 op 10 november op drie videoleaderboards, zes dagen nadat G​oogle het model algemeen beschikbaar maakte. De kop schrijft zichzelf: #2 op AA-Video-Editing v1.1, vóór de #5 van G​emini Omni 1.1 Flash, met een klim van #12 naar #6 op AA-Video-T2V v2.1 en van #17 naar #14 op AA-Video-I2V v2.1. De nuttige lezing zit in de marges. Twee van die drie verschuivingen vallen binnen of tegen overlappende 95%-intervallen, een van de drie werd gemeten op een beperkte promptset, en de schoonste scheiding van het stel is toe te schrijven aan de kleinste rangverandering in de set.

Drie panels, drie verschillende antwoorden over wie de beste is.

Het eerste dat de nieuwe rijen aantonen, is dat er geen enkele videoranglijst is om te winnen. Wan 3.0 voert de montageranglijst aan met 1.192 en de tekst-naar-videoranglijst met 1.175, en belandt vervolgens op de 11e plaats bij afbeelding-naar-video met 1.108. Dreamina Seedance 2.5 staat bovenaan bij afbeelding-naar-video met 1.161, terwijl het vierde staat bij montage en vierde bij tekst-naar-video. De positie van een model is een eigenschap van de taak, niet van het model, en elke pitch die één getal aanhaalt, haalt één taak aan.

Tegen die achtergrond is het profiel van G​emini Omni Flash 1.2 ongewoon vlak. Het staat tweede bij videobewerking, zesde bij tekst-naar-video en veertiende bij afbeelding-naar-video — overal concurrerend, nergens dominant. Voor een model waarvan de belangrijkste functie conversationele videobewerking is, is die vlakheid misschien wel precies de bedoeling: het is de enige rij in de top tien van de ranglijst voor videobewerking die ook in de top tien van tekst-naar-video voorkomt.

Zesentwintig Elo, en twee intervallen die elkaar bijna raken

De sprong van #12 naar #6 op AA-Video-T2V v2.1 is degene die op screenshots zal belanden. Het is een winst van 26 punten, van 1.128 naar 1.154. De gepubliceerde intervallen zijn 1.115 tot 1.141 voor Gemini Omni 1.1 Flash en 1.140 tot 1.168 voor 1.2. Ze overlappen elkaar met precies één punt.

Dat is geen reden om de winst weg te wuiven. Het is een reden om een rang niet langer als een meting te behandelen. Artificial Analysis leidt deze intervallen af uit blinde paarsgewijze stemmen, en met 5.056 steekproeven voor 1.2 tegenover 7.943 voor 1.1 heeft het nieuwere model de dunnere bewijsbasis, omdat het pas een dag op het bord staat. Een gat van 26 punten dat op de grens raakt, kun je het beste lezen als 'waarschijnlijk beter, nog niet te onderscheiden bij deze steekproefgrootte' — wat een andere bewering is dan 'zes plaatsen gestegen', ook al beschrijven beide dezelfde twee rijen.

Het bewerkingsklassement vertelt een vergelijkbaar verhaal met een kleinere kloof: 1.164 tegen 1.146, een verschil van 18 punten waarvan de intervallen elkaar overlappen van 1.152 tot 1.156. Het image-to-video-klassement is het tegenovergestelde geval en het interessantere. Daar bedraagt de kloof 42 punten, 1.086 tegen 1.044, en de intervallen raken elkaar helemaal niet — 1.071 tot 1.101 tegen 1.030 tot 1.058. De rang verschoof drie plaatsen in plaats van zes, en het is de enige van de drie vergelijkingen die een strikte lezing van zijn eigen foutbalken doorstaat.

Sorteer de drie dienovereenkomstig en de ordening keert om: de kleinste rangverandering is het sterkste bewijs, de grootste rangverandering het zwakste. Rangrekenkunde verbergt dat, omdat rangen worden berekend op basis van puntschattingen waarbij de intervallen worden weggegooid.

De bewerkingsscore gaat gepaard met een voetnoot.

De #2-positie van Gemini Omni Flash 1.2 op AA-Video-Editing v1.1 heeft een opmerking op de rij zelf: het model "weigerde een deel van onze testset vanwege zijn copyright- en veiligheidsfilters", en het resultaat weerspiegelt de overige prompts. Elke rij is bovendien gemarkeerd als voorlopig.

Lees dat maar gewoon. De score is een gemiddelde over de prompts die het model bereid was te beantwoorden, en de prompts die het weigerde zijn precies degene waarin een bewerkingsmodel wordt gevraagd echte beelden aan te passen, een logo te reproduceren of aan een herkenbaar subject te werken — de taken die een demo van een oplevering onderscheiden. Een model dat het moeilijkste derde deel van een testset weigert, kan hoger scoren dan een model dat alles probeert, zonder beter te zijn in het werk. Niets in het gepubliceerde resultaat stelt je in staat daarvoor te corrigeren, en de richting van de bias is omhoog, niet omlaag.

Dit is geen argument dat het getal verkeerd is. Het is een argument dat #2 op het editingboard een bewering is over kwaliteit bij toegestane prompts, en dat de toegestane set voor dit model kleiner is dan voor de modellen eromheen. Als je werk archieffootage, merkmateriaal of gelijkenis omvat, zal het eigen filtergedrag van de operator meer van je uitkomsten bepalen dan een Elo-kloof van 18 punten, en het leaderboard zal je dat nooit laten zien omdat de weigeringen niet worden gepubliceerd.

$6,26 per minuut is Googles eigen prijslijst, onafhankelijk tot stand gekomen

De prijskolom op alle drie de overzichten vermeldt G​emini Omni Flash 1.2 tegen $6.26 per minuut gegenereerde video. Artificial Analysis definieert die kolom als de kosten om één minuut te genereren via de API van de maker bij de instellingen die het benchmarkt, 1080p waar aangeboden — een genormaliseerd cijfer, geen prijsopgave.

Hier valt het precies te rijmen met het eigen rekenwerk van de leverancier. G​oogle rekent video-output tegen 8.688 tokens per seconde voor 1080p met upsampling, tegen $12,00 per miljoen tokens. Zestig seconden is 521.280 tokens, wat $6,255 is. De $9,12 van de board voor G​emini Omni 1.1 Flash valt op dezelfde manier te rijmen met $17,50 per miljoen. Dat twee onafhankelijke partijen op dezelfde cent uitkomen, is meer waard dan elk van beide getallen afzonderlijk: het betekent dat de 30%-korting die G​oogle op 5 november aankondigde, zichtbaar is in het kostenmodel van een derde partij, en niet alleen in een persbericht.

Wat de kolom niet bevat, is de resolutie die je daadwerkelijk zou kiezen. Bij 720p rekent hetzelfde model ongeveer $0,07 per seconde, ruwweg $4,20 per minuut; bij 360p $0,023 per seconde, ongeveer $1,38. Een team dat op 360p werkt aan de eerste versie en op 1080p afrondt, betaalt een gemengd tarief dat nergens op het bord staat, en het enkele getal op het bord zal het eerste-ontwerpdeel van die pijplijn met een factor vier overschatten.

Wat een preferentiearena je niet kan vertellen

Dit zijn blinde menselijke voorkeursstemmen, geen benchmarksuite. Niemand meet of een clip van vijftien seconden de kleur van de jas van een personage over een cut heen behoudt, of de audio synchroon blijft bij de vierde verlengingsstap, of het model een briefing met zes referentieafbeeldingen respecteert. Dat zijn de eigenschappen die de changelog van Google van 5 november daadwerkelijk claimt — verbeterde consistentie van personages en onderwerpen over maximaal zes referentieafbeeldingen, duidelijkere lip-sync, afzonderlijke conditionering voor meerdere sprekers — en geen daarvan is wat een paarsgewijze "welke clip is beter"-stem meet.

De stemmen kunnen ook de faalwijzen die operationeel van belang zijn niet zien. Een model dat een prompt weigert, scoort niets; een model dat een technisch geldig bestand retourneert met verschuivende gezichten, scoort goed op een vergelijking van één clip en slecht over een reeks van twintig shots. Arena Elo is een instrument per clip dat wordt gebruikt om een vraag per project te beantwoorden.

Waar dit een pipeline achterlaat, en wat we routeren

G​emini Omni Flash 1.2 staat niet in de catalogus van OrcaRouter. We hebben de actuele modellenlijst gecontroleerd en er is geen Omni-vermelding van welke versie dan ook, dus als u dat model nodig hebt, is de eigen API van G​oogle de juiste route, en dat zeggen we liever dan iets anders te suggereren. Wat de routeringslaag verandert, is het deel van een videopipeline dat geen video is: de shotlijst, de promptexpansie, de captioningronde en de post-hoc-audit zijn allemaal tekstwerk, en die draaien op modellen die we wél aanbieden — inclusief op één sleutel, tegen de lijstprijs van de provider met 0% opslag, zodat een prijswijziging van een leverancier de factuur bereikt op de dag dat die plaatsvindt in plaats van bij het volgende contract.

Er is een concrete versie van dat argument in deze release. Het 1.2-videotarief ligt 30% onder 1.1 en het 1.1-endpoint is vanaf 3 december niet meer apart factureerbaar, wanneer G​oogle het automatisch naar 1.2 begint te routeren. Een pipeline die de oude constante per seconde hard had gecodeerd, heeft nu drie weken om het op te merken. Een pipeline die het tarief leest van een gateway die de lijstprijs doorgeeft heeft dat probleem niet, omdat er niets opnieuw hardgecodeerd hoeft te worden.

Wat zou deze interpretatie veranderen?

Drie dingen, in volgorde van bruikbaarheid. Een gepubliceerd weigeringspercentage voor de montageranglijst zou de #2 vergelijkbaar maken; vandaag vertelt de notitie je dat de testset kleiner werd, maar niet met hoeveel. Een tweede stemweek op 1.2 zou het tekst-naar-video-interval voldoende vernauwen om te beslechten of 26 Elo een echt verschil is of een steekproefartefact — de huidige overlap is één punt breed, de minst informatieve plek waar een interval kan liggen. En elke onafhankelijke meting van de claim over consistentie van referentieafbeeldingen zou meer waard zijn dan alle drie de ranglijsten samen, omdat die claim degene is die G​oogle feitelijk verkoopt en degene die geen enkele arena test.

Tot dan is de eerlijke samenvatting beperkt. G​emini Omni Flash 1.2 is op alle drie de boards een beter videomodel dan G​emini Omni 1.1 Flash, duidelijk wel bij image-to-video en waarschijnlijk ook bij de andere twee, tegen 30% minder per token, met een veiligheidsfilter dat een deel van zijn bewerkingstestset verwijdert en een operator die het oude endpoint over drie weken naar het nieuwe zal routeren, of je het nu hebt getest of niet.