Gemini Omni Flash 1.2 se classe n°2 en montage vidéo — et les barres d’erreur sont le vrai sujet

Artificial Analysis a placé G​emini Omni Flash 1.2 sur trois classements vidéo le 10 novembre, six jours après que G​oogle a rendu le modèle disponible pour tous. Le titre s’écrit de lui-même : n° 2 sur AA-Video-Editing v1.1, devant la 5e place détenue par G​emini Omni 1.1 Flash, avec une progression de la 12e à la 6e place sur AA-Video-T2V v2.1 et de la 17e à la 14e place sur AA-Video-I2V v2.1. La lecture utile se trouve dans les marges. Deux de ces trois évolutions se situent à l’intérieur ou à la limite d’intervalles de confiance à 95 % qui se chevauchent, l’une des trois a été mesurée sur un jeu de prompts réduit, et la séparation la plus nette du lot revient au plus petit changement de rang de l’ensemble.

Trois jurys, trois réponses différentes sur qui est le meilleur

La première chose que les nouvelles lignes établissent, c’est qu’il n’existe pas un seul classement vidéo à remporter. Wan 3.0 mène le classement du montage avec 1 192 et celui du texte-vers-vidéo avec 1 175, puis se classe 11e en image-vers-vidéo avec 1 108. Dreamina Seedance 2.5 domine l’image-vers-vidéo avec 1 161 tout en occupant la quatrième place au montage et la quatrième au texte-vers-vidéo. La position d’un modèle est une propriété de la tâche, pas du modèle, et toute argumentation qui cite un seul chiffre ne cite qu’une seule tâche.

Dans ce contexte, le profil de G​emini Omni Flash 1.2 est inhabituellement plat. Il est deuxième en montage, sixième en génération de vidéo à partir de texte et quatorzième en génération de vidéo à partir d’image — compétitif partout, dominant nulle part. Pour un modèle dont la fonction phare est le montage conversationnel, cette platitude est sans doute justement l’intérêt : c’est la seule ligne du top dix du classement de montage qui figure aussi dans le top dix de la génération de vidéo à partir de texte.

Vingt-six Elo, et deux intervalles presque contigus

Le passage de #12 à #6 sur AA-Video-T2V v2.1 est celui qui fera l’objet de captures d’écran. C’est un gain de 26 points, de 1 128 à 1 154. Les intervalles publiés sont de 1 115 à 1 141 pour G​emini Omni 1.1 Flash et de 1 140 à 1 168 pour 1.2. Ils se chevauchent d’exactement un point.

Ce n’est pas une raison pour écarter le gain. C’est une raison d’arrêter de traiter un classement comme une mesure. Artificial Analysis dérive ces intervalles de votes par paires en aveugle, et avec 5 056 échantillons pour 1.2 contre 7 943 pour 1.1, le modèle plus récent dispose de la base de preuves la plus mince parce qu’il n’est sur le tableau que depuis un jour. Un écart de 26 points qui touche à la limite se lit au mieux comme « probablement meilleur, pas encore séparable à cette taille d’échantillon » — ce qui est une affirmation différente de « a gagné six places », même si les deux décrivent les mêmes deux lignes.

Le tableau d’édition raconte une histoire similaire avec un écart plus petit : 1 164 contre 1 146, une différence de 18 points dont les intervalles se chevauchent entre 1 152 et 1 156. Le tableau image-vers-vidéo est le cas inverse, et le plus intéressant. Là, l’écart est de 42 points, 1 086 contre 1 044, et les intervalles ne se touchent pas du tout — 1 071 à 1 101 contre 1 030 à 1 058. Le rang a bougé de trois places au lieu de six, et c’est la seule des trois comparaisons qui résiste à une lecture stricte de ses propres barres d’erreur.

Classez les trois en conséquence et l’ordre s’inverse : le plus petit changement de rang constitue la preuve la plus forte, le plus grand changement de rang la plus faible. L’arithmétique des rangs masque cela, car les rangs sont calculés à partir d’estimations ponctuelles dont les intervalles sont écartés.

Le score d’édition est assorti d’une note de bas de page.

La 2e place de Gemini Omni Flash 1.2 sur AA-Video-Editing v1.1 porte une note sur la ligne elle-même : le modèle « a refusé une partie de notre jeu de test via ses filtres de droits d’auteur et de sécurité », et son résultat reflète les invites restantes. Chaque ligne est également signalée comme provisoire.

Lisez-le sans détour. Le score est une moyenne sur les prompts auxquels le modèle a accepté de répondre, et les prompts qu’il a refusés sont précisément ceux où l’on demande à un modèle d’édition de modifier des séquences réelles, de reproduire un logo ou de travailler sur un sujet reconnaissable — les tâches qui distinguent une démo d’une livraison. Un modèle qui refuse le tiers difficile d’un jeu de test peut obtenir un meilleur score qu’un modèle qui tente tout, sans être meilleur pour autant. Rien dans le résultat publié ne permet de corriger cet effet, et le biais joue à la hausse, pas à la baisse.

Ce n'est pas un argument selon lequel le chiffre serait faux. C'est un argument selon lequel le #2 du classement d'édition est une affirmation sur la qualité sur des prompts autorisés, et selon lequel l'ensemble autorisé est plus petit pour ce modèle que pour ceux qui l'entourent. Si votre travail implique des images d'archives, des éléments de marque ou la ressemblance d'une personne, le comportement de filtrage de l'opérateur déterminera davantage vos résultats qu'un écart Elo de 18 points, et le classement ne vous le montrera jamais parce que les refus ne sont pas publiés.

6,26 $ la minute est la propre grille tarifaire de G​oogle, établie indépendamment.

La colonne des prix des trois classements indique G​emini Omni Flash 1.2 à 6,26 $ par minute de vidéo générée. Artificial Analysis définit cette colonne comme le coût pour générer une minute sur l’API du créateur avec les paramètres qu’elle évalue, en 1080p lorsque disponible — un chiffre normalisé, et non un devis.

Ici, cela se réconcilie exactement avec l’arithmétique du fournisseur. Google facture la sortie vidéo à 8 688 tokens par seconde pour la 1080p avec suréchantillonnage, à 12,00 $ par million de tokens. Soixante secondes représentent 521 280 tokens, soit 6,255 $. Le montant de 9,12 $ du tableau pour Gemini Omni 1.1 Flash se réconcilie de la même manière avec 17,50 $ par million. Le fait que deux parties indépendantes arrivent au même centime vaut plus que l’un ou l’autre chiffre pris isolément : cela signifie que la réduction de 30 % annoncée par Google le 5 novembre est visible dans le modèle de coûts d’un tiers, et pas seulement dans un communiqué de presse.

Ce que la colonne n’indique pas, c’est la résolution que vous choisiriez réellement. En 720p, le même modèle facture environ 0,07 $ par seconde, soit environ 4,20 $ par minute ; en 360p, 0,023 $ par seconde, soit environ 1,38 $. Une équipe qui produit des ébauches en 360p et finalise en 1080p paie un tarif mixte qui n’apparaît nulle part sur le tableau, et le chiffre unique du tableau surestimera la moitié « ébauche » de ce pipeline d’un facteur quatre.

Ce qu’une arène de préférences ne peut pas vous dire

Ce sont des votes de préférence humaine à l’aveugle, pas une suite de benchmarks. Personne ne mesure si un clip de quinze secondes conserve la couleur de la veste d’un personnage d’un plan à l’autre, si l’audio reste synchronisé au quatrième tour d’extension, ou si le modèle respecte un brief de six images de référence. Or ce sont précisément les propriétés que revendique le changelog du 5 novembre de Google — meilleure cohérence des personnages et des sujets sur jusqu’à six images de référence, synchronisation labiale plus nette, conditionnement distinct pour plusieurs locuteurs — et aucune d’elles n’est ce que mesure un vote par paires du type « quel clip est meilleur ».

Les votes ne permettent pas non plus de voir les modes de défaillance qui comptent sur le plan opérationnel. Un modèle qui refuse une invite n’obtient aucun score ; un modèle qui renvoie un fichier techniquement valide avec des visages qui dérivent obtient un bon score sur une comparaison d’un seul clip et un mauvais score sur une séquence de vingt plans. Arena Elo est un instrument propre à chaque clip utilisé pour répondre à une question propre à chaque projet.

Où cela laisse un pipeline, et ce que nous routons

Gemini Omni Flash 1.2 ne figure pas au catalogue d'OrcaRouter. Nous avons vérifié la liste des modèles en temps réel et il n'existe aucune entrée Omni, quelle que soit la version ; donc si c'est bien ce modèle dont vous avez besoin, l'API de Google est la solution, et nous préférons le dire plutôt que de laisser entendre le contraire. Ce que la couche de routage change, c'est la partie d'un pipeline vidéo qui n'est pas de la vidéo : la liste des plans, l'expansion des prompts, la passe de sous-titrage et l'audit a posteriori relèvent tous du travail textuel, et ces tâches tournent sur des modèles que nous proposons — y compris sur une seule clé, au prix catalogue du fournisseur, avec 0 % de marge, de sorte qu'une évolution tarifaire d'un fournisseur se répercute sur la facture le jour même plutôt qu'au prochain contrat.

Cet argument trouve une illustration concrète dans cette version. Le tarif vidéo de la 1.2 est 30 % inférieur à celui de la 1.1 et le point de terminaison 1.1 cesse d’être facturé séparément le 3 décembre, date à laquelle Google commencera à le router automatiquement vers la 1.2. Un pipeline qui a codé en dur l’ancienne constante par seconde n’a plus que trois semaines pour s’en apercevoir. Un pipeline qui lit le tarif depuis une passerelle qui répercute le prix catalogue n’a pas ce problème, car il n’y a rien à recoder en dur.

Qu'est-ce qui changerait cette lecture ?

Trois choses, par ordre d’utilité. Un taux de refus publié pour le classement d’édition ferait du n°2 quelque chose de comparable ; aujourd’hui, la note indique que le jeu de test a rétréci, mais pas de combien. Une deuxième semaine de votes sur 1.2 réduirait suffisamment l’intervalle texte-vidéo pour trancher si 26 Elo est un écart réel ou un artefact d’échantillonnage — le chevauchement actuel fait un point de large, soit l’endroit le moins informatif où un intervalle puisse se situer. Et toute mesure indépendante de l’affirmation de cohérence des images de référence vaudrait plus que les trois classements réunis, car cette affirmation est celle que G​oogle vend réellement et celle qu’aucune arène ne teste.

D’ici là, le résumé honnête reste limité. G​emini Omni Flash 1.2 est un meilleur modèle vidéo que G​emini Omni 1.1 Flash sur les trois classements, clairement sur image-vers-vidéo et probablement sur les deux autres, à 30 % de moins par token, avec un filtre de sécurité qui retire une partie de son ensemble de tests d’édition et un opérateur qui redirigera l’ancien point de terminaison vers le nouveau dans trois semaines, que vous l’ayez testé ou non.