Gemini Omni Flash 1.2 si piazza al n. 2 nel montaggio video — e il vero punto sono le barre d'errore

Artificial Analysis ha inserito G​emini Omni Flash 1.2 in tre classifiche video il 10 novembre, sei giorni dopo che G​oogle ha reso il modello disponibile a livello generale. Il titolo si scrive da solo: #2 su AA-Video-Editing v1.1, davanti al #5 detenuto da G​emini Omni 1.1 Flash, con una risalita dal #12 al #6 su AA-Video-T2V v2.1 e dal #17 al #14 su AA-Video-I2V v2.1. La lettura utile è nei margini. Due di questi tre spostamenti si collocano all'interno o a ridosso di intervalli sovrapposti al 95%, uno dei tre è stato misurato su un set di prompt ridotto, e la separazione più netta del gruppo spetta al più piccolo cambiamento di posizione del set.

Tre giurie, tre risposte diverse su chi sia il migliore

La prima cosa che le nuove righe stabiliscono è che non esiste un'unica classifica video da vincere. Wan 3.0 guida la classifica di editing a 1.192 e la classifica text-to-video a 1.175, per poi piazzarsi 11º su image-to-video a 1.108. Dreamina Seedance 2.5 è in testa a image-to-video con 1.161, mentre occupa il quarto posto su editing e il quarto su text-to-video. La posizione di un modello è una proprietà del compito, non del modello, e qualsiasi presentazione che citi un solo numero sta citando un solo compito.

Su questo sfondo, il profilo di G​emini Omni Flash 1.2 è insolitamente piatto. È secondo nella modifica, sesto nel text-to-video e quattordicesimo nell'image-to-video: competitivo ovunque, dominante da nessuna parte. Per un modello la cui caratteristica di punta è la modifica conversazionale, questa piattezza è probabilmente proprio il punto: è l'unica riga nella top ten della classifica di editing che compare anche nella top ten del text-to-video.

Ventisei Elo, e due intervalli che quasi si toccano

Il passaggio dal #12 al #6 su AA-Video-T2V v2.1 è quello che finirà negli screenshot. È un guadagno di 26 punti, da 1.128 a 1.154. Gli intervalli pubblicati sono da 1.115 a 1.141 per G​emini Omni 1.1 Flash e da 1.140 a 1.168 per 1.2. Si sovrappongono esattamente per un punto.

Non è una ragione per sminuire il guadagno. È una ragione per smettere di trattare una posizione in classifica come una misura. Artificial Analysis ricava questi intervalli da voti ciechi a coppie, e con 5.056 campioni per 1.2 contro 7.943 per 1.1 il modello più recente ha una base probatoria più debole perché è in classifica da un giorno. Un divario di 26 punti che si tocca al confine è meglio leggerlo come "probabilmente migliore, non ancora separabile con questa dimensione campionaria" — che è un'affermazione diversa da "è salito di sei posizioni", anche se entrambe descrivono le stesse due righe.

La classifica di editing racconta una storia simile con un divario più piccolo: 1.164 contro 1.146, una differenza di 18 punti i cui intervalli si sovrappongono tra 1.152 e 1.156. La classifica image-to-video è il caso opposto e quello più interessante. Lì il divario è di 42 punti, 1.086 contro 1.044, e gli intervalli non si toccano affatto — da 1.071 a 1.101 contro da 1.030 a 1.058. Il rango si è spostato di tre posizioni invece di sei, ed è l'unico dei tre confronti che resiste a una lettura rigorosa delle proprie barre di errore.

Ordina i tre di conseguenza e l'ordine si inverte: il più piccolo cambiamento di rango è l'evidenza più forte, il più grande cambiamento di rango è la più debole. L'aritmetica dei ranghi lo nasconde, perché i ranghi sono calcolati da stime puntuali con gli intervalli scartati.

Il punteggio di editing è corredato da una nota a piè di pagina.

Il #2 di Gemini Omni Flash 1.2 su AA-Video-Editing v1.1 riporta una nota sulla riga stessa: il modello "ha rifiutato parte del nostro set di test tramite i suoi filtri di copyright e sicurezza", e il suo risultato riflette i prompt rimanenti. Ogni riga è inoltre contrassegnata come provvisoria.

Leggilo senza giri di parole. Il punteggio è una media calcolata sui prompt a cui il modello ha accettato di rispondere, e i prompt che ha rifiutato sono esattamente quelli in cui a un modello di editing viene chiesto di modificare footage reale, riprodurre un logo o lavorare su un soggetto riconoscibile — i compiti che separano una demo da una consegna. Un modello che declina il terzo difficile di un test set può superare un modello che lo affronta per intero senza essere migliore nel lavoro. Nulla nel risultato pubblicato ti consente di correggere questo effetto, e la direzione del bias è verso l'alto, non verso il basso.

Non è un argomento secondo cui il numero sia sbagliato. È un argomento secondo cui #2 nella classifica di editing è un'affermazione sulla qualità sui prompt consentiti, e che l'insieme consentito è più piccolo per questo modello rispetto a quelli che gli stanno intorno. Se il tuo lavoro riguarda materiale d'archivio, asset di brand o somiglianze, il comportamento del filtro dell'operatore deciderà più dei tuoi esiti di quanto farà un divario Elo di 18 punti, e la classifica non te lo mostrerà mai perché i rifiuti non vengono pubblicati.

$6.26 al minuto è il listino prezzi di Google stesso, determinato in modo indipendente

La colonna dei prezzi su tutte e tre le board riporta Gemini Omni Flash 1.2 a 6,26 $ al minuto di video generato. Artificial Analysis definisce quella colonna come il costo per generare un minuto tramite l'API del creatore con le impostazioni su cui esegue i benchmark, 1080p dove disponibile — una cifra normalizzata, non un preventivo.

Qui il conto torna esattamente con l’aritmetica del fornitore stesso. G​oogle fattura l’output video a 8.688 token al secondo per il 1080p con upsampling, a 12,00 dollari per milione di token. Sessanta secondi sono 521.280 token, cioè 6,255 dollari. I 9,12 dollari della board per G​emini Omni 1.1 Flash tornano allo stesso modo con 17,50 dollari per milione. Due parti indipendenti che arrivano allo stesso centesimo valgono più di ciascuno dei due numeri preso da solo: significa che il taglio del 30% annunciato da G​oogle il 5 novembre è visibile nel modello di costo di una terza parte, non solo in un comunicato stampa.

Ciò che la colonna non riporta è la risoluzione che sceglieresti davvero. A 720p lo stesso modello costa circa $0,07 al secondo, all'incirca $4,20 al minuto; a 360p, $0,023 al secondo, circa $1,38. Un team che stende le bozze a 360p e finalizza a 1080p paga una tariffa mista che non compare da nessuna parte nella tabella, e il numero unico della tabella sovrastimerà di un fattore quattro la metà di quel pipeline dedicata alla stesura delle bozze.

Cosa un'arena di preferenze non può dirti

Questi sono voti ciechi di preferenza umana, non una suite di benchmark. Nessuno sta misurando se una clip di quindici secondi mantiene il colore della giacca di un personaggio attraverso un taglio, se l'audio rimane sincronizzato al quarto turno di estensione, o se il modello rispetta un brief con sei immagini di riferimento. Queste sono le proprietà che il changelog del 5 novembre di G​oogle rivendica effettivamente — coerenza migliorata di personaggi e soggetti fino a sei immagini di riferimento, lip-sync più chiaro, condizionamento distinto multi-parlante — e nessuna di esse è ciò che misura un voto pairwise su "quale clip è migliore".

I voti non possono vedere nemmeno le modalità di errore che contano operativamente. Un modello che rifiuta un prompt non ottiene alcun punteggio; un modello che restituisce un file tecnicamente valido con volti che cambiano progressivamente ottiene un buon punteggio in un confronto su una singola clip e uno scarso su una sequenza di venti shot. Arena Elo è uno strumento per singola clip usato per rispondere a una domanda per progetto.

Dove questo lascia una pipeline e cosa instradiamo

Gemini Omni Flash 1.2 non è nel catalogo di OrcaRouter. Abbiamo controllato l'elenco dei modelli live e non c'è alcuna voce Omni di nessuna versione, quindi se il modello è ciò di cui hai bisogno, l'API di Google è la strada e preferiamo dirlo piuttosto che lasciar intendere il contrario. Ciò che cambia il livello di routing è la parte di una pipeline video che non è video: la shot list, l'espansione dei prompt, la fase di didascalia e l'audit post-hoc sono tutti lavori testuali, e questi girano su modelli che abbiamo — anche su una sola chiave, al prezzo di listino del provider con 0% di markup, così una variazione di prezzo del fornitore arriva in fattura il giorno stesso in cui avviene, anziché al contratto successivo.

C'è una versione concreta di quell'argomento in questa release. La tariffa video 1.2 è inferiore del 30% rispetto alla 1.1 e l'endpoint 1.1 non sarà più fatturabile separatamente a partire dal 3 dicembre, quando Google inizierà a instradarlo automaticamente alla 1.2. Una pipeline che ha codificato in modo fisso la vecchia costante al secondo ora ha tre settimane per accorgersene. Una pipeline che legge la tariffa da un gateway che applica il prezzo di listino non ha il problema, perché non c'è nulla da ricodificare.

Cosa cambierebbe questa lettura

Tre cose, in ordine di utilità. Un tasso di rifiuto pubblicato per la commissione di editing renderebbe il n. 2 qualcosa di comparabile; oggi la nota ti dice che il set di test si è ridotto, ma non di quanto. Una seconda settimana di voti su 1.2 restringerebbe abbastanza l'intervallo testo-video da stabilire se 26 Elo è un divario reale o un artefatto di campionamento — la sovrapposizione attuale è larga un punto, che è il punto meno informativo in cui un intervallo possa collocarsi. E qualsiasi misurazione indipendente dell'affermazione sulla coerenza delle immagini di riferimento varrebbe più di tutte e tre le commissioni messe insieme, perché quella è l'affermazione che G​oogle sta effettivamente vendendo e quella che nessuna arena sta testando.

Fino ad allora, il riassunto onesto è limitato. G​emini Omni Flash 1.2 è un modello video migliore di G​emini Omni 1.1 Flash su tutte e tre le classifiche, in modo evidente su image-to-video e probabilmente anche sulle altre due, a un costo per token inferiore del 30%, con un filtro di sicurezza che rimuove parte del suo set di test di editing e un operatore che in tre settimane farà puntare il vecchio endpoint a quello nuovo, che tu l'abbia testato o no.