Gemini Omni Flash 1.2 đạt vị trí số 2 về Chỉnh sửa video — và các thanh sai số mới chính là câu chuyện

Artificial Analysis put G​emini Omni Flash 1.2 on three video leaderboards on 10 November, six days after G​oogle made the model generally available. The headline writes itself: #2 on AA-Video-Editing v1.1, ahead of the #5 held by G​emini Omni 1.1 Flash, with a climb from #12 to #6 on AA-Video-T2V v2.1 and from #17 to #14 on AA-Video-I2V v2.1. The useful reading is in the margins. Two of those three moves sit inside or against overlapping 95% intervals, one of the three was measured on a reduced prompt set, and the cleanest separation of the lot belongs to the smallest rank change in the set.

Ba hội đồng, ba câu trả lời khác nhau về việc ai là người giỏi nhất

Điều đầu tiên mà các hàng mới cho thấy là không có một bảng xếp hạng video duy nhất để giành chiến thắng. Wan 3.0 dẫn đầu bảng chỉnh sửa với 1,192 và bảng văn bản-thành-video với 1,175, rồi đứng thứ 11 ở bảng hình ảnh-thành-video với 1,108. Dreamina Seedance 2.5 đứng đầu bảng hình ảnh-thành-video với 1,161, đồng thời đứng thứ tư ở bảng chỉnh sửa và thứ tư ở bảng văn bản-thành-video. Vị trí của một mô hình là thuộc tính của tác vụ, không phải của mô hình, và bất kỳ lời giới thiệu nào trích dẫn một con số là đang trích dẫn một tác vụ.

Against that backdrop, G​emini Omni Flash 1.2's profile is unusually flat. It is second on editing, sixth on text-to-video and fourteenth on image-to-video — competitive everywhere, dominant nowhere. For a model whose headline feature is conversational editing, that flatness is arguably the point: it is the only row in the top ten of the editing board that also appears in the top ten of text-to-video.

Hai mươi sáu Elo, và hai khoảng gần như chạm nhau.

The move from #12 to #6 on AA-Video-T2V v2.1 is the one that will get screenshotted. It is a 26-point gain, 1,128 to 1,154. The published intervals are 1,115 to 1,141 for G​emini Omni 1.1 Flash and 1,140 to 1,168 for 1.2. They overlap by exactly one point.

Đó không phải là lý do để bỏ qua mức tăng. Đó là lý do để ngừng coi thứ hạng như một phép đo. Artificial Analysis suy ra các khoảng này từ các lá phiếu so sánh cặp mù, và với 5.056 mẫu cho 1.2 so với 7.943 cho 1.1, mô hình mới hơn có cơ sở bằng chứng mỏng hơn vì nó mới có mặt trên bảng được một ngày. Khoảng cách 26 điểm chạm ở ranh giới nên được hiểu là "có lẽ tốt hơn, nhưng chưa thể tách biệt ở cỡ mẫu này" — đó là một khẳng định khác với "đã tăng sáu bậc", dù cả hai đều mô tả cùng hai hàng đó.

Bảng chỉnh sửa kể một câu chuyện tương tự với khoảng cách nhỏ hơn: 1.164 so với 1.146, chênh lệch 18 điểm với các khoảng chồng lấn từ 1.152 đến 1.156. Bảng hình ảnh sang video là trường hợp ngược lại và thú vị hơn. Ở đó khoảng cách là 42 điểm, 1.086 so với 1.044, và các khoảng không chạm nhau chút nào — 1.071 đến 1.101 so với 1.030 đến 1.058. Thứ hạng thay đổi ba bậc thay vì sáu bậc, và đây là phép so sánh duy nhất trong ba phép so sánh vẫn đứng vững khi đọc nghiêm ngặt các thanh sai số của chính nó.

Sắp xếp ba mục đó theo cách tương ứng thì thứ tự sẽ đảo ngược: thay đổi thứ hạng nhỏ nhất là bằng chứng mạnh nhất, thay đổi thứ hạng lớn nhất là yếu nhất. Phép tính thứ hạng che giấu điều đó, vì thứ hạng được tính từ các ước lượng điểm với các khoảng bị bỏ đi.

Điểm biên tập đi kèm với một chú thích.

G​emini Omni Flash 1.2's #2 on AA-Video-Editing v1.1 carries a note on the row itself: the model "declined some of our test set through its copyright and safety filters", and its result reflects the remaining prompts. Every row is also flagged provisional.

Hiểu điều đó một cách thẳng thắn. Điểm số là mức trung bình trên các prompt mà mô hình sẵn sàng trả lời, và những prompt mà nó từ chối chính là những prompt yêu cầu một mô hình chỉnh sửa thay đổi cảnh quay thực, tái tạo logo hoặc xử lý một chủ thể dễ nhận diện — những tác vụ phân biệt một bản demo với một sản phẩm bàn giao. Một mô hình từ chối một phần ba khó nhất của bộ kiểm thử có thể đạt điểm cao hơn một mô hình cố gắng làm tất cả mà không hề giỏi hơn trong công việc. Không có gì trong kết quả đã công bố cho phép bạn hiệu chỉnh điều đó, và hướng của thiên lệch là đi lên, không phải đi xuống.

Đây không phải là lập luận rằng con số đó sai. Đây là lập luận rằng #2 trên bảng xếp hạng chỉnh sửa là một tuyên bố về chất lượng trên các prompt được phép, và tập được phép nhỏ hơn đối với mô hình này so với những mô hình xung quanh nó. Nếu công việc của bạn liên quan đến tư liệu lưu trữ, tài sản thương hiệu hoặc hình ảnh cá nhân, thì hành vi lọc của chính nhà vận hành sẽ quyết định nhiều kết quả của bạn hơn là khoảng cách Elo 18 điểm, và bảng xếp hạng sẽ không bao giờ cho bạn thấy điều đó vì các lần từ chối không được công bố.

$6.26 a minute is G​oogle's own price list, arrived at independently

The pricing column on all three boards lists G​emini Omni Flash 1.2 at $6.26 per minute of generated video. Artificial Analysis defines that column as the cost to generate one minute on the creator's API at the settings it benchmarks, 1080p where offered — a normalised figure, not a quote.

Here it happens to reconcile exactly with the vendor's own arithmetic. G​oogle bills video output at 8,688 tokens per second for 1080p with upsampling, at $12.00 per million tokens. Sixty seconds is 521,280 tokens, which is $6.255. The board's $9.12 for G​emini Omni 1.1 Flash reconciles the same way against $17.50 per million. Two independent parties arriving at the same cent is worth more than either number alone: it means the 30% cut G​oogle announced on 5 November is visible in a third party's cost model, not just in a press release.

Điều mà cột đó không phản ánh là độ phân giải mà bạn thực sự sẽ chọn. Ở 720p, cùng một mô hình tính khoảng $0.07 mỗi giây, tức khoảng $4.20 mỗi phút; ở 360p, $0.023 mỗi giây, khoảng $1.38. Một nhóm dựng nháp ở 360p và hoàn thiện ở 1080p sẽ trả một mức giá kết hợp không xuất hiện ở đâu trên bảng, và con số duy nhất trên bảng sẽ phóng đại nửa phần dựng nháp của quy trình đó lên gấp bốn lần.

Điều mà một đấu trường sở thích không thể cho bạn biết

These are blind human-preference votes, not a benchmark suite. Nobody is measuring whether a fifteen-second clip holds a character's jacket colour across a cut, whether the audio stays in sync at the fourth extension turn, or whether the model respects a six-reference-image brief. Those are the properties G​oogle's 5 November changelog actually claims — improved character and subject consistency across up to six reference images, clearer lip-sync, distinct multi-speaker conditioning — and none of them is what a pairwise "which clip is better" vote measures.

Các lượt bình chọn cũng không thể thấy những kiểu lỗi quan trọng trong vận hành. Một mô hình từ chối một prompt thì không được điểm nào; một mô hình trả về tệp đúng về mặt kỹ thuật nhưng khuôn mặt bị trôi sẽ được điểm cao khi so sánh một clip đơn lẻ và điểm kém trên một chuỗi hai mươi cảnh quay. Arena Elo là một công cụ đánh giá theo từng clip nhưng lại đang được dùng để trả lời một câu hỏi ở cấp độ dự án.

Điều này để pipeline ở đâu, và chúng ta định tuyến những gì

G​emini Omni Flash 1.2 is not in OrcaRouter's catalogue. We checked the live model list and there is no Omni entry of any version, so if the model is what you need, G​oogle's own API is the path and we would rather say that than imply otherwise. What the routing layer changes is the part of a video pipeline that is not video: the shot list, the prompt expansion, the captioning pass and the post-hoc audit are all text work, and those run on models we do carry — including on one key, at provider list price with 0% markup, so a vendor price move reaches the bill the day it happens rather than at the next contract.

There is a concrete version of that argument in this release. The 1.2 video rate is 30% below 1.1 and the 1.1 endpoint stops being separately billable on 3 December, when G​oogle starts routing it to 1.2 automatically. A pipeline that hard-coded the old per-second constant now has three weeks to notice. A pipeline that reads the rate from a gateway that passes list price through does not have the problem, because there is nothing to re-hardcode.

Điều gì sẽ thay đổi cách đọc này?

Three things, in order of usefulness. A published refusal rate for the editing board would turn the #2 into something comparable; today the note tells you the test set shrank but not by how much. A second week of votes on 1.2 would narrow the text-to-video interval enough to settle whether 26 Elo is a real gap or a sampling artefact — the current overlap is one point wide, which is the least informative place for an interval to sit. And any independent measurement of the reference-image consistency claim would be worth more than all three boards combined, because that claim is the one G​oogle is actually selling and the one no arena is testing.

Until then the honest summary is narrow. G​emini Omni Flash 1.2 is a better video model than G​emini Omni 1.1 Flash on all three boards, clearly so on image-to-video and probably so on the other two, at 30% less per token, with a safety filter that removes part of its editing test set and an operator who will route the old endpoint to the new one in three weeks whether or not you have tested it.