Gemini Omni Flash 1.2, 비디오 편집 부문 2위에 오르다 — 그리고 핵심은 오차 막대다

Artificial Analysis는 G​emini Omni Flash 1.2를 11월 10일, G​oogle이 이 모델을 일반 공개한 지 엿새 만에 세 개의 비디오 리더보드에 올렸다. 헤드라인은 저절로 나온다: AA-Video-Editing v1.1에서 2위를 기록해 5위를 앞섰다—그 5위는 G​emini Omni 1.1 Flash가 보유하고 있으며, AA-Video-T2V v2.1에서는 12위에서 6위로, AA-Video-I2V v2.1에서는 17위에서 14위로 상승했다. 유용한 해석은 주변부에 있다. 이 세 가지 이동 중 두 가지는 겹치는 95% 구간 안에 있거나 그 구간에 맞닿아 있고, 세 가지 중 하나는 축소된 프롬프트 세트에서 측정되었으며, 이 가운데 가장 깔끔한 분리는 세트에서 가장 작은 순위 변화에 해당한다.

세 개의 보드, 누가 최고인지에 대한 서로 다른 세 가지 답

새 행들이 보여주는 첫 번째 사실은 승리해야 할 단일한 비디오 순위란 없다는 것입니다. Wan 3.0은 편집 부문에서 1,192로, 텍스트-투-비디오 부문에서 1,175로 선두를 달리지만, 이미지-투-비디오에서는 1,108로 11위에 올랐습니다. Dreamina Seedance 2.5는 이미지-투-비디오에서 1,161로 1위인 동시에 편집 부문 4위, 텍스트-투-비디오 부문 4위에 올라 있습니다. 모델의 위치는 모델의 속성이 아니라 과제의 속성이며, 숫자 하나를 인용하는 어떤 제안도 과제 하나를 인용하는 것입니다.

그러한 배경 속에서 Gemini Omni Flash 1.2의 프로필은 이례적으로 평이하다. 편집 부문 2위, 텍스트-투-비디오 6위, 이미지-투-비디오 14위로, 어디서나 경쟁력이 있지만 어디서도 압도적이지 않다. 대표 기능이 대화형 편집인 모델에게 그 평이함이야말로 핵심일 수 있다. 이 모델은 편집 부문 상위 10위 안에 들면서 동시에 텍스트-투-비디오 상위 10위에도 오른 유일한 행이다.

26 Elo, 그리고 거의 맞닿은 두 구간

AA-Video-T2V v2.1에서 #12에서 #6으로의 이동은 스크린샷으로 남게 될 변화입니다. 이는 1,128에서 1,154로의 26포인트 상승입니다. 공개된 구간은 G​emini Omni 1.1 Flash의 경우 1,115에서 1,141, 1.2의 경우 1,140에서 1,168입니다. 두 구간은 정확히 1포인트만 겹칩니다.

그것은 이득을 일축할 이유가 아니다. 그것은 순위를 측정값으로 취급하는 것을 그만둘 이유다. Artificial Analysis는 이 구간들을 블라인드 쌍대 투표에서 도출하는데, 1.2에 대한 5,056개 표본 대 1.1에 대한 7,943개 표본에서는 더 새로운 모델이 하루 동안만 보드에 올라와 있었기 때문에 근거 기반이 더 얇다. 경계에 맞닿는 26점 차이는 "아마 더 낫지만, 이 표본 크기에서는 아직 분리 가능하지 않다"로 읽는 것이 가장 좋다 — 이는 "여섯 계단 상승했다"와는 다른 주장이다. 비록 둘 다 같은 두 행을 설명하더라도.

편집 리더보드는 더 작은 격차로 비슷한 양상을 보여준다. 1,164 대 1,146, 18점 차이이며 그 구간은 1,152에서 1,156에 걸쳐 겹친다. 이미지-투-비디오 리더보드는 반대 사례이자 더 흥미로운 쪽이다. 그곳의 격차는 42점으로 1,086 대 1,044이며, 구간은 전혀 맞닿지 않는다. 1,071~1,101 대 1,030~1,058이다. 순위는 6계단이 아니라 3계단 움직였고, 이는 세 비교 중 자체 오차 막대를 엄격하게 해석해도 살아남는 유일한 사례다.

세 가지를 그에 맞게 정렬하면 순서가 뒤집힌다. 가장 작은 순위 변화가 가장 강한 증거이고, 가장 큰 순위 변화가 가장 약한 증거다. 순위 산술은 이를 숨긴다. 순위는 구간을 버린 점추정치로 계산되기 때문이다.

편집 점수에는 각주가 따라붙는다

G​emini Omni Flash 1.2는 AA-Video-Editing v1.1에서 #2에 올랐으며, 해당 행 자체에 메모가 달려 있습니다: 이 모델은 "저작권 및 안전 필터로 인해 우리 테스트 세트 일부를 거절했으며", 그 결과는 나머지 프롬프트를 반영합니다. 모든 행에는 잠정치라는 표시도 붙어 있습니다.

이 점을 있는 그대로 읽어 보세요. 점수는 모델이 기꺼이 답변한 프롬프트들에 대한 평균이며, 모델이 거부한 프롬프트는 정확히 편집 모델에게 실제 영상 푸티지를 변경하거나, 로고를 재현하거나, 식별 가능한 피사체를 다루라고 요구하는 것들입니다 — 데모와 실제 납품을 가르는 작업들입니다. 테스트 세트의 어려운 3분의 1을 거부하는 모델은 그 일을 더 잘하지 않고도 전부 시도하는 모델보다 더 높은 점수를 받을 수 있습니다. 공개된 결과만으로는 이를 보정할 수 없으며, 편향의 방향은 아래쪽이 아니라 위쪽입니다.

이것은 그 숫자가 틀렸다는 주장이 아니다. 이것은 편집 보드의 #2가 허용된 프롬프트에서의 품질에 관한 주장이며, 이 모델의 허용 집합은 주변 모델들보다 더 작다는 주장이다. 당신의 작업이 아카이브 영상, 브랜드 자산 또는 초상을 포함한다면, 운영자의 자체 필터 동작이 18포인트 Elo 격차보다 당신의 결과를 더 많이 좌우할 것이며, 거부 사례는 공개되지 않기 때문에 리더보드는 당신에게 그 사실을 결코 보여주지 않을 것이다.

분당 $6.26은 Google이 독립적으로 산출한 자체 가격표입니다.

세 보드 모두의 가격 열에는 G​emini Omni Flash 1.2가 생성 영상 1분당 $6.26으로 기재되어 있습니다. Artificial Analysis는 해당 열을 자사가 벤치마킹하는 설정에서 크리에이터의 API로 1분을 생성하는 비용으로 정의하며, 1080p가 제공되는 경우에는 1080p를 기준으로 합니다. 이는 정규화된 수치일 뿐 견적은 아닙니다.

여기서는 공급업체 자체의 계산과 정확히 맞아떨어진다. G​oogle은 업샘플링을 포함한 1080p 비디오 출력을 초당 8,688토큰, 100만 토큰당 $12.00으로 청구한다. 60초는 521,280토큰이며, 이는 $6.255이다. G​emini Omni 1.1 Flash에 대한 보드의 $9.12는 100만 토큰당 $17.50과 같은 방식으로 맞아떨어진다. 두 독립 당사자가 같은 센트에 도달한 것은 어느 한 숫자만으로보다 더 가치 있다. 그것은 G​oogle이 11월 5일에 발표한 30% 삭감이 보도자료에서만이 아니라 제3자의 비용 모델에서도 보인다는 것을 의미한다.

그 열이 담고 있지 않은 것은 실제로 선택하게 될 해상도입니다. 720p에서 같은 모델은 초당 약 $0.07, 분당 대략 $4.20를 청구합니다. 360p에서는 초당 $0.023, 약 $1.38입니다. 360p로 초안을 작성하고 1080p로 마무리하는 팀은 요금표 어디에도 표시되지 않는 혼합 요율을 지불하며, 요금표의 단일 숫자는 그 파이프라인의 초안 작성 절반을 네 배로 과장하게 됩니다.

선호도 아레나가 말해줄 수 없는 것

이것은 블라인드 인간 선호도 투표이지 벤치마크 모음이 아닙니다. 누구도 15초 클립이 장면 전환을 가로질러 캐릭터의 재킷 색을 유지하는지, 네 번째 확장 턴에서 오디오 싱크가 유지되는지, 또는 모델이 6개 참조 이미지 브리프를 준수하는지를 측정하지 않습니다. 그것들은 Google의 11월 5일 변경 로그가 실제로 주장하는 속성들입니다 — 최대 6개의 참조 이미지에 걸친 향상된 캐릭터 및 피사체 일관성, 더 명확한 립싱크, 구별되는 다중 화자 컨디셔닝 — 그리고 그중 어느 것도 쌍별 "어느 클립이 더 나은가" 투표가 측정하는 것이 아닙니다.

투표 역시 운영상 중요한 실패 모드를 볼 수 없다. 프롬프트를 거절하는 모델은 아무 점수도 받지 못한다. 기술적으로 유효한 파일을 반환하지만 얼굴이 드리프트하는 모델은 단일 클립 비교에서는 좋은 점수를 받고 20샷 시퀀스에서는 나쁜 점수를 받는다. Arena Elo는 프로젝트별 질문에 답하는 데 사용되는 클립별 도구다.

이로써 파이프라인이 어디에 놓이는지, 그리고 우리가 무엇을 라우팅하는지

G​emini Omni Flash 1.2는 OrcaRouter의 카탈로그에 없습니다. 실시간 모델 목록을 확인했으며 어떤 버전의 Omni 항목도 없습니다. 따라서 이 모델이 필요하신 것이라면 G​oogle 자체 API가 방법이며, 그렇지 않은 듯이 암시하기보다는 그렇게 말씀드리는 편이 낫습니다. 라우팅 계층이 바꾸는 것은 비디오 파이프라인에서 비디오가 아닌 부분입니다. 즉 샷 목록, 프롬프트 확장, 캡션 처리, 사후 감사는 모두 텍스트 작업이며, 이러한 작업은 저희가 실제로 제공하는 모델에서 실행됩니다 — 심지어 하나의 키로, 공급자 정가에 0% 마크업으로도 실행됩니다. 따라서 공급업체의 가격 변동은 다음 계약 때가 아니라 발생 당일 청구서에 반영됩니다.

이번 릴리스에는 그 주장이 구체화된 사례가 있다. 1.2 비디오 요금은 1.1보다 30% 낮으며, 1.1 엔드포인트는 12월 3일부터 별도 청구 대상에서 제외되는데, 그날 Go​ogle이 이를 1.2로 자동 라우팅하기 시작한다. 기존 초당 상수를 하드코딩한 파이프라인은 이제 3주 안에 이를 알아차려야 한다. 요금을 게이트웨이에서 읽는 파이프라인은, 그 게이트웨이가 정가를 그대로 전달하는문제가 없다. 다시 하드코딩할 것이 없기 때문이다.

무엇이 이 읽기를 바꿀까요?

세 가지를 유용한 순서대로 말하겠습니다. 편집 보드의 공개된 거부율은 #2를 비교 가능한 대상으로 만들어 줄 것입니다. 오늘날의 노트는 테스트 세트가 줄었다고만 알려 줄 뿐 얼마나 줄었는지는 말해 주지 않습니다. 1.2에 대한 두 번째 주의 투표는 텍스트-투-비디오 구간을 충분히 좁혀 26 Elo가 실제 격차인지 샘플링 아티팩트인지를 판가름하게 해 줄 것입니다 — 현재 겹침은 한 점 폭인데, 이는 구간이 놓일 수 있는 가장 정보가 적은 위치입니다. 그리고 참조 이미지 일관성 주장에 대한 어떤 독립적 측정이든 세 보드를 모두 합친 것보다 더 가치 있을 것입니다, 왜냐하면 그 주장이 바로 G​oogle이 실제로 팔고 있는 것이며 어떤 아레나도 테스트하지 않는 것이기 때문입니다.

그때까지는 솔직한 요약이 좁은 범위에 머문다. G​emini Omni Flash 1.2는 세 보드 모두에서 G​emini Omni 1.1 Flash보다 더 나은 비디오 모델이다. 이미지-투-비디오에서는 분명히 그렇고 나머지 두 개에서도 아마 그럴 것이며, 토큰당 30% 더 저렴하다. 또한 편집 테스트 세트의 일부를 제거하는 안전 필터가 있고, 운영자는 테스트 여부와 관계없이 3주 뒤에 이전 엔드포인트를 새 엔드포인트로 라우팅할 것이다.