Genie 4 vs SKY-001: 결코 같은 벤치마크를 공유하지 않을 두 월드 모델

Genie 4와 SKY-001은 2026년 10월에 8일 간격으로 발표되었으며, 둘 다를 함께 올린 공정한 스코어보드는 누구도 공개하지 않을 것이다. Google DeepMind의 Genie 4는 약 2분 동안 걸어 다닐 수 있는, 재생 가능하고 소리가 나는 장면을 생성한다. Skyfall AI의 SKY-001은 프롬프트나 스케치를 받아 CAD 부품이나 건물 평면도에 대한 순서가 지정된 구성 시퀀스를 출력한다. 하나는 사람이 보는 픽셀을 만들어내고, 다른 하나는 언젠가 기계가 실제로 제작에 활용할 수도 있는 형상을 만들어낸다. 유용한 비교는 어느 쪽이 더 나은가가 아니라, 각 제품을 돈을 내는 고객 앞에 내놓기 전에 무엇을 입증해야 하는지, 그리고 그 입증들 중 무엇이 시도되었는지다.

두 회사 모두 자사 제품을 월드 모델이라고 부른다. 이 공통된 표현은 정당한 근거도 없이 엄청난 몫의 일을 떠맡고 있으며, 이 두 출시에 관한 보도가 마치 두 회사가 경쟁 관계인 것처럼 읽히는 이유도 바로 여기에 있다. 이들은 같은 예산, 같은 구매자, 같은 평가를 두고 경쟁하는 것이 아니다. 같은 단어 하나를 두고 경쟁하고 있을 뿐이다.

그 단어가 너무 많은 일을 하고 있어

그것들을 구분하는 유용한 방법은 모델이 무엇에 대한 모델인지 묻는 것이다.

Genie 4는 외형과 역학을 모델링합니다. 프롬프트를 입력하면 입력된 지시에 반응하는 세계를 렌더링합니다. 날씨를 바꾸고, 카메라를 움직이고, 사람을 추가할 수 있으며, 이제는 비디오와 함께 주변음, 음악, 상호작용 대화도 생성합니다. Gemini 플래너가 프레임을 관찰하고 다시 계획합니다. 출력은 사람의 눈이나 비디오 파이프라인을 위한 이미지 스트림이며, 정확성은 장면이 그럴듯하게 작동하는지로 판단됩니다.

SKY-001은 어셈블리를 모델링합니다. 그 계층 구조는 시스템에서 어셈블리, 하위 어셈블리, 부품으로 이어지거나, 층에서 유닛, 방으로 이어지며, 두 번째 구성 요소—Skyfall은 이를 건설 세계 모델이라고 부릅니다—는 빈 상태에서 완성 상태로 이어지는 시각적 상태의 순서를 계획합니다. CAD 구성 요소의 경우, 이는 그 사이에 2D 스케치가 있는 일련의 3D 솔리드 상태입니다. 평면도의 경우, 한 획씩 그려지는 도면입니다. 정확성은 기하학적 겹침이며, 정답 형상에 대한 IoU로 측정됩니다.

불일치가 명백히 드러나는 형태로 제시한 차원들:

• 출력 — Genie 4는 비디오와 오디오를 출력하고, SKY-001은 CAD 또는 BIM 시공 순서를 출력합니다.

• 입력 — Genie 4의 경우 텍스트, 키보드 및 카메라 제어; SKY-001의 경우 텍스트 또는 2D 이미지.

• "잘못됨"이 의미하는 것 — 장면이 드리프트하는 경우, 또는 솔리드가 IoU 마진만큼 대상 형상을 벗어나는 경우.

• 평가 단위 — Genie 4에 대한 인간 판단 또는 물리 점수; SKY-001의 1,000개 사례에 걸친 평균 IoU.

• 게시된 가격 — 둘 다 아님.

• 액세스 — 양쪽 모두 대기자 명단.

테스트 1: 누구든 출력을 확인할 수 있나요?

SKY-001은 가능한 한 가장 좁은 의미에서 이 테스트를 통과하며, 그것만으로도 Genie 4가 해내는 것보다는 더 많습니다.

Skyfall은 각각 1,000개 사례로 구성된 두 트랙에 대한 벤더 벤치마크를 발표했으며, 수치가 구체적이어서 이견을 제기할 만하다. CAD 부품에서 SKY-001은 평균 IoU 79.7%로 GPT-6 Astra의 79.1%를 앞섰는데, 이는 0.6포인트 차이로 시드 수준의 노이즈에 해당하며, 실행 시간은 199초가 아닌 3.9초, 사례당 비용은 0.75달러가 아닌 0.005달러였다. 평면도에서는 43.6%로 GPT-6 Astra의 40.6%를 기록했으며, 144.6초 대비 1.22초였다.

그 수치들은 모두 Skyfall 자체의 것으로, Skyfall 내부 테스트 세트에서 산출되었으며, 공개 분할도 공개된 하네스도 없습니다. IoU 지표는 기하학적 중첩만 측정할 뿐 그 이상은 아닙니다. 즉, 부품을 제조할 수 있는지, 공차가 맞는지, 평면도가 출구나 접근성 규정을 충족하는지, 구조물이 버티는지는 입증하지 못합니다. 측정 시간에는 업로드, 전처리, 대기열, 형식 변환, 검증 및 인간 검토가 제외되어 있으며, 실제 CAD 워크플로에서는 이러한 요소가 경과 시간의 대부분을 차지합니다. 그리고 Skyfall 자체 출시 자료의 배수들은 서로 일치하지 않습니다. 같은 사이트의 여러 페이지에 걸쳐 속도는 51×, 49×, 100×, 비용은 150×, 143×로 제시되어 있습니다.

Genie 4는 그 기준조차 넘지 못한다. Google은 벤치마크도, 해상도도, 프레임 레이트도, 지연 시간도, 파라미터 수치도 공개하지 않았다. 회사 자체의 한계 섹션은 문제점들—시각적 세부 묘사와 객체 항상성의 표류, 복잡한 물리적 상호작용, 오디오 정확도, 세계 내 텍스트의 판독성, 공간 정확도—을 꼽지만 그중 어느 것도 수치화하지 않는다. 제3자 제출도 없고, 해당 풀 외부의 테스터가 측정치를 발표한 적도 없다. 이 물건이 작동하는지라는 단일 질문에 대해 SKY-001은 반박해볼 수 있는 주장을 내놓고, Genie 4는 데모 영상만 내놓는다.

테스트 2: 출력이 도구에 입력될 수 있나요?

바로 이 지점에서 SKY-001의 아키텍처가 진가를 발휘하며, 동시에 Genie 4의 한계가 어디에 놓여 있는지도 드러납니다.

세계의 영상은 편집할 수 있는 세계가 아니다. Genie 4 세션에서는 어떤 것도 지오메트리로 내보내지지 않으므로, 이를 프로토타이핑에 사용하는 게임 스튜디오는 손으로 다시 만들어야 할 참조물을 얻고, 로봇공학 팀은 학습에 사용할 관측값을 얻지만 수정할 장면 그래프는 얻지 못한다. 그것은 실제 용도다. 학습 데이터와 프리비주얼라이제이션 모두 픽셀을 소비하기 때문이다. 그러나 이는 모델이 툴체인 업스트림에 위치해, 툴체인에 들어가는 대신 툴체인을 먹여 살린다는 뜻이다.

SKY-001이 명시한 산출물은 툴체인이다. 구성 시퀀스는 입력으로 받아들여지도록 설계되었고, Skyfall은 Autodesk Fusion 내부에서 그것이 작동하는 것을 시연했다. 그 시연은 출시된 커넥터가 아니며, 한 번의 데모는 통합 사례가 아니다. 독립 검토자들은 저장된 스케치와 생성된 3D 지오메트리가 정렬되지 않을 수 있다고 지적했는데, 그렇게 되면 산출물은 CAD처럼 보이지만 기계가 바로 사용할 수 있는 CAD는 아닌 상태로 남게 된다. 그러나 의도는 종류부터 다르다. 한 모델은 제조 가능한 결과물까지의 거리를 줄이려 하고, 다른 모델은 설득력 있는 관측을 만들어 내려 한다.

디자인 회사 입장에서는 그 차이가 구매 여부를 결정한다. 컨셉 아티스트의 시간을 이틀 절약해 주는 렌더러는 거의 어떤 가격이라도 살 가치가 있다. 드래프터의 시간을 이틀 절약해 주는 시퀀스 생성기는, 그 시퀀스가 드래프터의 실제 도구에 넣어도 문제없이 살아남을 때에만 살 가치가 있다. 그리고 Skyfall 외부에서는 아무도 그것을 검증하지 않았다.

테스트 3: 2027년 전에 그것을 구매할 수 있나요?

아니요, 두 가지 모두 아니고, 일정도 가깝지 않습니다.

SKY-001은 웨이트리스트로 이용 가능한 연구 프리뷰다. API도, 가격표도, 가중치도, 라이선스도, 자체 호스팅 경로도, 파인튜닝도 없다. Skyfall은 2027년 초 상용 배포를 목표로 한다. 이 회사는 약 25명 규모의 작은 회사이며, 창업자 Sam Pasupalak은 2017년 Microsoft가 인수한 Maluuba를 이전에 만들었다. 이는 신뢰할 만한 이력이지만, 출시된 제품은 아니다.

Genie 4는 신뢰받는 테스터를 위한 연구 프리뷰로, Google AI Ultra 구독자에게는 "향후 몇 주 안에" Project Genie를 통해 월 약 100달러에 접근 권한이 제공될 예정이며, 얼리 액세스 파트너는 Gemini API와 AI Studio를 통해 이용할 수 있습니다. 일반 공개 일정도, 개발자 가격도, 상업적 조건도 없습니다. 스튜디오 입장에서는 누락된 라이선스 조건이 2분이라는 제한보다 더 큰 걸림돌입니다. 상업적 이용 가능 여부가 명시되지 않은 생성 영상을 제작 파이프라인에 넣을 수는 없기 때문입니다.

따라서 두 제품 모두에 대한 솔직한 조달 답변은 같은 한 문장으로 정리됩니다. 살 수 있는 것이 없습니다. 차이는 기다리는 동안 무엇을 할 수 있느냐입니다. 현재 또 하나의 본격적인 인터랙티브 월드 모델인 Odyssey-3는 적어도 오늘 당장 브라우저 데모를 직접 조작해 볼 수 있게 해 줍니다. 이 두 제품은 그렇지 않습니다.

Skyfall 자체 표에서 해당 범주를 약화시키는 숫자

BIM 실적 속에 묻혀 있는, 두 회사가 발표한 수치 중 가장 흥미로운 수치는 헤드라인에 나온 수치가 아니다.

Skyfall의 평면도 1,000개에서 SKY-001은 43.6% IoU를 기록했다. 엔지니어링 학습도, 건설 월드 모델도 없는 범용 모델인 Gemini 3.8 Flash는 42.3%를 기록했다. 이는 전문 모델의 자체 테스트 세트에서, 오늘날 누구나 호출할 수 있는 모델을 상대로 한 1.3포인트 차이다. 속도와 비용 차이는 실재하며 엄청나다: 1.22초 대 346.2초, 평면도당 $0.0024 대 $0.218. 하지만 기성 프런티어 모델에 대한 정확도 우위가 제조 가능성을 무시하는 지표에서 1.3 IoU 포인트라면, SKY-001이 파는 것은 판단력이 아니라 처리량이다. 그것은 정당한 제품이다 — 280배의 지연 시간 우위는 다른 워크플로다 — 하지만 "프런티어 모델을 능가한다"보다 훨씬 좁은 주장이다.

이는 전체 맞대결의 구도를 다시 정의합니다. Genie 4는 SKY-001과 경쟁하는 것이 아닙니다. 둘 다 이미 라우팅할 수 있는 범용 모델들과 경쟁합니다. 사례별로 프런티어 모델을 호출하고 검증 단계와 사람 검토자를 두는 설계 파이프라인이 이 전문 모델들이 넘어야 할 기준선이며, Skyfall이 두 수치를 모두 공개한 단 하나의 트랙에서 기준선은 1.3점 차이 이내로 따라붙었습니다.

그 기준선은 오늘 실제로 구성할 수 있는 부분입니다. Gemini 3.8 Flash는 google/gemini-3.8-flash라는 이름으로 저희 카탈로그에 올라와 있고, GPT-6 Astra를 비롯한 나머지 프런티어 모델들도 모두 제공업체 목록 가격을 0% 마크업으로 그대로 전달하는 단일 API 뒤에 있습니다. OrcaRouter는 Genie 4나 SKY-001을 호스팅하지 않습니다 — 둘 다 어디에서도 주소 지정 가능한 엔드포인트가 아니기 때문입니다 — 따라서 실용적인 아키텍처는 지금 당장 작업을 수행하는 라우팅 가능한 모델을 두고, 제공업체 간 페일오버를 통해 단일 벤더의 장애가 배치 작업을 멈추지 않도록 하며, 해당 전문 모델의 주장이 귀하의 도면과 실제로 맞아떨어질 경우 나중에 그 모델을 끼워 넣는 것입니다.

둘이 실제로 겹치는 부분

한 가지 진정한 접점이 있습니다: 두 모델 모두 계획을 세웁니다.

Genie 4의 플래너는 루프 안에 있는 별도의 Gemini 모델이다. 프레임을 관찰하고 목표를 여러 단계로 나누며 진행 상황을 확인하고 수정한다. SKY-001의 플래너는 내부에 있다 — 구성 세계 모델이 상태의 순서를 결정하고 계층적 컴포저가 무엇이 무엇으로 분해되는지를 결정한다. 두 경우 모두 흥미로운 엔지니어링은 렌더러나 리파이너가 아니라 다음에 무슨 일이 일어날지를 결정하는 시퀀싱 로직이다.

그 유사성은 비교가 양쪽 모두를 좋게 보이게 하는 이유이기도 하다. 일련의 상태를 계획하는 모델은 하나의 산출물을 내놓는 모델보다 더 유용한 일을 하고 있으며, 두 회사 모두 그 점을 알고 있다. 그러나 그 시퀀스들은 서로 비교 가능하지 않다. 하나는 외관의 연속으로, 사람이 그것을 그럴듯하다고 여기는지에 따라 검증된다. 다른 하나는 견고한 상태의 연속으로, 목표 형상과 겹치는지에 따라 검증된다. 둘 사이의 합의는 가능하지 않은데, 합의할 공유된 실체적 진실이 없기 때문이다.

누가 무엇을 시청해야 합니까?

영화, 게임 또는 인터랙티브 경험을 제작한다면 로드맵에 있어야 할 것은 Genie 4이며 SKY-001은 관련이 없습니다. 해상도, 프레임 레이트, 상업적 조건을 주시하세요. 오디오 기능은 이미 차별화되어 있으므로 다시 입증할 필요가 없습니다.

부품이나 건물을 도면화한다면 SKY-001이 주목해야 할 대상이고, Genie 4는 흥미거리 정도다. 공개된 테스트 세트, 출시된 Fusion 커넥터, 그리고 가격을 지켜보라. 테스트 세트가 존재하기 전까지 79.7%라는 수치는 Skyfall 자체 데이터에 관한 주장이며, Gemini 3.8 Flash 대비 1.3포인트의 BIM 우위는 정확도 이점이 마케팅이 암시하는 것보다 작을 수 있음을 시사한다.

두 제품 중 어느 쪽이든 그 하위 계층 — 검증기, 오케스트레이터, 리뷰 도구 — 을 구축하고 있다면, 당신이 더 나은 위치에 있습니다. 두 모델 모두 게이트되어 있고, 둘 다 재현 불가능하며, 둘 모두 아무도 구축하지 않은 바로 그 연결 체계를 필요로 할 것입니다. 즉 생성된 시퀀스를 받아 사양과 대조해 검증하고, 이를 수용할지 결정하는 무언가입니다. 그 계층은 오늘 호출할 수 있는 모델을 대상으로 지금 구축할 수 있으며, 전문 모델이 출시된 뒤에도 여전히 유용한 부분일 것입니다.

두 출시 모두의 함정은 같은 함정이다. 세계 모델은 실제와 얼마나 비슷해 보이는지에 비례해 인상적이고, 실제와 비슷한지 판별하기 얼마나 어려운지에 비례해 쓸모없다. Genie 4는 놀라워 보이지만 측정할 수 없다. SKY-001은 측정할 수 있으며, 그 측정은 그 자신만의 것이다. 둘 다 아직 제품이 아니며, 두 발표 사이의 8일이라는 간격만이 이들을 경쟁자처럼 보이게 한다.