一張生成的 hero card,標題為「Genie 4 vs SKY-001」,副標題為「兩個世界模型,沒有共用基準」,一個影片畫格圖示與一個 CAD 齒輪和平面圖圖示由一條斷裂的虛線連接,三張卡片分別寫著「Genie 4 - 影片與音訊」、「SKY-001 - CAD 與 BIM 序列」和「兩者 - 僅限候補名單」,以及一個日期徽章寫著 2026 年 10 月。
Engineering & Research

Genie 4 對決 SKY-001:兩個永遠不會共用同一基準測試的世界模型

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Genie 4 與 SKY-001 於 2026 年 10 月相隔八天發布,而永遠不會有人發布一份同時納入兩者的公平評分表。Google DeepMind 的 Genie 4 會生成一個可遊玩、有聲音的場景,你可以在其中走動約兩分鐘。Skyfall AI 的 SKY-001 則接收提示詞或草圖,並輸出 CAD 零件或建築平面圖的有序建造序列。一個產生的是人類觀看的像素,另一個產生的是機器最終可能據以建造的幾何。唯一有用的比較不是哪個更好——而是每一者在你把它放到付費客戶面前之前必須證明什麼,以及這些證明中哪些已被嘗試過。

兩家公司都把自家產品稱為世界模型。這個共用的詞組承擔了極大量不應由它承擔的作用,而這正是為什麼關於這兩場發布的報導,讀起來彷彿它們是競爭對手。它們並不是在爭奪同一筆預算、同一群買家或同一套評測標準。它們爭奪的是同一個詞。

這個詞承擔了太多工作。

区分它们的一个有用方法是问这个模型是什么的。

Genie 4 會模擬外觀與動態。給它一個提示,它就會渲染出一個能回應輸入指令的世界——改變天氣、移動鏡頭、加入人物——而且現在還會在影片旁產生環境音、音樂和互動對話。Gemini 規劃器會觀看這些影格並重新規劃。輸出是一串影像,供人眼觀看或供影片管線使用,其正確性取決於場景行為是否合理。

SKY-001 模型組裝。其階層從系統到裝配體到子裝配體再到零件,或從樓層到單元再到房間;而它的第二個元件——Skyfall 稱之為建造世界模型——會規劃從空白到成品的有序視覺狀態序列。對 CAD 元件而言,那是一連串 3D 實體狀態,其間穿插 2D 草圖。對平面圖而言,那是一筆一畫建構而成的圖面。正確性即幾何重疊,以對照真實基準形狀的 IoU 來衡量。

這些維度,以能讓不匹配之處顯而易見的形式呈現:

• 輸出 — Genie 4 會輸出影片與音訊;SKY-001 則會輸出 CAD 或 BIM 施工順序。

• 輸入 — Genie 4 支援文字、鍵盤與攝影機控制;SKY-001 支援文字或 2D 影像。

• 「錯誤」代表什麼——是指場景發生漂移,還是指實體因 IoU 差距而未命中目標幾何?

• 評估單位 — 對 Genie 4 的人類判斷或物理評分;SKY-001 在 1,000 個案例中的平均 IoU。

• 公佈價格 — 兩者皆非。

• 存取 — 雙方皆需排入候補名單。

Screenshot of the Skyfall AI SKY-001 page headlined 'The First Engineering World Model', with a 'Join the waitlist' button beside 'Watch launch video', and three example renders labelled Turbofan, Sports Car and Compact Tractor.

測試一:有人能檢查輸出嗎?

SKY-001 以最狹隘的意義通過了這項測試,而這仍然勝過 Genie 4 所能做到的。

Skyfall 發布了一項廠商基準測試,涵蓋兩個各有 1,000 個案例的賽道,數字具體到足以引發爭論。在 CAD 元件上,SKY-001 的平均 IoU 得分為 79.7%,GPT-6 Astra 為 79.1%——領先零點六個百分點,屬於種子層級的雜訊——同時執行時間為 3.9 秒而非 199 秒,每案成本為 0.005 美元而非 0.75 美元。在平面圖上,它得分 43.6%,GPT-6 Astra 為 40.6%,耗時 1.22 秒對比 144.6 秒。

那些數字每一個都是 Skyfall 自家的,是在 Skyfall 內部測試集上產生的,沒有公開的資料劃分,也沒有釋出評測工具。IoU 指標只衡量幾何重疊,別無其他:它不能證明某個零件可以製造、公差能夠閉合、平面圖符合逃生或無障礙法規,或結構能夠成立。這些計時排除了上傳、前處理、排隊、格式轉換、驗證與人工審查,而在真實的 CAD 工作流程中,這些占了大部分實際耗時。而且 Skyfall 自家發布資料中的倍數彼此不一致——速度是 51×、49× 和 100×,成本是 150× 和 143×,而且還分散在同一個網站的不同頁面上。

Genie 4 甚至連那個門檻都未達到。Google 未公布任何基準測試、解析度、影格率、延遲或參數量。該公司自己的限制說明章節點出了這些問題——視覺細節與物件恆存性漂移、複雜物理互動、音訊準確性、世界內可辨識文字、空間準確性——但未對其中任何一項加以量化。沒有第三方提交,也沒有任何不在該測試池內的測試者公布過量測結果。就「這東西到底能不能運作」這唯一問題而言,SKY-001 提供的是可供拆解檢視的主張,而 Genie 4 提供的是展示影片。

A generated two-column scoreboard titled 'Genie 4 vs SKY-001 - the scoreboard'. Genie 4 column: output video and audio, input text and controls, metric human judgement, benchmark none published, access trusted testers, price not published. SKY-001 column: output CAD and BIM sequence, input text or 2D image, metric mean IoU, benchmark vendor 79.7% CAD, access waitlist, price not published. Footer reads 'SKY-001 figures vendor-reported and unreproduced; Genie 4 has no published benchmark.'

測試二:輸出能進入工具嗎?

這正是 SKY-001 架構發揮價值之處,也是 Genie 4 的天花板所在。

一段世界的影片,並不是你能編輯的世界。Genie 4 工作階段中的任何內容都不會匯出成幾何圖形,因此用它來做原型製作的遊戲工作室,得到的只是一個需要手工重建的參考;而機器人團隊得到的是可供訓練對照的觀測資料,而不是可修改的場景圖。這是真實的用途——訓練資料與預先視覺化都會消耗像素——但這意味著該模型位於工具鏈的上游,是在餵養工具鏈,而不是進入其中。

SKY-001 所宣稱的輸出是工具鏈。其建構流程是設計來被吸收採用的,而 Skyfall 已在 Autodesk Fusion 中示範其運作。該示範並非已出貨的連接器,而且單一示範也不等於整合方案。獨立審查者亦指出,儲存的草圖與產生的 3D 幾何可能無法對齊,這會導致輸出看似 CAD,卻不是可直接投入製造的 CAD。但其意圖在本質上不同:一個模型試圖縮短與可製造成品之間的距離,另一個則試圖製造出令人信服的觀察。

對設計公司而言,這個區別決定是否採購。能幫概念美術師省下兩天的渲染器,幾乎任何價格都值得買。能幫製圖員省下兩天的序列產生器,只有在該序列能經受製圖員實際工具的考驗時才值得買——而 Skyfall 之外沒有人測試過這一點。

測試三:你能在2027年前買到它嗎?

不,這兩點都不對,而且時間表相差甚遠。

SKY-001 是研究預覽版,需透過候補名單取得。它沒有 API、沒有價目表、沒有權重、沒有授權、沒有自架路徑,也不能微調。Skyfall 的目標是在 2027 年初進行商業部署。這家公司規模很小——約 25 人——其創辦人 Sam Pasupalak 先前打造了 Maluuba,微軟於 2017 年收購了該公司。這是可信的資歷,但它並不是已出貨的產品。

Genie 4 是提供給受信任測試者的研究預覽版;Google AI Ultra 訂閱者則獲承諾,可在「未來幾週內」透過 Project Genie 取得使用權,每月約 100 美元;早期存取合作夥伴則可透過 Gemini API 和 AI Studio 搶先使用。目前既沒有正式全面開放的日期,也沒有開發者定價,更沒有商業條款。對工作室而言,授權條款付之闕如,比兩分鐘的影片長度上限更是重大阻礙,因為你無法把商業用途尚未言明的生成素材放入製作流程中。

所以,對這兩者來說,誠實的採購答案都是同一句話:沒有東西可買。差別在於你等待期間能做什麼。Odyssey-3,目前另一個正經的互動式世界模型,至少今天就能讓你在瀏覽器裡操作示範。而這兩者都做不到。

在 Skyfall 自己的表格中,削弱該類別的那個數字

埋在 BIM 結果裡的,是兩家公司所公布最有趣的數字,而且並不是標題裡的那個。

在 Skyfall 的 1,000 張平面圖上,SKY-001 取得 43.6% IoU。Gemini 3.8 Flash——一個未接受工程訓練、也沒有建築施工世界模型的通用模型——取得 42.3%。這是在專家模型自己的測試集上,對上任何人今天都能呼叫的模型,差距為 1.3 個百分點。速度與成本的差異真實且巨大:1.22 秒對 346.2 秒,每張平面圖 $0.0024 對 $0.218。但如果對現成前沿模型的準確率領先,是在一個忽略可製造性的指標上只有 1.3 個 IoU 點,那麼 SKY-001 所推銷的就是吞吐量,而非判斷力。這是正當的產品——280 倍延遲優勢是不同工作流程——但這比「擊敗前沿模型」的主張狹窄得多。

這會重新定義整個對決。Genie 4 並不是在跟 SKY-001 競爭。兩者都是在跟你已經可以路由到的通用模型競爭。一個逐案呼叫前沿模型、搭配驗證步驟與人工審查員的設計流程,就是這些專用模型必須超越的基準;而在 Skyfall 同時公布兩項數字的那一項賽道上,基準的差距在 1.3 分以內。

A self-built comparison card titled 'Skyfall's own BIM benchmark' over 1,000 floor plans: SKY-001 at 43.6% mean IoU, 1.22 seconds and $0.0024 per plan, against Gemini 3.8 Flash at 42.3% mean IoU, 346.2 seconds and $0.218 per plan, with a badge reading 'Accuracy gap: 1.3 points - Latency gap: 284x' and a footer noting the results are vendor-reported and IoU measures geometric overlap only.

那個基準是你今天真的能著手組裝的部分。Gemini 3.8 Flash 在我們的目錄中列為 google/gemini-3.8-flash,GPT-6 Astra 與其餘前沿模型也一樣,全都透過單一 API 提供,並以 0% 加價直接反映供應商的清單定價。OrcaRouter 並未代管 Genie 4 或 SKY-001——兩者在任何地方都不是可定址的端點——因此務實的架構是:先由可路由的模型執行當前工作,並跨供應商進行容錯移轉,讓單一供應商中斷也不會使整批工作中止;之後若該專業模型的說法經得起你自己圖紙的驗證,再將其納入。

兩者實際重疊之處

有一個真正的交會點:兩個模型都會規劃。

Genie 4 的規劃器是迴路中一個獨立的 Gemini 模型。它觀察影格,將目標拆解成步驟,檢查進度並修正。SKY-001 的規劃器則是內部的——建構世界模型決定狀態的順序,階層式組合器決定什麼分解成什麼。在這兩種情況下,有趣的工程都不是渲染器或精煉器,而是決定下一步發生什麼的排序邏輯。

這種相似性也正是這種比較會讓雙方都顯得特別體面的原因。一個會規劃一連串狀態的模型,比一個只產出單一成品的人造物模型在做更有用的事,而兩家公司都心知肚明。但這些序列彼此不可共量。一種是一連串外觀,依據人類是否覺得它合理來檢驗。另一種是一連串實體狀態,依據它是否與目標幾何重疊來檢驗。兩者之間不可能達成一致,因為沒有共同的基準真相可供一致。

誰應該看哪個

如果你製作電影、遊戲或互動體驗,Genie 4 才是你該列入發展藍圖的產品,SKY-001 對你來說無關緊要。請留意解析度、影格率和商業條款;音訊功能已具差異化,無須再次證明。

如果你繪製零件或建築圖,SKY-001 才是值得關注的對象,Genie 4 則只是個引人好奇的玩意。請留意正式發布的測試集、已出貨的 Fusion 連接器,以及價格。在測試集問世之前,79.7% 這個數字只是針對 Skyfall 自家資料的說法,而相較於 Gemini 3.8 Flash 僅 1.3 個百分點的 BIM 領先幅度,也意味著其準確度優勢可能不如行銷所暗示的那麼大。

如果你正在打造這兩個產品中任一者的下游層——驗證器、協調器、審查工具——你的位置更有利。這兩個模型都受存取限制、都無法重現,而且都需要一套至今無人打造的管線:某種能接收生成序列、依規格檢查,並決定是否接受的機制。這一層現在就能建構,對象是你今天就能呼叫的模型,而等到專家模型推出時,它仍會是有用的部分。

這兩次發布會陷入的是同一個陷阱。世界模型令人驚豔的程度,取決於它看起來有多像真實事物;而它無用的程度,則取決於人們有多難判斷它究竟像不像。Genie 4 看起來非凡出眾,卻無從衡量。SKY-001 則可以被衡量,而且衡量它的尺規就是它自己。兩者都還不是產品,而它們發布日期相隔八天,是唯一讓它們看起來像競爭對手的原因。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新