標題卡比較 Genie 4(可依文字提示生成影片與音訊)與 CARI4D(可從單眼影片重建姿勢、軌跡與手部接觸)。
Guides & Insights

Genie 4 與 CARI4D:一個生成世界,另一個解析影片

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

唯一可靠共享的Genie 4 與 CARI4D是一項標籤。Genie 4 於 2026 年 10 月 27 日由 Google DeepMind 發布,是一種生成式世界模型:你描述一個場景,用自然語言操控它,它便產生長達幾分鐘、音訊同步的影片。CARI4D 是 NVIDIA Research 在 CVPR 2026 提出的重建方法,運作方向相反。它接收一段人物操作物體的單目影片,並回傳該人物的姿勢、物體的六自由度軌跡,以及每一幀的兩個手部接觸分數。一個發明看似可信的世界,另一個測量真實的世界。把它們放在同一頁,有用的問題就不再是「哪個更好」,而是「我的問題面向哪個方向」。

Generated scoreboard comparing Genie 4 and CARI4D across output, input, grounding, persistence, access and evidence, with a footer noting Genie 4 claims are unaudited and CARI4D results come from NVIDIA's paper.

這種混淆可以理解,因為兩者都被歸類在「4D」之下,而且都會產生某種隨時間推移的內容。但生成器和重建方法是不同任務的兩種作法,並非同一任務的競爭實作;它們以相反的方式失敗,而且購買者是不同的人。Genie 4 可以憑空發明一條從未存在過的逼真街道,卻無法告訴你其中任何東西的實際位置。CARI4D 可以精確到影格地告訴你,一隻手是如何握住水壺的,卻無法發明一個它沒見過的水壺。下面將從這兩個模型輸入什麼、回傳什麼,以及各自在結構上做不到什麼,來區分它們。

Genie 4 回傳的是什麼:工作階段,而非場景檔案

Screenshot of the Google DeepMind Genie 4 announcement dated October 27, 2026, showing the Genie 4: A new generation of world simulation headline and the Join the Genie 4 waitlist button.

首先要了解 Genie 4 的一點是,它的輸出是即時被消費的,不會以幾何形式留存於工作階段中。Google 自己的描述是:一個由你啟動並操控的世界——移動鏡頭、改變天氣、加入角色,Gemini 模型就會把指令調整為適應螢幕上已有的內容。畫格是以自迴歸方式生成的,這就是為什麼連貫性是以秒和分鐘來衡量,而不是以場景複雜度來衡量。

相較於 Genie 3 新增的功能,是每個新聞標題都提及的重點。音訊是原生生成的——環境音、音樂與互動對話——而非事後疊加。操控是即時的,而不是會重新啟動世界的提示詞。而連貫性視窗據報導約為兩分鐘,是其前代的兩倍,儘管 Google 的部落格只說「短暫工作階段」,且兩分鐘這個數字來自發表會簡報。

缺席的部分也同樣重要。沒有網格匯出、沒有場景圖、沒有攝影機軌道、沒有深度緩衝,也沒有任何方法能把生成的世界帶進 Blender、Unity 或 Unreal。一間想要為鏡頭做預演的工作室,只能看著 Genie 4 完成,卻無法把結果交給製作流程。此外,也沒有公布解析度、影格率、模型大小、基準測試或價格;存取權僅限於一小群受信任的測試者,並設有公開候補名單——透過 Project Genie 取得存取權的 AI Ultra 訂閱者,以及 Gemini API 早期存取合作夥伴,只獲承諾「即將推出」,但沒有日期。

Google 確實點出了這些失效模式,這比大多數發布文章做得更多:細節與物體恆常性在較長的 session 中、以及反覆編輯之後會逐漸漂移,空間精確度並不完美,場景內文字經常難以辨識,音訊準確度也尚未解決。所有輸出都帶有 SynthID 浮水印。對預視覺化工具而言,這些告誡尚可承受;但對任何需要量測的用途來說,它們就足以直接淘汰。

CARI4D 會回傳什麼:姿勢、軌跡與接觸

Screenshot of the NVIDIA CARI4D model card on Hugging Face, showing the arXiv 2512.11988 paper link, the research-and-development-only notice and a message that no inference provider deploys the model.

CARI4D 是一條管線,而非單一網路,且其輸出刻意保持精簡。給定一段單眼 RGB 影片,它會以參數化人體模型重建人體、從第一幀重建被操作物件的網格、將兩者置於公制尺度,並在整段序列中追蹤它們。負責修正的學習元件是 CoCoNet,一個渲染並比較的 Transformer;它接收當前估計值,將其渲染成 RGB、深度與遮罩,並回歸出每幀的姿態修正,以及每隻手一個接觸 logit。

這些相依性在儲存庫中明確列出:以 UniDepth 取得度量深度、以 NLF 取得人體姿態、以 Hunyuan3D 取得物件網格、以 FoundationPose 進行姿態搜尋與追蹤,以及以 CoCoNet 進行修正處理。當你在為部署編列預算時,這一點很重要,因為上述每一項都是各自獨立的檢查點,擁有各自的授權條款與硬體設定檔。

CARI4D 以兩種形式推出。研究檢查點 nvidia/CARI4D 僅標示為研究與開發用途,並連結至 arXiv 2512.11988,該文於 2025 年 12 月 12 日發表。商業版本 cari4d_commercial 涵蓋 NVIDIA 的 Momentum Human Rig,並受 NVIDIA Open Model Agreement 規範。Hugging Face 上沒有任何推論供應商部署其中任一版本,因此「可用」是指權重加上 Docker 設定加上 NVIDIA GPU,而非端點。沒有公開的排行榜條目,也沒有獨立重現;數值證據是 CVPR 論文自身在 BEHAVE 上的消融實驗,而這是由廠商產出的研究。

這項比較,逐個維度來看

• Input — Genie 4 接受文字描述加上即時操控指令;CARI4D 則接受一段已存在的單眼 RGB 影片。

• 輸出 — Genie 4 會回傳生成的影片與音訊,並在工作階段中串流;CARI4D 會回傳每幀的人體姿勢與身形、物件的旋轉與平移,以及手部接觸的 logits。

• Grounding(接地) — Genie 4 看似合理,但並未接地;其輸出中沒有任何內容對應到實際量測的座標。CARI4D 則具備度量性,透過深度估計與針對觀測影格進行位姿搜尋來還原尺度。

• 持續性 — Genie 4 的世界在工作階段結束時便終止,且無法匯出。CARI4D 的輸出是一種資料結構,你可以儲存、重新渲染並進行比較。

• 音訊 — Genie 4 會生成音訊,包括對話;CARI4D 則沒有音訊,也不對聲音進行建模。

• 取得方式 — Genie 4 僅限受邀使用且未公布價格;CARI4D 則為可下載的權重,附有研究授權,並依 NVIDIA 協議提供商業版本。

• 證據 — Genie 4 有示範與廠商宣稱,尚無公開發表的基準測試;CARI4D 有經同儕審查的論文、由廠商自行執行的消融實驗,且尚無第三方重現。

存在的重疊,以及不存在的那個重疊

這種誘人的組合方式是:先用 CARI4D 重建一段真實互動,再用 Genie 4 想像它的各種變化。理論上,這個交接過程看起來很自然:CARI4D 產出具有度量依據的人與物互動場景,而 Genie 4 產出不同的結果。實際上,兩者之間並沒有介面。Genie 4 接受的是文字與控制輸入,而不是重建場景、網格或姿態軌跡。兩個團隊都沒有發表任何描述將其一輸入另一者的內容,而且即使兩者的輸出在截圖上看起來都具有立體感,也不代表它們的格式彼此相容。

實際存在的重疊範圍更窄,也更有用:兩者都是用來推理實體場景中接下來會發生什麼的工具。CARI4D 提供觀測到的動態——接觸、抓握、軌跡——而這正是機器人學習流程標註示範資料時所需的訊號類型。Genie 4 提供反事實,而這正是策略為了排練尚未記錄過的情境所需要的。一個正在建構具身資料的實驗室,有可能在同一份資料集的不同部分同時使用兩者,而兩個模型永遠不必互相溝通。

這些失敗模式也如同鏡像。Genie 4 能把一個錯誤的物件渲染得很漂亮,並在兩分鐘內逐漸偏離它。CARI4D 則能在整段影片中準確追蹤一個外形糟糕的物件,最後仍交給你一個劣質網格,因為它的指標關注的是姿態與接觸,而非表面保真度。兩個模型都無法彌補對方的弱點。

這週你實際能執行什麼

CARI4D 是那個有明確執行路徑的。權重已公開、Docker 映像檔已存在,且文件記載的目標硬體是 A100 等級的 GPU。它仍是一套研究流程,需要閱讀一篇論文並組裝數個外部檢查點,但擁有相應硬體的團隊本週就能讓它跑起來。Genie 4 則是有等候名單的那個。

不妨對我們自家的目錄直言:OrcaRouter 並未託管這兩個模型。CARI4D 是研究用的重建管線,任何地方都沒有託管端點;Genie 4 則沒有可供路由的公開 API。我們實際有路由的,是 Google 圍繞 Genie 4 所建構的推理層的一部分——Gemini 3.8 Flash,也就是會監看生成影格並重新規劃的模型,以及 Gemini Robotics ER 1.6 preview——透過同一個 API 涵蓋 200 多個模型,供應商定價以 0% 加價直接傳遞,並可跨供應商自動容錯移轉。如果你真正要做的是針對影片提問,而不是重建或生成影片,那麼託管式多模態模型是更便宜的答案,而且不需要邀請。

對其他人來說,這個決定各自歸結為一句話。如果影片已經存在,而你需要知道人物和物件做了什麼,CARI4D 是兩者中唯一能回答這個問題的。如果那個世界尚未存在,而你需要看到它動起來,Genie 4 是唯一能展示給你看的——只要有人讓你進去。