标题卡将 Genie 4 与 CARI4D 进行对比:前者根据文本提示生成视频和音频,后者从单目视频中重建姿态、轨迹和手部接触。
Guides & Insights

Genie 4 对比 CARI4D:一个生成世界,另一个解析视频

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

唯一Genie 4与CARI4D能够可靠共有的东西,只是一个标签。Genie 4 由 Google DeepMind 于 2026 年 10 月 27 日发布,是一个生成式世界模型:你描述一个场景,用自然语言操控它,它便会生成一段时长几分钟、音频同步的视频。CARI4D 是 NVIDIA Research 的 CVPR 2026 重建方法,走的是相反方向。它接收一段单目视频,视频中有一个人正在操作物体,并返回该人物的姿态、物体的六自由度轨迹,以及每一帧的两个手部接触分数。一个构建出看似合理的世界,另一个则测量真实世界。把两者放在一起看,真正有用的问题就不再是“哪个更好”,而是“我的问题面向哪个方向”。

Generated scoreboard comparing Genie 4 and CARI4D across output, input, grounding, persistence, access and evidence, with a footer noting Genie 4 claims are unaudited and CARI4D results come from NVIDIA's paper.

这种混淆是可以理解的,因为这两个产品都被归入"4D"这一类,而且两者都会产生某种在时间中运动的东西。但生成器和重建方法并不是同一任务的两种相互竞争的实现;它们以相反的方式失败,而且购买它们的是不同的人群。Genie 4 能凭空编造出一条令人信服、从未存在过的街道,却无法告诉你其中任何东西实际位于何处。CARI4D 则能精确到帧地告诉你一只手是如何握上水壶的,却无法凭空造出一个它从未见过的水壶。下文将从两个模型接收什么、返回什么,以及各自在结构上无法做到什么,来区分这两个模型。

Genie 4 返回的内容:一个会话,而非场景文件

Screenshot of the Google DeepMind Genie 4 announcement dated October 27, 2026, showing the Genie 4: A new generation of world simulation headline and the Join the Genie 4 waitlist button.

关于 Genie 4,首先需要理解的是,它的输出会被实时消费,并不会在会话结束后作为几何体保留下来。Google 自己的描述是:一个由你启动并操控的世界——移动相机、改变天气、添加角色,而 Gemini 模型会根据屏幕上已有的内容调整指令。帧是以自回归方式生成的,因此连贯性以秒和分钟来衡量,而不是以场景复杂度来衡量。

相比 Genie 3 新增的这些功能,正是各大头条所关注的重点。音频是原生生成的——环境声、音乐和交互式对话——而不是事后叠加上去的。操控是实时进行的,而不是通过一个会重启世界的提示词。而连贯性窗口据报约为两分钟,是其前代的两倍,尽管 Google 的博客只说是“短会话”,两分钟这个数字来自发布简报。

缺失的东西同样重要。它没有网格导出,没有场景图,没有相机轨迹,没有深度缓冲区,也无法将生成的世界带入 Blender、Unity 或 Unreal。一个想为镜头做布局预演的工作室,只能看着 Genie 4 完成这一过程,却无法将结果交给制作管线。它也没有公布分辨率、帧率、模型规模、基准测试结果或价格,而且访问权限仅限于一个受信任测试者池,并配有公开等候名单——通过 Project Genie 的 AI Ultra 订阅用户以及 Gemini API 早期访问合作伙伴都只得到“很快”的承诺,却没有具体日期。

Google 确实点明了这些失效模式,这一点比大多数发布文章做得更多:细节与物体恒常性会在较长会话中以及反复编辑后发生漂移,空间精度并不完美,场景内文字经常难以辨认,音频准确性尚未解决。所有输出都带有 SynthID 水印。对于预可视化工具而言,这些限制尚可承受。但对于任何需要测量的用途,它们则足以使其不合格。

CARI4D 返回的内容:位姿、轨迹和接触

Screenshot of the NVIDIA CARI4D model card on Hugging Face, showing the arXiv 2512.11988 paper link, the research-and-development-only notice and a message that no inference provider deploys the model.

CARI4D 是一个流程,而不是单一网络,其输出刻意保持狭窄。给定单目 RGB 视频,它用参数化人体模型重建人体,从首帧重建被操作物体的网格,将二者置于度量尺度,并在整个序列中跟踪它们。负责校正的学习组件是 CoCoNet,这是一个渲染-比较 Transformer,它接收当前估计,将其渲染为 RGB、深度和掩码,并回归逐帧姿态校正以及每只手一个接触 logit。

仓库中的依赖项已明确列出:UniDepth 用于度量深度,NLF 用于人体姿态,Hunyuan3D 用于物体网格,FoundationPose 用于姿态搜索与跟踪,CoCoNet 用于校正环节。这在编制部署预算时很重要,因为其中每一项都是独立的检查点,各有自己的许可证和硬件配置要求。

CARI4D 有两种发布形式。研究检查点,nvidia/CARI4D,仅标注为研究与开发用途,并链接到 arXiv 2512.11988,该论文于 2025 年 12 月 12 日发布。商业变体,cari4d_commercial,涵盖 NVIDIA 的 Momentum Human Rig,并受 NVIDIA Open Model Agreement 约束。两者均未由 Hugging Face 上的任何推理提供商部署,因此“可用”意味着权重加上 Docker 环境加上 NVIDIA GPU,而不是一个端点。没有公开的排行榜条目,也没有独立复现;数值证据是 CVPR 论文自身在 BEHAVE 上的消融实验,这属于供应商产出的研究。

比较,逐维度进行

• 输入 — Genie 4 接收文本描述以及实时操控指令;CARI4D 接收已有的单目 RGB 视频。

• 输出 — Genie 4 会在会话中以流式方式返回生成的视频和音频;CARI4D 返回逐帧的人体姿态与形状、物体旋转与平移,以及手部接触 logits。

• Grounding — Genie 4 看似合理,但缺乏依据;输出中没有任何内容对应于实测坐标。CARI4D 是度量化的,通过深度估计和针对观测帧的位姿搜索来恢复尺度。

• 持久性 — Genie 4 的世界在会话结束时便终止,且无法导出。CARI4D 的输出是一种数据结构,你可以存储、重新渲染并进行比较。

• 音频——Genie 4 能生成音频,包括对话;CARI4D 则没有音频,也不对声音建模。

• 获取方式 — Genie 4 仅限邀请,且未公布价格;CARI4D 提供可下载的权重,采用研究许可证,并根据 NVIDIA 的协议提供商业版本。

• 证据——Genie 4 有演示和厂商声明,没有已发布的基准测试;CARI4D 有同行评审论文、厂商自行开展的消融实验,且无第三方复现。

存在的重叠,以及不存在的那一个

诱人的组合方式是先用 CARI4D 重建一次真实交互,再用 Genie 4 想象它的各种变体。理论上,这种衔接看起来很自然:CARI4D 生成具有度量依据的人-物场景,Genie 4 生成替代结果。实践中,二者之间没有接口。Genie 4 接受文本和引导输入,而不是重建场景、网格或姿态轨迹。两个团队都没有发表任何内容描述将其中一个的输出馈入另一个,而且两种输出在截图中看起来都是三维的,这并不意味着它们的格式兼容。

确实存在的重叠部分更窄,也更有用:两者都是用来推理物理场景中接下来会发生什么的工具。CARI4D 提供的是观测到的动力学——接触、抓握、轨迹——这正是机器人学习流程为演示数据打标签所需要的那类信号。Genie 4 提供的是反事实,而这正是策略需要的东西,以便预演它未曾记录过的情况。一个构建具身数据的实验室完全可以在同一个数据集的不同环节同时使用两者,而两个模型之间无需任何交互。

失败模式也互为镜像。Genie 4 能把一个错误的对象渲染得很漂亮,并在两分钟里逐渐偏离它。CARI4D 能在整段视频中准确跟踪一个形状糟糕的对象,却仍然交给你一个劣质网格,因为它的指标关注的是姿态和接触,而不是表面保真度。两个模型都无法弥补对方的弱点。

本周你实际可以运行什么

CARI4D 是具备执行路径的那个。模型权重已公开,Docker 镜像已存在,A100 级 GPU 是文档中记载的目标。它仍是一个研究流水线,需要阅读一篇论文并组装若干外部检查点,但拥有相应硬件的团队本周就能运行它。Genie 4 则是需要排队等候的那个。

关于我们自己的产品目录,有必要直言不讳:OrcaRouter 两个模型都不托管。CARI4D 是一条研究用重建流水线,在任何地方都没有托管端点;Genie 4 也没有可供路由的公开 API。我们实际路由的是 Google 围绕 Genie 4 构建的推理层的一部分——Gemini 3.8 Flash,这个模型会观察生成的帧并重新规划,以及Gemini Robotics ER 1.6 preview——通过一个 API 覆盖 200+ 个模型,供应商标价按 0% 加价原样传递,并提供跨供应商自动故障转移。如果你实际的工作是围绕视频提问,而不是重建视频或生成视频,那么托管式多模态模型是更便宜的选择,而且不需要邀请。

对其他所有人来说,这个决定各自归结为一句话。如果视频已经存在,而你需要知道视频中的人和物体做了什么,那么两者中只有 CARI4D 能回答这个问题。如果这个世界尚不存在,而你需要看到它动起来,那么只有 Genie 4 能向你展示——只要有人放你进去。