一张生成的标题卡,以大型深色几何字体写着 Depth Pro 2 vs VGGT,其下方是副标题“一次测量,还是一次重建”,位于一条细长的蓝色到青色渐变条上方。
Engineering & Research

Depth Pro 2 与 VGGT:度量深度还是多视图几何

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

把手机对准一个房间,绕着它走一圈,录制四十秒视频。两个模型可以把它转化为几何结构,但它们对几何结构究竟是什么不会达成一致。Depth Pro 2 是 Apple 的度量单目深度模型,会为每一帧的每个像素返回以米为单位的深度值,并附带焦距。VGGT——来自 Meta AI Research 和牛津大学 VGG 组的 Visual Geometry Grounded Transformer,发表于 CVPR 2025——会一次性返回整组视角的相机外参和内参、点图、深度图以及三维点轨迹。

其中一个输出是测量值。另一个是重建结果。在两者之间做选择,并不是哪个更准确的问题,因为这两个模型回答的是不同的问题,而你需要哪个答案,取决于你的流水线中模型之后是什么。

每个模型的构建目的

VGGT 是一个前馈网络,能在数秒内从单个、少量或数百个视图中推断出场景的所有关键 3D 属性。其核心卖点是联合估计:它不是逐帧运行深度模型,再用单独的运动恢复结构阶段求解相机位姿,而是在单次处理中生成位姿、内参、深度和点轨迹,并让各视图相互关注。这正是“数百个视图”这一说法重要的原因——它是对摄影测量流程的替代,而不是对其的补充。

Depth Pro 2 是一个单目度量深度估计器,而真正关键的是“度量”这个词。它的输出是沿相机视线方向、以米为单位的深度图,由单张图像计算得出,并且无需相机元数据——模型可以从 EXIF 中读取焦距,接受你以像素为单位提供的焦距,或用独立的 23.5M 参数估计器来预测焦距,该估计器作为独立仓库发布。它还能处理视频,这正是“2”的由来:多视图 Transformer 联合处理各帧,在其前三分之一的块之后交替进行帧内注意力和跨帧注意力,并由 DPT 解码器为每帧输出逆深度图。

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• 工作单元 — VGGT 接收一组视图;Depth Pro 2 接收一张照片、一段视频或实时视频流。

• 主要输出 — VGGT 提供相机参数、点映射、深度图和 3D 点轨迹;Depth Pro 2 提供度量深度以及它所用的焦距。

• 相机求解——VGGT 将其作为联合问题的一部分进行估计;Depth Pro 2 读取、接受或预测焦距,但不涉及外参。

• 尺度 — Depth Pro 2 的核心输出以米为单位;VGGT 的模型卡描述的是相机参数、点图、深度和轨迹,并未声称具备公制尺度。

• 发布 — VGGT 发表于 CVPR 2025(arXiv 2503.11651);Depth Pro 2 的代码仓库创建于 2026 年 11 月,技术报告仍待发布。

规模问题决定了大多数部署。

如果你需要知道桌子距离0.74米,VGGT不会直接告诉你这一点,而Depth Pro 2会。这就是整个论点的一句话概括,值得精确说明其中的原因。

Depth Pro 2 的度量主张是架构性的,而非附带性的。原始 Depth Pro 是作为零样本度量深度的基础模型构建的,仓库也明确说明了这些约定:深度是沿观察方向的 z 坐标,而不是径向距离;逆深度按焦距归一化;焦距偏长 10% 会让所有物体的位置偏远 10%。这些是一个其输出旨在作为测量值来解读的模型所遵循的约定,而 Depth Pro 2 在所有四种尺寸上都原封不动地继承了它们。

VGGT 的输出是几何性的。相机外参、内参、点图和点轨迹在内部是一致的——重建在全局相似变换下是正确的——而从中恢复绝对尺度则是另一个独立步骤,通常需要场景中有一个已知参考物。对于新视角合成、3D 资产,或者任何需要缩放场景以适配查看器的情况,这都没有问题,而且往往更可取。但对于需要判断障碍物是在一米外还是三米外的机器人来说,这就是一个必须在模型之外解决的问题。

Depth Pro 2 在这方面也有自己的诚实性问题。天空像素返回的深度是无穷大,或者——尤其是在较小的模型上——是几公里的有限深度,因此用其输出直接构建的朴素点云会在天空所在处出现一堵虚假的远景几何墙。README 会告诉你在生成点云或彩色图像之前先裁剪深度范围,而这类说明往往只有在有人被它坑过之后才会出现。

视频一致性才是真正的贡献

Depth Pro 2 与其说是更好的 Depth Pro,不如说是一个在时间上稳定化的版本,而其机制完全在于注意力模式。在其前三分之一的模块之后,Transformer 交替进行帧内注意力和跨帧注意力,DPT 解码器则将来自多个模块的 token 组装成输入分辨率的三十二分之一到四分之一的特征图。这种交替的关键在于 Jitter——时间一致性指标——项目页面将其与 Boundary F1 一起报告,这些指标是在 Sintel 和 Spring 数据集上平均得到的,并声称 Depth Pro 2 在这两项指标上均优于在单帧或多帧上运行的先前工作。

这一说法没有附带任何数值,也没有指明任何基线。该页面只提到“在单帧或多帧上运行的先前工作”以及“采用默认设置的基线”,而引用块中写的是 arXiv:261X.XXXXX——这是一个占位符,并非论文。任何为 Depth Pro 2 引用 Boundary F1 或 Jitter 数值的人,都是从图表上读出来的。

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

Depth Pro 2 的工作范围比其视频取景所暗示的要窄,而且这种狭窄是有文档记载的。其默认模式消耗 {{1}}16 帧片段{{/1}},并带有 {{2}}四帧重叠{{/2}},实时路径会将每一帧与其之前的十五帧进行比对,这意味着任何流的第一秒都是你能得到的最不稳定的一秒。{{3}}一个焦距服务于整个视频{{/3}},选取为 {{4}}开头窗口的中位数{{/4}} —— 因此一个会变焦的片段会把一帧的焦距估计应用于所有帧。内存随 {{5}}帧大小和窗口{{/5}} 扩展,而不随持续时间扩展,Apple 针对内存不足视频的补救措施是先 {{6}}缩短窗口{{/6}},然后才 {{7}}缩小模型{{/7}}。

VGGT 没有等效模式,因为它不需要。它已经联合处理整个视图集,这是同一保证的更强形式——前提是你能够承受对数百个视图的注意力开销,并且你的应用想要的是重建,而不是逐帧深度读数。

尺寸、导出以及你实际运行的内容

Depth Pro 2 提供四种尺寸,并公布了各自的数量:S 为 2400 万参数和 97 MB,B 为 9700 万参数和 386 MB,L 为 3.34 亿参数和 1.3 GB,H+ 为 8.72 亿参数和 3.5 GB;其中 H+ 是默认版本,S 推荐用于笔记本电脑。配置文件展示了该系列的结构——小尺寸的两个模型采用 DINOv3 ViT-S 和 ViT-B 主干,分别在块 5、7、9 和 11 上进行注意力计算;ViT-L 在块 9 到 23 上进行注意力计算;ViT-H+ 在块 11 到 31 上进行注意力计算;解码器维度分别为 64、128、256 和 256。面向 Apple silicon 的 Core ML 导出文件放在一个单独的仓库中,代码仓库还包含一个 Mac 演示应用,用于从摄像头实时获取深度。

VGGT-1B 是一个单一的十亿参数检查点,而该系列此后已继续演进。VGGT-Omega 于 2026 年 5 月 18 日发布,被称为“VGGT 的下一步”,此外还有一个商业检查点 VGGT-1B-Commercial 与原始版本并存,其在 Co3D 上的 AUC@30 为 90.37,而原始版本为 89.98——这是模型卡上唯一的基准数字,且差距微乎其微。截至本文撰写时,VGGT-1B 的下载量已达 748,148 次,这在一定程度上说明了研究界将其作为基线采用的广泛程度。

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2 的情况正好相反。它的四个检查点下载量只有几十次,相关仓库创建于 2026 年 11 月初,而模型卡仓库仅有的点赞也不过寥寥几个。这是一个已经发布、但尚未被广泛采用的模型。在决定使用之前,这一点值得了解:如果你遇到 bug,提交 issue 的人就会是你。

许可与商业检查点

VGGT-1B 采用 CC BY-NC 4.0 许可,非商业用途。VGGT-1B-Commercial 的存在才是耐人寻味的细节——Meta 发布了一个可商业许可的变体,这意味着从研究到产品的路径无需进行许可谈判即可存在。Depth Pro 2 的权重采用 Apple Machine Learning Research Model 许可,仅限研究用途,该仓库将其定义为非商业性科学研究和学术开发活动。

这两个许可证都不是开放检查点上的产品许可证。区别在于,VGGT 系列包含商业选项,而 Depth Pro 2 的不包含;所以如果你要做创收项目,其中一个有门,另一个则有墙。

这是上一层在生产流水线中都会出现的同一种计算。重建模型只是一次调用;围绕它的是读取场景、决定该做什么并将其记录下来的部分——这是语言模型的工作,供应商会标出价格,而聚合器要么原样传递,要么不传。OrcaRouter 的卖点是:对 217 个模型收取 0% 加价,并支持跨提供商自动故障转移;这一点恰恰在这里最重要:当几何阶段是一个只有少量下载、没有发布节奏的研究检查点时,你希望流水线的其余部分成为无聊、冗余的那一部分。

谁应该从哪一个开始

如果你要从多个视角重建场景,并且会在下游处理尺度——新视角合成、3D 资产、从视频构建且几何就是交付物的数据集——那就从 VGGT 开始。联合求解相机与几何,正是它值得用上十亿参数的原因;如果你是全新开始,VGGT-Omega 是当前一代。

如果你需要从单帧获得以米为单位的深度,或者需要在实时画面中让深度逐帧保持稳定,就从 Depth Pro 2 开始。尺寸调节拨盘是真实存在的,笔记本工作流也有文档说明。上手时请预期会裁掉天空深度,预期你会成为大多数 bug 的首个提交者,并预期要等到技术报告发布后,才能向任何人引用 Boundary F1 数值。

你不该做的是把它当成一场正面直接对比。VGGT 负责重建,Depth Pro 2 负责测量,而唯一诚实的比较,是看你的下游代码能消费哪一个。对大多数 3D 管线来说,答案是 VGGT 加一个尺度恢复步骤;对大多数机器人和 AR 管线来说,则是 Depth Pro 2 加一份针对烟雾场景的鲁棒性预算。