为 Depth Pro 2 生成的标题卡,副标题为“清晰且时间一致的度量单目深度”,带有四个尺寸标签,分别显示 S 24M、B 97M、L 334M 和 H+ 872M,第五个标签显示焦距估计器 23.5M,页脚注释显示 arXiv 标识符仍为占位符,另有一个 OrcaRouter 标志。
Guides & Insights

Depth Pro 2 未附论文发布:权重揭示了什么

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

滚动到 Apple 的 Depth Pro 2 模型卡底部并阅读引用信息。八位作者、一个 2026 年的日期,以及一个读作 261X.XXXXX 的 arXiv 标识符。这些 X 并不是打码。它们是一个没人回来填写的占位符,也是对这次发布最诚实的总结:Depth Pro 2——Apple 的度量单目深度模型——以你今天就能下载的权重形式存在,却尚未以你可阅读的论文形式存在。

这个差距才是关键所在。不是一场发布活动,不是一张基准测试表,也不是一个演示 Space——仓库本身就标明该 Space 在公开之前处于隐藏状态,而截至撰写本文时,它尚未公开。以下内容是从各仓库和文档中能够获知的全部信息,与尚未确认的部分分开呈现。

发布了什么,以及分别在哪些日期

有文档记录的是日期部分,因为 Hugging Face 会为其托管的每个仓库添加时间戳。模型卡仓库 apple/DepthPro2 创建于 2026 年 11 月 3 日。权重仓库随后在两天后的 11 月 5 日出现,其中包括 apple/DepthPro2-H。Core ML 导出仓库于 11 月 9 日出现。独立的焦距估计器 apple/DepthPro2-focal 于 11 月 19 日出现——同一天,代码仓库 apple-aiml-research/ml-depth-pro-2 在 GitHub 上公开。

把这段序列当作工程时间线来读,而不是营销时间线。卡片、权重、Apple silicon 导出、相机校准模型和代码是在十六天里分批放出的,而最后落地的那一块,才让整个东西能被不在 Apple 内部的人运行起来。这个顺序丝毫不像一次协调好的发布;它更像是一个团队在各项内容通过审核后就把产物推出来。

外界的反响印证了这一点。H+ 权重仓库有 40 次下载,模型卡仓库有 10 个赞。其 GitHub 仓库背后只有一次提交。对于出自打造了 Depth Pro 的实验室的模型来说,这算不上一条发布曲线——这只是一次尚未被注意到的发布。

这篇论文只是一个占位符,并非预印本。

三个不同的地方都指向一份不存在的技术报告。模型卡片的徽章链接到 arxiv.org/abs/TODO。GitHub README 的徽章链接到 arxiv.org/abs/261X.XXXXX。两者中的 BibTeX 块都写着 journal = {arXiv preprint arXiv:261X.XXXXX} 和 url = {https://arxiv.org/abs/261X.XXXXX}。

它也没有对应的 Apple 机器学习研究页面——machinelearning.apple.com/research/depth-pro-2 会返回 404,而 Apple 的研究站点地图列出了 depth-pro,却没有列出 depth-pro-2。徽章指向的项目页面 apple-aiml-research.github.io/ml-depth-pro-2,是 Apple 控制的唯一一个确实能正常访问的页面。

这件事的重要性超出了它听起来应有的程度。技术报告正是评估协议所在之处,没有它,卡片所报告的数字就无法与基线所报告的数字进行核对。因此,下文中的所有定量内容均为厂商自己的说法,未经独立验证即予转载,并已按此标注。

四种尺寸,外加一个焦距估算器

该系列对自身扩展规模的说明异常明确。Apple 公布了全部四款成员的参数数量和下载大小,这比大多数深度模型发布通常愿意披露的还要多:

• 小型(S)— 24M 参数,下载大小 97 MB,是笔记本电脑上入门首选。

• Base (B) — 9700 万参数,386 MB。

• 大型(L)— 334M 参数,1.3 GB。

• H+ (H) — 872M 参数、3.5 GB,并且是未传入 -m 时命令行默认下载的版本。

• 焦距估计器——2350 万参数,94 MB,一个独立的仓库,可与任何规模的模型一起加载,并在照片或视频未附带焦距信息时预测相机的焦距。

命名这一点值得说明,因为它会让任何编写配置文件的人踩坑:仓库名是 apple/DepthPro2-H,但命令行标志是 -m depthpro2-h,而卡片上则把这一尺寸称为 H+。文档在相隔几行的内容里两种拼写都用了。

底层架构是一个多视图 Transformer,其后接一个逐帧 DPT 解码器。在 Transformer 模块的前三分之一之后,注意力在帧内与跨帧之间交替;解码器将来自若干模块的 token 组装成特征图,其分辨率为输入分辨率的 1/32 至 1/4。README 中将 TIMM 和 DINOv3 列为代码与模型基础。

权衡图是唯一的结果

这张卡片整个结果部分只有一张图和两句话。图中将 Boundary F1 对 Jitter 作图,这是苹果选择的两个指标,以散点形式展示了大约二十几个单帧和多帧深度模型,其中四个 Depth Pro 2 尺寸为橙色,其余为蓝色或绿色,并在 Sintel 和 Spring 数据集上取平均。这两句话表示,Depth Pro 2 在单帧和多帧上都优于先前工作,并且右上方最好。

The sharpness-versus-temporal-consistency scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL further down the jitter axis, footnoted as averaged over Sintel and Spring.

坐标轴的标注是:Boundary F1 从 0 到 0.3,jitter 从 0.1 降到 0。从散点图中读取位置,H+ 标记位于 Boundary F1 接近 0.29、jitter 约为 0.017 处,而原始 Depth Pro 大约为 0.235 和 0.095——两个轴上都存在很大差距。这张图没有提供的是表格、按数据集的细分、任何速度或内存测量,也没有与所绘制的二十多个模型之外的比较。卡片上说,论文比较了各个尺寸,包括其速度和内存——而这篇论文尚不存在。

这不是不信任该模型的理由。这倒是不信任任何一篇文章的理由:这类文章会给你一个保留三位小数的 Depth Pro 2 的 Boundary F1,因为这种数字唯一可能存在的地方,就是一张你最多只能读到约百分之一精度的散点图,而评估协议则被推迟到一份尚未发布的报告中。如果你需要这个数字用于采购文件,那你就是在等那份报告。

视频正是让它成为续作的关键。

最初的 Depth Pro,仅从标题就能看出,它关注的是清晰度与速度:不到一秒内实现清晰单目度量深度,在标准 GPU 上 0.3 秒处理 225 万像素。Depth Pro 2 保留了清晰度,并增加了第二个维度——时间一致性——整个架构的改动都是为了服务于它。帧内与帧间的交替注意力,让 transformer 将多帧视为一个场景,而不是多张图像。

The method diagram from the Depth Pro 2 model card showing a multi-view transformer over the input frames followed by a DPT decoder per frame, annotated with the two numbered contributions: alternating within-frame and across-frame attention after the first third of blocks, and decoder feature maps at one thirty-second to one quarter of the input resolution.

由此衍生出两种运行模式。缓冲模式是视频文件的默认模式,它处理的是每段 16 帧、相邻片段重叠 4 帧的片段,这样在相邻片段衔接处深度能保持稳定;这两个数值分别由 --window 和 --overlap 指定。无缓冲模式则在每一帧到达的瞬间就进行预测,依据是该帧及其之前的 15 帧,适用于实时摄像头场景。Apple 坦承,视频流最初的几帧可供参考的前序帧较少,因此其深度不够稳定——这是一种在文档中就已说明、而非等到生产环境中才发现的预热代价。

视频其余的行为带来一系列连带影响,在集成前值得了解。一个视频的所有帧共用一个焦距,该焦距取其在第一个窗口内各估计值的中位数。内存随帧尺寸和窗口长度增长,而不随视频时长增长,因此对于无法容纳的片段,文档给出的补救办法是先缩短窗口,其次换用更小的模型,最后才调整输入尺寸。天空像素返回的深度是无穷大,或者——尤其是在较小的模型上——是几公里的有限深度;README 会告诉你在构建点云之前先裁剪范围,这种建议之所以存在,只是因为有人没这么做。

仍未确认的是什么?

诚实的未决问题清单简短而具体。

• 独立评估——无。没有第三方发布过 Depth Pro 2 的 Boundary F1 或 Jitter 数值,而该卡片自身的基线除了“在单帧或多帧上运行的先前工作”之外并未具名。

• 速度和内存——论文中声称进行了比较,但这只是一个占位符。唯一具体的运行时指导是:H+ 是 3.5 GB 的权重,而 S 是笔记本电脑选项。

• 演示——Space 被链接在一个 HTML 注释中,并标记为在公开前隐藏。演示存在与演示可访问是两种不同的说法。

• 名称“Depth Pro 2”在仓库名称中显示为 DepthPro2,在代码包和 Core ML 仓库中显示为 depth-pro-2,在 Python 导入中显示为 depth_pro_2。请搜索全部四种写法。

A screenshot of the Hugging Face model card for apple/DepthPro2, showing the Depth Pro 2 title, the badge row linking to GitHub, the technical report and the project page, the licence and tags row, and the opening paragraph describing metric depth from a single photo, a whole video or a live feed at the input's full resolution.

在论文发表之前先跑一遍

安装路径刻意做得平淡无奇,而这恰恰是它的优点。你先安装 uv,克隆仓库,然后运行 uv run depth-pro-2 predict -i assets/example.jpg -o out/ 来处理照片,或对视频使用同一条命令并传入 .mp4 文件。首次运行会拉取 3.5 GB 的 H+,除非你传入 -m depthpro2-s。该命令会选择第一个可用的设备——先 CUDA,再 Apple silicon MPS,最后 CPU——并在 GPU 上以 bfloat16 自动混合精度运行,在 CPU 上则以 float32 运行。此外还提供了面向 Apple 硬件的 Core ML 导出,以及一个需要 macOS 15 和 Xcode 16 的精简 Mac 演示应用。

输出格式才是实用细节所在。该命令始终会写入一张用颜色编码的深度图,近处为红色,远处为蓝色。--save-png16 会增加 16 位灰度 PNG,供合成工具使用,近处为白色,远处为黑色,并按照片或视频第一帧的深度范围进行缩放——因此,视频中后来变得更近的点会饱和。--save-npz 会增加以米为单位的实际深度数组,以及 focallength_px;如果你要做任何数值处理,这就是你需要的那个。

如果你跳过文档,有两个约定会让你吃亏。深度是沿相机观察轴的距离,即 z 坐标,而不是到镜头的直线距离。而在 Python 中,逆深度会按焦距归一化:它等于 focallength_px / (width * depth)。如果焦距错 10%,所有东西都会落在远 10% 的位置。

这些都不会经由我们路由。Depth Pro 2 是来自 Apple 自家仓库、采用研究许可的权重;如果你想运行它,就得从 Apple 下载。OrcaRouter 覆盖的是它周边管线的其余部分——用一个 API 和一把密钥即可访问 200 多个托管模型,仅按提供商标价加价 0%,并可在多个提供商之间自动故障转移。当深度阶段是一个带有占位引用、没有发布节奏的研究检查点时,围绕它的推理和写作阶段才是你希望成为枯燥、冗余部分的那几个环节。

如果你是在观望而不是自己动手构建,那么值得关注这些信号:arXiv 标识符替换掉那些 X、machinelearning.apple.com 下出现一个研究页面,以及演示 Space 从被注释掉变为已链接。其中任何一个都会让它从一次权重投放变成一次正式发布,并给上方的图表补上它缺少的逐模型表格。