
Depth Pro 2 与 Marigold:度量深度还是扩散先验
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 186 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 358 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 139 tok/s
- orca新Orca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 80 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 111 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 210 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 168 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
Marigold 不预测深度。它通过一个从 Stable Diffusion 2 微调而来的潜在扩散模型,一次一个去噪步骤地生成深度。Depth Pro 2 则通过一个直接针对该任务训练的 transformer,在单次前向传递中预测深度。两者都会生成看起来正确的深度图,两者都采用研究许可,而它们之间的差异,就是采样器与回归器之间的差异——这种差异首先体现在账单上,其次体现在延迟表现上,最后才体现在准确率上。
这种排序是刻意安排的。通常的比较会把 AbsRel 放在一边、Boundary F1 放在另一边,然后宣布胜者,但在这里这不可能:Marigold 的数字和 Depth Pro 2 的数字来自不同数据集上的不同协议,两家实验室都从未让它们相互对比运行过。真正可比的是获得答案的成本、答案所采用的尺度约定,以及各自许可证允许什么。这三个问题都有实实在在的答案。
从像素中获取数值的两种方法
Marigold 的模型卡明确说明了其自身类型:一种基于生成式潜在扩散的仿射不变单目深度估计器,由 stable-diffusion-2 微调而来。v1.1 检查点 prs-eth/marigold-depth-v1-1 创建于 2024 年 12 月 12 日,获得 34 个赞和约 6,600 次下载。它专为 DDIM 调度器以及 1 到 50 个去噪步骤而设计,并继承了基础扩散模型约 768 像素的有效分辨率,因此较大的输入在送入模型前应调整尺寸,使较长边为 768。
Depth Pro 2 是一个判别式模型。该模型卡描述了一个对输入帧进行多视角处理的 Transformer,以及一个 DPT 解码器;后者为每一帧预测逆深度图,并将来自多个块的 token 组装成输入分辨率的三十二分之一到四分之一大小的特征图。一次调用,一个输出,且达到输入的完整分辨率——模型卡对此有明确说明,而这与 768 像素的工作分辨率正好相反。
• 推理 — Marigold 每张图像运行 1 到 50 个去噪步骤;Depth Pro 2 运行一次前向传递。
• 工作分辨率 — Marigold 的有效分辨率在长边约为 768 像素;Depth Pro 2 则按输入的完整分辨率进行预测。
• 集成——仅当使用规模大于二的多个预测进行集成时,Marigold 才会生成不确定性图,而这会再次使成本成倍增加;Depth Pro 2 不返回不确定性。
• 尺度——Marigold 的输出具有仿射不变性,其值介于 0 和 1 之间,在模型自行选择的近平面与远平面之间插值;Depth Pro 2 的输出是度量化的,以米为单位。
• 输入 — Depth Pro 2 可接受照片、视频文件或实时摄像头画面;Marigold v1.1 接受单张图像。
Marigold 是一个采样器,而这是要付账的。
步数并不是脚注。扩散深度模型的质量取决于它运行多少去噪步数以及集成多少样本,而这两者都是你可以设置的调节项。在低端,你会得到一张快速但粗糙的图;在 50 步并配合集成时,你会得到一张更好的图,但同一张图像的计算成本也会大得多。Marigold 的卡片把这描述为一项特性——1 到 50 步是一个范围,你可以选择自己想处在范围中的哪个位置——这很诚实,但这也意味着“Marigold 的准确率”并不是一个单一数字。它是一条曲线,而这条曲线有一个成本轴。
Depth Pro 2 没有等效的拨盘。尺寸本身就是那个拨盘——S、B、L 或 H+——它改变的是权重,而不是传递次数。无论如何,一次预测都只进行一次传递。对笔记本而言,这一差别只是理论上的;而对以每秒 30 帧处理视频流的服务来说,这就是整个设计的关键。
这就是为什么围绕深度模型的成本讨论不会止步于模型本身。消耗深度图的阶段——描述场景、决定要做什么、写出结果——是语言模型的工作,而每次调用成本公开且可比较的正是这一部分。OrcaRouter 在单一密钥上以 0% 加价按供应商标价透传 200 多个托管模型,并支持跨供应商自动故障转移。视觉阶段中带集成乘数的扩散采样器,正是那种会让你希望管道其余部分可预测的成本。
Depth Pro 2 一次即可给出答案
单遍设计有其自身的约束,这些约束被记录在文档中,而不是被隐藏起来。深度是沿相机观察轴的距离——z 坐标,而不是径向距离。Python 中的逆深度按焦距归一化:focallength_px / (width * depth)。深度随焦距缩放,因此焦距长 10% 会使所有物体远 10%。

视频行为正是该架构发挥优势之处。缓冲模式处理 16 帧的片段,片段之间重叠 4 帧,从而在片段边界处保持深度稳定;非缓冲模式在每一帧到达时,根据该帧及其之前的 15 帧预测该帧,并带有文档中说明的预热惩罚:视频流的前几帧可用的前序帧更少,因此深度稳定性更差。一个视频的所有帧共用一个焦距,即第一个窗口的中位数。内存随帧大小和窗口长度增长,而不随持续时间增长。
这些在 Marigold 那边都没有对应实现,因为 Marigold v1.1 是单图模型。把它用在视频上,你就得一帧一帧地跑,而跑出来什么样的闪烁,你交付的就是什么样的闪烁。
相对于度量的仿射不变性
这一节决定了大多数集成的成败,而它与质量无关。Marigold 的输出是仿射不变的:预测值位于 0 和 1 之间,并在模型所选的近平面和远平面之间进行插值。对于遮罩、合成深度通道,或任何需要重缩放以适配某个范围的内容来说,这都是一种完全合理的表示——而且它是扩散深度文献中的标准惯例,理由很充分:这正是这些模型真正擅长的事情。
Depth Pro 2 的输出是以米为单位的测量值,并附带焦距。对于要判断障碍物是在一米还是三米外的机器人,对于必须落在真实物理距离上的 AR 叠加层,对于位于真实坐标系中的点云,这一差异正是全部关键所在。从仿射不变图中恢复绝对尺度是一个独立步骤,需要借助场景中的已知参照物或传感器;而这项工作 Depth Pro 2 已在内部完成。
没有哪个更好。它们是同一个词的不同产物,你需要哪一个取决于谁来消费这张地图。
Marigold V2 在 2026 年有哪些变化
“Marigold”这个名字现在涵盖两代,而第二代并非小更新。Marigold V2(huawei-bayerlab/marigold-v2-0)创建于2026年8月27日,初始版本发布于2026年9月8日。它采用扩散Transformer,而非UNet:是对Qwen/Qwen-Image-Edit-2509的LoRA微调,并随SIGGRAPH Asia 2026论文一同发布,论文发表于ACM Transactions on Graphics 45(6),arXiv 2609.08084。
可调用的能力范围大幅拓宽。Marigold V2 为深度提供了 log、线性与视差参数化的检查点,还有能预测玻璃后方几何结构的分层变体,外加表面法线与反照率——最后这项输出,只有已经理解图像成像过程的生成模型才可能给出。在 1024² 下推理约需 17 GB 显存,在 2048² 下约需 29 GB,因此 24 GB 的显卡可以应付前者,后者则需要 32 GB。
其深度输出仍然是仿射不变的——每张图像的深度至多相差一个未知的缩放和平移——因此上述尺度论证在生成方式改变后依然完全成立。改变的是精度和分辨率:在 Pixel-Perfect Depth 协议下报告的零样本结果,AbsRel(越低越好)和 δ1(百分比)分别为:NYUv2 上 3.6 / 98.0,KITTI 上 5.4 / 97.4,ETH3D 上 2.8 / 99.2,ScanNet 上 3.7 / 97.9,DIODE 上 5.2 / 97.1。表面法线在 NYUv2 上的平均角度误差为 16.6 度,11.25 度以内的比例为 61.2%;Hypersim 上的反照率为 PSNR 20.78、SSIM 0.811、LPIPS 0.195。这些均为厂商报告结果,此处未复现。
每一方允许你引用的内容
Marigold V2 发布的是表格。Depth Pro 2 发布的是带轴标签的散点图,没有按模型分列的表。这种不对称是这对组合中最鲜有提及的事实,也与“较新的模型必然文档更完善”这一假设相悖。

Depth Pro 2 的模型卡报告了在 Sintel 和 Spring 上平均的 Boundary F1 与 Jitter,声称在这两个数据集上均优于在单帧或多帧上运行的先前工作,并绘制了大约二十多个基线——但 Marigold 不在其中。Apple 的图表上没有 Marigold 标记,Marigold V2 的表格中也没有 Depth Pro 2 这一行,因此两个实验室都没有将这两个模型放在同一坐标轴上。引用块仍写着 arXiv:261X.XXXXX——一个占位符——并且 machinelearning.apple.com 上没有 Depth Pro 2 的研究页面。模型卡所称的、比较不同尺寸在速度和内存方面表现的技术报告尚不存在。
因此,采购文件如今可以引用 Marigold V2 的 AbsRel 和 δ1,但需注明:这些是供应商提供的数据,所依据的评测协议并非由你运行。该文件则完全无法引用 Depth Pro 2 的任何数据。这并不是在贬低该模型;这是关于此次发布的一个事实,而等到报告发布之日,情况就会改变。
许可证:OpenRAIL、Apache、仅限研究
三个许可证分别对应三个检查点,且它们不可互换。
• Marigold v1.1 — CreativeML OpenRAIL++-M,即 Stable Diffusion 2 社区许可证,它带有基于使用方式的限制,而非纯粹的非商业性禁令。
• Marigold V2 — 已发布的权重采用 Apache 2.0,而基础模型 Qwen-Image-Edit-2509 保留其自身许可证,因此你的义务取决于两者。
• Depth Pro 2 —— Apple Machine Learning Research Model 许可协议,该仓库将其定义为仅允许用于研究目的,即非商业性科学研究和学术开发。
实际后果是:在这三者之中,Marigold V2 是唯一一个有希望投入实际部署的,前提是满足 Qwen 基础模型的任何要求。Depth Pro 2 则不然,无论规模大小都是如此,而其代码许可证也无法改变这一点。Depth Pro 2 的代码另外还承认 TIMM 和 DINOv3 是其基础。
该选哪个
如果你想把深度图作为若干输出之一——还包括法线、反照率、分层透视深度——并且大致在 1024² 下工作,而且仿射不变约定没问题,因为你的下游使用方反正会重新缩放,那么就选 Marigold V2。它是更灵活的模型,公布了数值,而且它的许可证是这里唯一宽松的许可证。
如果需要以米为单位、输入是视频或实时画面,或者需要全分辨率下的清晰边界且无法承担重采样到 768 的代价,请选用 Depth Pro 2。按照 Apple 文档的建议,在笔记本电脑上从 S 开始,并预计会裁剪天空深度——这也是 README 自身的建议,因为在小模型上天空像素会返回无限深度或数公里的有限值。
你不应该做的,是把这两张卡片当成排行榜来解读。Marigold V2 的 AbsRel 和 Depth Pro 2 的 Boundary F1 并不是同一个实验;关于两者的相对质量,唯一诚实的说法是:没有人做过这项比较——Apple 绘制了二十多个基线,而 Marigold 并不在其中;而 Marigold V2 的论文则是在 Pixel-Perfect Depth 协议下,与其自身的前代版本进行评估。

