Depth Pro 2とMarigoldの生成比較カード。左列には単一のフォワードパス、メートル単位のメトリック深度、24Mから872Mパラメータの4サイズ、動画サポートが記載され、右列には反復デノイジング、アフィン不変深度、約768ピクセルの実効解像度、拡散プライアが記載され、さらにOrcaRouterのロゴが含まれています。
Guides & Insights

Depth Pro 2 vs Marigold:メトリック深度か、それとも拡散事前分布か

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Marigoldは深度を予測しない。Stable Diffusion 2からファインチューニングされた潜在拡散モデルから、ノイズ除去を1ステップずつ進めて深度を生成する。Depth Pro 2は、そのタスクで直接訓練されたTransformerから、1回のフォワードパスで深度を予測する。どちらも正しく見える深度マップを生成し、どちらも研究用ライセンスであり、両者の違いはサンプラーと回帰器の違いである——それは第一に請求額として、第二にレイテンシプロファイルとして、そして第三にようやく精度として現れる。

その順序付けは意図的なものです。よくある比較では、AbsRel を一方に、Boundary F1 を他方に置いて優劣を決めますが、ここでそれはできません。Marigold の数値と Depth Pro 2 の数値は、異なるデータセット上で異なるプロトコルから得られたものであり、どちらの研究室も両者を互いに実行して比較したことはありません。比較できるのは、答えを得るまでのコスト、答えが示されるスケールの慣例、そして各ライセンスが何を許容するかです。これら三つの問いには確かな答えがあります。

ピクセルから数値を取り出す2つの方法

Marigold のモデルカードは、自身の種類について明確に述べています:{{1}}生成型潜在拡散ベースのアフィン不変単眼深度推定器{{/1}}で、stable-diffusion-2 からファインチューニングされています。v1.1 チェックポイント {{2}}prs-eth/marigold-depth-v1-1{{/2}} は 2024年12月12日に作成され、34 件の「いいね」と約 6,600 回のダウンロードを記録しています。DDIM スケジューラと 1~50 のノイズ除去ステップ向けに設計されており、ベース拡散モデルの実効解像度約 768 ピクセルを継承するため、より大きな入力は、入力する前に長辺を 768 にリサイズする必要があります。

Depth Pro 2 は判別モデルです。カードには、入力フレームに対してマルチビュー Transformer を適用し、フレームごとに逆深度マップを予測する DPT デコーダについて記述されています。このデコーダは、複数のブロックからのトークンを、入力解像度の32分の1から4分の1の特徴マップに組み立てます。1回の呼び出しで1つの出力を入力のフル解像度で得る——カードはこの点を明記しており、これは768ピクセルの作業解像度とは正反対です。

• 推論 — Marigold は画像ごとに 1~50 のノイズ除去ステップを実行します。Depth Pro 2 は順伝播を 1 回実行します。

• 実効解像度 — Marigold の実効解像度は長辺で約 768 ピクセルです。Depth Pro 2 は入力のフル解像度で予測します。

• アンサンブル — Marigold は、サイズが 2 を超える複数の予測をアンサンブルした場合にのみ不確実性マップを生成しますが、これによりコストがさらに倍増します。Depth Pro 2 は不確実性を返しません。

• スケール — Marigold の出力はアフィン不変であり、0 から 1 の間の値が、モデル自身が選択する近接平面と遠方平面の間を補間する形で表されます。一方、Depth Pro 2 の出力はメートル単位の計量的な値です。

• 入力 — Depth Pro 2 は写真、動画ファイル、またはライブカメラの映像を取り込み、Marigold v1.1 は単一の画像を取り込みます。

マリーゴールドはサンプラーで、それには請求書が付く。

ステップ数は脚注ではない。拡散深度モデルの品質は、実行するノイズ除去ステップ数とアンサンブルするサンプル数によって決まり、どちらも自分で設定するつまみだ。ローエンドでは速く粗いマップが得られる。50ステップでアンサンブルを使うと、同じ画像でもより良いマップが得られる代わりに、計算コストははるかに大きくなる。Marigoldのカードはこれを特徴として提示している——1〜50ステップは範囲であり、そのどこに位置するかを選ぶ——そしてそれは正直だが、「Marigoldの精度」が単一の数値ではないことを意味する。それは曲線であり、その曲線にはコスト軸がある。

Depth Pro 2 には相当するダイヤルがありません。サイズがダイヤルであり、S、B、L、H+ のいずれかで、パス数を変えるのではなく重みを変えます。予測はどの場合も 1 パスです。ノートブックにとってその違いは机上のものですが、毎秒 30 フレームの動画ストリームを処理するサービスにとっては、設計全体を左右するものです。

だからこそ、深度モデルをめぐるコストの話はモデル単体では終わらない。深度マップを消費する段階——シーンを描写し、何をするかを決め、結果を書き出す——は言語モデルの仕事であり、そこが呼び出しごとのコストが公表され、比較可能な部分なのだ。OrcaRouter は、単一のキーで200以上の人気ホスト型モデルにわたり、プロバイダーの定価を0%のマークアップでそのまま通し、プロバイダー間の自動フェイルオーバーも備えている。ビジョン段階におけるアンサンブル乗数付きの拡散サンプラーこそ、パイプラインの残りを予測可能にしておきたくなる、まさにそういう種類のコストだ。

Depth Pro 2 はワンパスで回答します

単一パスの設計には固有の制約があり、それらは隠されることなく文書化されています。深度はカメラの視線軸に沿った距離、つまり動径距離ではなく z 座標です。Python の逆深度は焦点距離で正規化されます: focallength_px / (width * depth)。深度は焦点距離に比例してスケールするため、焦点距離が10パーセント長すぎると、すべてが10パーセント遠くに配置されます。

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

動画の挙動こそ、このアーキテクチャの利点が活きる場面です。バッファードモードでは、16フレームのクリップを4フレームずつ重ねながら処理し、クリップ境界をまたいでも深度を安定させます。アンバッファードモードでは、各フレームが到着するたびに、そのフレームと直前の15フレームから予測します。ただし、ドキュメントに記載されているウォームアップペナルティがあり、ストリームの最初のフレームは先行フレームが少ないため、深度が安定しにくくなります。動画では全フレームに単一の焦点距離を使用し、最初のウィンドウの中央値を採用します。メモリ使用量はフレームサイズとウィンドウ長に応じて増え、動画の長さには依存しません。

そうしたものに対応する機能はMarigoldには一切ない。Marigold v1.1は単一画像モデルだからだ。動画で動かせばフレームごとに処理することになり、そこで生じたちらつきがそのまま納品物になる。

計量に対するアフィン不変

ここはほとんどの統合を左右する部分であり、品質の話ではありません。Marigold の出力はアフィン不変です。予測値は 0 と 1 の間にあり、モデルが選んだ近平面と遠平面の間を補間します。これはマット、コンポジット用の深度パス、あるいは範囲に合わせて再スケーリングされるものにとって完全に優れた表現であり、拡散モデルによる深度推定の文献における標準的な慣例です。それには、これらのモデルが実際に得意としていることだという十分な理由があります。

Depth Pro 2 の出力は、焦点距離が付されたメートル単位の測定値です。障害物が1メートル先か3メートル先かを判断するロボットにとって、物理的な距離に配置する必要があるARオーバーレイにとって、実座標系内の点群にとって、この違いが作業のすべてを左右します。アフィン不変マップから絶対スケールを復元するには、シーン内の既知の参照物かセンサーを用いる別のステップが必要で、それはDepth Pro 2が内部ですでに実行済みの作業です。

どちらが優れているというわけではありません。それらは同じ語から生まれた異なるものであり、どちらが必要かは、そのマップを何が消費するかによって決まります。

Marigold V2 が 2026 年に変更した内容

「{{1}}Marigold{{/1}}」という名前は現在2世代を包含しており、第2世代は小幅な更新ではありません。{{2}}Marigold V2{{/2}}(huawei-bayerlab/marigold-v2-0)は2026年8月27日に作成され、2026年9月8日に初回リリースされました。これはUNetではなく拡散トランスフォーマーです。つまり、Qwen/Qwen-Image-Edit-2509のLoRAファインチューンであり、SIGGRAPH Asia 2026の論文としてACM Transactions on Graphics 45(6)、arXiv 2609.08084で発表されました。

能力の範囲は大幅に広がった。Marigold V2 は、対数・線形・視差のパラメータ化による深度のチェックポイント、ガラスの背後にある形状を予測するレイヤード変種、さらに表面法線とアルベドを提供する。最後のアルベドは、画像形成をすでに理解している生成モデルからしか意味をなさない種類の出力だ。推論には 1024² で約 17 GB、2048² で約 29 GB の GPU メモリが必要なので、24 GB カードなら前者をカバーでき、後者には 32 GB が必要だ。

その深度出力は依然としてアフィン不変です — 画像ごとに未知のスケールとシフトまでの深度 — したがって上記のスケールに関する議論は、生成方式の変更を経てもそのまま成り立ちます。変わったのは精度と解像度です。Pixel-Perfect Depthプロトコル下で報告されているゼロショット結果は、AbsRel(低いほど良い)とδ1(パーセント)で、NYUv2では3.6 / 98.0、KITTIでは5.4 / 97.4、ETH3Dでは2.8 / 99.2、ScanNetでは3.7 / 97.9、DIODEでは5.2 / 97.1です。表面法線は、NYUv2で平均角度誤差16.6度、11.25度以内が61.2パーセントです。また、HypersimでのアルベドはPSNR 20.78、SSIM 0.811、LPIPS 0.195です。これらはベンダー報告値であり、ここでは再現されていません。

各当事者が引用を許可するもの

Marigold V2は表を公開している。Depth Pro 2は軸ラベルの付いた散布図を公開しており、モデルごとの表はない。この非対称性は、この組み合わせについて最も報じられていない事実であり、新しいモデルのほうが文書化も充実しているはずだという前提に反する。

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Depth Pro 2 のカードは、Sintel と Spring で平均した Boundary F1 と Jitter を報告し、単一フレームで動作する先行研究と複数フレームで動作する先行研究の両方を、Sintel と Spring の両方で上回ると主張し、約24件のベースラインをプロットしている——しかし Marigold はその中にない。Apple のチャートに Marigold のマーカーはなく、Marigold V2 の表に Depth Pro 2 の行もないため、どちらのラボも2つのモデルを同じ軸上に置いていない。引用ブロックは依然として arXiv:261X.XXXXX——プレースホルダー——と表示されており、machinelearning.apple.com に Depth Pro 2 の研究ページはない。カードが速度とメモリの観点からサイズを比較すると述べている技術レポートは、まだ存在しない。

つまり調達文書は本日、Marigold V2 の AbsRel と δ1 を、あなたが実施していないプロトコル上のベンダー数値であるという注意書き付きで引用できます。Depth Pro 2 の数値はまったく引用できません。それはモデルへの批判ではなく、リリースに関する事実であり、レポートが届く日には変わるでしょう。

ライセンス: OpenRAIL、Apache、研究専用

3つのチェックポイントにまたがる3つのライセンスがあり、これらは相互に置き換え可能ではありません。

• Marigold v1.1 — CreativeML OpenRAIL++-M、Stable Diffusion 2コミュニティライセンス。純粋な非商用禁止ではなく、用途に基づく制限を伴う。

• Marigold V2 — {{1}}リリースされた重みはApache 2.0{{/1}}、ベースのQwen-Image-Edit-2509は独自のライセンスを維持するため、あなたの義務は両方によって決まります。

• Depth Pro 2 — Apple Machine Learning Research Modelライセンス。リポジトリでは、研究目的、すなわち非商業的な科学研究および学術開発に限定した使用を許可するものと定義されています。

実用的な結論として、Marigold V2 はこれら3つのうち、Qwen ベースモデルが求める条件次第では現実的にリリース可能な唯一のものです。Depth Pro 2 はどのサイズでもリリース可能ではなく、そのコードライセンスもこの事実を変えません。Depth Pro 2 のコードは、TIMM と DINOv3 をその基盤として別途明記しています。

どちらを選ぶべきか

複数の出力のうちの1つとして深度マップが欲しく、法線、アルベド、レイヤー化されたシースルー深度も必要で、おおよそ1024²で作業しており、利用側がどうせ再スケールするのでアフィン不変の規約で問題ないなら、Marigold V2を選んでください。より柔軟なモデルで、数値も公開しており、ここで唯一の寛容型ライセンスです。

メートル単位が必要な場合、入力が動画やライブフィードの場合、またはフル解像度でシャープな境界が必要で768へのリサンプリングを行う余裕がない場合は、Depth Pro 2を選んでください。Appleのドキュメントが推奨するように、ラップトップではSから始め、空の深度がクリップされることを想定してください。これはREADME自体の助言でもあります。小さいモデルでは空のピクセルが無限の深度、または数キロメートルという有限値を返すためです。

すべきでないのは、この2枚のカードをリーダーボードとして読むことだ。Marigold V2のAbsRelとDepth Pro 2のBoundary F1は同じ実験ではなく、両者の相対的な品質について正直に言えるのは、誰もその比較を実施していないということだけである。Appleは24個のベースラインをプロットしたが、Marigoldはその一つではなかった。一方、Marigold V2の論文はPixel-Perfect Depthプロトコル上で自らの前身モデルと比較評価している。

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.