Kartu perbandingan yang dihasilkan untuk Depth Pro 2 dan Marigold, dengan kolom kiri bertuliskan single forward pass, kedalaman metrik dalam meter, empat ukuran dari 24M hingga 872M parameter, dan dukungan video, serta kolom kanan bertuliskan iterative denoising, kedalaman invarian-affine, resolusi efektif sekitar 768 piksel, dan prior difusi, plus logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: Kedalaman Metrik atau Prior Difusi

Penulis

Gideon Frost

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Marigold tidak memprediksi kedalaman. Marigold menghasilkannya, satu langkah denoising pada satu waktu, dari model difusi laten yang di-fine-tune dari Stable Diffusion 2. Depth Pro 2 memprediksinya, dalam satu forward pass, dari transformer yang dilatih langsung pada tugas tersebut. Keduanya menghasilkan peta kedalaman yang terlihat benar, keduanya berlisensi riset, dan perbedaan di antara keduanya adalah perbedaan antara sampler dan regressor — yang muncul pertama sebagai tagihan, kedua sebagai profil latensi, dan baru ketiga sebagai akurasi.

Urutan itu disengaja. Perbandingan yang biasa menempatkan AbsRel di satu sisi dan Boundary F1 di sisi lain lalu menyatakan pemenang, yang tidak mungkin dilakukan di sini: angka Marigold dan angka Depth Pro 2 berasal dari protokol berbeda pada dataset berbeda dan belum pernah dijalankan saling berhadapan oleh kedua laboratorium. Yang dapat dibandingkan adalah biaya untuk mendapatkan jawaban, konvensi skala yang digunakan jawaban itu, dan apa yang diizinkan oleh masing-masing lisensi. Ketiga pertanyaan itu punya jawaban nyata.

Dua cara untuk mendapatkan angka dari piksel

Kartu model Marigold secara eksplisit menyatakan tipenya sendiri: estimator kedalaman monokular invarian-afin berbasis difusi laten generatif, yang di-fine-tune dari stable-diffusion-2. Checkpoint v1.1, prs-eth/marigold-depth-v1-1, dibuat pada 12 Desember 2024 dan memiliki 34 suka serta sekitar 6.600 unduhan. Model ini dirancang untuk penjadwal DDIM dan antara 1 hingga 50 langkah denoising, serta mewarisi resolusi efektif model difusi dasar sekitar 768 piksel, sehingga input yang lebih besar harus diubah ukurannya dengan sisi terpanjang pada 768 sebelum dimasukkan.

Depth Pro 2 adalah model diskriminatif. Kartu tersebut menjelaskan transformer multi-view atas frame masukan dan decoder DPT yang memprediksi peta kedalaman invers per frame, merakit token dari beberapa blok menjadi peta fitur pada resolusi sepertiga puluh dua hingga seperempat resolusi masukan. Satu panggilan, satu keluaran, pada resolusi penuh masukan — kartu menyebutkan hal itu secara spesifik, dan itu kebalikan dari resolusi kerja 768 piksel.

• Inferensi — Marigold menjalankan 1 hingga 50 langkah denoising per gambar; Depth Pro 2 menjalankan satu forward pass.

• Resolusi kerja — resolusi efektif Marigold adalah sekitar 768 piksel pada sisi panjang; Depth Pro 2 memprediksi pada resolusi penuh input.

• Penggabungan ensemble — Marigold hanya menghasilkan peta ketidakpastian ketika beberapa prediksi digabungkan dalam ensemble dengan jumlah lebih dari dua, yang kembali melipatgandakan biaya; Depth Pro 2 tidak mengembalikan ketidakpastian.

• Skala — Output Marigold bersifat invarian-afin, nilai antara 0 dan 1 yang menginterpolasi antara bidang dekat dan jauh sesuai pilihan model itu sendiri; output Depth Pro 2 bersifat metrik, dalam satuan meter.

• Input — Depth Pro 2 menerima foto, berkas video, atau feed kamera langsung; Marigold v1.1 menerima satu gambar.

Marigold adalah sampler, dan itu ada biayanya

Jumlah langkah bukanlah catatan kaki. Kualitas model kedalaman difusi merupakan fungsi dari berapa banyak langkah denoising yang dijalankannya dan berapa banyak sampel yang diansambelnya, dan keduanya adalah pengaturan yang Anda tentukan. Pada ujung rendah, Anda mendapatkan peta yang cepat dan kasar; pada 50 langkah dengan ansambel, Anda mendapatkan peta yang lebih baik dan tagihan komputasi yang jauh lebih besar untuk gambar yang sama. Kartu Marigold membingkainya sebagai fitur — 1 hingga 50 langkah adalah sebuah rentang, dan Anda memilih di mana dalam rentang itu Anda ingin berada — dan itu jujur, tetapi berarti "akurasi Marigold" bukanlah satu angka. Itu adalah kurva, dan kurva tersebut memiliki sumbu biaya.

Depth Pro 2 tidak memiliki dial yang setara. Ukurannya adalah dial-nya — S, B, L, atau H+ — dan itu mengubah bobot, bukan jumlah lintasan. Sebuah prediksi tetap satu lintasan. Bagi notebook, perbedaan itu akademis; bagi layanan yang memproses aliran video pada 30 frame per detik, itulah keseluruhan desainnya.

Itulah sebabnya pembahasan biaya seputar model kedalaman tidak berhenti pada modelnya. Tahap yang mengonsumsi peta kedalaman — mendeskripsikan adegan, memutuskan apa yang harus dilakukan, menuliskan hasilnya — adalah pekerjaan model bahasa, dan itulah bagian di mana biaya per panggilan dipublikasikan dan dapat dibandingkan. OrcaRouter meneruskan harga daftar penyedia dengan markup 0% untuk lebih dari 200 model yang dihosting dengan satu kunci, dengan failover otomatis antarpenyedia. Sampler difusi di tahap visi dengan pengali ansambel adalah jenis biaya yang membuat Anda ingin sisa pipeline dapat diprediksi.

Depth Pro 2 menjawab dalam satu kali proses

Desain sekali-jalan memiliki batasannya sendiri, dan batasan itu didokumentasikan, bukan disembunyikan. Kedalaman adalah jarak sepanjang sumbu pandang kamera — koordinat z, bukan jarak radial. Kedalaman invers dalam Python dinormalisasi oleh panjang fokus: focallength_px / (width * depth). Kedalaman berskala dengan panjang fokus, sehingga panjang fokus yang kelebihan 10 persen menempatkan semuanya 10 persen lebih jauh.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Perilaku video adalah tempat arsitektur ini membuahkan hasil. Mode buffered memproses klip berisi 16 frame yang tumpang tindih sebanyak empat, menjaga kedalaman tetap stabil di seluruh batas klip; mode unbuffered memprediksi setiap frame saat tiba berdasarkan frame itu dan 15 frame sebelumnya, dengan penalti pemanasan yang terdokumentasi bahwa frame-frame pertama dalam suatu stream memiliki lebih sedikit pendahulu sehingga kedalamannya kurang stabil. Sebuah video mendapatkan satu panjang fokus untuk semua frame-nya, yaitu median atas jendela pertama. Memori bertambah seiring ukuran frame dan panjang jendela, bukan seiring durasi.

Semua itu tidak punya padanan di Marigold, karena Marigold v1.1 adalah model gambar tunggal. Jalankan pada video, dan Anda menjalankannya bingkai demi bingkai, dan flicker apa pun yang muncul, itulah flicker yang Anda hasilkan.

Invarian affine terhadap metrik

Inilah bagian yang menentukan sebagian besar integrasi, dan ini bukan soal kualitas. Keluaran Marigold bersifat invarian-afin: nilai prediksinya berada di antara 0 dan 1 serta terinterpolasi di antara bidang dekat dan jauh yang dipilih model. Itu adalah representasi yang sangat baik untuk matte, pass depth untuk compositing, atau apa pun yang diskalakan ulang agar sesuai dengan suatu rentang — dan itu adalah konvensi standar dalam literatur diffusion-depth, dengan alasan yang tepat bahwa itulah yang memang menjadi keunggulan model-model ini.

Output Depth Pro 2 adalah pengukuran dalam meter, dengan panjang fokus yang terlampir. Bagi robot yang memutuskan apakah suatu rintangan berjarak satu meter atau tiga meter, bagi overlay AR yang harus berada pada jarak fisik, bagi point cloud dalam kerangka koordinat nyata, perbedaan itu adalah inti dari tugasnya. Memulihkan skala absolut dari peta affine-invarian adalah langkah terpisah yang melibatkan referensi yang diketahui dalam pemandangan atau sensor, dan itu adalah pekerjaan yang sudah dilakukan Depth Pro 2 secara internal.

Tidak ada yang lebih baik. Keduanya adalah produk berbeda dari kata yang sama, dan mana yang Anda inginkan ditentukan oleh apa yang mengonsumsi peta tersebut.

Apa yang berubah di Marigold V2 pada 2026

Nama "Marigold" kini mencakup dua generasi, dan generasi kedua bukan pembaruan kecil. Marigold V2, huawei-bayerlab/marigold-v2-0, dibuat pada 27 Agustus 2026 dengan rilis awal pada 8 September 2026. Ini adalah transformer difusi, bukan UNet: fine-tune LoRA dari Qwen/Qwen-Image-Edit-2509, diterbitkan bersama makalah SIGGRAPH Asia 2026 di ACM Transactions on Graphics 45(6), arXiv 2609.08084.

Cakupan kemampuannya melebar cukup signifikan. Marigold V2 menyertakan checkpoint untuk depth dalam parameterisasi log, linear, dan disparitas, varian berlapis yang memprediksi geometri di balik kaca, plus normal permukaan dan albedo — yang terakhir adalah jenis keluaran yang hanya masuk akal dari model generatif yang sudah memahami pembentukan gambar. Inferensi membutuhkan sekitar 17 GB memori GPU pada 1024² dan 29 GB pada 2048², jadi kartu 24 GB mencakup yang pertama dan yang kedua membutuhkan 32 GB.

Keluaran kedalamannya tetap invarian-afin — kedalaman hingga skala dan pergeseran yang tidak diketahui per gambar — sehingga argumen skala di atas tetap utuh setelah perubahan generasi. Yang berubah adalah akurasi dan resolusi: hasil zero-shot yang dilaporkan berdasarkan protokol Pixel-Perfect Depth, AbsRel (lebih rendah lebih baik) dan δ1 dalam persen, adalah 3,6 / 98,0 pada NYUv2, 5,4 / 97,4 pada KITTI, 2,8 / 99,2 pada ETH3D, 3,7 / 97,9 pada ScanNet dan 5,2 / 97,1 pada DIODE. Normal permukaan menghasilkan rata-rata kesalahan sudut sebesar 16,6 derajat dan 61,2 persen dalam 11,25 derajat pada NYUv2, dan albedo pada Hypersim pada PSNR 20,78, SSIM 0,811 dan LPIPS 0,195. Angka-angka itu dilaporkan vendor dan tidak direproduksi di sini.

Apa yang akan diizinkan masing-masing pihak untuk Anda kutip

Marigold V2 menerbitkan sebuah tabel. Depth Pro 2 menerbitkan diagram sebar dengan sumbu berlabel dan tanpa tabel per model. Asimetri itulah fakta yang paling jarang dilaporkan tentang pasangan ini, dan hal itu bertentangan dengan anggapan bahwa model yang lebih baru pasti merupakan model yang lebih terdokumentasi.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Kartu Depth Pro 2 melaporkan Boundary F1 dan Jitter yang dirata-ratakan pada Sintel dan Spring, mengklaim mengungguli karya sebelumnya yang beroperasi pada satu frame atau beberapa frame pada keduanya, dan memplot sekitar dua lusin baseline — tetapi Marigold tidak termasuk di antaranya. Tidak ada penanda Marigold pada grafik Apple dan tidak ada baris Depth Pro 2 dalam tabel Marigold V2, sehingga tidak satu pun dari kedua laboratorium itu menempatkan kedua model pada satu sumbu. Blok sitasi masih tertulis arXiv:261X.XXXXX — sebuah placeholder — dan tidak ada halaman riset untuk Depth Pro 2 di machinelearning.apple.com. Laporan teknis yang menurut kartu tersebut membandingkan ukuran model dalam hal kecepatan dan memori belum ada.

Jadi, dokumen pengadaan dapat mengutip AbsRel dan δ1 Marigold V2 hari ini, dengan catatan bahwa itu adalah angka vendor pada protokol yang tidak Anda jalankan. Dokumen itu sama sekali tidak dapat mengutip angka Depth Pro 2. Itu bukan celaan terhadap model; itu fakta tentang rilisnya, dan itu akan berubah pada hari laporan itu terbit.

Lisensi: OpenRAIL, Apache, hanya untuk penelitian

Tiga lisensi di tiga titik pemeriksaan, dan tidak dapat dipertukarkan.

• Marigold v1.1 — CreativeML OpenRAIL++-M, lisensi komunitas Stable Diffusion 2, yang memberlakukan pembatasan berbasis penggunaan alih-alih larangan nonkomersial murni.

• Marigold V2 — Apache 2.0 pada bobot yang dirilis, dengan Qwen-Image-Edit-2509 dasar tetap mempertahankan lisensinya sendiri, jadi kewajiban Anda bergantung pada keduanya.

• Depth Pro 2 — lisensi Apple Machine Learning Research Model, yang didefinisikan oleh repositori sebagai mengizinkan penggunaan secara eksklusif untuk tujuan penelitian, yaitu penelitian ilmiah non-komersial dan pengembangan akademik.

Konsekuensi praktisnya: Marigold V2 adalah satu-satunya dari ketiga model ini yang secara masuk akal dapat dirilis, tergantung pada apa pun yang dibutuhkan model dasar Qwen. Depth Pro 2 tidak demikian, pada ukuran apa pun, dan lisensi kodenya tidak mengubah hal itu. Kode Depth Pro 2 secara terpisah mengakui TIMM dan DINOv3 sebagai fondasinya.

Mana yang harus dipilih

Pilihlah Marigold V2 jika Anda ingin peta kedalaman sebagai salah satu keluaran di antara beberapa keluaran — normal, albedo, kedalaman tembus pandang berlapis — dan Anda bekerja pada sekitar 1024², serta konvensi invarian-affin tidak masalah karena konsumen Anda tetap melakukan penskalaan ulang. Ini adalah model yang lebih fleksibel, mempublikasikan angka, dan lisensinya adalah satu-satunya yang permisif di sini.

Pilih Depth Pro 2 jika Anda memerlukan satuan meter, jika input Anda berupa video atau feed langsung, atau jika Anda memerlukan batas yang tajam pada resolusi penuh dan tidak dapat melakukan resampling ke 768. Mulailah dengan S di laptop, seperti yang disarankan dokumentasi Apple, dan bersiaplah untuk memangkas kedalaman langit — saran README itu sendiri, karena piksel langit mengembalikan kedalaman tak hingga atau nilai hingga beberapa kilometer pada model kecil.

Yang seharusnya tidak Anda lakukan adalah membaca kedua kartu itu sebagai papan peringkat. AbsRel Marigold V2 dan Boundary F1 Depth Pro 2 bukan eksperimen yang sama, dan satu-satunya pernyataan jujur tentang kualitas relatif keduanya adalah bahwa belum ada yang menjalankan perbandingan tersebut: Apple memplot dua lusin baseline dan Marigold bukan salah satunya, sementara makalah Marigold V2 mengevaluasi terhadap para pendahulunya sendiri pada protokol Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.