Kartu perbandingan yang dihasilkan untuk Depth Pro dan Depth Pro 2, yang menampilkan rilis 2024 dengan satu checkpoint monokular 0,3 detik dan tanpa mode video, dibandingkan dengan rilis 2026 dengan empat ukuran dari 24M hingga 872M parameter, mode video dan live-feed, serta laporan teknis yang masih ditandai sebagai placeholder, plus logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro: Ketajaman Dipertahankan, Jitter Diperbaiki

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Depth Pro asli memiliki masalah yang tidak biasa sebagai baseline: checkpoint yang diterbitkan Apple bukan model yang dijelaskan dalam makalah. Kartu model menyatakannya secara langsung — checkpoint di repositori adalah implementasi referensi yang telah dilatih ulang, dan kinerjanya mendekati model yang dilaporkan dalam makalah tetapi tidak sama persis. Jadi, setiap perbandingan antara Depth Pro 2 dan Depth Pro adalah perbandingan terhadap model pengganti, termasuk perbandingan yang ada di kartu Depth Pro 2 sendiri.

Dengan catatan itu dinyatakan, bentuk peningkatan ini cukup jelas. Depth Pro 2 mempertahankan sifat yang membuat Depth Pro menonjol — kedalaman tajam pada batas objek, dalam satuan meter, dari satu gambar — dan menambahkan sifat kedua: kedalaman yang stabil dari bingkai ke bingkai. Judul makalahnya menyatakannya dengan jelas. Depth Pro adalah Kedalaman Monokular Metrik yang Tajam dalam Waktu Kurang dari Satu Detik. Depth Pro 2 adalah Kedalaman Monokular Metrik yang Tajam dan Konsisten Secara Temporal. Segala sesuatu yang berubah di antara keduanya melayani kata sifat kedua; hampir tidak ada yang berubah pada kata sifat pertama.

Dua tahun, dua rilis yang sangat berbeda

Depth Pro hadir pada 3 Oktober 2024 dengan sebuah makalah, arXiv 2410.02073, dan hasil yang dinyatakan: peta kedalaman 2,25 megapiksel dalam 0,3 detik pada GPU standar. Repositori tersebut memiliki 568 suka dan sedikit lebih dari 6.200 unduhan. Ini dirilis sebagai satu checkpoint, depth_pro.pt, dan kartunya menjelaskan kontribusi teknis — vision transformer multi-skala yang efisien untuk prediksi padat, protokol pelatihan yang mencampur data nyata dan sintetis, metrik akurasi batas yang khusus, dan estimasi panjang fokus mutakhir dari satu gambar.

Repositori Depth Pro 2 dibuat pada November 2026: kartu pada {{1}}3 November{{/1}}, bobot pada {{2}}5 November{{/2}}, ekspor Core ML pada {{3}}9 November{{/3}}, estimator fokus dan repositori kode pada {{4}}19 November{{/4}}. Kartu dan README GitHub sama-sama menunjuk ke pengenal arXiv {{5}}261X.XXXXX{{/5}}, yang merupakan placeholder, bukan pra-cetak. Tidak ada halaman riset untuknya di machinelearning.apple.com — jalur itu mengembalikan {{6}}404{{/6}} — dan tidak ada angka tolok ukur di mana pun di luar plot sebar milik kartu itu sendiri.

Jadi kerangka yang jujur adalah bahwa Depth Pro 2 adalah rilis bobot dengan dokumentasi, bukan publikasi. Depth Pro adalah makalah dengan checkpoint. Jika Anda mengutip sesuatu, salah satunya memberi Anda angka dan yang lainnya memberi Anda repositori.

Apa yang sebenarnya berubah dalam arsitektur

Depth Pro adalah model satu gambar. Depth Pro 2 adalah transformer multi-view yang memproses satu atau beberapa bingkai secara bersamaan, dan mekanismenya spesifik: setelah sepertiga pertama bloknya, perhatian bergantian antara di dalam setiap bingkai dan antar bingkai. Dekoder DPT kemudian memprediksi peta kedalaman invers per bingkai, menyusun token dari beberapa blok menjadi peta fitur pada resolusi sepertiga puluh dua hingga seperempat dari resolusi input.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Itulah seluruh argumen arsitektural untuk sekuel ini, dan itu memiliki konsekuensi yang terlihat dalam cara Anda menjalankan model. Depth Pro 2 memiliki dua mode video. Buffered, mode default untuk berkas, memproses klip berisi 16 bingkai yang tumpang tindih sebanyak empat, yang menjaga kedalaman tetap stabil di titik pertemuan klip. Unbuffered memprediksi setiap bingkai saat tiba, dari bingkai itu dan 15 bingkai sebelumnya, dan merupakan mode untuk kamera langsung. Apple mendokumentasikan biaya jalur langsung alih-alih menyembunyikannya: bingkai-bingkai pertama dalam suatu aliran memiliki lebih sedikit pendahulu untuk diperhatikan, sehingga kedalamannya kurang stabil.

Depth Pro tidak memiliki kedua mode itu, karena tidak ada atensi lintas-frame yang perlu dijalankan. Beri ia video dan Anda akan mendapatkan estimasi independen per frame, dan flicker apa pun di antaranya menjadi tugas Anda untuk menghaluskannya. Untuk foto diam, itu bukan kerugian; untuk apa pun yang mengandung gerakan, itulah perbedaan yang dibuat sekuelnya untuk ditutup.

Apa yang tidak berubah

Konvensi metriknya identik, yang merupakan kabar baik bagi siapa pun yang bermigrasi: kedua model sepakat tentang arti angka-angka tersebut. Kedalaman adalah jarak sepanjang sumbu pandang kamera — koordinat z — bukan jarak garis lurus dari lensa. Kedalaman invers dalam Python dinormalisasi oleh panjang fokus, sama dengan focallength_px / (width * depth). Kedalaman berskala dengan panjang fokus, jadi panjang fokus yang kelebihan 10 persen menempatkan semuanya 10 persen terlalu jauh. Piksel langit dikembalikan sebagai kedalaman tak hingga atau, terutama pada model yang lebih kecil, sebagai kedalaman berhingga beberapa kilometer, dan dokumentasinya memberi tahu Anda untuk memotong rentang tersebut sebelum membuat point cloud.

Estimasi panjang fokus tetap menjadi bagian utama dari paket ini, dan tetap dapat dilewati. Foto yang mencatat panjang fokus setara 35mm di EXIF akan menggunakannya; sisanya diproses melalui estimator. Depth Pro 2 memisahkan estimator tersebut ke repositori terpisah berparameter 23,5M, apple/DepthPro2-focal, yang dimuat bersama model berukuran apa pun dan juga dapat dijalankan sendiri — berguna jika Anda ingin menyelesaikan kamera sekali dan model kedalaman berkali-kali. Dengan Depth Pro, kemampuan yang sama tertanam dalam satu checkpoint tanpa cara untuk memisahkan keduanya.

Dukungan Core ML tetap ada dan ditingkatkan. Depth Pro 2 menyertakan paket Core ML hasil ekspor dalam repositori khusus dan menyertakan aplikasi demo Mac minimal yang menampilkan kedalaman langsung dari kamera, yang memerlukan Apple silicon, macOS 15, dan Xcode 16. Itu adalah ambang yang lebih rendah untuk mendapatkan demo yang berfungsi dibandingkan yang ditawarkan versi aslinya.

Empat ukuran dibandingkan dengan satu checkpoint

Perbedaan praktis terbesar adalah bahwa Depth Pro 2 menolak menjadi satu model. Apple menerbitkan empat, dengan parameter dan ukuran unduhan:

• S — 24 juta parameter, 97 MB, titik awal yang direkomendasikan di laptop.

• B — 97 juta parameter, 386 MB.

• L — 334 juta parameter, 1,3 GB.

• H+ — 872M parameter, 3,5 GB, default yang diunduh oleh command line.

Ukuran yang Anda pilih sama sekali tidak mengubah lisensi dan cukup banyak mengubah perilaku, karena model yang lebih kecil didokumentasikan menghasilkan lebih banyak kedalaman langit multi-kilometer semu tersebut. H+ adalah default karena suatu alasan, tetapi di laptop S adalah pembeda antara berfungsi dan tidak.

Depth Pro adalah satu checkpoint tanpa dial pengaturan. Itu bukan sebuah kritik — ini adalah rilis tahun 2024 dan makalahnya melaporkan satu hasil 0,3 detik — tetapi itu berarti pertanyaan migrasi "ukuran yang mana" tidak memiliki padanan di sisi lama, dan perbandingan apa pun yang memperlakukan "Depth Pro" sebagai satu baris melawan empat baris berarti meratakan keputusan yang nyata.

Angka-angka, sebagaimana adanya.

Kartu Depth Pro 2 melaporkan Boundary F1 dan Jitter yang dirata-ratakan pada kumpulan data Sintel dan Spring, mengklaim mengungguli karya sebelumnya yang beroperasi pada satu frame atau beberapa frame pada keduanya, dan memplot perbandingannya. Depth Pro adalah salah satu penanda pada plot tersebut. Sumbu diberi label — Boundary F1 dari 0 hingga 0,3, jitter dari 0,1 turun ke 0 — tetapi tidak ada tabel per model, sehingga peningkatannya terbaca hingga sekitar seperseratus: H+ berada di sekitar 0,29 Boundary F1 pada jitter kira-kira 0,017, Depth Pro asli pada sekitar 0,235 dan 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Klaim itu adalah klaim yang dilaporkan vendor dan belum direproduksi, dan memang demikian. Tidak ada pihak ketiga yang menerbitkan angka Boundary F1 atau Jitter untuk Depth Pro 2, dan laporan teknis yang akan mendefinisikan protokol evaluasi masih berupa placeholder. Sebagai perbandingan, Depth Pro asli menyertakan metrik batas dalam basis kodenya sendiri — eval/boundary_metrics.py mengekspos SI_boundary_F1 dan SI_boundary_Recall — jadi jika Anda ingin menjalankan perbandingan itu sendiri, perkakas untuk separuhnya tersedia publik dan checkpoint target adalah aproksimasi hasil latih ulang dari model dalam makalah.

Lisensi dan pertanyaan komersial

Tidak berubah, dan layak disebutkan karena hal semacam inilah yang sering terlewat dalam sebuah peningkatan versi. Bobot kedua model berada di bawah lisensi Apple Machine Learning Research Model, yang dalam repositori didefinisikan sebagai mengizinkan penggunaan secara eksklusif untuk tujuan penelitian, yaitu penelitian ilmiah nonkomersial dan pengembangan akademik. Kodenya dilisensikan secara terpisah, dan ucapan terima kasih dalam Depth Pro 2 mencantumkan TIMM dan DINOv3 sebagai fondasinya.

Jadi peningkatan versi itu gratis dalam arti lisensi dan tidak tersedia dalam arti produk di kedua ujungnya. Jika Anda merilis untuk mencari pendapatan, tidak ada satu pun dari kedua titik pemeriksaan itu yang tepat, dan percakapan yang Anda butuhkan adalah dengan Apple, bukan dengan berkas lisensi.

Migrasi, secara konkret

Depth Pro 2 bukan pengganti langsung untuk Depth Pro, karena nama paket, entry point, dan pengenal model semuanya berubah. Depth Pro dipasang dari apple/ml-depth-pro dan dijalankan sebagai depth-pro-run -i ./data/example.jpg. Depth Pro 2 dipasang dari apple-aiml-research/ml-depth-pro-2 dan dijalankan sebagai uv run depth-pro-2 predict -i assets/example.jpg -o out/, dengan -m depthpro2-s hingga -m depthpro2-h untuk ukuran. Dalam Python, impornya adalah depth_pro_2 dan jalur konstruksinya adalah create_model_and_transforms atau DepthPro2.from_pretrained.

Bentuk permukaan output juga berubah. model.infer() milik Depth Pro mengembalikan dictionary dengan depth dan focallength_px. infer() milik Depth Pro 2 mengembalikan depth, dan panjang fokus lebih wajar diperoleh dari estimator terpisah atau diberikan sebagai f_px jika Anda memilikinya. Jika Anda memiliki pipeline yang mengakses langsung dict prediksi, sediakan waktu satu sore.

Apa yang Anda dapatkan untuk migrasi ini adalah dial ukuran, jalur video dengan dua mode terdokumentasi, estimator fokus terpisah, dan pengemasan Core ML dengan aplikasi demo yang berfungsi. Apa yang tidak Anda dapatkan adalah makalah, tabel benchmark per model, atau konfirmasi independen bahwa model baru lebih baik — hanya sebaran dengan sumbu berlabel dan tidak ada tabel di baliknya.

Tidak ada dari semua ini yang dirutekan melalui kami, dan ini tidak boleh digambarkan seolah-olah demikian: Depth Pro 2 adalah bobot berlisensi riset dari repositori Apple sendiri. Tempat lapisan routing membuktikan nilai gunanya adalah satu langkah di luarnya — deskripsi adegan, keputusan, dan penulisan di sekitar tahap kedalaman Anda adalah panggilan model bahasa, dan OrcaRouter menempatkan lebih dari 200 model terkelola pada satu kunci dengan markup 0% di atas harga daftar penyedia, dengan failover otomatis di antara penyedia, sehingga checkpoint riset tanpa jadwal rilis menjadi satu-satunya hal yang rapuh dalam pipeline, bukan salah satu dari beberapa.

Jika Anda memakai Depth Pro dan semuanya berjalan baik, alasan untuk beralih adalah video. Jika Anda memakai Depth Pro dan hanya menjalankan foto diam, ketajaman yang Anda miliki adalah ketajaman yang diklaim tetap dipertahankan oleh penerusnya, dan hal yang jujur untuk dilakukan adalah menunggu laporan teknis sebelum menghabiskan satu sore untuk mengganti nama impor.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.