一張為 Depth Pro 和 Depth Pro 2 生成的比較卡片,顯示 2024 年版本只有一個 0.3 秒的單目檢查點且沒有影片模式;相較之下,2026 年版本有四種尺寸,參數從 24M 到 872M,具備影片與即時饋送模式,還有一份仍標記為佔位符的技術報告,外加一個 OrcaRouter 標誌。
Guides & Insights

Depth Pro 2 對比 Depth Pro:銳利度維持不變,抖動問題已修復

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

原始 Depth Pro 作為基準有個不尋常的問題:Apple 公布的檢查點並不是論文所描述的模型。模型卡直接這麼說——儲存庫中的檢查點是經過重新訓練的參考實作,其效能接近論文報告的模型,但並非完全吻合。因此,任何 Depth Pro 2 與 Depth Pro 之間的比較,都是與替代品比較,包括 Depth Pro 2 自己模型卡上的那項比較。

在說明這項前提之後,升級的輪廓已經相當清楚了。Depth Pro 2 保留了讓 Depth Pro 備受矚目的特性——在物件邊界處依然銳利、以公尺為單位、僅憑單張影像即可取得的深度——並新增了第二項特性:在連續影格之間保持穩定的深度。論文標題說得很明白。Depth Pro 是Sharp Monocular Metric Depth in Less Than a Second。Depth Pro 2 則是Sharp and Temporally Consistent Metric Monocular Depth。兩者之間所有改變,都是為了服務第二個形容詞;第一個形容詞則幾乎沒有任何改變。

兩年,兩款截然不同的版本

Depth Pro 於 2024 年 10 月 3 日問世,附有論文 arXiv 2410.02073,並公布一項成果:在標準 GPU 上以 0.3 秒產生 2.25 百萬像素的深度圖。該儲存庫獲得 568 個讚,下載次數略超過 6,200 次。它以一組檢查點 depth_pro.pt 的形式發布,其模型卡說明了技術貢獻——用於密集預測的高效率多尺度視覺 Transformer、混合真實與合成資料的訓練協定、專用的邊界準確度指標,以及從單張影像進行最先進的焦距估計。

Depth Pro 2 的各個儲存庫建立於 2026 年 11 月:模型卡在 11 月 3 日、權重在 11 月 5 日、Core ML 匯出檔在 11 月 9 日、焦距估算器與程式碼儲存庫在 11 月 19 日。模型卡與 GitHub README 都指向 arXiv 識別碼 261X.XXXXX,而那只是佔位符,並非預印本。machinelearning.apple.com 上沒有它的研究頁面——該路徑回傳 404——而在模型卡本身的散佈圖之外,任何地方都找不到基準測試數據。

所以誠實的定位是:Depth Pro 2 是一次附帶文件的權重發布,而不是一篇正式發表。Depth Pro 則是一篇附帶檢查點的論文。如果你要引用某個東西,其中一個給你一組數字,另一個給你一個儲存庫。

架構實際上改變了什麼

Depth Pro 是一種單張影像模型。Depth Pro 2 是一種多視圖 Transformer,會聯合處理一個或多個影格,而且機制很具體:在其區塊的前三分之一之後,注意力會在每個影格內與跨影格之間交替。接著,DPT 解碼器會為每個影格預測一張反深度圖,將來自數個區塊的 token 組合成特徵圖,解析度為輸入解析度的三十二分之一到四分之一。

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

這就是續作的整體架構論證,而這在模型的執行方式上帶來一個明顯後果。Depth Pro 2 有兩種影片模式。緩衝模式是檔案的預設模式,會處理每段 16 幀、重疊四幀的片段,讓片段交接處的深度保持穩定。非緩衝模式則會在每一幀到達時,根據該幀與其前 15 幀進行預測,是即時攝影機使用的模式。Apple 並未隱藏即時路徑的代價,而是明確記錄下來:串流最初的幾幀可供參照的前置幀較少,因此其深度較不穩定。

Depth Pro 兩種模式都沒有,因為它沒有可執行的跨幀注意力。餵給它一段影片,你得到的是逐幀獨立的估計,而幀與幀之間的閃爍得由你自己平滑。對靜態影像來說這不算損失;但對任何有動作的內容而言,這正是續作所要彌補的落差。

什麼沒有改變

度量慣例完全相同,這對任何要遷移的人來說都是好消息:兩個模型對這些數字的意義看法一致。深度是沿著相機觀看軸的距離——也就是 z 座標——而不是從鏡頭算起的直線距離。Python 中的反深度會以焦距正規化,等於 focallength_px / (width * depth)。深度會隨焦距縮放,因此焦距若長了 10%,就會讓所有東西的位置遠了 10%。天空像素會回傳無限深度,或者(尤其在較小的模型上)回傳數公里的有限深度,而文件會告訴你在建立點雲之前先裁剪範圍。

焦距估計仍是這個套件的核心部分,而且仍可略過。若照片在 EXIF 中記錄了 35mm 等效焦距,就會採用該值;其餘情況則交由估計器處理。Depth Pro 2 將該估計器拆分成一個獨立的 23.5M 參數儲存庫 apple/DepthPro2-focal,它可與任何大小的模型一起載入,也能單獨執行——如果你想只求解一次相機、多次使用深度模型,這會很有用。在 Depth Pro 中,同樣的能力被內建於單一檢查點中,無法將兩者分開。

Core ML 支援得以延續並有所改善。Depth Pro 2 在專用儲存庫中提供匯出的 Core ML 套件,並包含一個精簡的 Mac 示範應用程式,可顯示相機的即時深度,需使用 Apple silicon、macOS 15 與 Xcode 16。相較於原始版本,這降低了做出可運作示範的門檻。

四種規模與單一檢查點對比

最大的實際差異在於,Depth Pro 2 拒絕只以單一模型的形式存在。Apple 發佈了四個模型,並附上參數與下載大小:

• S — 24M 參數,97 MB,筆記型電腦上推薦的起點。

• B — 97M 參數,386 MB。

• L — 3.34 億個參數,1.3 GB。

• H+ — 872M 參數、3.5 GB,為命令列預設下載的版本。

你選擇的大小完全不會改變授權條款,卻會大幅改變行為,因為較小的模型在文件記載中會產生更多那種虛假的多公里級天空深度。H+ 之所以是預設是有原因的,但在筆記型電腦上,S 是能否運作的差別。

Depth Pro 是單一檢查點,沒有可調選項。這不是批評——它是 2024 年發布的,論文只報告了單一 0.3 秒的結果——但這確實意味著「哪個尺寸」這個遷移問題在舊的一邊沒有對應項,而任何把「Depth Pro」當成一行來對比四行的比較,都是在抹平一個真實的決策。

數字,雖說如此。

Depth Pro 2 的模型卡報告了在 Sintel 與 Spring 資料集上平均的 Boundary F1 與 Jitter,宣稱在這兩個資料集上均優於以單一影格或多個影格運作的先前研究,並繪製了比較圖。Depth Pro 是該圖上的標記之一。座標軸有標示——Boundary F1 從 0 到 0.3,Jitter 從 0.1 降到 0——但沒有各模型表格,因此改善幅度大約只能讀到 0.01:H+ 位於 Boundary F1 約 0.29、Jitter 約 0.017 附近,原始 Depth Pro 則約為 0.235 與 0.095。

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

把這件事當成廠商回報、尚未重現的說法,而它確實就是如此。沒有任何第三方公布過 Depth Pro 2 的 Boundary F1 或 Jitter 數字,而原本會定義評估協定的技術報告只是佔位符。相較之下,原版 Depth Pro 在自己的程式碼庫中就提供了邊界指標——eval/boundary_metrics.py 暴露了 SI_boundary_F1 和 SI_boundary_Recall——所以如果你想自己執行這項比較,其中一半的工具是公開的,而目標檢查點則是對論文模型重新訓練而成的近似版本。

授權與商業問題

維持不變,而這點值得說明,因為這正是升級時容易被忽略的那類事情。兩個模型的權重都採用 Apple Machine Learning Research Model 授權條款,而該儲存庫將其定義為僅允許用於研究目的,也就是非商業性科學研究與學術開發。程式碼則另行授權,而 Depth Pro 2 的致謝將 TIMM 與 DINOv3 列為其基礎。

所以,就授權層面而言,升級是免費的;但就產品層面而言,兩端都無法取得。如果你是要為了營收而出貨,這兩個檢查點都不是正確的那個,而你真正需要對話的對象是 Apple,不是授權檔案。

具體地遷移

Depth Pro 2 並非 Depth Pro 的無縫替代品,因為套件名稱、進入點與模型識別碼全都變了。Depth Pro 從 apple/ml-depth-pro 安裝,並以 depth-pro-run -i ./data/example.jpg 執行。Depth Pro 2 從 apple-aiml-research/ml-depth-pro-2 安裝,並以 uv run depth-pro-2 predict -i assets/example.jpg -o out/ 執行,尺寸則使用 -m depthpro2-s 到 -m depthpro2-h。在 Python 中,匯入的是 depth_pro_2,建構路徑則是 create_model_and_transforms 或 DepthPro2.from_pretrained。

輸出介面的形狀也變了。Depth Pro 的 model.infer() 會回傳一個包含 depth 與 focallength_px 的字典。Depth Pro 2 的 infer() 則回傳 depth,而焦距更自然地可從獨立的 estimator 取得,或在你已有焦距時以 f_px 傳入。如果你的管線會直接讀取預測字典,請預留一個下午的時間。

遷移後你會得到的是尺寸旋鈕、具備兩種已記錄模式的影片路徑、分離的焦距估計器,以及附有可運作示範應用程式的 Core ML 封裝。你不會得到的是論文、各模型的基準測試表,或任何獨立證實新模型更好的確認——只有一張標示座標軸的散佈圖,背後沒有任何表格。

這一切都不會經過我們路由,也不該被描述成有經過:Depth Pro 2 是來自 Apple 自家儲存庫、採研究授權的權重。路由層真正發揮價值的地方是在往外一步——場景描述、決策,以及圍繞你的深度階段所撰寫的內容,都是語言模型的呼叫,而OrcaRouter 讓 200 多個託管模型共用同一把金鑰,且以供應商定價加價 0%,並具備跨供應商的自動容錯移轉,因此,一個沒有發布節奏的研究檢查點,會是整條管線中唯一脆弱的一環,而不是幾個脆弱環節之一。

如果你用的是 Depth Pro 而且運作正常,那麼改用其他方案的理由就是影片。如果你用的是 Depth Pro,而且只處理靜態照片,那麼你目前擁有的銳利度,正是後續版本聲稱保留的銳利度;誠實的做法是先等技術報告出爐,再花一個下午去改匯入名稱。

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.