一張為 Depth Pro 2 生成的標題卡,副標題為「銳利且時間一致的公制單眼深度」,帶有四個尺寸標籤,分別標示為 S 24M、B 97M、L 334M 和 H+ 872M,第五個標籤標示為焦距估算器 23.5M,頁腳註記標示為 arXiv 識別碼仍為佔位符,另有一個 OrcaRouter 標誌。
Guides & Insights

Depth Pro 2 在沒有論文的情況下發布:權重揭示了什麼

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

捲動到 Apple 的 Depth Pro 2 模型卡底部,讀一下引用資訊。八位作者、2026 年的日期,還有一個寫成 261X.XXXXX 的 arXiv 識別碼。那些 X 不是塗黑刪節。它們是沒有人回來填上的佔位符,也是對這次發布最誠實的總結:Depth Pro 2 是 Apple 的公制單眼深度模型,它以你今天就能下載的權重形式存在,卻還不是一篇你能讀的論文。

那個落差就是故事所在。不是發表活動,不是基準測試表,也不是示範 Space——儲存庫本身將該 Space 標示為隱藏,直到它公開為止,而截至撰寫本文時,它尚未公開。以下內容是所有可從儲存庫與文件中得知的事,並與尚未確認的部分分開呈現。

出貨了什麼,以及是在哪些日期

日期是有所記錄的部分,因為 Hugging Face 會為它代管的每個儲存庫加上時間戳記。模型卡儲存庫 apple/DepthPro2 建立於 2026 年 11 月 3 日。權重儲存庫則在兩天後,也就是 11 月 5 日跟進,其中包含 apple/DepthPro2-H。Core ML 匯出儲存庫於 11 月 9 日出現。獨立的焦距估算器 apple/DepthPro2-focal 於 11 月 19 日出現——同一天,程式碼儲存庫 apple-aiml-research/ml-depth-pro-2 在 GitHub 上公開。

把那段順序當成工程時間軸,而不是行銷時間軸來讀。那張卡、權重、Apple silicon 匯出、相機校正模型與程式碼,是在十六天內分批上架的;最後到位的那一塊,是讓不在 Apple 內部的人也能把整套東西跑起來的元件。這個順序完全不像是協調好的發布;反而像是一個團隊在每一項產物通過審查後就把它推出去。

外界反應證實了這一點。H+ 權重倉庫有 40 次下載,卡片倉庫有 10 個讚。這個 GitHub 倉庫背後只有一次提交。對於一個來自打造出 Depth Pro 的實驗室的模型來說,這不是一條發布曲線——而是一個尚未被注意到的發布。

這篇論文只是佔位符,並非預印本

有三個各自獨立的地方都指向一份不存在的技術報告。模型卡片的徽章連結到 arxiv.org/abs/TODO。GitHub README 的徽章連結到 arxiv.org/abs/261X.XXXXX。兩者中的 BibTeX 區塊都寫著 journal = {arXiv preprint arXiv:261X.XXXXX} 和 url = {https://arxiv.org/abs/261X.XXXXX}。

它也同樣沒有 Apple Machine Learning 研究頁面——machinelearning.apple.com/research/depth-pro-2 會回傳 404,而 Apple 的研究網站地圖列出了 depth-pro,卻沒有列出 depth-pro-2。徽章所指向的專案頁面 apple-aiml-research.github.io/ml-depth-pro-2,是唯一一個由 Apple 控制且確實能正常開啟的頁面。

這件事的重要性比聽起來還要高。技術報告是評估協定所在之處,沒有它,卡片所報告的數字就無法與基線所報告的數字核對。因此,以下所有量化內容都是供應商自己的說法,是在未經獨立驗證的情況下轉載,並已如此標示。

四種尺寸,外加焦距估算器

這個系列對自身的規模擴展異常坦率。Apple 公佈了全部四個成員的參數量和下載大小,這比大多數深度版本願意費心去做的還要多:

• 小型(S)— 2,400 萬個參數,下載大小 97 MB,是筆電上入門的首選。

• 基礎版 (B) — 97M 參數,386 MB。

• 大型 (L) — 3.34 億個參數,1.3 GB。

• H+ (H) — 872M 參數、3.5 GB,且在未傳入 -m 時,是命令列預設下載的項目。

• 焦距估算器 — 2,350 萬個參數、94 MB,是一個獨立儲存庫,可與任何規模的模型一同載入,並在照片或影片未附焦距資訊時預測相機的焦距。

命名方式值得說明,因為它會讓任何寫設定檔的人踩坑:儲存庫是 apple/DepthPro2-H,但命令列旗標是 -m depthpro2-h,而卡片則把該尺寸稱為 H+。文件在相隔幾行內同時使用了這兩種拼法。

底層架構是先由多視角 Transformer,再接上逐幀 DPT 解碼器。在 Transformer 區塊的前三分之一之後,注意力會在幀內與跨幀之間交替,而解碼器會把來自數個區塊的 token 組合成特徵圖,解析度為輸入解析度的三十二分之一到四分之一。README 將 TIMM 與 DINOv3 列為程式碼與模型的基礎。

權衡圖表是唯一的結果

這張卡片的整個結果區塊只有一個圖表和兩句話。圖表以 Boundary F1 對 Jitter(Apple 所選的兩項指標)繪成散點圖,涵蓋大約二十幾個單幀與多幀深度模型,其中四個 Depth Pro 2 尺寸以橘色標示,其餘則為藍色或綠色,數值是在 Sintel 與 Spring 資料集上平均。這兩句話指出,Depth Pro 2 在兩者上都優於先前針對單幀或多幀運作的研究,且右上角最佳。

The sharpness-versus-temporal-consistency scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL further down the jitter axis, footnoted as averaged over Sintel and Spring.

座標軸的標示為:Boundary F1 從 0 到 0.3,抖動從 0.1 降至 0。從散點圖讀取位置可見,H+ 標記落在 Boundary F1 約 0.29、抖動約 0.017 處,而原始 Depth Pro 則約為 0.235 與 0.095——兩個軸上都有很大差距。這張圖並未附上表格、各資料集的分項細分、任何速度或記憶體測量,也沒有與圖中所繪二十幾個模型之外的比較。卡片上說,論文比較了這些尺寸,包括它們的速度與記憶體——但論文尚不存在。

那不是不信任這個模型的理由。那是不信任任何一篇文章的理由:這種文章拿給你 Depth Pro 2 的 Boundary F1,還引用到小數點後三位;因為這樣的數字唯一可能存在的地方,是一個你只能讀到大約百分之一精度的散點圖,而評估協定則被延後到一份尚未發表的報告裡。如果你需要這個數字來寫採購文件,那你就是在等那份報告。

影片正是讓它成為續集的原因

原始的 Depth Pro 從其標題即可看出,重點在於銳利度與速度:不到一秒即可取得銳利的單目公制深度,在標準 GPU 上以 0.3 秒處理 225 萬像素。Depth Pro 2 保留了銳利度,並加入第二個軸向——時間一致性——而整個架構的變更正是為了服務這個目標。影格內與跨影格的交替注意力,讓 transformer 能將多個影格視為同一個場景,而不是多張影像。

The method diagram from the Depth Pro 2 model card showing a multi-view transformer over the input frames followed by a DPT decoder per frame, annotated with the two numbered contributions: alternating within-frame and across-frame attention after the first third of blocks, and decoder feature maps at one thirty-second to one quarter of the input resolution.

由此衍生出兩種運作模式。緩衝模式是影片檔案的預設模式,會處理 16 個影格的片段,且片段之間重疊四個影格,讓連續片段交接處的深度保持穩定;--window 與 --overlap 會揭露這兩個數值。無緩衝模式會在每個影格到達的當下立即預測該影格,依據該影格及其前 15 個影格,是即時攝影機適用的模式。Apple 坦承,串流開頭幾個影格可供參照的前置影格較少,因此深度較不穩定——這是文件裡明載的暖機代價,而非等到正式環境才發現的問題。

影片其餘的行為是一連串後果,值得在你進行整合前先了解。一支影片的所有影格只會共用一個焦距,這個焦距是取該影片第一個視窗內各估計值的中位數。記憶體佔用量會隨影格大小與視窗長度成長,而不會隨影片長度成長,因此對於無法容納的片段,文件記載的補救方式是先縮短視窗,其次才退而改用較小的模型,而調整輸入大小則是最後手段。此外,天空像素回傳的會是無限深度,或者——尤其是在較小的模型上——是數公里的有限深度;README 會告訴你在建立點雲之前先裁切範圍,這種建議之所以存在,正是因為曾經有人沒這麼做。

還有什麼仍未確認

誠實的未解問題清單簡短而具體。

• 獨立評估——無。尚無第三方公布 Depth Pro 2 的 Boundary F1 或 Jitter 數值,而該模型卡自身的基準方法除了「針對單一影格或多個影格運作的先前研究」之外並未具名。

• 速度與記憶體 — 論文中聲稱會進行比較,但該部分只是佔位符。唯一具體的執行時指引是:H+ 是 3.5 GB 的權重,而 S 是筆電選項。

• 示範 —— 那個 Space 是藏在 HTML 註解裡的連結,並標記為在公開前維持隱藏。示範存在,與示範能被觸及,是兩種不同的說法。

• 名稱——「Depth Pro 2」在儲存庫名稱中顯示為 DepthPro2,在程式碼套件與 Core ML 儲存庫中為 depth-pro-2,而在 Python 匯入中為 depth_pro_2。請搜尋這全部四種寫法。

A screenshot of the Hugging Face model card for apple/DepthPro2, showing the Depth Pro 2 title, the badge row linking to GitHub, the technical report and the project page, the licence and tags row, and the opening paragraph describing metric depth from a single photo, a whole video or a live feed at the input's full resolution.

在論文發表前先執行它

安裝流程刻意保持乏味,而這反而是它的優點。你先安裝 uv、複製儲存庫,然後執行 uv run depth-pro-2 predict -i assets/example.jpg -o out/ 來處理照片,或對影片使用相同命令並將輸入換成 .mp4。首次執行會下載 H+(3.5 GB),除非你加上 -m depthpro2-s。此命令會挑選第一個可用的裝置——先是 CUDA,接著是 Apple silicon MPS,最後是 CPU——並在 GPU 上以 bfloat16 自動轉型(autocast)執行,在 CPU 上則以 float32 執行。另有針對 Apple 硬體的 Core ML 匯出功能,以及一個需要 macOS 15 與 Xcode 16 的精簡 Mac 示範應用程式。

輸出格式才是實用細節所在。此命令一律會寫出以顏色編碼的深度影像,近處為紅色、遠處為藍色。--save-png16 會額外產生 16 位元灰階 PNG,供合成工具使用;近處為白色、遠處為黑色,並依照片或影片第一幀的深度範圍進行縮放——因此影片中後續變得更近的點會飽和。--save-npz 會額外加入以公尺為單位的實際深度陣列,以及 focallength_px;如果你要做任何數值運算,這就是你要的。

如果你跳過文件說明,有兩個慣例會讓你吃虧。深度是沿著相機觀看軸的距離,也就是 z 座標,而不是從鏡頭算起的直線距離。而在 Python 中,反深度會以焦距做正規化:它等於 focallength_px / (width * depth)。焦距只要算錯 10%,所有東西的位置就會遠了 10%。

這一切都不會經由我們路由。Depth Pro 2 是來自 Apple 自家儲存庫、以研究授權釋出的權重;如果你想執行它,就得從 Apple 下載。OrcaRouter 涵蓋的是它周遭其餘的流程——以單一 API 和單一金鑰提供 200 多個託管模型,價格為較供應商定價加價 0%,並可跨供應商自動容錯移轉。當深度階段只是附有佔位引用、沒有固定發布節奏的研究檢查點時,你真正會希望成為無聊且可備援部分的,是它周遭的推理與寫作階段。

如果你是在等待,而不是自己動手建構,該留意的是:一個取代 X 的 arXiv 識別碼、machinelearning.apple.com 底下出現的研究頁面,以及示範 Space 從被註解掉變成附上連結。其中任何一項都會讓這件事從單純的權重釋出變成正式發布,也會讓上方的圖表補上它目前缺少的逐模型表格。