一張生成的標題卡,以大型深色幾何字體寫著 Depth Pro 2 vs VGGT,其下方、細藍至青漸層條上方則有副標題「測量,還是重建」
Engineering & Research

Depth Pro 2 與 VGGT:公制深度,還是多視角幾何?

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

將手機對準一個房間,繞著它走一圈,錄下四十秒的影片。兩個模型能把這轉換成幾何,但它們不會對幾何是什麼達成一致。Depth Pro 2 是 Apple 的度量單眼深度模型,會為每一幀的每個像素回傳以公尺為單位的深度值,並附上焦距。VGGT——由 Meta AI Research 與牛津大學 VGG 團隊共同開發、發表於 CVPR 2025 的 Visual Geometry Grounded Transformer——會一次為整組視圖回傳相機外參與內參、點圖、深度圖與 3D 點軌跡。

其中一個輸出是量測值。另一個是重建結果。在兩者之間做選擇,並不是哪一個更準確的問題,因為這兩個模型回答的是不同的問題;而你需要哪個答案,取決於你的管線中模型之後的部分。

每個模型被打造來做的事

VGGT 是一個前饋網路,能在數秒內從單一、少數或數百個視角推斷出場景的所有關鍵 3D 屬性。其核心主張在於聯合估計:有別於逐幀執行深度模型,再以獨立的運動恢復結構(structure-from-motion)階段求解相機姿態,VGGT 一次就能產出姿態、內參、深度與點追蹤,且各視角會互相關注。這正是「數百個視角」這項說法之所以重要的原因——它是攝影測量流程的替代方案,而非附加方案。

Depth Pro 2 是一款單目公制深度估計器,而真正發揮關鍵作用的是「公制」這個詞。它的輸出是沿相機觀看方向、以公尺為單位的深度圖,由單張影像計算而得,且不需要相機中繼資料——模型可以從 EXIF 讀取焦距、接受你以像素提供的焦距,或透過隨附於獨立儲存庫的 23.5M 參數估計器來預測焦距。它也能處理影片,而這正是「2」的由來:多視圖 transformer 會聯合處理各幀,在其區塊的前三分之一之後,交替進行幀內注意力與跨幀注意力,並由 DPT 解碼器為每幀輸出反深度圖。

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• 工作單位 — VGGT 處理一組視圖;Depth Pro 2 處理一張照片、一段影片或即時影像串流。

• 主要輸出 — VGGT 提供相機參數、點雲圖、深度圖與 3D 點軌跡;Depth Pro 2 則提供公制深度,以及它所使用的焦距。

• 相機求解 — VGGT 將其視為聯合問題的一部分來估算;Depth Pro 2 則讀取、接受或預測焦距,不涉及外參。

• 尺度 — Depth Pro 2 的主要輸出以公尺為單位;VGGT 的模型卡描述相機參數、點圖、深度與軌跡,並未宣稱具備公制尺度。

• 發布 — VGGT 於 CVPR 2025 發表(arXiv 2503.11651);Depth Pro 2 的儲存庫建立於 2026 年 11 月,技術報告尚待發布。

規模問題決定大多數部署的成敗

如果你需要知道桌子距離 0.74 公尺,VGGT 不會直接告訴你這件事,而 Depth Pro 2 會。這就是整個論點的一句話總結,而值得精確說明箇中原因。

Depth Pro 2 的公制宣稱是架構性的,而非附帶的。最初的 Depth Pro 是作為零樣本公制深度的基礎模型而打造,而該儲存庫對於慣例說得很明白:深度是沿觀看方向的 z 座標,而非徑向距離;逆深度是以焦距正規化;焦距若長了 10%,就會讓所有東西的距離遠了 10%。這些是一個輸出旨在被當作量測值來解讀的模型所遵循的慣例,而 Depth Pro 2 在全部四種尺寸上一律原封不動地繼承了它們。

VGGT 的輸出是幾何性的。相機外參、內參、點圖與點軌跡在內部是自洽的——重建結果在一個全域相似變換下是正確的——而從中還原絕對尺度是另一個步驟,通常需要在場景中有一個已知參考物。對於新視角合成、對於 3D 資產,或對於任何你會重新縮放場景以配合觀看者的情況,這都沒問題,而且往往更可取。但對於需要知道障礙物是在一公尺還是三公尺外的機器人來說,這是你必須在模型之外解決的問題。

Depth Pro 2 在這裡也有它自己的誠實性問題。天空像素會被回報為無限深度,或者——尤其是在較小的模型上——被回報為數公里的有限深度,因此若直接依其輸出建立簡單的點雲,天空所在處就會出現一整面虛假的遠景幾何。README 會告訴你要在建立點雲或彩色影像之前先裁切深度範圍,而這種指示往往只有在有人吃過虧之後才會出現。

影片一致性才是真正的貢獻

Depth Pro 2 與其說是更好的 Depth Pro,不如說是經過時間穩定化的版本,而其機制完全在於注意力模式。在其前三分之一的區塊之後,transformer 會在每幀內的注意力與跨幀的注意力之間交替,而 DPT 解碼器則將來自數個區塊的 token 組合成特徵圖,解析度為輸入的三十二分之一到四分之一。這種交替的重點在於 Jitter——時間一致性指標——專案頁面將其與 Boundary F1 一同報告,兩者均在 Sintel 與 Spring 資料集上取平均,並聲稱 Depth Pro 2 在兩者上都優於先前在單幀或多幀上運作的工作。

該說法未附任何數值,也未指名任何基線。頁面僅提到「僅處理單一影格或多個影格的先前研究」以及「處於預設設定的基線」,而引用區塊寫的是 arXiv:261X.XXXXX——那是佔位符,不是論文。任何人若引用 Depth Pro 2 的 Boundary F1 或 Jitter 數值,都只是從圖表上讀下來的。

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

Depth Pro 2 的運作範圍比其影片取景所暗示的更窄,而這種狹窄是有文件記載的。其預設模式會處理帶有四影格重疊的 16 影格短片,而即時路徑會讓每個影格與其先前的十五個影格進行比對,這意味著任何串流的第一秒都會是你會遇到最不穩定的那一秒。整段影片只會使用一個焦距,選取方式是取開頭視窗的中位數——因此,對於會變焦的短片,等於是把單一影格的焦距估計套用到所有影格上。記憶體會隨影格大小與視窗而擴展,而不是隨影片長度;而 Apple 對記憶體不足影片的補救方式,是先縮短視窗,再縮小模型。

VGGT 沒有對應的模式,因為它不需要。它已經聯合處理整個視圖集合,這是同一種保證的更強形式——前提是你負擔得起對數百個視圖做注意力運算,而且你的應用想要的是重建,而不是逐幀的深度讀取。

大小、匯出,以及你實際執行的內容

Depth Pro 2 提供四種尺寸並公佈相關數據:S 為 24M 參數、97 MB,B 為 97M、386 MB,L 為 334M、1.3 GB,H+ 為 872M、3.5 GB;其中 H+ 為預設,S 建議用於筆記型電腦。配置檔顯示了此系列的結構——小型組合採用 DINOv3 ViT-S 與 ViT-B 主幹,分別在第 5、7、9 和 11 個區塊進行注意力處理,ViT-L 在第 9 到 23 個區塊,ViT-H+ 在第 11 到 31 個區塊,解碼器維度為 64、128、256 和 256。適用於 Apple silicon 的 Core ML 匯出檔以獨立儲存庫形式提供,而程式碼儲存庫包含一個 Mac 示範應用程式,可從相機取得即時深度。

VGGT-1B 是單一十億參數的檢查點,而這個系列後來已有新進展。VGGT-Omega 於 2026 年 5 月 18 日發佈,作為「VGGT 的下一步」,另有一個商業檢查點 VGGT-1B-Commercial 與原始版本並存,其在 Co3D 上的 AUC@30 為 90.37,原始版本則為 89.98——這是模型卡上唯一的基準數字,且差距些微。截至本文撰寫時,VGGT-1B 的下載量為 748,148 次,這說明了研究社群有多廣泛地將其採用為基準。

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2 的情況則完全相反。它的四個檢查點下載量只有數十次,相關儲存庫是在 2026 年 11 月初建立,而卡片儲存庫上只有寥寥幾個讚。這是一個已經發布、但尚未被採用的模型。在你投入之前,這點值得先知道:如果你遇到 bug,就得由你來提交 issue。

授權與商業檢查點

VGGT-1B 採用 CC BY-NC 4.0 授權,僅限非商業用途。VGGT-1B-Commercial 的存在才是值得注意的細節——Meta 推出了可商業授權的版本,這意味著從研究走向產品的路徑無需進行授權協商即可存在。Depth Pro 2 的權重採用 Apple Machine Learning Research Model 授權,僅限研究用途,該儲存庫將其定義為非商業性的科學研究與學術開發活動。

這兩者的授權都不是開放檢查點上的產品授權。差別在於 VGGT 的家族包含商業選項,而 Depth Pro 2 沒有,所以如果你是為了營收而開發,這兩者一個有門可走,另一個則是一堵牆。

這是任何生產管線中再往上一層都會出現的同一套計算。重建模型只是一次呼叫;圍繞它的是讀取場景、決定該怎麼做,並把結果寫下來的那一部分——那是語言模型的工作,供應商列出價格,而聚合器則決定是否原樣轉嫁。OrcaRouter 的賣點是對 217 個模型收取 0% 加成,並跨供應商自動容錯切換,這正是在這裡最要緊:當幾何階段只是一個下載量寥寥、沒有發布節奏的研究檢查點時,你會希望管線其餘部分都是枯燥、可備援的環節。

誰應該從哪個開始?

如果你要從多個視角重建場景,並在後續流程中處理尺度——例如新視角合成、3D 資產,或是由影片建構、且幾何本身即為交付成果的資料集——那就從 VGGT 開始。聯合求解相機與幾何,正是讓它值得這十億個參數的原因;而如果你要從頭開始,VGGT-Omega 是當前世代。

如果你需要從單一影格取得公尺級深度,或需要在即時串流中讓深度逐格保持穩定,就從 Depth Pro 2 開始。尺寸轉盤是真的,筆電工作流程也有文件記載。進去時要預期天空深度會被截斷,預期你會是大多數 bug 的第一個回報者,並預期你得等技術報告出來,才能向任何人引用 Boundary F1 數值。

你不該做的,是把這當成一場正面對決。VGGT 負責重建,Depth Pro 2 負責量測,而唯一誠實的比較,是看你下游程式碼能消費哪一個。對多數 3D 管線而言,答案是 VGGT 再加上一個尺度還原步驟;對多數機器人與 AR 管線而言,則是 Depth Pro 2,外加一份用來應付煙霧的穩健性預算。