Wygenerowana plansza tytułowa z nagłówkiem „Depth Pro 2 vs VGGT” zapisanym dużym, ciemnym geometrycznym krojem pisma, a pod nim podtytuł „Pomiar czy rekonstrukcja”, ponad cienkim paskiem gradientu od niebieskiego do cyjanu.
Engineering & Research

Depth Pro 2 vs VGGT: głębokość metryczna czy geometria wielowidokowa?

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Skieruj telefon na pomieszczenie, obejdź je i nagraj czterdzieści sekund wideo. Dwa modele mogą przekształcić to w geometrię, ale nie zgodzą się co do tego, czym ta geometria jest. Depth Pro 2, monokularowy model głębi metrycznej firmy Apple, zwraca wartość głębi w metrach dla każdego piksela każdej klatki wraz z dołączoną ogniskową. VGGT — Visual Geometry Grounded Transformer z Meta AI Research i grupy VGG Uniwersytetu Oksfordzkiego, opublikowany na CVPR 2025 — zwraca parametry zewnętrzne i wewnętrzne kamery, mapy punktów, mapy głębi oraz trójwymiarowe trajektorie punktów dla całego zestawu widoków jednocześnie.

Jedno z tych wyjść jest pomiarem. Drugie jest rekonstrukcją. Wybór między nimi nie jest kwestią tego, które jest dokładniejsze, ponieważ oba modele odpowiadają na różne pytania, a o tym, której odpowiedzi potrzebujesz, decyduje to, co następuje po modelu w Twoim potoku przetwarzania.

Do czego każdy model został stworzony

VGGT to sieć feed-forward, która w ciągu kilku sekund wnioskuje wszystkie kluczowe atrybuty 3D sceny z jednego, kilku lub setek widoków. Sedno tkwi we wspólnej estymacji: zamiast uruchamiać model głębi dla każdej klatki, a następnie rozwiązywać pozy kamery w osobnym etapie structure-from-motion, VGGT tworzy pozy, parametry wewnętrzne, głębię i tory punktów w jednym przebiegu, przy czym widoki wzajemnie na siebie oddziałują. Właśnie dlatego twierdzenie o „setkach widoków” ma znaczenie — jest to zamiennik potoku fotogrametrycznego, a nie jego uzupełnienie.

Depth Pro 2 to monokularowy estymator głębokości metrycznej, a słowem, które wykonuje tu całą robotę, jest „metryczny”. Jego wynikiem jest mapa głębokości w metrach wzdłuż kierunku widzenia kamery, obliczona z pojedynczego obrazu, bez wymagania metadanych kamery — model może odczytać ogniskową z EXIF, przyjąć wartość podaną przez użytkownika w pikselach lub przewidzieć ją za pomocą osobnego estymatora z 23,5 mln parametrów, udostępnianego jako osobne repozytorium. Obsługuje także wideo i stąd bierze się „2”: transformator wielowidokowy przetwarza klatki wspólnie, naprzemiennie stosując uwagę w obrębie każdej klatki oraz między klatkami po pierwszych 1/3 swoich bloków, a dekoder DPT generuje odwrotną mapę głębokości dla każdej klatki.

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• Jednostka pracy — VGGT przyjmuje zestaw widoków; Depth Pro 2 przyjmuje zdjęcie, wideo lub transmisję na żywo.

• Główny wynik — VGGT zwraca parametry kamery, mapy punktów, mapy głębi i trójwymiarowe ścieżki punktów; Depth Pro 2 zwraca głębokość metryczną oraz używaną ogniskową.

• Rozwiązanie kamery — VGGT szacuje je w ramach problemu łącznego; Depth Pro 2 odczytuje, akceptuje lub przewiduje ogniskową, bez parametrów zewnętrznych.

• Skala — głównym wynikiem Depth Pro 2 są metry; karta modelu VGGT opisuje parametry kamery, mapy punktowe, głębię i ślady, ale nie deklaruje skali metrycznej.

• Wydanie — VGGT został opublikowany na CVPR 2025 (arXiv 2503.11651); repozytoria Depth Pro 2 utworzono w listopadzie 2026 r., a raport techniczny wciąż oczekuje na publikację.

Kwestia skali rozstrzyga w większości wdrożeń

Jeśli musisz wiedzieć, że stół jest oddalony o 0,74 metra, VGGT nie mówi ci tego bezpośrednio, a Depth Pro 2 tak. To cały argument w jednym zdaniu i warto być precyzyjnym co do tego, dlaczego.

Twierdzenie Depth Pro 2 o metryczności ma podłoże architektoniczne, a nie przypadkowe. Oryginalny Depth Pro powstał jako model fundamentalny do metrycznej głębi w trybie zero-shot, a repozytorium jasno określa konwencje: głębia to współrzędna z wzdłuż kierunku patrzenia, a nie odległość promieniowa; odwrotna głębia jest normalizowana przez ogniskową; a ogniskowa dłuższa o 10 procent umieszcza wszystko o 10 procent dalej. To konwencje modelu, którego wynik ma być odczytywany jako pomiar, a Depth Pro 2 dziedziczy je bez zmian we wszystkich czterech wariantach rozmiarowych.

Wynik VGGT ma charakter geometryczny. Parametry zewnętrzne i wewnętrzne kamery, mapy punktów i tory punktów są wewnętrznie spójne — rekonstrukcja jest poprawna aż do globalnej transformacji podobieństwa — a odzyskanie z niej skali bezwzględnej jest osobnym krokiem, zwykle wymagającym znanego odniesienia w scenie. W przypadku syntezy nowych widoków, zasobu 3D czy czegokolwiek, gdzie przeskalujesz scenę, aby dopasować ją do widza, jest to w porządku i często preferable. Dla robota, który musi wiedzieć, czy przeszkoda jest metr czy trzy metry dalej, jest to problem, który trzeba rozwiązać poza modelem.

Depth Pro 2 ma tutaj własne problemy ze szczerością. Piksele nieba zwracane są jako nieskończona głębokość albo, szczególnie w mniejszych modelach, jako skończona głębokość wynosząca kilka kilometrów, więc naiwna chmura punktów zbudowana z jego wyników będzie miała ścianę fałszywej dalekiej geometrii tam, gdzie jest niebo. README każe przyciąć zakres głębokości przed utworzeniem chmury punktów lub obrazu kolorowego, co jest rodzajem instrukcji, która pojawia się dopiero po tym, jak ktoś się na tym sparzył.

Spójność wideo to prawdziwy wkład

Depth Pro 2 nie jest lepszym Depth Pro, ile raczej wersją stabilizowaną czasowo, a mechanizm tkwi całkowicie w schemacie uwagi. Po pierwszej trzeciej części jego bloków transformer przełącza się między uwagą w obrębie każdej klatki a uwagą między klatkami, a dekoder DPT składa tokeny z kilku bloków w mapy cech o rozdzielczości od jednej trzydziestej drugiej do jednej czwartej rozdzielczości wejściowej. Celem tej naprzemienności jest Jitter — metryka spójności czasowej — a strona projektu raportuje ją obok Boundary F1, uśrednionych na zbiorach Sintel i Spring, z twierdzeniem, że Depth Pro 2 przewyższa wcześniejsze prace działające na pojedynczej klatce lub wielu klatkach w obu przypadkach.

Tej deklaracji nie towarzyszą żadne wartości ani nie wymieniono żadnych punktów odniesienia. Strona odwołuje się wyłącznie do „wcześniejszych prac operujących na pojedynczej klatce lub wielu klatkach” oraz do „punktów odniesienia w ich domyślnych ustawieniach”, a blok cytowania zawiera arXiv:261X.XXXXX — placeholder, a nie artykuł. Każdy, kto podaje liczbę Boundary F1 lub Jitter dla Depth Pro 2, odczytuje ją z wykresu.

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

Depth Pro 2 ma węższy zakres działania, niż sugeruje to jego kadrowanie wideo, a ta wąskość jest udokumentowana. Jego tryb domyślny zużywa 16-klatkowe klipy z czterema klatkami nakładania się, a ścieżka na żywo przetwarza każdą klatkę względem piętnastu poprzedzających ją, co oznacza, że pierwsza sekunda dowolnego strumienia jest najbardziej chwiejną sekundą, jaką można uzyskać. Jedna ogniskowa obsługuje całe wideo, wybrana jako mediana w początkowym oknie — więc klip, który zoomuje, będzie miał oszacowanie ogniskowej z jednej klatki zastosowane do wszystkich. Pamięć skaluje się wraz z rozmiarem klatki i oknem, a nie z czasem trwania, a rozwiązaniem Apple'a na wideo powodujące wyczerpanie pamięci jest skrócenie okna przed zmniejszeniem modelu.

VGGT nie ma trybu równoważnego, ponieważ go nie potrzebuje. Już teraz obsługuje cały zbiór widoków łącznie, co jest silniejszą formą tej samej gwarancji — pod warunkiem, że możesz sobie pozwolić na mechanizm uwagi obejmujący setki widoków i że Twoja aplikacja oczekuje rekonstrukcji, a nie odczytu głębokości dla każdej klatki z osobna.

Rozmiary, eksporty i to, co faktycznie uruchamiasz

Depth Pro 2 oferuje cztery rozmiary z opublikowanymi danymi: S — 24 mln parametrów i 97 MB, B — 97 mln i 386 MB, L — 334 mln i 1,3 GB oraz H+ — 872 mln i 3,5 GB, przy czym H+ jest domyślny, a S zalecany do laptopów. Pliki konfiguracji pokazują strukturę rodziny — szkielety DINOv3 ViT-S i ViT-B w małej parze z attention na blokach 5, 7, 9 i 11, ViT-L z attention na blokach od 9 do 23, ViT-H+ na blokach od 11 do 31, z wymiarami dekodera 64, 128, 256 i 256. Eksporty Core ML dla Apple silicon są dostarczane jako osobne repozytorium, a repozytorium kodu zawiera aplikację demonstracyjną na Maca do głębi na żywo z kamery.

VGGT-1B to pojedynczy checkpoint z miliardem parametrów, a rodzina od tego czasu poszła dalej. VGGT-Omega ukazał się 18 maja 2026 r. jako „następny krok VGGT”, a obok oryginału istnieje komercyjny checkpoint VGGT-1B-Commercial, osiągający AUC@30 na poziomie 90,37 na Co3D wobec 89,98 dla oryginału — jedyny wynik benchmarku na karcie modelu i to nieznaczny. VGGT-1B ma 748 148 pobrań na dzień pisania tego tekstu, co mówi coś o tym, jak szeroko społeczność badawcza przyjęła go jako punkt odniesienia.

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2 to odwrotna historia. Jego cztery checkpointy mają pobrania liczone w dziesiątkach, repozytoria utworzono na początku listopada 2026 r., a jedyne polubienia w repozytorium karty to garstka. To model, który został opublikowany, ale jeszcze nie został dostrzeżony. Warto o tym wiedzieć, zanim się zaangażujesz: jeśli natrafisz na błąd, to Ty będziesz zgłaszać problem.

Licencjonowanie i komercyjny punkt kontrolny

VGGT-1B jest objęty licencją CC BY-NC 4.0, niekomercyjną. Ciekawym szczegółem jest istnienie VGGT-1B-Commercial — Meta udostępniła wariant z możliwością licencjonowania komercyjnego, co oznacza, że istnieje ścieżka od badań do produktu bez negocjowania licencji. Wagi Depth Pro 2 podlegają licencji Apple Machine Learning Research Model, wyłącznie do użytku badawczego, określanej przez repozytorium jako niekomercyjne badania naukowe i akademickie działania rozwojowe.

Żadna z tych licencji nie jest licencją produktową dla otwartego checkpointu. Różnica polega na tym, że rodzina VGGT obejmuje opcję komercyjną, a rodzina Depth Pro 2 nie, więc jeśli budujesz z myślą o przychodach, jedna z nich ma drzwi, a druga ścianę.

To ta sama kalkulacja, która pojawia się o warstwę wyżej w każdym produkcyjnym potoku. Model rekonstrukcji to jedno wywołanie; wokół niego znajduje się część, która odczytuje scenę, decyduje, co zrobić, i zapisuje ją — praca modelu językowego, gdzie dostawca podaje cenę, a agregator albo ją przekazuje, albo nie. Propozycja OrcaRouter to 0% marży na 217 modelach z automatycznym przełączaniem awaryjnym między dostawcami, co ma największe znaczenie właśnie tutaj: gdy etap geometrii jest badawczym checkpointem z kilkoma pobraniami i bez rytmu wydań, chcesz, aby reszta potoku była nudną, redundantną częścią.

Kto powinien zacząć od czego

Zacznij od VGGT, jeśli rekonstruujesz scenę z wielu widoków, a skalą zajmiesz się później — synteza nowych widoków, zasób 3D, zbiór danych zbudowany z wideo, w którym geometria jest produktem końcowym. Wspólne rozwiązywanie problemu kamery i geometrii jest tym, co czyni go wartym miliarda parametrów, a VGGT-Omega to obecna generacja, jeśli zaczynasz od zera.

Zacznij od Depth Pro 2, jeśli potrzebujesz metrów z pojedynczej klatki albo jeśli głębia ma pozostać stabilna klatka po klatce w transmisji na żywo. Pokrętło rozmiaru jest prawdziwe, a workflow na laptopie jest udokumentowany. Przygotuj się na to, że będzie obcinać głębię nieba, że będziesz pierwszą osobą zgłaszającą większość błędów i że poczekasz na raport techniczny, zanim będziesz mógł komukolwiek podać wartość Boundary F1.

Nie powinieneś traktować tego jako bezpośredniego starcia. VGGT rekonstruuje, Depth Pro 2 mierzy, a jedynym uczciwym porównaniem jest to, który z nich może wykorzystać Twój kod dalszego przetwarzania. W przypadku większości potoków 3D odpowiedzią jest VGGT i krok odzyskiwania skali; w przypadku większości potoków robotycznych i AR jest to Depth Pro 2 i budżet odporności na dym.