Wygenerowana karta porównawcza dla Depth Pro i Depth Pro 2, pokazująca wydanie z 2024 r. z pojedynczym 0,3-sekundowym monokularowym checkpointem i bez trybu wideo, w zestawieniu z wydaniem z 2026 r. z czterema rozmiarami od 24 mln do 872 mln parametrów, trybami wideo i transmisji na żywo oraz raportem technicznym wciąż oznaczonym jako placeholder, a do tego logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro: ostrość zachowana, drgania usunięte

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Oryginalny Depth Pro ma nietypowy problem jako baseline: checkpoint opublikowany przez Apple nie jest modelem opisanym w artykule. Karta modelu mówi o tym wprost — checkpoint w repozytorium to implementacja referencyjna, która została ponownie wytrenowana, a jej wydajność jest zbliżona do modelu opisanego w artykule, ale nie jest z nią dokładnie zgodna. Zatem każde porównanie między Depth Pro 2 a Depth Pro jest porównaniem z zastępnikiem, w tym to na samej karcie Depth Pro 2.

Po tym zastrzeżeniu kształt ulepszenia jest już wystarczająco jasny. Depth Pro 2 zachowuje właściwość, która uczyniła Depth Pro godnym uwagi — ostrą głębię na granicach obiektów, w metrach, z pojedynczego obrazu — i dodaje drugą: głębię, która pozostaje stabilna z klatki na klatkę. Tytuł pracy mówi to wprost. Depth Pro był Ostrą monokularową głębią metryczną w mniej niż sekundę. Depth Pro 2 to Ostra i spójna czasowo metryczna głębia monokularowa. Wszystko, co się między nimi zmieniło, służy drugiemu przymiotnikowi; prawie nic nie zmieniło się w pierwszym.

Dwa lata, dwa bardzo różne wydania

Depth Pro zadebiutował 3 października 2024 r. wraz z artykułem arXiv 2410.02073 i deklarowanym wynikiem: mapa głębi o rozdzielczości 2,25 megapiksela w 0,3 sekundy na standardowym GPU. Repozytorium ma 568 polubień i nieco ponad 6200 pobrań. Został udostępniony jako jeden checkpoint, depth_pro.pt, a jego karta opisuje wkład techniczny — wydajny wieloskalowy transformer wizyjny do gęstej predykcji, protokół trenowania łączący dane rzeczywiste i syntetyczne, dedykowane metryki dokładności granic oraz najnowocześniejszą estymację ogniskowej z pojedynczego obrazu.

Repozytoria Depth Pro 2 utworzono w listopadzie 2026 r.: kartę 3 listopada, wagi 5 listopada, eksporty Core ML 9 listopada, estymator ogniskowej i repozytorium kodu 19 listopada. Karta i README w GitHub wskazują na identyfikator arXiv 261X.XXXXX, który jest wartością zastępczą, a nie preprintem. Nie ma dla niego strony badawczej w machinelearning.apple.com — ta ścieżka zwraca 404 — ani żadnych liczb benchmarkowych poza własnym wykresem rozrzutu karty.

Uczciwie rzecz ujmując, Depth Pro 2 to wydanie wag wraz z dokumentacją, a nie publikacja. Depth Pro był artykułem z checkpointem. Jeśli coś cytujesz, jedno z nich daje ci liczbę, a drugie repozytorium.

Co tak naprawdę zmieniło się w architekturze

Depth Pro był modelem pojedynczego obrazu. Depth Pro 2 to transformator wielowidokowy, który przetwarza jedną lub więcej klatek łącznie, a mechanizm jest specyficzny: po pierwszej trzeciej części jego bloków uwaga przełącza się między uwagą wewnątrzklatkową a międzykłatkową. Dekoder DPT przewiduje następnie mapę odwrotnej głębokości dla każdej klatki, składając tokeny z kilku bloków w mapy cech w rozdzielczości od jednej trzydziestej drugiej do jednej czwartej rozdzielczości wejściowej.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

To cały argument architektoniczny przemawiający za kontynuacją, a ma on widoczną konsekwencję w sposobie uruchamiania modelu. Depth Pro 2 ma dwa tryby wideo. Tryb buforowany, domyślny dla plików, przetwarza klipy po 16 klatek nakładające się na siebie o cztery, co utrzymuje stabilną głębokość w miejscach łączenia klipów. Tryb niebuforowany przewiduje każdą klatkę w miarę jej napływania, na podstawie tej klatki i 15 poprzednich, i jest trybem dla kamery na żywo. Apple dokumentuje koszt ścieżki na żywo, zamiast go ukrywać: pierwsze klatki strumienia mają mniej poprzedzających klatek do uwzględnienia, więc ich głębokość jest mniej stabilna.

Depth Pro nie ma żadnego z tych dwóch trybów, ponieważ nie ma uwagi międzyklatkowej, którą mógłby uruchomić. Podaj mu wideo, a otrzymasz niezależne szacunki dla poszczególnych klatek, a wszelkie migotanie między nimi musisz wygładzić we własnym zakresie. W przypadku zdjęć statycznych nie jest to strata; w przypadku wszystkiego, w czym jest ruch, to różnica, którą sequel miał zniwelować.

Co się nie zmieniło

Konwencje metryczne są identyczne, co jest dobrą wiadomością dla każdego, kto migruje: oba modele zgadzają się co do tego, co oznaczają liczby. Głębokość to odległość wzdłuż osi widzenia kamery — współrzędna z — a nie odległość w linii prostej od obiektywu. Odwrotna głębokość w Pythonie jest normalizowana przez ogniskową i wynosi focallength_px / (width * depth). Głębokość skaluje się wraz z ogniskową, więc ogniskowa o 10 procent za duża umieszcza wszystko o 10 procent za daleko. Piksele nieba są zwracane jako nieskończona głębokość lub, zwłaszcza w mniejszych modelach, jako skończona głębokość wynosząca kilka kilometrów, a dokumentacja mówi, aby przyciąć zakres przed utworzeniem chmury punktów.

Estymacja ogniskowej nadal jest kluczowym elementem pakietu i nadal można ją pominąć. Zdjęcia, które w EXIF zapisują ogniskową równoważną dla 35 mm, wykorzystują ją; cała reszta przechodzi przez estymator. Depth Pro 2 wydziela ten estymator do osobnego repozytorium z 23,5 mln parametrów, apple/DepthPro2-focal, które ładuje się razem z dowolnym rozmiarem i można je także uruchomić samodzielnie — przydatne, jeśli chcesz raz obliczyć parametry kamery, a model głębi uruchamiać wiele razy. W Depth Pro ta sama funkcja była wbudowana w pojedynczy checkpoint, bez możliwości rozdzielenia obu elementów.

Wsparcie Core ML zostaje zachowane i ulepszone. Depth Pro 2 dostarcza wyeksportowane pakiety Core ML w dedykowanym repozytorium i zawiera minimalną aplikację demonstracyjną na Maca, która pokazuje głębię na żywo z kamery, wymagając Apple silicon, macOS 15 i Xcode 16. To niższy próg wejścia do działającej wersji demonstracyjnej niż oferowała oryginalna wersja.

Cztery rozmiary kontra jeden checkpoint

Największa praktyczna różnica polega na tym, że Depth Pro 2 nie chce być jednym modelem. Apple publikuje cztery, wraz z parametrami i rozmiarami pobierania:

• S — 24 mln parametrów, 97 MB, zalecany punkt wyjścia na laptopie.

• B — 97 mln parametrów, 386 MB.

• L — 334 mln parametrów, 1,3 GB.

• H+ — 872 mln parametrów, 3,5 GB, domyślny model pobierany przez wiersz poleceń.

Wybrany rozmiar w ogóle nie zmienia licencji, a zachowanie zmienia dość mocno, ponieważ według dokumentacji mniejsze modele generują więcej tych fałszywych wielokilometrowych głębokości nieba. H+ jest domyślny nie bez powodu, ale na laptopie S stanowi różnicę między działaniem a niedziałaniem.

Depth Pro to jeden checkpoint bez możliwości wyboru. To nie jest krytyka — to wydanie z 2024 r., a w pracy podano pojedynczy wynik 0,3 sekundy — ale oznacza to, że pytanie migracyjne „który rozmiar” nie ma odpowiednika po starej stronie, a każde porównanie traktujące „Depth Pro” jako jeden wiersz wobec czterech spłaszcza rzeczywistą decyzję.

Liczby, takie jakie są.

Karta {{1}}Depth Pro 2{{/1}} podaje {{2}}Boundary F1 i Jitter uśrednione na zbiorach danych Sintel i Spring{{/2}}, twierdzi, że przewyższa wcześniejsze prace działające na pojedynczej klatce lub wielu klatkach na obu zbiorach, i przedstawia porównanie na wykresie. {{3}}Depth Pro{{/3}} jest jednym z punktów na tym wykresie. Osie są opisane — Boundary F1 od 0 do 0,3, jitter od 0,1 w dół do 0 — ale nie ma tabeli z wynikami poszczególnych modeli, więc poprawę można odczytać z dokładnością do około jednej setnej: {{4}}H+{{/4}} znajduje się blisko 0,29 Boundary F1 przy około 0,017 jitter, a oryginalny {{5}}Depth Pro{{/5}} przy około 0,235 i 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Traktuj to jako twierdzenie zgłoszone przez dostawcę i nieodtworzone, którym to jest. Żadna strona trzecia nie opublikowała liczby Boundary F1 ani Jitter dla Depth Pro 2, a raport techniczny, który definiowałby protokół oceny, jest zaślepką. Oryginalny Depth Pro natomiast dostarcza metryki granic we własnej bazie kodu — eval/boundary_metrics.py udostępnia SI_boundary_F1 i SI_boundary_Recall — więc jeśli chcesz samodzielnie przeprowadzić porównanie, narzędzia do połowy z niego są publiczne, a docelowy checkpoint to ponownie wytrenowane przybliżenie modelu z artykułu.

Licencja i kwestia komercyjna

Bez zmian i warto to zaznaczyć, ponieważ to coś, co często umyka przy aktualizacji. Wagi obu modeli są objęte licencją Apple Machine Learning Research Model, którą repozytorium definiuje jako zezwalającą na użycie wyłącznie do celów badawczych, co oznacza niekomercyjne badania naukowe i rozwój akademicki. Kod jest licencjonowany osobno, a podziękowania w Depth Pro 2 wymieniają TIMM i DINOv3 jako jego podstawy.

Aktualizacja jest więc darmowa w sensie licencji, a niedostępna w sensie produktu na obu końcach. Jeśli wypuszczasz produkt komercyjnie, żaden z tych punktów kontrolnych nie jest tym właściwym, a rozmowę, której potrzebujesz, należy przeprowadzić z Apple, a nie z plikiem licencji.

Migracja, konkretnie

Depth Pro 2 nie jest zamiennikiem typu „drop-in” dla Depth Pro, ponieważ zmieniły się nazwa pakietu, punkt wejścia i identyfikatory modeli. Depth Pro instaluje się z apple/ml-depth-pro i uruchamia się jako depth-pro-run -i ./data/example.jpg. Depth Pro 2 instaluje się z apple-aiml-research/ml-depth-pro-2 i uruchamia się jako uv run depth-pro-2 predict -i assets/example.jpg -o out/, a rozmiar wybiera się za pomocą opcji od -m depthpro2-s do -m depthpro2-h. W Pythonie import to depth_pro_2, a ścieżka konstrukcji modelu to create_model_and_transforms lub DepthPro2.from_pretrained.

Zmienił się też kształt interfejsu wyjściowego. model.infer() w Depth Pro zwraca słownik z depth i focallength_px. infer() w Depth Pro 2 zwraca depth, a ogniskową naturalniej jest uzyskać z osobnego estymatora lub przekazać jako f_px, gdy już ją masz. Jeśli masz pipeline, który zagląda do słownika predykcji, zarezerwuj sobie na to popołudnie.

To, co otrzymujesz w ramach migracji, to regulator rozmiaru, ścieżka wideo z dwoma udokumentowanymi trybami, wydzielony estymator ogniskowej oraz pakiet Core ML z działającą aplikacją demonstracyjną. Nie otrzymujesz natomiast artykułu, tabeli wyników porównawczych dla poszczególnych modeli ani żadnego niezależnego potwierdzenia, że nowy model jest lepszy — tylko wykres punktowy z opisanymi osiami i bez tabeli, która by za nim stała.

Nic z tego nie jest kierowane przez nas i nie powinno być tak opisywane, jakby było: Depth Pro 2 to wagi objęte licencją badawczą z własnych repozytoriów Apple. Miejscem, w którym warstwa routingu zarabia na siebie, jest krok dalej — opis sceny, decyzja, dokumentacja wokół Twojego etapu głębi to wywołania modeli językowych, a OrcaRouter udostępnia ponad 200 modeli hostowanych na jednym kluczu przy 0% marży względem cennika dostawców, wraz z automatycznym przełączaniem awaryjnym między dostawcami, dzięki czemu checkpoint badawczy bez regularnego cyklu wydań jest jedynym kruchym elementem w potoku, a nie jednym z kilku.

Jeśli korzystasz z Depth Pro i to działa, powodem do przejścia jest wideo. Jeśli korzystasz z Depth Pro i robisz wyłącznie zdjęcia, ostrość, którą masz, jest ostrością, którą sequel rzekomo zachował, a uczciwym rozwiązaniem jest poczekać na raport techniczny, zanim spędzisz popołudnie na zmianie nazw importów.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.