Wygenerowana karta porównawcza dla Depth Pro 2 i Marigold, z lewą kolumną zawierającą pojedynczy przebieg w przód, głębokość metryczną w metrach, cztery rozmiary od 24M do 872M parametrów i obsługę wideo oraz prawą kolumną zawierającą iteracyjne odszumianie, głębokość niezmienniczą względem przekształceń afinicznych, efektywną rozdzielczość około 768 pikseli i prior dyfuzyjny, a także logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: głębia metryczna czy prior dyfuzyjny?

Autor

Gideon Frost

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Marigold nie przewiduje głębi. Generuje ją, krok po kroku odszumiania, z modelu dyfuzji latentnej dostrojonego na bazie Stable Diffusion 2. Depth Pro 2 przewiduje ją w jednym przejściu w przód, za pomocą transformera trenowanego bezpośrednio na tym zadaniu. Oba tworzą mapę głębi, która wygląda poprawnie, oba mają licencję badawczą, a różnica między nimi to różnica między samplerem a regresorem — która najpierw objawia się jako rachunek, po drugie jako profil opóźnień, a dopiero po trzecie jako dokładność.

Ta kolejność jest celowa. Zwykłe porównanie stawia AbsRel po jednej stronie, a Boundary F1 po drugiej i ogłasza zwycięzcę, co tutaj nie jest możliwe: liczby Marigolda i liczby Depth Pro 2 pochodzą z różnych protokołów na różnych zbiorach danych i nigdy nie zostały skonfrontowane ze sobą przez żadne z laboratoriów. Porównywalne są: koszt uzyskania odpowiedzi, konwencja skali, w jakiej odpowiedź jest podawana, oraz to, na co pozwala każda licencja. Te trzy pytania mają realne odpowiedzi.

Dwa sposoby na wydobycie liczby z pikseli

Karta modelu Marigolda wprost określa jego własny typ: generatywny, oparty na ukrytej dyfuzji, niezmienniczy względem przekształceń afinicznych estymator głębi z pojedynczego obrazu, dostrojony na podstawie stable-diffusion-2. Punkt kontrolny v1.1, prs-eth/marigold-depth-v1-1, utworzono 12 grudnia 2024 r.; ma 34 polubienia i około 6600 pobrań. Jest przeznaczony dla harmonogramu DDIM i od 1 do 50 kroków odszumiania oraz dziedziczy efektywną rozdzielczość bazowego modelu dyfuzyjnego wynoszącą około 768 pikseli, dlatego większe dane wejściowe należy przed podaniem ich do modelu przeskalować tak, aby dłuższy bok wynosił 768.

Depth Pro 2 to model dyskryminacyjny. Karta opisuje transformer wielowidokowy działający na klatkach wejściowych oraz dekoder DPT, który przewiduje mapę odwrotnej głębi dla każdej klatki, składając tokeny z kilku bloków w mapy cech o rozdzielczości od jednej trzydziestej drugiej do jednej czwartej rozdzielczości wejściowej. Jedno wywołanie, jedno wyjście, w pełnej rozdzielczości wejściowej — karta jest co do tego konkretna, i jest to przeciwieństwo roboczej rozdzielczości 768 pikseli.

• Inferencja — Marigold wykonuje od 1 do 50 kroków odszumiania na obraz; Depth Pro 2 wykonuje jedno przejście w przód.

• Rozdzielczość robocza — efektywna rozdzielczość Marigold wynosi około 768 pikseli na dłuższym boku; Depth Pro 2 predykuje w pełnej rozdzielczości danych wejściowych.

• Ensembling — Marigold tworzy mapę niepewności tylko wtedy, gdy wiele predykcji zostanie połączonych w ensemble o rozmiarze większym niż dwa, co ponownie zwielokrotnia koszt; Depth Pro 2 nie zwraca żadnej niepewności.

• Skala — wynik Marigold jest niezmienniczy względem przekształceń afinicznych, a wartości od 0 do 1 są interpolowane między wybranymi przez sam model płaszczyznami bliską i daleką; wynik Depth Pro 2 jest metryczny, w metrach.

• Dane wejściowe — Depth Pro 2 przyjmuje zdjęcie, plik wideo lub transmisję z kamery na żywo; Marigold v1.1 przyjmuje pojedynczy obraz.

Marigold to sampler, a to ma swoją cenę.

Liczba kroków nie jest przypisem. Jakość modelu głębi dyfuzyjnej zależy od tego, ile kroków odszumiania wykonuje i ile próbek łączy w ensemble, a oba te parametry ustawiasz sam. Przy niskiej wartości dostajesz szybką, zgrubną mapę; przy 50 krokach z ensemble dostajesz lepszą mapę i znacznie większy rachunek za obliczenia dla tego samego obrazu. Karta modelu Marigold przedstawia to jako zaletę — od 1 do 50 kroków to zakres, a ty wybierasz, gdzie się na nim chcesz znaleźć — i to jest uczciwe, ale oznacza, że „dokładność Marigold” nie jest pojedynczą liczbą. To krzywa, a krzywa ma oś kosztu.

Depth Pro 2 nie ma odpowiednika tego pokrętła. Rozmiar pełni rolę pokrętła — S, B, L lub H+ — i zmienia wagi, a nie liczbę przejść. Predykcja to i tak jedno przejście. W przypadku notebooka ta różnica ma znaczenie akademickie; w przypadku usługi przetwarzającej strumień wideo przy 30 klatkach na sekundę to kwestia całego projektu.

Dlatego rozmowa o kosztach wokół modelu głębi nie kończy się na samym modelu. Etap, który zużywa mapę głębi — opisywanie sceny, decydowanie, co zrobić, zapisywanie wyniku — to praca modelu językowego, i to właśnie w tej części koszt na wywołanie jest publikowany i porównywalny. OrcaRouter przekazuje cennik dostawców bez marży (0%) w ponad 200 hostowanych modelach na jednym kluczu, z automatycznym przełączaniem awaryjnym między dostawcami. Sampler dyfuzji w etapie wizyjnym z mnożnikiem ensemble to dokładnie ten rodzaj kosztu, który sprawia, że chcesz, aby reszta pipeline'u była przewidywalna.

Depth Pro 2 odpowiada w jednym przebiegu

Projekt jednoprzebiegowy ma własne ograniczenia i są one udokumentowane, a nie ukryte. Głębokość to odległość wzdłuż osi widzenia kamery — współrzędna z, a nie odległość promieniowa. Odwrotność głębokości w Pythonie jest normalizowana przez ogniskową: focallength_px / (width * depth). Głębokość skaluje się wraz z ogniskową, więc ogniskowa o 10 procent za długa umieszcza wszystko o 10 procent za daleko.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Zachowanie wideo to obszar, w którym architektura się sprawdza. Tryb buforowany przetwarza klipy po 16 klatek nakładające się na cztery klatki, utrzymując stabilną głębię na granicach klipów; tryb niebuforowany przewiduje każdą klatkę w miarę jej napływu na podstawie tej klatki i 15 poprzednich, z udokumentowaną karą za rozgrzewkę — pierwsze klatki strumienia mają mniej poprzedników, a więc mniej stabilną głębię. Dla całego wideo przyjmuje się jedną ogniskową dla wszystkich klatek: medianę z pierwszego okna. Pamięć rośnie wraz z rozmiarem klatki i długością okna, a nie z czasem trwania.

Żadna z tych rzeczy nie ma odpowiednika w Marigold, ponieważ Marigold v1.1 to model przetwarzający pojedynczy obraz. Uruchom go na wideo, a będziesz go uruchamiać klatka po klatce — i jakie migotanie wyjdzie, takie migotanie dostarczasz.

Afinicznie niezmienniczy względem metryki

Ta sekcja decyduje o większości integracji i nie chodzi w niej o jakość. Dane wyjściowe Marigold są niezmiennicze względem przekształceń afinicznych: przewidywane wartości mieszczą się w przedziale od 0 do 1 i interpolują między płaszczyzną bliską a daleką wybranymi przez model. To doskonale dobra reprezentacja dla maski, przebiegu głębi do komponowania albo czegokolwiek, co jest przeskalowywane do zakresu — i jest to standardowa konwencja w literaturze dotyczącej głębi z dyfuzji, z dobrego powodu: właśnie w tym te modele są naprawdę dobre.

Dane wyjściowe Depth Pro 2 to pomiar w metrach z dołączoną ogniskową. Dla robota decydującego, czy przeszkoda jest metr czy trzy metry dalej, dla nakładki AR, która musi znajdować się w fizycznej odległości, dla chmury punktów w rzeczywistym układzie współrzędnych — ta różnica jest tu kluczowa. Odtworzenie skali bezwzględnej z mapy niezmienniczej względem przekształceń afinicznych to osobny krok wymagający znanego odniesienia w scenie lub czujnika, a Depth Pro 2 wykonał tę pracę już wewnętrznie.

Żaden nie jest lepszy. To różne wytwory tego samego słowa, a o tym, którego chcesz, decyduje to, co konsumuje mapę.

Co zmieniło się w Marigold V2 w 2026 roku

Nazwa „Marigold” obejmuje teraz dwie generacje, a druga z nich nie jest drobną aktualizacją. Marigold V2, huawei-bayerlab/marigold-v2-0, powstał 27 sierpnia 2026 r., a jego pierwsze wydanie miało miejsce 8 września 2026 r. Jest to transformer dyfuzyjny, a nie UNet: dostrojenie LoRA modelu Qwen/Qwen-Image-Edit-2509, opublikowane wraz z artykułem na SIGGRAPH Asia 2026 w ACM Transactions on Graphics 45(6), arXiv 2609.08084.

Powierzchnia możliwości znacznie się poszerzyła. Marigold V2 udostępnia punkty kontrolne dla głębi w parametryzacjach logarytmicznej, liniowej i dysparytetowej, warstwowe warianty przewidujące geometrię za szkłem, a także normalne powierzchni i albedo — to ostatnie to rodzaj wyniku, który ma sens tylko w modelu generatywnym rozumiejącym już powstawanie obrazu. Wnioskowanie wymaga około 17 GB pamięci GPU przy 1024² i 29 GB przy 2048², więc karta 24 GB pokrywa pierwszy przypadek, a drugi wymaga 32 GB.

Jego wyjście głębi nadal jest niezmiennicze względem przekształcenia afinicznego — głębia określona z dokładnością do nieznanej skali i przesunięcia na obraz — więc powyższy argument o skali pozostaje nienaruszony po zmianie generacji. Zmieniły się dokładność i rozdzielczość: raportowane wyniki zero-shot w ramach protokołu Pixel-Perfect Depth, AbsRel (niżej jest lepiej) i δ1 w procentach, wynoszą 3,6 / 98,0 na NYUv2, 5,4 / 97,4 na KITTI, 2,8 / 99,2 na ETH3D, 3,7 / 97,9 na ScanNet i 5,2 / 97,1 na DIODE. Normalne powierzchni osiągają średni błąd kątowy 16,6 stopnia i 61,2 procent w granicach 11,25 stopnia na NYUv2, a albedo na Hypersim — PSNR 20,78, SSIM 0,811 i LPIPS 0,195. Są to wartości podane przez producenta i nieodtworzone tutaj.

Co każda ze stron pozwoli ci zacytować

Marigold V2 publikuje tabelę. Depth Pro 2 publikuje wykres punktowy z opisanymi osiami i bez tabeli dla poszczególnych modeli. Ta asymetria jest najbardziej niedostrzeganym faktem dotyczącym tej pary i przeczy założeniu, że nowszy model musi być tym lepiej udokumentowanym.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Karta Depth Pro 2 podaje średnie wartości Boundary F1 i Jitter na zbiorach Sintel i Spring, twierdzi, że przewyższa wcześniejsze prace działające na pojedynczej klatce lub wielu klatkach w obu przypadkach, i przedstawia na wykresie około dwóch tuzinów modeli bazowych — ale nie ma wśród nich Marigold. Na wykresie Apple nie ma znacznika Marigold, a w tabeli Marigold V2 nie ma wiersza Depth Pro 2, więc żadne z laboratoriów nie umieściło obu modeli na jednej osi. Blok cytowania nadal zawiera arXiv:261X.XXXXX — symbol zastępczy — a na machinelearning.apple.com nie ma strony badawczej poświęconej Depth Pro 2. Raport techniczny, o którym karta mówi, że porównuje rozmiary pod względem szybkości i pamięci, jeszcze nie istnieje.

Zatem dokument zakupowy może dziś powoływać się na AbsRel i δ1 modelu Marigold V2, z zastrzeżeniem, że są to liczby dostawcy uzyskane według protokołu, którego nie przeprowadzono. Nie może natomiast powołać się na żadną liczbę dla Depth Pro 2. To nie jest przytyk do modelu; to fakt dotyczący wydania, który zmieni się w dniu publikacji raportu.

Licencje: OpenRAIL, Apache, wyłącznie do celów badawczych

Trzy licencje w trzech punktach kontrolnych i nie są one wymienne.

• Marigold v1.1 — CreativeML OpenRAIL++-M, licencja społecznościowa Stable Diffusion 2, która nakłada ograniczenia dotyczące sposobu użycia, a nie wyłącznie zakaz wykorzystania komercyjnego.

• Marigold V2 — Apache 2.0 na udostępnionych wagach, przy czym bazowy Qwen-Image-Edit-2509 zachowuje własną licencję, więc Twoje obowiązki zależą od obu z nich.

• Depth Pro 2 — licencja Apple Machine Learning Research Model, którą repozytorium definiuje jako zezwalającą na wykorzystanie wyłącznie w celach badawczych, rozumianych jako niekomercyjne badania naukowe i rozwój akademicki.

Praktyczna konsekwencja: Marigold V2 jest jedynym z tych trzech, który realnie nadaje się do wdrożenia, z zastrzeżeniem tego, czego wymaga bazowy model Qwen. Depth Pro 2 nie nadaje się w żadnym rozmiarze, a jego licencja kodu tego nie zmienia. Kod Depth Pro 2 osobno wskazuje TIMM i DINOv3 jako swoje fundamenty.

Po który sięgnąć

Sięgnij po Marigold V2, jeśli chcesz mapę głębi jako jedno z kilku wyjść — normalne, albedo, warstwową głębię przezroczystości — i pracujesz przy około 1024², a konwencja niezmiennicza względem przekształceń afinicznych jest w porządku, ponieważ twój konsument i tak przeskalowuje. To bardziej elastyczny model, publikuje liczby, a jego licencja jest tu jedyną permisywną.

Sięgnij po Depth Pro 2, jeśli potrzebujesz metrów, jeśli Twoje dane wejściowe to wideo lub transmisja na żywo, lub jeśli potrzebujesz ostrych granic w pełnej rozdzielczości i nie możesz sobie pozwolić na ponowne próbkowanie do 768. Zacznij od S na laptopie, jak sugeruje dokumentacja Apple, i spodziewaj się obcięcia głębi nieba — to rada z samego README, ponieważ piksele nieba zwracają nieskończoną głębię lub skończoną wartość kilku kilometrów w małych modelach.

Nie należy odczytywać dwóch kart jako tabeli liderów. AbsRel modelu Marigold V2 i Boundary F1 modelu Depth Pro 2 nie pochodzą z tego samego eksperymentu, a jedynym uczciwym stwierdzeniem na temat ich względnej jakości jest to, że nikt nie przeprowadził tego porównania: Apple naniosło na wykres dwa tuziny modeli odniesienia, a Marigold nie był jednym z nich, podczas gdy praca o Marigold V2 porównuje go z jego własnymi poprzednikami w protokole Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.