Ett genererat jämförelsekort för Depth Pro 2 och Marigold, med en vänsterkolumn som anger ett enda framåtpass, metriskt djup i meter, fyra storlekar från 24M till 872M parametrar och videostöd, och en högerkolumn som anger iterativ avbrusning, affininvariant djup, ungefär 768 pixlars effektiv upplösning och en diffusionsprior, samt en OrcaRouter-logotyp.
Guides & Insights

Depth Pro 2 vs Marigold: Metriskt djup eller en diffusionsprior

Författare

Gideon Frost

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Marigold förutsäger inte djup. Det genererar djup, ett avbrusningssteg i taget, från en latent diffusionsmodell som finjusterats utifrån Stable Diffusion 2. Depth Pro 2 förutsäger det, i en enda framåtpassning, från en transformer som tränats direkt på uppgiften. Båda producerar en djupkarta som ser rätt ut, båda är forskningslicensierade, och skillnaden mellan dem är skillnaden mellan en sampler och en regressor – vilket visar sig först som en faktura, sedan som en latensprofil och först därefter som noggrannhet.

Den ordningen är avsiktlig. Den vanliga jämförelsen ställer AbsRel på ena sidan och Boundary F1 på den andra och utropar en vinnare, vilket inte är möjligt här: Marigolds siffror och Depth Pro 2:s siffror kommer från olika protokoll på olika datamängder och har aldrig körts mot varandra av något av labben. Det som är jämförbart är kostnaden för att få ett svar, den skalkonvention som svaret levereras i och vad respektive licens tillåter. De tre frågorna har riktiga svar.

Två sätt att få ut ett tal ur pixlar

Marigolds modellkort anger uttryckligen sin egen typ: en generativ, latent diffusionsbaserad, affininvariant monokulär djupestimerare som är finjusterad från stable-diffusion-2. Checkpointen v1.1, prs-eth/marigold-depth-v1-1, skapades den 12 december 2024 och har 34 gillningar och cirka 6 600 nedladdningar. Den är utformad för DDIM-schemaläggaren och för mellan 1 och 50 avbrusningssteg, och den ärver basdiffusionsmodellens effektiva upplösning på ungefär 768 pixlar, så större indata bör storleksändras så att den längre sidan är 768 innan de matas in.

Depth Pro 2 är en diskriminativ modell. Kortet beskriver en multi-view-transformer över indatabildrutorna och en DPT-dekodare som förutsäger en invers djupkarta per bildruta, och sätter samman tokens från flera block till feature-kartor vid en trettioandradel till en fjärdedel av indataupplösningen. Ett anrop, en utdata, i indatans fulla upplösning – kortet är tydligt på den punkten, och det är motsatsen till en arbetsupplösning på 768 pixlar.

• Inferens – Marigold kör 1 till 50 avbrusningssteg per bild; Depth Pro 2 kör en framåtpassning.

• Arbetsupplösning — Marigolds effektiva upplösning är cirka 768 pixlar på långsidan; Depth Pro 2 predikterar vid indatans fulla upplösning.

• Ensembling – Marigold genererar endast en osäkerhetskarta när flera prediktioner kombineras i en ensemble med fler än två medlemmar, vilket återigen multiplicerar kostnaden; Depth Pro 2 returnerar ingen osäkerhet.

• Skala — Marigolds utdata är affininvariant, värden mellan 0 och 1 som interpolerar mellan när- och fjärrplan som modellen själv väljer; Depth Pro 2:s utdata är metrisk och anges i meter.

• Indata — Depth Pro 2 tar emot ett foto, en videofil eller en livekameraström; Marigold v1.1 tar emot en enskild bild.

Marigold är en sampler, och det medför en kostnad.

Antalet steg är inte en fotnot. Kvaliteten hos en diffusionsbaserad djupmodell beror på hur många avbrusningssteg den kör och hur många prover den ensemblerar, och båda dessa är rattar du ställer in. I det lägre intervallet får du en snabb, grov karta; vid 50 steg med en ensemble får du en bättre karta och en mycket större beräkningskostnad för samma bild. Marigolds kort lyfter fram detta som en fördel – 1 till 50 steg är ett intervall, och du väljer var i det du vill ligga – och det är ärligt, men det innebär att "Marigolds noggrannhet" inte är en enda siffra. Det är en kurva, och kurvan har en kostnadsaxel.

Depth Pro 2 har inget motsvarande reglage. Storleken är reglaget – S, B, L eller H+ – och den ändrar vikterna snarare än antalet passeringar. En prediktion är en passering oavsett. För en notebook är den skillnaden akademisk; för en tjänst som bearbetar en videoström i 30 bilder per sekund är den hela designen.

Vilket är anledningen till att kostnadsdiskussionen kring en djupmodell inte stannar vid modellen. Steget som konsumerar en djupkarta – att beskriva scenen, besluta vad som ska göras, skriva resultatet – är språkmodellsarbete, och det är den del där kostnaden per anrop publiceras och är jämförbar. OrcaRouter förmedlar leverantörslistpriser vidare med 0 % påslag för över 200 hostade modeller med en enda nyckel, med automatisk redundansväxling mellan leverantörer. En diffusionssampler i visionssteget med en ensemblemultiplikator är precis den typ av kostnad som får en att vilja att resten av pipelinen ska vara förutsägbar.

Depth Pro 2 svarar i ett enda svep

Single-pass-designen har sina egna begränsningar, och de är dokumenterade snarare än dolda. Djup är avståndet längs kamerans betraktningsaxel — z-koordinaten, inte radiellt avstånd. Inverst djup i Python normaliseras med brännvidden: focallength_px / (width * depth). Djupet skalar med brännvidden, så en brännvidd som är 10 procent för lång placerar allt 10 procent för långt bort.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Videobeteendet är där arkitekturen lönar sig. Buffrat läge bearbetar klipp om 16 bildrutor som överlappar med fyra, vilket håller djupet stabilt över klippgränser; obuffrat läge förutsäger varje bildruta när den anländer utifrån den bildrutan och de 15 före den, med den dokumenterade uppvärmningskostnaden att de första bildrutorna i en ström har färre föregångare och därför mindre stabilt djup. En video får en brännvidd för alla sina bildrutor, medianen över det första fönstret. Minnet växer med bildrutestorlek och fönsterlängd, inte med varaktigheten.

Inget av det har någon Marigold-motsvarighet, eftersom Marigold v1.1 är en enbildsmodell. Kör man den på video kör man den bildruta för bildruta, och vilket flimmer som än kommer ut är det flimmer man levererar.

Affininvariant mot metrik

Det här är avsnittet som avgör de flesta integrationer, och det handlar inte om kvalitet. Marigolds utdata är affint invariant: de predikterade värdena ligger mellan 0 och 1 och interpolerar mellan de när- och fjärrplan som modellen valde. Det är en fullt godtagbar representation för en matte, ett djuppass för kompositering eller vad som helst som skalas om för att passa ett intervall – och det är standardkonventionen i litteraturen om diffusionsdjup, av det goda skälet att det är vad dessa modeller faktiskt är bra på.

Depth Pro 2:s utdata är en mätning i meter, med brännvidden bifogad. För en robot som avgör om ett hinder är en meter eller tre meter bort, för en AR-overlay som måste ligga på ett fysiskt avstånd, för ett punktmoln i ett verkligt koordinatsystem, är den skillnaden hela saken. Att återställa absolut skala från en affininvariant karta är ett separat steg som involverar en känd referens i scenen eller en sensor, och det är arbete som Depth Pro 2 redan har gjort internt.

Ingendera är bättre. De är olika produkter av samma ord, och vilken du vill ha avgörs av vad som konsumerar kartan.

Vad Marigold V2 ändrade 2026

Namnet "Marigold" omfattar nu två generationer, och den andra är inte en liten uppdatering. Marigold V2, huawei-bayerlab/marigold-v2-0, skapades den 27 augusti 2026 och släpptes första gången den 8 september 2026. Det är en diffusionstransformer snarare än en UNet: en LoRA-fintrimning av Qwen/Qwen-Image-Edit-2509, publicerad tillsammans med en SIGGRAPH Asia 2026-artikel i ACM Transactions on Graphics 45(6), arXiv 2609.08084.

Kapacitetsytan vidgades avsevärt. Marigold V2 levereras med checkpoints för djup med logaritmisk, linjär och disparitetsbaserad parametrisering, skiktade varianter som förutsäger geometri bakom glas, samt ytnormaler och albedo — det sista är den typ av utdata som bara är meningsfull från en generativ modell som redan förstår bildbildning. Inferens kräver cirka 17 GB GPU-minne vid 1024² och 29 GB vid 2048², så ett 24 GB-kort klarar det första och det andra kräver 32 GB.

Dess djuputdata är fortfarande affint invariant – djup upp till en okänd skala och förskjutning per bild – så skalargumentet ovan överlever generationsbytet intakt. Det som har ändrats är noggrannhet och upplösning: de rapporterade zero-shot-resultaten enligt Pixel-Perfect Depth-protokollet, AbsRel (lägre är bättre) och δ1 i procent, är 3,6 / 98,0 på NYUv2, 5,4 / 97,4 på KITTI, 2,8 / 99,2 på ETH3D, 3,7 / 97,9 på ScanNet och 5,2 / 97,1 på DIODE. Ytnormaler ligger på ett genomsnittligt vinkelfel på 16,6 grader och 61,2 procent inom 11,25 grader på NYUv2, och albedo på Hypersim vid PSNR 20,78, SSIM 0,811 och LPIPS 0,195. Dessa är leverantörsrapporterade och inte reproducerade här.

Vad varje sida låter dig citera

Marigold V2 publicerar en tabell. Depth Pro 2 publicerar ett spridningsdiagram med märkta axlar och ingen tabell per modell. Den asymmetrin är det mest underrapporterade faktumet om detta par, och den talar emot antagandet att den nyare modellen måste vara den bättre dokumenterade.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Depth Pro 2:s kort rapporterar Boundary F1 och Jitter i genomsnitt över Sintel och Spring, hävdar att det överträffar tidigare arbeten som arbetar med en enskild bildruta eller flera bildrutor på båda dessa, och ritar upp ungefär två dussin baslinjer – men Marigold finns inte bland dem. Det finns ingen Marigold-markering i Apples diagram och ingen Depth Pro 2-rad i Marigold V2:s tabell, så inget av labben har placerat de två modellerna på en och samma axel. Citatblocket står fortfarande som arXiv:261X.XXXXX – en platshållare – och det finns ingen forskningssida för Depth Pro 2 på machinelearning.apple.com. Den tekniska rapport som kortet säger jämför storlekarna med avseende på hastighet och minne finns inte ännu.

Så ett upphandlingsdokument kan i dag hänvisa till Marigold V2:s AbsRel och δ1, med förbehållet att de är leverantörssiffror på ett protokoll som du inte har kört. Det kan inte hänvisa till någon siffra för Depth Pro 2 alls. Det är inte kritik mot modellen; det är ett faktum om släppet, och det kommer att ändras den dag rapporten landar.

Licenser: OpenRAIL, Apache, endast för forskning

Tre licenser över tre kontrollpunkter, och de är inte utbytbara.

• Marigold v1.1 — CreativeML OpenRAIL++-M, Stable Diffusion 2:s community-licens, som innebär användningsbaserade restriktioner snarare än ett rent icke-kommersiellt förbud.

• Marigold V2 – Apache 2.0 för de släppta vikterna, där basmodellen Qwen-Image-Edit-2509 behåller sin egen licens, så dina skyldigheter beror på båda.

• Depth Pro 2 — Apple Machine Learning Research Model-licensen, som repositoriet definierar som att den endast tillåter användning för forskningsändamål, vilket innebär icke-kommersiell vetenskaplig forskning och akademisk utveckling.

Den praktiska konsekvensen: Marigold V2 är den enda av dessa tre som rimligen är leveransbar, beroende på vad Qwen-basmodellen kräver. Depth Pro 2 är det inte, oavsett storlek, och dess kodlicens ändrar inte det. Depth Pro 2:s kod erkänner separat TIMM och DINOv3 som sina grundvalar.

Vilken ska man välja

Välj Marigold V2 om du vill ha en djupkarta som en av flera utdata – normaler, albedo, lagerindelat genomsynligt djup – och du arbetar vid ungefär 1024², och den affininvarianta konventionen är okej eftersom din konsument skalar om ändå. Det är den mer flexibla modellen, den publicerar siffror, och dess licens är den enda tillåtande här.

Välj {{1}}Depth Pro 2{{/1}} om du behöver meter, om din indata är en video eller ett liveflöde, eller om du behöver skarpa gränser i full upplösning och inte har råd att sampla om till 768. Börja med {{2}}S{{/2}} på en bärbar dator, som Apples dokumentation föreslår, och räkna med att himmelsdjupet klipps — README-filens eget råd, eftersom himmelspixlar returnerar oändligt djup eller ett ändligt värde på flera kilometer på de små modellerna.

Det du inte bör göra är att läsa de två korten som en topplista. Marigold V2:s AbsRel och Depth Pro 2:s Boundary F1 är inte samma experiment, och det enda ärliga påståendet om deras relativa kvalitet är att ingen har gjort jämförelsen: Apple plottade två dussin baslinjer och Marigold var inte en av dem, medan Marigold V2:s artikel utvärderar mot sina egna föregångare enligt Pixel-Perfect Depth-protokollet.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.