Una scheda di confronto generata per Depth Pro 2 e Marigold, con una colonna sinistra che riporta singolo passaggio in avanti, profondità metrica in metri, quattro dimensioni da 24M a 872M parametri e supporto video, e una colonna destra che riporta denoising iterativo, profondità affine-invariante, risoluzione effettiva di circa 768 pixel e un prior di diffusione, più un logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: profondità metrica o un prior di diffusione

Autore

Gideon Frost

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Marigold non predice la profondità. La genera, un passo di denoising alla volta, da un modello di diffusione latente messo a punto a partire da Stable Diffusion 2. Depth Pro 2 la predice, in un singolo passaggio in avanti, da un transformer addestrato direttamente sul compito. Entrambi producono una mappa di profondità che sembra corretta, entrambi sono con licenza per la ricerca, e la differenza tra loro è la differenza tra un sampler e un regressore — che si manifesta prima come una bolletta, poi come un profilo di latenza, e solo per terza cosa come accuratezza.

Quell'ordinamento è intenzionale. Il confronto abituale mette AbsRel da una parte e Boundary F1 dall'altra e dichiara un vincitore, cosa che qui non è possibile: i numeri di Marigold e quelli di Depth Pro 2 provengono da protocolli diversi su dataset diversi e non sono mai stati messi a confronto tra loro da nessuno dei due laboratori. Ciò che è comparabile è il costo per ottenere una risposta, la convenzione di scala in cui la risposta arriva e ciò che ciascuna licenza consente. A queste tre domande si può dare una risposta concreta.

Due modi per ottenere un numero dai pixel

La model card di Marigold è esplicita riguardo alla propria tipologia: un estimatore di profondità monoculare affine-invariante basato su diffusione latente generativa, messo a punto a partire da stable-diffusion-2. Il checkpoint v1.1, prs-eth/marigold-depth-v1-1, è stato creato il 12 dicembre 2024 e conta 34 like e circa 6.600 download. È progettato per lo scheduler DDIM e per un numero di passaggi di denoising compreso tra 1 e 50, e eredita la risoluzione effettiva del modello di diffusione di base, pari a circa 768 pixel, per cui gli input più grandi dovrebbero essere ridimensionati con il lato più lungo a 768 prima di essere forniti in ingresso.

Depth Pro 2 è un modello discriminativo. La scheda descrive un transformer multi-vista sui frame di input e un decoder DPT che predice una mappa di profondità inversa per frame, assemblando token da diversi blocchi in feature map a una risoluzione compresa tra un trentaduesimo e un quarto della risoluzione di input. Una chiamata, un output, alla risoluzione piena dell'input — la scheda è specifica su questo, ed è l'opposto di una risoluzione di lavoro di 768 pixel.

• Inferenza — Marigold esegue da 1 a 50 passaggi di denoising per immagine; Depth Pro 2 esegue un singolo forward pass.

• Risoluzione di lavoro — la risoluzione effettiva di Marigold è di circa 768 pixel sul lato lungo; Depth Pro 2 esegue la previsione alla risoluzione completa dell'input.

• Ensembling — Marigold produce una mappa di incertezza solo quando più predizioni vengono combinate in ensemble con una dimensione superiore a due, il che moltiplica ulteriormente il costo; Depth Pro 2 non restituisce alcuna incertezza.

Scala — L'output di Marigold è affine-invariante, con valori compresi tra 0 e 1 che interpolano tra i piani vicino e lontano scelti dal modello stesso; l'output di Depth Pro 2 è metrico, in metri.

• Input — Depth Pro 2 elabora una foto, un file video o un feed live da fotocamera; Marigold v1.1 elabora una singola immagine.

Marigold è un sampler, e questo ha un costo.

Il numero di passi non è una nota a piè di pagina. La qualità di un modello di profondità a diffusione è funzione di quanti passi di denoising esegue e di quanti campioni mette in ensemble, ed entrambi sono parametri che imposti tu. All'estremo inferiore ottieni una mappa veloce e approssimativa; a 50 passi con un ensemble ottieni una mappa migliore e un conto di calcolo molto più salato per la stessa immagine. La scheda di Marigold lo presenta come un punto di forza — da 1 a 50 passi è un intervallo, e scegli tu dove collocarti — ed è onesto, ma significa che la "precisione di Marigold" non è un numero singolo. È una curva, e la curva ha un asse dei costi.

Depth Pro 2 non ha una manopola equivalente. La dimensione è la manopola — S, B, L o H+ — e cambia i pesi anziché il numero di passaggi. Una previsione è un solo passaggio in ogni caso. Per un notebook, quella differenza è accademica; per un servizio che elabora un flusso video a 30 fotogrammi al secondo, è l'intero progetto.

Ecco perché la conversazione sui costi legata a un modello di profondità non si ferma al modello. La fase che consuma una mappa di profondità — descrivere la scena, decidere cosa fare, scrivere il risultato — è lavoro da modello linguistico, ed è la parte in cui il costo per chiamata è pubblicato e confrontabile. OrcaRouter trasferisce il prezzo di listino del provider con 0% di ricarico su oltre 200 modelli ospitati con un'unica chiave, con failover automatico tra provider. Un campionatore diffusion nella fase di visione con un moltiplicatore ensemble è esattamente il tipo di costo che ti fa desiderare che il resto della pipeline sia prevedibile.

Depth Pro 2 risponde in un'unica passata

Il design a passaggio singolo comporta vincoli propri, che sono documentati anziché nascosti. La profondità è la distanza lungo l'asse di visuale della fotocamera — la coordinata z, non la distanza radiale. La profondità inversa in Python è normalizzata in base alla lunghezza focale: focallength_px / (width * depth). La profondità scala con la lunghezza focale, quindi una lunghezza focale più lunga del 10 percento colloca ogni cosa il 10 percento troppo lontano.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Il comportamento video è il punto in cui l'architettura ripaga. La modalità buffered elabora clip di 16 frame sovrapposte di quattro, mantenendo la profondità stabile attraverso i confini delle clip; la modalità unbuffered predice ogni frame nel momento in cui arriva, a partire da quel frame e dai 15 precedenti, con la penalità di warm-up documentata: i primi frame di uno stream hanno meno predecessori e quindi una profondità meno stabile. A un video viene assegnata una lunghezza focale per tutti i suoi frame, la mediana sulla prima finestra. La memoria cresce con la dimensione del frame e la lunghezza della finestra, non con la durata.

Niente di tutto ciò ha un equivalente in Marigold, perché Marigold v1.1 è un modello a immagine singola. Eseguilo su un video e lo esegui fotogramma per fotogramma, e qualunque sfarfallio ne risulti è lo sfarfallio che consegni.

Invariante affine rispetto alla metrica

Questa è la sezione che determina la maggior parte delle integrazioni, e non riguarda la qualità. L'output di Marigold è affine-invariante: i valori previsti sono compresi tra 0 e 1 e interpolano tra i piani vicino e lontano scelti dal modello. È una rappresentazione perfettamente adeguata per un matte, un pass di profondità per il compositing o qualsiasi cosa venga riscalata per rientrare in un intervallo — ed è la convenzione standard nella letteratura diffusion-depth, per l'ottima ragione che è ciò in cui questi modelli sono davvero bravi.

L'output di Depth Pro 2 è una misura in metri, con la lunghezza focale associata. Per un robot che deve decidere se un ostacolo è a un metro o a tre metri di distanza, per una sovrapposizione AR che deve trovarsi a una distanza fisica, per una nuvola di punti in un sistema di coordinate reale, quella differenza è tutto il punto. Recuperare la scala assoluta da una mappa invariante per trasformazioni affini è un passaggio separato che implica un riferimento noto nella scena o un sensore, ed è un lavoro che Depth Pro 2 ha già svolto internamente.

Nessuno dei due è migliore. Sono prodotti diversi della stessa parola, e quello che vuoi è deciso da ciò che consuma la mappa.

Cosa ha cambiato Marigold V2 nel 2026

Il nome "Marigold" ora copre due generazioni, e la seconda non è un piccolo aggiornamento. Marigold V2, huawei-bayerlab/marigold-v2-0, è stato creato il 27 agosto 2026 con un primo rilascio l'8 settembre 2026. È un diffusion transformer anziché una UNet: un fine-tuning LoRA di Qwen/Qwen-Image-Edit-2509, pubblicato con un articolo SIGGRAPH Asia 2026 su ACM Transactions on Graphics 45(6), arXiv 2609.08084.

La superficie delle capacità si è ampliata considerevolmente. Marigold V2 include checkpoint per la profondità in parametrizzazioni logaritmiche, lineari e di disparità, varianti a strati che prevedono la geometria dietro il vetro, oltre a normali di superficie e albedo — quest'ultimo è il tipo di output che ha senso solo da un modello generativo che comprende già la formazione dell'immagine. L'inferenza richiede circa 17 GB di memoria GPU a 1024² e 29 GB a 2048², quindi una scheda da 24 GB copre la prima risoluzione e per la seconda servono 32 GB.

Il suo output di profondità è ancora invariante rispetto alle trasformazioni affini — profondità a meno di una scala e uno spostamento sconosciuti per immagine — quindi l'argomento sulla scala di cui sopra sopravvive intatto al cambiamento di generazione. Ciò che è cambiato è l'accuratezza e la risoluzione: i risultati zero-shot riportati secondo il protocollo Pixel-Perfect Depth, AbsRel (più basso è meglio) e δ1 in percentuale, sono 3,6 / 98,0 su NYUv2, 5,4 / 97,4 su KITTI, 2,8 / 99,2 su ETH3D, 3,7 / 97,9 su ScanNet e 5,2 / 97,1 su DIODE. Le normali di superficie si attestano a un errore angolare medio di 16,6 gradi e 61,2 percento entro 11,25 gradi su NYUv2, e l'albedo su Hypersim a PSNR 20,78, SSIM 0,811 e LPIPS 0,195. Questi sono riportati dal fornitore e non riprodotti qui.

Cosa ciascuna parte ti consentirà di citare

Marigold V2 pubblica una tabella. Depth Pro 2 pubblica un grafico a dispersione con assi etichettati e nessuna tabella per modello. Questa asimmetria è il fatto più trascurato riguardo a questa accoppiata, e contraddice l'assunto che il modello più recente debba essere quello meglio documentato.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

La scheda di Depth Pro 2 riporta Boundary F1 e Jitter mediati su Sintel e Spring, sostiene di superare il lavoro precedente che opera su un singolo frame o su più frame su entrambi, e traccia circa due dozzine di baseline — ma Marigold non è tra queste. Non c'è alcun indicatore Marigold nel grafico di Apple e nessuna riga Depth Pro 2 nella tabella di Marigold V2, quindi nessuno dei due laboratori ha collocato i due modelli su un unico asse. Il blocco delle citazioni riporta ancora arXiv:261X.XXXXX — un segnaposto — e non esiste una pagina di ricerca per Depth Pro 2 su machinelearning.apple.com. Il rapporto tecnico che la scheda dice confronti le dimensioni in termini di velocità e memoria non esiste ancora.

Quindi un documento di approvvigionamento può citare oggi AbsRel e δ1 di Marigold V2, con l'avvertenza che si tratta di numeri del fornitore su un protocollo che non hai eseguito. Non può citare affatto un numero di Depth Pro 2. Non è una critica al modello; è un fatto relativo al rilascio, e cambierà il giorno in cui arriverà il report.

Licenze: OpenRAIL, Apache, solo ricerca

Tre licenze su tre checkpoint, e non sono intercambiabili.

• Marigold v1.1 — CreativeML OpenRAIL++-M, la licenza community di Stable Diffusion 2, che comporta restrizioni basate sull'uso anziché un divieto puramente non commerciale.

• Marigold V2 — Apache 2.0 sui pesi rilasciati, con il modello base Qwen-Image-Edit-2509 che mantiene la propria licenza, quindi i tuoi obblighi dipendono da entrambe.

• Depth Pro 2 — la licenza Apple Machine Learning Research Model, che il repository definisce come autorizzante l'uso esclusivamente per finalità di ricerca, vale a dire ricerca scientifica non commerciale e sviluppo accademico.

La conseguenza pratica: Marigold V2 è l'unico di questi tre a poter essere plausibilmente rilasciato, fatte salve le esigenze del modello base Qwen. Depth Pro 2 non lo è, a nessuna dimensione, e la sua licenza del codice non cambia la situazione. Il codice di Depth Pro 2 riconosce separatamente TIMM e DINOv3 come suoi fondamenti.

Quale scegliere

Opta per Marigold V2 se desideri una mappa di profondità come uno dei risultati tra diversi — normali, albedo, profondità trasparente a strati — e lavori a circa 1024², e la convenzione affine-invariante va bene perché il tuo consumatore ridimensiona comunque. È il modello più flessibile, pubblica i numeri e la sua licenza è l'unica permissiva qui.

Scegli Depth Pro 2 se ti servono i metri, se il tuo input è un video o un feed live, oppure se hai bisogno di confini nitidi a piena risoluzione e non puoi permetterti di ricampionare a 768. Inizia con S su un laptop, come suggerisce la documentazione di Apple, e aspettati di dover ritagliare la profondità del cielo — è il consiglio stesso del README, poiché i pixel del cielo restituiscono profondità infinita o un valore finito di diversi chilometri sui modelli piccoli.

Quello che non dovresti fare è leggere le due schede come una classifica. L'AbsRel di Marigold V2 e il Boundary F1 di Depth Pro 2 non sono lo stesso esperimento, e l'unica affermazione onesta sulla loro qualità relativa è che nessuno ha eseguito il confronto: Apple ha tracciato due dozzine di baseline e Marigold non era tra queste, mentre il paper di Marigold V2 valuta rispetto ai propri predecessori secondo il protocollo Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.