Una scheda di confronto generata per Depth Pro e Depth Pro 2, che mostra un rilascio del 2024 con un singolo checkpoint monoculare da 0,3 secondi e nessuna modalità video, contro un rilascio del 2026 con quattro dimensioni da 24M a 872M parametri, modalità video e live-feed, e un report tecnico ancora contrassegnato come segnaposto, più un logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro: nitidezza mantenuta, jitter risolto

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Depth Pro originale presenta un problema insolito come baseline: il checkpoint pubblicato da Apple non è il modello descritto nell'articolo. La scheda del modello lo dice direttamente — il checkpoint nel repository è un'implementazione di riferimento che è stata riaddestrata, e le sue prestazioni sono vicine a quelle del modello riportato nell'articolo ma non coincidono esattamente. Pertanto, qualsiasi confronto tra Depth Pro 2 e Depth Pro è un confronto con un sostituto, compreso quello presente nella scheda di Depth Pro 2 stessa.

Fatta questa precisazione, la forma dell'aggiornamento è abbastanza chiara. Depth Pro 2 conserva la proprietà che ha reso Depth Pro degno di nota — profondità nitida ai confini degli oggetti, in metri, da una singola immagine — e ne aggiunge una seconda: una profondità che resta stabile da un fotogramma all'altro. Il titolo dell'articolo lo dice chiaramente. Depth Pro era Profondità metrica monoculare nitida in meno di un secondo. Depth Pro 2 è Profondità metrica monoculare nitida e temporalmente coerente. Tutto ciò che è cambiato tra i due serve al secondo aggettivo; quasi nulla è cambiato riguardo al primo.

Due anni, due release molto diverse

Depth Pro è arrivato il 3 ottobre 2024 con un paper, arXiv 2410.02073, e un risultato dichiarato: una mappa di profondità da 2,25 megapixel in 0,3 secondi su una GPU standard. Il repository conta 568 like e poco più di 6.200 download. È stato distribuito come un unico checkpoint, depth_pro.pt, e la sua card descrive i contributi tecnici: un efficiente vision transformer multi-scala per la predizione densa, un protocollo di addestramento che combina dati reali e sintetici, metriche dedicate alla precisione dei contorni e una stima della lunghezza focale allo stato dell'arte da una singola immagine.

I repository di Depth Pro 2 sono stati creati a novembre 2026: la scheda il 3 novembre, i pesi il 5 novembre, le esportazioni Core ML il 9 novembre, lo stimatore focale e il repository di codice il 19 novembre. Sia la scheda sia il README su GitHub rimandano a un identificativo arXiv 261X.XXXXX, che è un segnaposto anziché un preprint. Non esiste una pagina di ricerca dedicata su machinelearning.apple.com — quel percorso restituisce 404 — e non ci sono numeri di benchmark da nessuna parte al di fuori del grafico a dispersione della scheda stessa.

Quindi la formulazione onesta è che Depth Pro 2 è un rilascio di pesi con documentazione, non una pubblicazione. Depth Pro era un paper con un checkpoint. Se devi citare qualcosa, uno dei due ti fornisce un numero e l'altro ti fornisce un repository.

Cosa è effettivamente cambiato nell'architettura

Depth Pro era un modello a immagine singola. Depth Pro 2 è un transformer multi-vista che elabora uno o più fotogrammi congiuntamente, e il meccanismo è specifico: dopo il primo terzo dei suoi blocchi, l'attenzione si alterna tra l'interno di ciascun fotogramma e tra i fotogrammi. Un decoder DPT predice poi una mappa di profondità inversa per ogni fotogramma, assemblando i token di diversi blocchi in mappe di caratteristiche a una risoluzione compresa tra un trentaduesimo e un quarto di quella di input.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Questo è l’intero argomento architetturale a favore del sequel, e ha una conseguenza visibile nel modo in cui si esegue il modello. Depth Pro 2 ha due modalità video. Buffered, l’impostazione predefinita per i file, elabora clip di 16 fotogrammi con una sovrapposizione di quattro, il che mantiene stabile la profondità dove le clip si incontrano. Unbuffered predice ogni fotogramma non appena arriva, basandosi su quel fotogramma e sui 15 precedenti, ed è la modalità per una telecamera dal vivo. Apple documenta il costo del percorso live invece di nasconderlo: i primi fotogrammi di un flusso hanno meno predecessori su cui applicare l’attenzione, quindi la loro profondità è meno stabile.

Depth Pro non ha nessuna delle due modalità, perché non ha alcuna attenzione tra fotogrammi da eseguire. Se gli passi un video, ottieni stime indipendenti per ciascun fotogramma, e qualsiasi sfarfallio tra di esse tocca a te levigarlo. Per le immagini fisse non è una perdita; per qualsiasi contenuto in movimento, è la differenza che il seguito è nato per colmare.

Cosa non è cambiato

Le convenzioni metriche sono identiche, il che è una buona notizia per chiunque stia migrando: i due modelli concordano su cosa significhino i numeri. La profondità è la distanza lungo l'asse di vista della fotocamera — la coordinata z — non la distanza in linea retta dall'obiettivo. La profondità inversa in Python è normalizzata in base alla lunghezza focale, pari a focallength_px / (width * depth). La profondità scala con la lunghezza focale, quindi una lunghezza focale superiore del 10% a quella corretta colloca ogni cosa il 10% più lontano. I pixel del cielo restituiscono una profondità infinita o, soprattutto sui modelli più piccoli, una profondità finita di diversi chilometri, e la documentazione indica di limitare l'intervallo prima di creare una nuvola di punti.

La stima della lunghezza focale è ancora una parte di primo piano del pacchetto, e può ancora essere omessa. Le foto che registrano nei dati EXIF una lunghezza focale equivalente a 35 mm la usano; tutto il resto passa attraverso lo stimatore. Depth Pro 2 separa quello stimatore in un repository dedicato da 23,5 milioni di parametri, apple/DepthPro2-focal, che si carica insieme a qualsiasi dimensione e può anche essere eseguito da solo — utile se si vuole risolvere la camera una volta e il modello di profondità molte volte. Con Depth Pro, la stessa funzionalità era incorporata nell'unico checkpoint senza alcun modo di separare le due cose.

Il supporto Core ML viene mantenuto e migliorato. Depth Pro 2 distribuisce pacchetti Core ML esportati in un repository dedicato e include una app demo Mac minimale che mostra la profondità in tempo reale dalla fotocamera, richiedendo Apple silicon, macOS 15 e Xcode 16. Si tratta di una soglia più bassa per ottenere una demo funzionante rispetto a quanto offriva l'originale.

Quattro dimensioni contro un checkpoint

La differenza pratica più grande è che Depth Pro 2 rifiuta di essere un unico modello. Apple ne pubblica quattro, con parametri e dimensioni di download:

• S — 24 milioni di parametri, 97 MB, il punto di partenza consigliato su un laptop.

• B — 97M parametri, 386 MB.

• L — 334M parametri, 1,3 GB.

• H+ — 872M parametri, 3,5 GB, il default scaricato dalla riga di comando.

La dimensione che scegli non cambia affatto la licenza e cambia parecchio il comportamento, dato che è documentato che i modelli più piccoli producono più di quelle spurie profondità del cielo di più chilometri. H+ è il default per un motivo, ma su un portatile S è la differenza tra funzionare e non funzionare.

Depth Pro è un checkpoint senza alcun parametro regolabile. Non è una critica — era un rilascio del 2024 e il paper riportava un singolo risultato di 0,3 secondi — ma significa che la domanda di migrazione "quale dimensione" non ha corrispettivo sul vecchio lato, e qualsiasi confronto che tratta "Depth Pro" come una riga contro quattro sta appiattendo una decisione reale.

I numeri, quali che siano.

La scheda di Depth Pro 2 riporta Boundary F1 e Jitter mediati sui dataset Sintel e Spring, dichiara di superare i lavori precedenti che operano su un singolo frame o su più frame su entrambi e traccia il confronto. Depth Pro è uno dei marker su quel grafico. Gli assi sono etichettati — Boundary F1 da 0 a 0,3, jitter da 0,1 a 0 — ma non c’è una tabella per modello, quindi il miglioramento è leggibile a circa un centesimo: H+ si colloca vicino a 0,29 Boundary F1 a circa 0,017 di jitter, l’originale Depth Pro a circa 0,235 e 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Considerala un'affermazione dichiarata dal fornitore e non riprodotta, perché è esattamente così. Nessuna terza parte ha pubblicato un valore di Boundary F1 o Jitter per Depth Pro 2, e il rapporto tecnico che definirebbe il protocollo di valutazione è un segnaposto. Il Depth Pro originale, al contrario, include le metriche sui confini nel proprio codice — eval/boundary_metrics.py espone SI_boundary_F1 e SI_boundary_Recall — quindi, se vuoi eseguire tu stesso il confronto, gli strumenti per metà di esso sono pubblici e il checkpoint target è un'approssimazione riaddestrata di un modello presentato in un articolo.

Licenza e questione commerciale

Invariato, e vale la pena dichiararlo perché è il tipo di cosa che sfugge in un aggiornamento. I pesi di entrambi i modelli sono coperti dalla licenza Apple Machine Learning Research Model, che il repository definisce come autorizzante all'uso esclusivamente per scopi di ricerca, ovvero ricerca scientifica non commerciale e sviluppo accademico. Il codice è concesso in licenza separatamente, e i ringraziamenti di Depth Pro 2 citano TIMM e DINOv3 come sue fondamenta.

Quindi l'aggiornamento è gratuito sul piano della licenza e non disponibile sul piano del prodotto a entrambe le estremità. Se distribuisci per generare ricavi, nessuno dei due checkpoint è quello giusto, e la conversazione che ti serve è con Apple, non con un file di licenza.

Migrare, concretamente

Depth Pro 2 non è un sostituto diretto di Depth Pro, perché il nome del pacchetto, il punto di ingresso e gli identificatori del modello sono tutti cambiati. Depth Pro si installa da apple/ml-depth-pro e si esegue come depth-pro-run -i ./data/example.jpg. Depth Pro 2 si installa da apple-aiml-research/ml-depth-pro-2 e si esegue come uv run depth-pro-2 predict -i assets/example.jpg -o out/, con -m depthpro2-s fino a -m depthpro2-h per le dimensioni. In Python l'import è depth_pro_2 e il percorso di costruzione è create_model_and_transforms oppure DepthPro2.from_pretrained.

Anche la forma dell'output è cambiata. model.infer() di Depth Pro restituisce un dizionario con depth e focallength_px. infer() di Depth Pro 2 restituisce depth, e la lunghezza focale si ottiene più naturalmente dallo stimatore separato oppure va fornita come f_px quando la si ha. Se hai una pipeline che accede direttamente al dizionario delle previsioni, metti in conto un pomeriggio.

Per la migrazione ottieni un selettore delle dimensioni, un percorso video con due modalità documentate, uno stimatore focale separato e la pacchettizzazione Core ML con un'app demo funzionante. Quello che non ottieni è un paper, una tabella di benchmark per modello o qualsiasi conferma indipendente che il nuovo modello sia migliore: solo uno scatter con assi etichettati e nessuna tabella dietro.

Niente di tutto questo passa attraverso di noi, e non dovrebbe essere descritto come se lo facesse: Depth Pro 2 sono pesi con licenza per la ricerca provenienti dai repository di Apple. Il punto in cui un livello di routing si ripaga è un passo più in là — la descrizione della scena, la decisione, il resoconto relativo alla tua fase di profondità sono chiamate a modelli linguistici, e OrcaRouter mette oltre 200 modelli ospitati su un'unica chiave con 0% di ricarico rispetto al prezzo di listino del provider, con failover automatico tra provider, così un checkpoint di ricerca senza cadenza di rilascio è l'unica cosa fragile nella pipeline anziché una tra tante.

Se sei su Depth Pro e funziona, il motivo per passare è il video. Se sei su Depth Pro e utilizzi solo immagini fisse, la nitidezza che hai è quella che il seguito dichiara di aver mantenuto, e la cosa onesta da fare è aspettare il rapporto tecnico prima di passare un pomeriggio su una rinomina dell'import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.