Une carte de comparaison générée pour Depth Pro et Depth Pro 2, montrant une version 2024 avec un seul checkpoint monoculaire de 0,3 seconde et aucun mode vidéo, face à une version 2026 avec quatre tailles de 24M à 872M de paramètres, des modes vidéo et de flux en direct, et un rapport technique encore marqué comme espace réservé, ainsi qu’un logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro : netteté maintenue, tremblement corrigé

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le Depth Pro original présente un problème inhabituel en tant que base de comparaison : le checkpoint publié par Apple n’est pas le modèle décrit dans l’article. La fiche du modèle le dit explicitement — le checkpoint du dépôt est une implémentation de référence qui a été réentraînée, et ses performances sont proches de celles du modèle présenté dans l’article, mais ne correspondent pas exactement à celles-ci. Ainsi, toute comparaison entre Depth Pro 2 et Depth Pro est une comparaison avec un substitut, y compris celle figurant sur la propre fiche de Depth Pro 2.

Cette réserve étant posée, la nature de la mise à niveau est suffisamment claire. Depth Pro 2 conserve la propriété qui a rendu Depth Pro remarquable — une profondeur nette aux limites des objets, en mètres, à partir d’une seule image — et en ajoute une seconde : une profondeur qui reste stable d’une image à l’autre. Le titre de l’article le dit clairement. Depth Pro s’intitulait Profondeur métrique monoculaire nette en moins d’une seconde. Depth Pro 2 s’intitule Profondeur métrique monoculaire nette et cohérente dans le temps. Tout ce qui a changé entre les deux sert le second adjectif ; presque rien n’a changé concernant le premier.

Deux ans, deux versions très différentes

Depth Pro est arrivé le 3 octobre 2024 avec un article, arXiv 2410.02073, et un résultat annoncé : une carte de profondeur de 2,25 mégapixels en 0,3 seconde sur un GPU standard. Le dépôt compte 568 likes et un peu plus de 6 200 téléchargements. Il a été livré sous la forme d’un seul checkpoint, depth_pro.pt, et sa fiche décrit les contributions techniques — un transformateur de vision multi-échelle efficace pour la prédiction dense, un protocole d’entraînement qui mélange données réelles et synthétiques, des métriques dédiées à la précision des limites, et une estimation de la distance focale à l’état de l’art à partir d’une seule image.

Les dépôts de Depth Pro 2 ont été créés en novembre 2026 : la fiche le 3 novembre, les poids le 5 novembre, les exports Core ML le 9 novembre, l'estimateur de focale et le dépôt de code le 19 novembre. La fiche et le README GitHub renvoient tous deux à un identifiant arXiv 261X.XXXXX, qui est un espace réservé plutôt qu'une prépublication. Il n'existe aucune page de recherche à son sujet sur machinelearning.apple.com — ce chemin renvoie une erreur 404 — et aucun résultat de benchmark nulle part en dehors du nuage de points de la fiche elle-même.

Donc, pour être honnête, Depth Pro 2 est une publication de poids accompagnée de documentation, pas une publication scientifique. Depth Pro était un article accompagné d’un checkpoint. Si vous citez quelque chose, l’un vous donne un chiffre et l’autre vous donne un dépôt.

Qu'est-ce qui a réellement changé dans l'architecture

Depth Pro était un modèle mono-image. Depth Pro 2 est un transformer multi-vues qui traite conjointement une ou plusieurs images, et le mécanisme est spécifique : après le premier tiers de ses blocs, l’attention alterne entre des mécanismes intra-image et inter-images. Un décodeur DPT prédit ensuite une carte de profondeur inverse par image, en assemblant des tokens issus de plusieurs blocs en cartes de caractéristiques à une résolution allant d’un trente-deuxième à un quart de la résolution d’entrée.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

C'est tout l'argument architectural de la suite, et cela a une conséquence visible dans la façon dont vous utilisez le modèle. Depth Pro 2 dispose de deux modes vidéo. En mode tamponné, le mode par défaut pour les fichiers, il traite des clips de 16 images avec un chevauchement de quatre, ce qui maintient la profondeur stable là où les clips se rejoignent. En mode non tamponné, il prédit chaque image à son arrivée, à partir de cette image et des 15 précédentes, et c'est le mode destiné à une caméra en direct. Apple documente le coût du chemin en direct plutôt que de le dissimuler : les premières images d'un flux ont moins de prédécesseurs à prendre en compte, leur profondeur est donc moins stable.

Depth Pro n’a aucun des deux modes, car il n’a pas d’attention inter-images à exécuter. Donnez-lui une vidéo et vous obtenez des estimations indépendantes image par image, et tout scintillement entre elles est à lisser de votre côté. Pour les images fixes, ce n’est pas une perte ; pour tout ce qui contient du mouvement, c’est la différence que la suite a été conçue pour combler.

Ce qui n'a pas changé

Les conventions métriques sont identiques, ce qui est une bonne nouvelle pour quiconque migre : les deux modèles s'accordent sur la signification des nombres. La profondeur est la distance le long de l'axe de visée de la caméra — la coordonnée z — et non la distance en ligne droite depuis l'objectif. La profondeur inverse en Python est normalisée par la distance focale, égale à focallength_px / (width * depth). La profondeur évolue proportionnellement à la distance focale ; ainsi, une distance focale trop grande de 10 % place tout 10 % plus loin. Les pixels de ciel reviennent avec une profondeur infinie ou, surtout sur les modèles plus petits, avec une profondeur finie de plusieurs kilomètres, et la documentation vous indique de limiter la plage avant de créer un nuage de points.

L’estimation de la distance focale reste une composante à part entière du package, et peut toujours être ignorée. Les photos qui enregistrent une distance focale équivalente à 35 mm dans l’EXIF l’utilisent ; tout le reste passe par l’estimateur. Depth Pro 2 sépare cet estimateur dans un dépôt distinct de 23,5 M de paramètres, apple/DepthPro2-focal, qui se charge aux côtés de n’importe quelle taille et peut aussi être exécuté seul — utile si vous voulez effectuer la résolution de caméra une fois et le modèle de profondeur plusieurs fois. Avec Depth Pro, la même fonctionnalité était intégrée au checkpoint unique, sans possibilité de séparer les deux.

La prise en charge de Core ML est conservée et s’améliore. Depth Pro 2 fournit des packages Core ML exportés dans un dépôt dédié et inclut une application de démonstration Mac minimale qui affiche la profondeur en direct depuis la caméra, nécessitant Apple silicon, macOS 15 et Xcode 16. Cela abaisse la barrière pour obtenir une démo fonctionnelle par rapport à ce que proposait l’original.

Quatre tailles face à un point de contrôle

La plus grande différence pratique est que Depth Pro 2 refuse d’être un modèle unique. Apple en publie quatre, avec leurs paramètres et leurs tailles de téléchargement :

• S — 24 M de paramètres, 97 Mo, le point de départ recommandé sur un ordinateur portable.

• B — 97 M de paramètres, 386 Mo.

• L — 334 M de paramètres, 1,3 Go.

• H+ — 872 M de paramètres, 3,5 Go, la version par défaut téléchargée par la ligne de commande.

La taille que vous choisissez ne change pas du tout la licence et change beaucoup le comportement, car il est documenté que les modèles plus petits produisent davantage de ces fausses profondeurs de ciel de plusieurs kilomètres. H+ est la valeur par défaut pour une bonne raison, mais sur un ordinateur portable, S fait la différence entre fonctionner et ne pas fonctionner.

Depth Pro est un seul checkpoint, sans aucun réglage. Ce n’est pas une critique — c’était une sortie de 2024 et l’article rapportait un unique résultat à 0,3 seconde — mais cela signifie que la question de migration « quelle taille » n’a pas d’équivalent du côté de l’ancien modèle, et toute comparaison qui traite « Depth Pro » comme une seule ligne face à quatre aplatit une décision bien réelle.

Les nombres, tels qu'ils sont.

La fiche de Depth Pro 2 rapporte les valeurs de Boundary F1 et de Jitter moyennées sur les jeux de données Sintel et Spring, affirme surpasser, sur les deux, les travaux antérieurs fonctionnant sur une seule image ou sur plusieurs images, et en présente le graphique comparatif. Depth Pro est l’un des marqueurs de ce graphique. Les axes sont étiquetés — Boundary F1 de 0 à 0,3, jitter de 0,1 à 0 —, mais il n’y a aucun tableau par modèle ; l’amélioration n’est donc lisible qu’à environ un centième près : H+ se situe près de 0,29 de Boundary F1 pour un jitter d’environ 0,017, le Depth Pro original à environ 0,235 et 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Considérez cela comme une affirmation rapportée par le fournisseur et non reproduite, ce qu’elle est. Aucun tiers n’a publié de chiffre Boundary F1 ou Jitter pour Depth Pro 2, et le rapport technique qui définirait le protocole d’évaluation n’est qu’un texte provisoire. Le Depth Pro original, en revanche, fournit les métriques de frontière dans sa propre base de code — eval/boundary_metrics.py expose SI_boundary_F1 et SI_boundary_Recall — donc si vous voulez effectuer la comparaison vous-même, l’outillage pour la moitié de celle-ci est public et le checkpoint cible est une approximation réentraînée d’un modèle issu d’un article.

Licence et la question commerciale

Inchangé, et il vaut la peine de le préciser car c’est le genre de chose qui passe inaperçu lors d’une mise à niveau. Les poids des deux modèles sont sous la licence Apple Machine Learning Research Model, que le dépôt définit comme autorisant une utilisation exclusivement à des fins de recherche, c’est-à-dire la recherche scientifique non commerciale et le développement académique. Le code fait l’objet d’une licence distincte, et les remerciements de Depth Pro 2 créditent TIMM et DINOv3 comme ses fondations.

Ainsi, la mise à niveau est gratuite au sens de la licence et indisponible au sens du produit aux deux extrémités. Si vous livrez pour générer des revenus, aucun des deux points de contrôle n’est le bon, et la conversation à avoir est avec Apple plutôt qu’avec un fichier de licence.

Migrer, concrètement

Depth Pro 2 n’est pas un remplacement direct de Depth Pro, car le nom du paquet, le point d’entrée et les identifiants de modèle ont tous changé. Depth Pro s’installe depuis apple/ml-depth-pro et s’exécute avec depth-pro-run -i ./data/example.jpg. Depth Pro 2 s’installe depuis apple-aiml-research/ml-depth-pro-2 et s’exécute avec uv run depth-pro-2 predict -i assets/example.jpg -o out/, avec -m depthpro2-s à -m depthpro2-h pour la taille. En Python, l’import est depth_pro_2 et le chemin de construction est create_model_and_transforms ou DepthPro2.from_pretrained.

La surface de sortie a elle aussi changé de forme. model.infer() de Depth Pro renvoie un dictionnaire contenant depth et focallength_px. infer() de Depth Pro 2 renvoie depth, et la distance focale s'obtient plus naturellement à partir de l'estimateur séparé ou se fournit sous la forme f_px lorsque vous la connaissez. Si vous avez un pipeline qui va chercher dans le dictionnaire de prédiction, prévoyez un après-midi.

Ce que vous obtenez pour la migration, c’est un réglage de taille, un chemin vidéo avec deux modes documentés, un estimateur focal séparé et un packaging Core ML avec une application de démonstration fonctionnelle. Ce que vous n’obtenez pas, c’est un article, un tableau de benchmarks par modèle ou une quelconque confirmation indépendante que le nouveau modèle est meilleur — seulement un nuage de points avec des axes étiquetés et aucun tableau derrière.

Rien de tout cela ne passe par nous, et il ne faut pas le présenter comme si c’était le cas : Depth Pro 2 est un ensemble de poids sous licence de recherche issu des propres dépôts d’Apple. Une couche de routage justifie son utilité un cran à côté — la description de scène, la décision, la rédaction autour de votre étape de profondeur sont des appels à des modèles de langage, et OrcaRouter met plus de 200 modèles hébergés sur une seule clé, avec 0 % de majoration par rapport au prix catalogue du fournisseur, avec un basculement automatique entre fournisseurs, de sorte qu’un checkpoint de recherche sans cadence de publication est la seule chose fragile du pipeline plutôt que l’une d’entre plusieurs.

Si vous êtes sur Depth Pro et que cela fonctionne, la raison de changer est la vidéo. Si vous êtes sur Depth Pro et que vous ne faites que des photos fixes, la netteté que vous avez est celle que la suite prétend avoir conservée, et l'honnête chose à faire est d'attendre le rapport technique avant de passer un après-midi sur un renommage d'import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.