Une carte de comparaison générée pour Depth Pro 2 et Marigold, avec une colonne de gauche indiquant une seule passe avant, une profondeur métrique en mètres, quatre tailles de 24 M à 872 M de paramètres et la prise en charge vidéo, et une colonne de droite indiquant un débruitage itératif, une profondeur invariante par transformation affine, une résolution effective d'environ 768 pixels et un a priori de diffusion, ainsi qu'un logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold : profondeur métrique ou prior de diffusion ?

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Marigold ne prédit pas la profondeur. Il la génère, une étape de débruitage à la fois, à partir d’un modèle de diffusion latent affiné à partir de Stable Diffusion 2. Depth Pro 2 la prédit, en une seule passe avant, à partir d’un transformer entraîné directement sur la tâche. Les deux produisent une carte de profondeur qui semble correcte, les deux sont sous licence de recherche, et la différence entre eux est la différence entre un échantillonneur et un régresseur — qui apparaît d’abord sous forme de facture, ensuite sous forme de profil de latence, et seulement en troisième lieu sous forme de précision.

Cet ordre est délibéré. La comparaison habituelle place AbsRel d’un côté et Boundary F1 de l’autre, puis déclare un vainqueur, ce qui n’est pas possible ici : les chiffres de Marigold et ceux de Depth Pro 2 proviennent de protocoles différents sur des jeux de données différents et n’ont jamais été comparés l’un à l’autre par l’un ou l’autre des deux laboratoires. Ce qui est comparable, c’est le coût d’obtention d’une réponse, la convention d’échelle dans laquelle cette réponse est fournie, et ce que chaque licence autorise. Ces trois questions ont de vraies réponses.

Deux façons d’obtenir un nombre à partir de pixels

La carte de modèle de Marigold est explicite quant à son propre type : un estimateur de profondeur monoculaire invariant par transformation affine, basé sur une diffusion latente générative, affiné à partir de stable-diffusion-2. Le point de contrôle v1.1, prs-eth/marigold-depth-v1-1, a été créé le 12 décembre 2024 et totalise 34 mentions J’aime et environ 6 600 téléchargements. Il est conçu pour le planificateur DDIM et entre 1 et 50 étapes de débruitage, et il hérite de la résolution effective d’environ 768 pixels du modèle de diffusion de base ; ainsi, les entrées plus grandes doivent être redimensionnées en fixant le côté le plus long à 768 avant de les fournir.

Depth Pro 2 est un modèle discriminatif. La fiche décrit un transformeur multi-vues sur les images d’entrée et un décodeur DPT qui prédit une carte de profondeur inverse par image, en assemblant des tokens issus de plusieurs blocs en cartes de caractéristiques à une résolution comprise entre un trente-deuxième et un quart de la résolution d’entrée. Un seul appel, une seule sortie, à la pleine résolution de l’entrée — la fiche est précise là-dessus, et c’est l’opposé d’une résolution de travail de 768 pixels.

• Inférence — Marigold exécute de 1 à 50 étapes de débruitage par image ; Depth Pro 2 effectue une seule passe avant.

• Résolution de travail — La résolution effective de Marigold est d'environ 768 pixels sur le grand côté ; Depth Pro 2 effectue ses prédictions à la pleine résolution de l'entrée.

• Ensembling — Marigold ne produit une carte d’incertitude que lorsque plusieurs prédictions sont ensemblées avec une taille supérieure à deux, ce qui multiplie encore le coût ; Depth Pro 2 ne renvoie aucune incertitude.

• Échelle — La sortie de Marigold est invariante par transformation affine, avec des valeurs comprises entre 0 et 1 interpolant entre les plans proche et lointain choisis par le modèle ; la sortie de Depth Pro 2 est métrique, en mètres.

• Entrée — Depth Pro 2 accepte une photo, un fichier vidéo ou un flux de caméra en direct ; Marigold v1.1 accepte une seule image.

Marigold est un sampler, et cela a un coût.

Le nombre d’étapes n’est pas une note de bas de page. La qualité d’un modèle de profondeur par diffusion dépend du nombre d’étapes de débruitage qu’il exécute et du nombre d’échantillons qu’il agrège, et ces deux paramètres sont des réglages que vous définissez. Dans le bas de la plage, vous obtenez une carte rapide et grossière ; à 50 étapes avec un ensemble, vous obtenez une meilleure carte et une facture de calcul bien plus élevée pour la même image. La fiche de Marigold présente cela comme une caractéristique — 1 à 50 étapes est une plage, et vous choisissez où vous voulez vous situer — et c’est honnête, mais cela signifie que « la précision de Marigold » n’est pas un chiffre unique. C’est une courbe, et la courbe a un axe de coût.

Depth Pro 2 n’a pas de molette équivalente. La taille fait office de molette — S, B, L ou H+ — et elle modifie les poids plutôt que le nombre de passes. Une prédiction ne nécessite qu’une seule passe dans tous les cas. Pour un ordinateur portable, cette différence est théorique ; pour un service qui traite un flux vidéo à 30 images par seconde, c’est toute la conception.

C'est pourquoi la discussion sur les coûts autour d'un modèle de profondeur ne s'arrête pas au modèle. L'étape qui consomme une carte de profondeur — décrire la scène, décider quoi faire, rédiger le résultat — relève du travail d'un modèle de langage, et c'est précisément la partie où le coût par appel est publié et comparable. OrcaRouter répercute le tarif catalogue des fournisseurs avec 0 % de marge sur plus de 200 modèles hébergés via une seule clé, avec bascule automatique entre fournisseurs. Un échantillonneur de diffusion à l'étape de vision avec un multiplicateur d'ensemble est exactement le type de coût qui donne envie que le reste du pipeline soit prévisible.

Depth Pro 2 répond en une seule passe

La conception à passe unique impose ses propres contraintes, et celles-ci sont documentées plutôt que cachées. La profondeur est la distance le long de l’axe de visée de la caméra — la coordonnée z, et non la distance radiale. En Python, la profondeur inverse est normalisée par la distance focale : focallength_px / (width * depth). La profondeur évolue proportionnellement à la distance focale ; ainsi, une distance focale supérieure de 10 pour cent place tout 10 pour cent plus loin.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Le comportement vidéo est là où l’architecture porte ses fruits. Le mode tamponné traite des clips de 16 images avec un chevauchement de quatre images, ce qui maintient une profondeur stable d’un clip à l’autre ; le mode non tamponné prédit chaque image à mesure qu’elle arrive à partir de cette image et des 15 précédentes, avec la pénalité de préchauffage documentée : les premières images d’un flux ont moins de prédécesseurs et donc une profondeur moins stable. Une vidéo reçoit une seule longueur focale pour toutes ses images, la médiane sur la première fenêtre. La mémoire croît avec la taille des images et la longueur de la fenêtre, pas avec la durée.

Rien de tout cela n’a d’équivalent dans Marigold, car Marigold v1.1 est un modèle mono-image. Appliquez-le à une vidéo et vous le faites image par image, et quel que soit le scintillement qui en ressort, c’est celui que vous livrez.

Invariant affine par opposition à la métrique

C'est la section qui décide de la plupart des intégrations, et elle ne porte pas sur la qualité. La sortie de Marigold est invariante par transformation affine : les valeurs prédites se situent entre 0 et 1 et interpolent entre les plans proche et lointain choisis par le modèle. C'est une représentation parfaitement adaptée pour un matte, une passe de profondeur de compositing, ou tout élément qui est remis à l'échelle pour tenir dans une plage — et c'est la convention standard dans la littérature sur la profondeur par diffusion, pour la bonne raison que c'est ce que ces modèles savent réellement bien faire.

La sortie de Depth Pro 2 est une mesure en mètres, à laquelle est rattachée la distance focale. Pour un robot qui doit déterminer si un obstacle se trouve à un mètre ou à trois mètres, pour une superposition AR qui doit se situer à une distance physique, pour un nuage de points dans un repère de coordonnées réel, cette différence est tout l’enjeu. Récupérer l’échelle absolue à partir d’une carte invariante par transformation affine est une étape distincte qui implique une référence connue dans la scène ou un capteur, et c’est un travail que Depth Pro 2 a déjà effectué en interne.

Ni l’un ni l’autre n’est meilleur. Ce sont des produits différents d’un même mot, et celui que vous voulez est déterminé par ce qui consomme la carte.

Qu’est-ce que Marigold V2 a changé en 2026 ?

Le nom « Marigold » couvre désormais deux générations, et la seconde n’est pas une simple mise à jour. Marigold V2, huawei-bayerlab/marigold-v2-0, a été créé le 27 août 2026 et publié initialement le 8 septembre 2026. Il s’agit d’un transformer de diffusion plutôt que d’un UNet : un fine-tuning LoRA de Qwen/Qwen-Image-Edit-2509, publié avec un article SIGGRAPH Asia 2026 dans ACM Transactions on Graphics 45(6), arXiv 2609.08084.

La surface des capacités s’est considérablement élargie. Marigold V2 fournit des checkpoints de profondeur en paramétrisations logarithmique, linéaire et de disparité, des variantes en couches qui prédisent la géométrie derrière une vitre, ainsi que les normales de surface et l’albédo — cette dernière étant le type de sortie qui n’a de sens que pour un modèle génératif qui comprend déjà la formation de l’image. L’inférence nécessite environ 17 Go de mémoire GPU en 1024² et 29 Go en 2048² ; une carte de 24 Go couvre donc le premier cas, et le second en réclame 32 Go.

Sa sortie de profondeur reste invariante aux transformations affines — la profondeur étant définie à une échelle et à un décalage inconnus près pour chaque image — de sorte que l’argument d’échelle ci-dessus reste intact malgré le changement de génération. Ce qui a changé, ce sont la précision et la résolution : les résultats zero-shot rapportés selon le protocole Pixel-Perfect Depth, AbsRel (plus bas est mieux) et δ1 en pourcentage, sont de 3,6 / 98,0 sur NYUv2, 5,4 / 97,4 sur KITTI, 2,8 / 99,2 sur ETH3D, 3,7 / 97,9 sur ScanNet et 5,2 / 97,1 sur DIODE. Les normales de surface présentent une erreur angulaire moyenne de 16,6 degrés et 61,2 % à moins de 11,25 degrés sur NYUv2, tandis que l’albédo sur Hypersim est à PSNR 20,78, SSIM 0,811 et LPIPS 0,195. Ces valeurs sont rapportées par le fournisseur et n’ont pas été reproduites ici.

Ce que chaque partie vous autorisera à citer

Marigold V2 publie un tableau. Depth Pro 2 publie un nuage de points avec des axes étiquetés et aucun tableau par modèle. Cette asymétrie est le fait le plus sous-rapporté concernant ce duo, et elle va à l’encontre de l’hypothèse selon laquelle le modèle le plus récent doit être le mieux documenté.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

La fiche de Depth Pro 2 rapporte les scores Boundary F1 et Jitter moyennés sur Sintel et Spring, affirme surpasser, sur les deux, les travaux antérieurs fonctionnant sur une seule image ou sur plusieurs images, et trace environ deux douzaines de références — mais Marigold n’en fait pas partie. Il n’y a aucun marqueur Marigold sur le graphique d’Apple et aucune ligne Depth Pro 2 dans le tableau de Marigold V2, donc aucun des deux laboratoires n’a placé les deux modèles sur un même axe. Le bloc de citation indique toujours arXiv:261X.XXXXX — un espace réservé — et il n’existe pas de page de recherche pour Depth Pro 2 sur machinelearning.apple.com. Le rapport technique que la fiche présente comme comparant les tailles en termes de vitesse et de mémoire n’existe pas encore.

Ainsi, un document d’approvisionnement peut aujourd’hui citer l’AbsRel et le δ1 de Marigold V2, avec la réserve qu’il s’agit de chiffres fournisseur obtenus sur un protocole que vous n’avez pas exécuté. Il ne peut en revanche citer aucun chiffre de Depth Pro 2. Ce n’est pas une critique du modèle ; c’est un fait concernant la publication, et cela changera le jour où le rapport sortira.

Licences : OpenRAIL, Apache, recherche uniquement

Trois licences réparties sur trois points de contrôle, et elles ne sont pas interchangeables.

• Marigold v1.1 — CreativeML OpenRAIL++-M, la licence communautaire Stable Diffusion 2, qui comporte des restrictions fondées sur l’usage plutôt qu’une interdiction purement non commerciale.

• Marigold V2 — Apache 2.0 sur les poids publiés, la base Qwen-Image-Edit-2509 conservant sa propre licence ; vos obligations dépendent donc des deux.

• Depth Pro 2 — la licence Apple Machine Learning Research Model, que le dépôt définit comme autorisant une utilisation exclusivement à des fins de recherche, c’est-à-dire la recherche scientifique non commerciale et le développement académique.

La conséquence pratique : Marigold V2 est le seul de ces trois à pouvoir raisonnablement être livré, sous réserve de ce qu’exige le modèle de base Qwen. Depth Pro 2 ne l’est pas, quelle que soit sa taille, et sa licence de code n’y change rien. Le code de Depth Pro 2 reconnaît séparément TIMM et DINOv3 comme ses fondations.

Lequel choisir

Optez pour Marigold V2 si vous voulez une carte de profondeur comme l’une des sorties parmi plusieurs — normales, albédo, profondeur en couches transparentes —, que vous travaillez à environ 1024² et que la convention invariante par transformation affine vous convient parce que votre consommateur remet de toute façon à l’échelle. C’est le modèle le plus flexible, il publie des chiffres et sa licence est la seule permissive ici.

Optez pour {{1}}Depth Pro 2{{/1}} si vous avez besoin de mètres, si votre entrée est une vidéo ou un flux en direct, ou si vous avez besoin de limites nettes à pleine résolution et ne pouvez pas vous permettre de rééchantillonner à 768. Commencez par {{2}}S{{/2}} sur un ordinateur portable, comme le suggère la documentation d'Apple, et attendez-vous à écrêter la profondeur du ciel — le conseil du README lui-même, étant donné que les pixels du ciel renvoient une profondeur infinie ou une valeur finie de plusieurs kilomètres sur les petits modèles.

Ce qu’il ne faut pas faire, c’est lire les deux cartes comme un classement. L’AbsRel de Marigold V2 et le Boundary F1 de Depth Pro 2 ne relèvent pas de la même expérience, et la seule affirmation honnête concernant leur qualité relative est que personne n’a mené cette comparaison : Apple a tracé deux douzaines de modèles de référence et Marigold n’en faisait pas partie, tandis que l’article de Marigold V2 l’évalue face à ses propres prédécesseurs selon le protocole Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.