Una tarjeta de comparación generada para Depth Pro 2 y Marigold, con una columna izquierda que indica una sola pasada hacia adelante, profundidad métrica en metros, cuatro tamaños de 24M a 872M parámetros y compatibilidad con vídeo, y una columna derecha que indica eliminación iterativa de ruido, profundidad afín-invariante, resolución efectiva de aproximadamente 768 píxeles y un prior de difusión, además de un logotipo de OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: ¿Profundidad métrica o un prior de difusión?

Autor

Gideon Frost

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Marigold no predice la profundidad. La genera, un paso de eliminación de ruido a la vez, a partir de un modelo de difusión latente ajustado a partir de Stable Diffusion 2. Depth Pro 2 la predice, en una sola pasada hacia adelante, a partir de un transformer entrenado directamente para la tarea. Ambos producen un mapa de profundidad que parece correcto, ambos tienen licencia de investigación, y la diferencia entre ellos es la diferencia entre un muestreador y un regresor —lo cual se nota primero en la factura, segundo en el perfil de latencia y solo en tercer lugar en la precisión.

Ese orden es deliberado. La comparación habitual pone AbsRel de un lado y Boundary F1 del otro y declara un ganador, lo cual no es posible aquí: los números de Marigold y los de Depth Pro 2 provienen de protocolos distintos sobre conjuntos de datos distintos y nunca han sido comparados entre sí por ninguno de los dos laboratorios. Lo que sí es comparable es el coste de obtener una respuesta, la convención de escala en la que llega la respuesta y lo que permite cada licencia. Esas tres preguntas tienen respuestas reales.

Dos formas de obtener un número a partir de píxeles

La tarjeta de modelo de Marigold es explícita sobre su propio tipo: un estimador de profundidad monocular invariante a transformaciones afines, generativo y basado en difusión latente, ajustado finamente a partir de stable-diffusion-2. El punto de control v1.1, prs-eth/marigold-depth-v1-1, se creó el 12 de diciembre de 2024 y cuenta con 34 me gusta y unas 6.600 descargas. Está diseñado para el planificador DDIM y entre 1 y 50 pasos de eliminación de ruido, y hereda la resolución efectiva de aproximadamente 768 píxeles del modelo de difusión base, por lo que las entradas más grandes deben redimensionarse con el lado más largo a 768 antes de introducirlas.

Depth Pro 2 es un modelo discriminativo. La ficha describe un transformador multivista sobre los fotogramas de entrada y un decodificador DPT que predice un mapa de profundidad inversa por fotograma, ensamblando tokens de varios bloques en mapas de características a entre un treintaidosavo y un cuarto de la resolución de entrada. Una llamada, una salida, a la resolución completa de la entrada: la ficha es específica al respecto, y es lo contrario de una resolución de trabajo de 768 píxeles.

• Inferencia — Marigold ejecuta de 1 a 50 pasos de eliminación de ruido por imagen; Depth Pro 2 ejecuta una sola pasada hacia adelante.

• Resolución de trabajo — la resolución efectiva de Marigold es de unos 768 píxeles en el lado largo; Depth Pro 2 predice a la resolución completa de la entrada.

• Ensamblado — Marigold genera un mapa de incertidumbre solo cuando se ensamblan varias predicciones con un tamaño superior a dos, lo que vuelve a multiplicar el coste; Depth Pro 2 no devuelve ninguna incertidumbre.

• Escala — la salida de Marigold es invariante afín, con valores entre 0 y 1 que interpolan entre los planos cercano y lejano que el propio modelo elige; la salida de Depth Pro 2 es métrica, en metros.

• Entrada — Depth Pro 2 acepta una foto, un archivo de vídeo o una señal de cámara en directo; Marigold v1.1 acepta una sola imagen.

Marigold es un sampler, y eso tiene una factura.

El número de pasos no es una nota al pie. La calidad de un modelo de profundidad por difusión es función de cuántos pasos de eliminación de ruido ejecuta y de cuántas muestras combina en un ensemble, y ambos son parámetros que tú ajustas. En el extremo inferior obtienes un mapa rápido y aproximado; con 50 pasos y un ensemble obtienes un mapa mejor y una factura de cómputo mucho mayor para la misma imagen. La ficha de Marigold lo presenta como una característica —de 1 a 50 pasos es un rango, y tú eliges en qué punto situarte— y es honesto, pero significa que la «precisión de Marigold» no es un único número. Es una curva, y la curva tiene un eje de coste.

Depth Pro 2 no tiene un dial equivalente. El tamaño es el dial —S, B, L o H+— y cambia los pesos en lugar del número de pasadas. Una predicción es una sola pasada en cualquier caso. Para un notebook, esa diferencia es académica; para un servicio que procesa un flujo de video a 30 fotogramas por segundo, es todo el diseño.

Por eso la conversación sobre costos en torno a un modelo de profundidad no termina en el modelo. La etapa que consume un mapa de profundidad —describir la escena, decidir qué hacer, escribir el resultado— es trabajo de modelo de lenguaje, y esa es la parte en la que el costo por llamada se publica y es comparable. OrcaRouter ofrece el precio de lista del proveedor con un 0 % de margen en más de 200 modelos alojados con una sola clave, con conmutación por error automática entre proveedores. Un muestreador de difusión en la etapa de visión con un multiplicador de ensamble es exactamente el tipo de costo que hace que quieras que el resto del pipeline sea predecible.

Depth Pro 2 responde en una sola pasada

El diseño de pasada única conlleva sus propias restricciones, y estas están documentadas en lugar de ocultarse. La profundidad es la distancia a lo largo del eje de visión de la cámara —la coordenada z, no la distancia radial—. La profundidad inversa en Python se normaliza por la longitud focal: focallength_px / (width * depth). La profundidad escala con la longitud focal, por lo que una longitud focal un 10 por ciento demasiado larga sitúa todo un 10 por ciento demasiado lejos.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

El comportamiento de vídeo es donde la arquitectura da sus frutos. El modo con búfer procesa fragmentos de 16 fotogramas que se solapan en cuatro, manteniendo estable la profundidad a través de los límites de los fragmentos; el modo sin búfer predice cada fotograma a medida que llega a partir de ese fotograma y de los 15 anteriores, con la penalización de calentamiento documentada de que los primeros fotogramas de un flujo tienen menos predecesores y, por tanto, una profundidad menos estable. Un vídeo recibe una única distancia focal para todos sus fotogramas, la mediana de la primera ventana. La memoria crece con el tamaño del fotograma y la longitud de la ventana, no con la duración.

Nada de eso tiene equivalente en Marigold, porque Marigold v1.1 es un modelo de una sola imagen. Si lo aplicas a vídeo, lo ejecutas fotograma a fotograma, y el parpadeo que salga es el parpadeo que entregas.

Invariante afín respecto de la métrica

Esta es la sección que decide la mayoría de las integraciones, y no se trata de calidad. La salida de Marigold es invariante ante transformaciones afines: los valores predichos se sitúan entre 0 y 1 e interpolan entre los planos cercano y lejano que eligió el modelo. Es una representación perfectamente válida para un matte, un pase de profundidad para composición o cualquier cosa que se reescale para ajustarse a un rango — y es la convención estándar en la literatura de profundidad por difusión, por la buena razón de que es para lo que estos modelos son realmente buenos.

La salida de Depth Pro 2 es una medición en metros, con la distancia focal asociada. Para un robot que decide si un obstáculo está a uno o a tres metros de distancia, para una superposición de AR que debe situarse a una distancia física, para una nube de puntos en un marco de coordenadas real, esa diferencia lo es todo. Recuperar la escala absoluta a partir de un mapa invariante afín es un paso aparte que implica una referencia conocida en la escena o un sensor, y es un trabajo que Depth Pro 2 ya ha realizado internamente.

Ninguno es mejor. Son productos distintos de la misma palabra, y cuál quieres lo decide qué consume el mapa.

Qué cambió Marigold V2 en 2026

El nombre «Marigold» ahora abarca dos generaciones, y la segunda no es una actualización menor. Marigold V2, huawei-bayerlab/marigold-v2-0, se creó el 27 de agosto de 2026 con un lanzamiento inicial el 8 de septiembre de 2026. Es un transformer de difusión en lugar de una UNet: un ajuste fino con LoRA de Qwen/Qwen-Image-Edit-2509, publicado junto con un artículo de SIGGRAPH Asia 2026 en ACM Transactions on Graphics 45(6), arXiv 2609.08084.

La superficie de capacidades se amplió considerablemente. Marigold V2 incluye checkpoints para profundidad en parametrizaciones logarítmica, lineal y de disparidad, variantes por capas que predicen la geometría detrás del vidrio, además de normales de superficie y albedo; este último es el tipo de salida que solo tiene sentido en un modelo generativo que ya comprende la formación de imágenes. La inferencia necesita unos 17 GB de memoria de GPU a 1024² y 29 GB a 2048², así que una tarjeta de 24 GB cubre la primera y para la segunda se necesitan 32 GB.

Su salida de profundidad sigue siendo afín-invariante —la profundidad hasta una escala y un desplazamiento desconocidos por imagen—, por lo que el argumento de la escala anterior sobrevive intacto al cambio de generación. Lo que ha cambiado es la precisión y la resolución: los resultados zero-shot notificados bajo el protocolo Pixel-Perfect Depth, AbsRel (menor es mejor) y δ1 en porcentaje, son 3,6 / 98,0 en NYUv2, 5,4 / 97,4 en KITTI, 2,8 / 99,2 en ETH3D, 3,7 / 97,9 en ScanNet y 5,2 / 97,1 en DIODE. Las normales de superficie alcanzan un error angular medio de 16,6 grados y un 61,2 por ciento dentro de 11,25 grados en NYUv2, y el albedo en Hypersim con PSNR 20,78, SSIM 0,811 y LPIPS 0,195. Estos datos los reporta el proveedor y no se han reproducido aquí.

Qué te permitirá citar cada parte

Marigold V2 publica una tabla. Depth Pro 2 publica un diagrama de dispersión con ejes etiquetados y ninguna tabla por modelo. Esa asimetría es el hecho menos reportado sobre este emparejamiento, y contradice la suposición de que el modelo más reciente debe ser el mejor documentado.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

La ficha de Depth Pro 2 reporta Boundary F1 y Jitter promediados sobre Sintel y Spring, afirma superar a trabajos previos que operan sobre un solo fotograma o sobre varios fotogramas en ambos, y grafica aproximadamente dos docenas de líneas base — pero Marigold no está entre ellas. No hay ningún marcador de Marigold en el gráfico de Apple ni ninguna fila de Depth Pro 2 en la tabla de Marigold V2, así que ninguno de los dos laboratorios ha colocado los dos modelos en un mismo eje. El bloque de citas todavía dice arXiv:261X.XXXXX —un marcador de posición— y no hay ninguna página de investigación para Depth Pro 2 en machinelearning.apple.com. El informe técnico que, según la ficha, compara los tamaños en velocidad y memoria aún no existe.

Así que un documento de adquisiciones puede citar hoy el AbsRel y el δ1 de Marigold V2, con la salvedad de que son cifras del proveedor sobre un protocolo que usted no ejecutó. No puede citar ninguna cifra de Depth Pro 2 en absoluto. Eso no es una crítica al modelo; es un hecho sobre el lanzamiento, y cambiará el día que llegue el informe.

Licencias: OpenRAIL, Apache, solo para investigación

Tres licencias en tres puntos de control, y no son intercambiables.

• Marigold v1.1 — CreativeML OpenRAIL++-M, la licencia comunitaria de Stable Diffusion 2, que conlleva restricciones basadas en el uso en lugar de una prohibición puramente no comercial.

• Marigold V2 — Apache 2.0 en los pesos publicados, con el Qwen-Image-Edit-2509 base conservando su propia licencia, así que tus obligaciones dependen de ambas.

• Depth Pro 2 — la licencia del modelo de investigación de aprendizaje automático de Apple, que el repositorio define como un permiso de uso exclusivamente para fines de investigación, es decir, investigación científica no comercial y desarrollo académico.

La consecuencia práctica: Marigold V2 es el único de estos tres que es plausiblemente lanzable, sujeto a lo que requiera el modelo base Q​wen. Depth Pro 2 no lo es, en ningún tamaño, y su licencia de código no cambia eso. El código de Depth Pro 2 reconoce por separado a TIMM y DINOv3 como sus fundamentos.

Cuál elegir

Recurre a Marigold V2 si quieres un mapa de profundidad como una salida entre varias —normales, albedo, profundidad por capas con transparencia— y trabajas a aproximadamente 1024², y la convención invariante a transformaciones afines te vale porque tu consumidor reescala de todos modos. Es el modelo más flexible, publica cifras y su licencia es la única permisiva aquí.

Recurre a Depth Pro 2 si necesitas metros, si tu entrada es un vídeo o una transmisión en vivo, o si necesitas límites nítidos a resolución completa y no puedes permitirte remuestrear a 768. Empieza con S en un portátil, como sugiere la documentación de Apple, y espera tener que recortar la profundidad del cielo —el consejo del propio README—, ya que los píxeles del cielo devuelven profundidad infinita o un valor finito de varios kilómetros en los modelos pequeños.

Lo que no deberías hacer es leer las dos tarjetas como una clasificación. El AbsRel de Marigold V2 y el Boundary F1 de Depth Pro 2 no son el mismo experimento, y la única afirmación honesta sobre su calidad relativa es que nadie ha realizado la comparación: Apple trazó dos docenas de líneas base y Marigold no era una de ellas, mientras que el artículo de Marigold V2 evalúa frente a sus propios predecesores con el protocolo Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.