Tarjeta comparativa generada para Depth Pro y Depth Pro 2, que muestra un lanzamiento de 2024 con un único checkpoint monocular de 0,3 segundos y sin modo de vídeo, frente a un lanzamiento de 2026 con cuatro tamaños de 24M a 872M parámetros, modos de vídeo y de transmisión en vivo, y un informe técnico aún marcado como marcador de posición, además de un logotipo de OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro: nitidez conservada, jitter corregido

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

El Depth Pro original tiene un problema poco habitual como línea base: el checkpoint que Apple publicó no es el modelo que describe el artículo. La tarjeta del modelo lo dice directamente: el checkpoint del repositorio es una implementación de referencia que ha sido reentrenada, y su rendimiento es cercano al del modelo reportado en el artículo, pero no coincide exactamente. Por lo tanto, cualquier comparación entre Depth Pro 2 y Depth Pro es una comparación contra un sustituto, incluida la que aparece en la propia tarjeta de Depth Pro 2.

Una vez hecha esa salvedad, la forma de la actualización queda bastante clara. Depth Pro 2 conserva la propiedad que hizo destacar a Depth Pro —profundidad nítida en los bordes de los objetos, en metros, a partir de una sola imagen— y añade una segunda: una profundidad que se mantiene estable de un fotograma a otro. El título del artículo lo dice claramente. Depth Pro era Profundidad monocular métrica nítida en menos de un segundo. Depth Pro 2 es Profundidad monocular métrica nítida y temporalmente consistente. Todo lo que cambió entre ambos sirve al segundo adjetivo; casi nada cambió respecto al primero.

Dos años, dos lanzamientos muy diferentes

Depth Pro se lanzó el 3 de octubre de 2024 con un artículo, arXiv 2410.02073, y un resultado declarado: un mapa de profundidad de 2,25 megapíxeles en 0,3 segundos en una GPU estándar. El repositorio acumula 568 me gusta y algo más de 6.200 descargas. Se distribuyó como un único checkpoint, depth_pro.pt, y su tarjeta describe las contribuciones técnicas: un eficiente transformer de visión multiescala para predicción densa, un protocolo de entrenamiento que mezcla datos reales y sintéticos, métricas dedicadas a la precisión de bordes y una estimación de longitud focal de vanguardia a partir de una sola imagen.

Los repositorios de Depth Pro 2 se crearon en noviembre de 2026: la ficha el 3 de noviembre, los pesos el 5 de noviembre, las exportaciones de Core ML el 9 de noviembre, el estimador focal y el repositorio de código el 19 de noviembre. Tanto la ficha como el README de GitHub apuntan a un identificador de arXiv 261X.XXXXX, que es un marcador de posición en lugar de una preimpresión. No hay una página de investigación al respecto en machinelearning.apple.com —esa ruta devuelve 404— y no hay cifras de benchmark en ningún otro lugar fuera del propio gráfico de dispersión de la ficha.

Así que la forma honesta de plantearlo es que Depth Pro 2 es un lanzamiento de pesos con documentación, no una publicación. Depth Pro era un artículo con un checkpoint. Si vas a citar algo, uno de estos te da un número y el otro te da un repositorio.

¿Qué cambió realmente en la arquitectura?

Depth Pro era un modelo de una sola imagen. Depth Pro 2 es un transformer multivista que procesa uno o varios fotogramas de forma conjunta, y el mecanismo es específico: tras el primer tercio de sus bloques, la atención alterna entre dentro de cada fotograma y entre fotogramas. Un decodificador DPT predice entonces un mapa de profundidad inversa por fotograma, ensamblando tokens de varios bloques en mapas de características a entre un treinta y dosavo y un cuarto de la resolución de entrada.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Ese es todo el argumento arquitectónico de la secuela, y tiene una consecuencia visible en cómo se ejecuta el modelo. Depth Pro 2 tiene dos modos de vídeo. Con búfer, el predeterminado para archivos, procesa clips de 16 fotogramas que se solapan de cuatro en cuatro, lo que mantiene estable la profundidad donde se unen los clips. Sin búfer, predice cada fotograma a medida que llega, a partir de ese fotograma y de los 15 anteriores, y es el modo para una cámara en vivo. Apple documenta el costo de la ruta en vivo en lugar de ocultarlo: los primeros fotogramas de un flujo tienen menos predecesores a los que atender, por lo que su profundidad es menos estable.

Depth Pro no tiene ninguno de los dos modos, porque no tiene atención entre fotogramas que ejecutar. Si le pasas un vídeo, obtienes estimaciones independientes por fotograma, y suavizar cualquier parpadeo entre ellas corre de tu cuenta. Para imágenes fijas eso no supone una pérdida; para cualquier cosa con movimiento, es la diferencia que la secuela fue creada para cerrar.

Lo que no cambió

Las convenciones métricas son idénticas, lo cual es una buena noticia para cualquiera que migre: los dos modelos coinciden en lo que significan los números. La profundidad es la distancia a lo largo del eje de visión de la cámara —la coordenada z—, no la distancia en línea recta desde la lente. La profundidad inversa en Python se normaliza por la longitud focal, igual a focallength_px / (width * depth). La profundidad escala con la longitud focal, así que una longitud focal un 10 por ciento demasiado larga sitúa todo un 10 por ciento demasiado lejos. Los píxeles del cielo se devuelven como profundidad infinita o, especialmente en los modelos más pequeños, como una profundidad finita de varios kilómetros, y la documentación indica que se recorte el rango antes de crear una nube de puntos.

La estimación de la distancia focal sigue siendo una parte fundamental del paquete y sigue siendo omisible. Las fotos que registran una distancia focal equivalente a 35 mm en EXIF la usan; todo lo demás pasa por el estimador. Depth Pro 2 divide ese estimador en un repositorio separado de 23,5 M de parámetros, apple/DepthPro2-focal, que se carga junto con cualquier tamaño y también se puede ejecutar por sí solo — útil si quieres la resolución de cámara una vez y el modelo de profundidad muchas veces. Con Depth Pro, la misma capacidad estaba integrada en el único checkpoint sin forma de separar ambas.

El soporte de Core ML se mantiene y mejora. Depth Pro 2 incluye paquetes Core ML exportados en un repositorio dedicado y una app de demostración mínima para Mac que muestra la profundidad en vivo desde la cámara, y requiere Apple silicon, macOS 15 y Xcode 16. Eso representa un umbral más bajo para conseguir una demo funcional que lo que ofrecía la versión original.

Cuatro tamaños frente a un único punto de control

La mayor diferencia práctica es que Depth Pro 2 se niega a ser un solo modelo. Apple publica cuatro, con parámetros y tamaños de descarga:

• S — 24M de parámetros, 97 MB, el punto de partida recomendado en un portátil.

• B — 97M de parámetros, 386 MB.

• L — 334 M de parámetros, 1,3 GB.

• H+ — 872M de parámetros, 3,5 GB, la opción predeterminada que descarga la línea de comandos.

El tamaño que elijas no cambia la licencia en absoluto y cambia bastante el comportamiento, ya que se documenta que los modelos más pequeños producen más de esas profundidades de cielo espurias de varios kilómetros. H+ es el predeterminado por una razón, pero en un portátil S es la diferencia entre que funcione o no.

Depth Pro es un único checkpoint sin ningún ajuste posible. Eso no es una crítica —fue un lanzamiento de 2024 y el artículo reportaba un único resultado de 0,3 segundos—, pero sí significa que la pregunta de migración «¿qué tamaño?» no tiene equivalente en el lado antiguo, y cualquier comparación que trate «Depth Pro» como una sola fila frente a cuatro está simplificando una decisión real.

Los números, tales como son.

La ficha de Depth Pro 2 informa Boundary F1 y Jitter promediados sobre los conjuntos de datos Sintel y Spring, afirma superar a trabajos previos que operan sobre un solo fotograma o sobre múltiples fotogramas en ambos, y traza la comparación. Depth Pro es uno de los marcadores de ese gráfico. Los ejes están etiquetados —Boundary F1 de 0 a 0,3, jitter de 0,1 a 0—, pero no hay una tabla por modelo, por lo que la mejora es legible hasta aproximadamente una centésima: H+ se sitúa cerca de 0,29 de Boundary F1 con un jitter de aproximadamente 0,017, y el Depth Pro original, en torno a 0,235 y 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Considera eso como una afirmación reportada por el proveedor y no reproducida, que es lo que es. Ningún tercero ha publicado una cifra de Boundary F1 ni de Jitter para Depth Pro 2, y el informe técnico que definiría el protocolo de evaluación es un marcador de posición. El Depth Pro original, en cambio, incluye las métricas de frontera en su propio código base —eval/boundary_metrics.py expone SI_boundary_F1 y SI_boundary_Recall—, así que, si quieres ejecutar la comparación tú mismo, las herramientas para la mitad de ella son públicas y el checkpoint objetivo es una aproximación reentrenada de un modelo del artículo.

Licencia y la cuestión comercial

Sin cambios, y vale la pena señalarlo porque es el tipo de cosa que se pasa por alto en una actualización. Los pesos de ambos modelos están bajo la licencia Apple Machine Learning Research Model, que el repositorio define como permitida exclusivamente para fines de investigación, es decir, investigación científica no comercial y desarrollo académico. El código tiene una licencia aparte, y los agradecimientos de Depth Pro 2 reconocen a TIMM y DINOv3 como sus bases.

Así que la actualización es gratuita en el sentido de la licencia y no está disponible en el sentido del producto en ambos extremos. Si lanzas el producto para generar ingresos, ninguno de los dos puntos de control es el adecuado, y la conversación que necesitas es con Apple, no con un archivo de licencia.

Migrar, en concreto

Depth Pro 2 no es un sustituto directo de Depth Pro, porque cambiaron el nombre del paquete, el punto de entrada y los identificadores de los modelos. Depth Pro se instala desde apple/ml-depth-pro y se ejecuta como depth-pro-run -i ./data/example.jpg. Depth Pro 2 se instala desde apple-aiml-research/ml-depth-pro-2 y se ejecuta como uv run depth-pro-2 predict -i assets/example.jpg -o out/, con -m depthpro2-s hasta -m depthpro2-h para el tamaño. En Python, la importación es depth_pro_2 y la ruta de construcción es create_model_and_transforms o DepthPro2.from_pretrained.

La superficie de salida también cambió de forma. model.infer() de Depth Pro devuelve un diccionario con depth y focallength_px. infer() de Depth Pro 2 devuelve depth, y la distancia focal se obtiene de forma más natural del estimador independiente o se proporciona como f_px cuando se dispone de ella. Si tienes un pipeline que accede al dict de predicción, reserva una tarde.

Lo que obtienes para la migración es un control de tamaño, una ruta de vídeo con dos modos documentados, un estimador focal separado y un empaquetado para Core ML con una aplicación de demostración funcional. Lo que no obtienes es un artículo, una tabla de benchmarks por modelo ni ninguna confirmación independiente de que el nuevo modelo sea mejor: solo un diagrama de dispersión con ejes etiquetados y ninguna tabla que lo respalde.

Nada de esto se enruta a través de nosotros, y no debería describirse como si lo hiciera: Depth Pro 2 son pesos con licencia de investigación de los propios repositorios de Apple. El lugar donde una capa de enrutamiento se justifica está un paso más allá: la descripción de la escena, la decisión y la redacción en torno a tu etapa de profundidad son llamadas a modelos de lenguaje, y OrcaRouter pone más de 200 modelos alojados en una sola clave con un margen del 0 % sobre el precio de lista del proveedor, con conmutación por error automática entre proveedores, de modo que un checkpoint de investigación sin cadencia de lanzamientos es lo único frágil del pipeline en lugar de una de varias cosas.

Si usas Depth Pro y te funciona, la razón para cambiarte es el vídeo. Si usas Depth Pro y solo ejecutas imágenes fijas, la nitidez que tienes es la nitidez que la secuela afirma haber conservado, y lo honesto es esperar al informe técnico antes de dedicar una tarde a renombrar una importación.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.