Um cartão de comparação gerado para {{1}}Depth Pro{{/1}} e {{2}}Depth Pro 2{{/2}}, mostrando um lançamento de 2024 com um único checkpoint monocular de {{3}}0,3 segundo{{/3}} e sem modo de vídeo, contra um lançamento de 2026 com quatro tamanhos, de {{4}}24M a 872M parâmetros{{/4}}, modos de vídeo e transmissão ao vivo, e um relatório técnico ainda marcado como espaço reservado, além de um logotipo {{5}}OrcaRouter{{/5}}.
Guides & Insights

Depth Pro 2 vs Depth Pro: nitidez mantida, instabilidade corrigida

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

O Depth Pro original tem um problema incomum como baseline: o checkpoint que a Apple publicou não é o modelo descrito no artigo. O model card diz isso diretamente — o checkpoint no repositório é uma implementação de referência que foi retreinada, e seu desempenho é próximo ao do modelo relatado no artigo, mas não corresponde exatamente a ele. Portanto, qualquer comparação entre o Depth Pro 2 e o Depth Pro é uma comparação contra um substituto, incluindo a que está no próprio model card do Depth Pro 2.

Feita essa ressalva, a forma da atualização é bastante clara. O Depth Pro 2 mantém a propriedade que tornou o Depth Pro notável — profundidade nítida nos contornos dos objetos, em metros, a partir de uma única imagem — e acrescenta uma segunda: profundidade que se mantém estável de quadro a quadro. O título do artigo diz isso claramente. O Depth Pro era Profundidade métrica monocular nítida em menos de um segundo. O Depth Pro 2 é Profundidade métrica monocular nítida e temporalmente consistente. Tudo o que mudou entre eles atende ao segundo adjetivo; quase nada mudou em relação ao primeiro.

Dois anos, dois lançamentos muito diferentes

O Depth Pro foi lançado em 3 de outubro de 2024 com um artigo, arXiv 2410.02073, e um resultado declarado: um mapa de profundidade de 2,25 megapixels em 0,3 segundos numa GPU padrão. O repositório tem 568 curtidas e pouco mais de 6.200 downloads. Foi disponibilizado como um único checkpoint, depth_pro.pt, e o respetivo cartão descreve as contribuições técnicas — um eficiente transformer de visão multi-escala para previsão densa, um protocolo de treino que mistura dados reais e sintéticos, métricas dedicadas à precisão de contornos e estimação de distância focal de última geração a partir de uma única imagem.

Os repositórios do Depth Pro 2 foram criados em novembro de 2026: o card em 3 de novembro, os pesos em 5 de novembro, as exportações Core ML em 9 de novembro, o estimador focal e o repositório de código em 19 de novembro. O card e o README do GitHub apontam ambos para um identificador arXiv 261X.XXXXX, que é um placeholder em vez de um preprint. Não há página de pesquisa para ele em machinelearning.apple.com — esse caminho retorna 404 — e não há números de benchmark em lugar nenhum fora do gráfico de dispersão do próprio card.

Então o enquadramento honesto é que o Depth Pro 2 é uma release de pesos com documentação, não uma publicação. O Depth Pro era um artigo com um checkpoint. Se você está citando algo, um deles fornece um número e o outro fornece um repositório.

O que realmente mudou na arquitetura

O Depth Pro era um modelo de imagem única. O Depth Pro 2 é um transformer multivista que processa um ou mais quadros em conjunto, e o mecanismo é específico: após o primeiro terço de seus blocos, a atenção alterna entre dentro de cada quadro e entre quadros. Um decodificador DPT então prevê um mapa de profundidade inversa por quadro, montando tokens de vários blocos em mapas de características de um trinta e dois avos a um quarto da resolução de entrada.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

O argumento arquitetural inteiro para a sequência é esse, e ele tem uma consequência visível na forma como você executa o modelo. O Depth Pro 2 tem dois modos de vídeo. O Buffered, padrão para arquivos, processa clipes de 16 quadros com sobreposição de quatro, o que mantém a profundidade estável onde os clipes se encontram. O Unbuffered prevê cada quadro conforme ele chega, a partir desse quadro e dos 15 anteriores, e é o modo para uma câmera ao vivo. A Apple documenta o custo do caminho ao vivo em vez de escondê-lo: os primeiros quadros de um fluxo têm menos predecessores para considerar, então sua profundidade é menos estável.

O Depth Pro não tem nenhum dos dois modos, porque não tem atenção entre quadros para executar. Alimente-o com um vídeo e você obtém estimativas independentes por quadro, e qualquer cintilação entre elas fica por sua conta suavizar. Para imagens estáticas, isso não é uma perda; para qualquer coisa com movimento, é a diferença que a sequência foi feita para eliminar.

O que não mudou

As convenções métricas são idênticas, o que é uma boa notícia para quem está migrando: os dois modelos concordam quanto ao significado dos números. A profundidade é a distância ao longo do eixo de visão da câmera — a coordenada z —, e não a distância em linha reta a partir da lente. A profundidade inversa em Python é normalizada pela distância focal, igual a focallength_px / (width * depth). A profundidade escala com a distância focal, portanto uma distância focal 10 por cento maior do que o correto coloca tudo 10 por cento mais longe. Pixels de céu retornam como profundidade infinita ou, especialmente nos modelos menores, como uma profundidade finita de vários quilômetros, e a documentação orienta a limitar o intervalo antes de gerar uma nuvem de pontos.

A estimativa de distância focal ainda é uma parte de primeira classe do pacote e ainda pode ser ignorada. Fotos que registram uma distância focal equivalente a 35 mm no EXIF a utilizam; todo o restante passa pelo estimador. O Depth Pro 2 divide esse estimador em um repositório separado de 23,5 milhões de parâmetros, apple/DepthPro2-focal, que carrega junto com qualquer tamanho e também pode ser executado sozinho — útil se você quiser a solução de câmera uma vez e o modelo de profundidade muitas vezes. Com o Depth Pro, o mesmo recurso foi incorporado ao checkpoint único, sem maneira de separar os dois.

O suporte a Core ML é mantido e aprimorado. O Depth Pro 2 fornece pacotes Core ML exportados em um repositório dedicado e inclui um app de demonstração minimalista para Mac que mostra profundidade ao vivo da câmera, exigindo Apple silicon, macOS 15 e Xcode 16. Isso representa uma barreira menor para uma demonstração funcional do que a versão original oferecia.

Quatro tamanhos contra um checkpoint

A maior diferença prática é que o Depth Pro 2 se recusa a ser um único modelo. A Apple publica quatro, com parâmetros e tamanhos de download:

• S — 24M de parâmetros, 97 MB, o ponto de partida recomendado em um notebook.

• B — 97 milhões de parâmetros, 386 MB.

• L — 334 milhões de parâmetros, 1,3 GB.

• H+ — 872 milhões de parâmetros, 3,5 GB, o padrão que a linha de comando baixa.

O tamanho que você escolhe não altera em nada a licença e altera bastante o comportamento, já que está documentado que os modelos menores produzem mais dessas profundidades de céu espúrias de vários quilómetros. H+ é o padrão por um motivo, mas em um laptop S é a diferença entre funcionar e não funcionar.

Depth Pro é um único checkpoint, sem opção de ajuste. Isso não é uma crítica — foi um lançamento de 2024 e o artigo relatou um único resultado de 0,3 segundo —, mas significa que a pergunta de migração "qual tamanho" não tem equivalente no lado antigo, e qualquer comparação que trate "Depth Pro" como uma linha contra quatro está simplificando demais uma decisão real.

Os números, tais como são.

A ficha do Depth Pro 2 relata Boundary F1 e Jitter com média sobre os conjuntos de dados Sintel e Spring, afirma superar trabalhos anteriores que operam com um único quadro ou com vários quadros em ambos e plota a comparação. O Depth Pro é um dos marcadores nesse gráfico. Os eixos estão rotulados — Boundary F1 de 0 a 0,3, jitter de 0,1 até 0 —, mas não há tabela por modelo, então a melhoria é legível até cerca de um centésimo: H+ fica perto de 0,29 de Boundary F1 a aproximadamente 0,017 de jitter, e o Depth Pro original, em aproximadamente 0,235 e 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Trate isso como uma alegação relatada pelo fornecedor e não reproduzida, que é o que ela é. Nenhum terceiro publicou um número de Boundary F1 ou Jitter para o Depth Pro 2, e o relatório técnico que definiria o protocolo de avaliação é um placeholder. O Depth Pro original, em contrapartida, inclui as métricas de boundary em sua própria base de código — eval/boundary_metrics.py expõe SI_boundary_F1 e SI_boundary_Recall —, então, se você quiser fazer a comparação por conta própria, o ferramental para metade dela é público e o checkpoint alvo é uma aproximação retreinada de um modelo de artigo.

Licença e a questão comercial

Inalterado, e vale a pena mencionar porque é o tipo de coisa que passa despercebida numa atualização. Os pesos de ambos os modelos estão sob a licença Apple Machine Learning Research Model, que o repositório define como permitindo uso exclusivamente para fins de pesquisa, ou seja, pesquisa científica não comercial e desenvolvimento acadêmico. O código é licenciado separadamente, e os agradecimentos do Depth Pro 2 creditam TIMM e DINOv3 como suas bases.

Portanto, a atualização é gratuita do ponto de vista da licença e indisponível do ponto de vista do produto em ambos os extremos. Se você está lançando para gerar receita, nenhum dos dois pontos de verificação é o certo, e a conversa de que você precisa é com a Apple, e não com um arquivo de licença.

Migrando, concretamente

O Depth Pro 2 não é um substituto direto do Depth Pro, porque o nome do pacote, o ponto de entrada e os identificadores do modelo mudaram todos. O Depth Pro é instalado a partir de apple/ml-depth-pro e é executado como depth-pro-run -i ./data/example.jpg. O Depth Pro 2 é instalado a partir de apple-aiml-research/ml-depth-pro-2 e é executado como uv run depth-pro-2 predict -i assets/example.jpg -o out/, com -m depthpro2-s até -m depthpro2-h para o tamanho. Em Python, a importação é depth_pro_2 e o caminho de construção é create_model_and_transforms ou DepthPro2.from_pretrained.

A superfície de saída também mudou de formato. O model.infer() do Depth Pro retorna um dicionário com depth e focallength_px. O infer() do Depth Pro 2 retorna depth, e a distância focal é obtida mais naturalmente a partir do estimador separado ou fornecida como f_px quando você a tiver. Se você tem um pipeline que acessa o dicionário de previsão, reserve uma tarde.

O que você recebe pela migração é um seletor de tamanho, um caminho de vídeo com dois modos documentados, um estimador focal separado e o empacotamento Core ML com um aplicativo de demonstração funcional. O que você não recebe é um artigo, uma tabela de benchmark por modelo, ou qualquer confirmação independente de que o novo modelo seja melhor — apenas um gráfico de dispersão com eixos rotulados e nenhuma tabela por trás dele.

Nada disso é roteado por nós, e não deve ser descrito como se fosse: o Depth Pro 2 são pesos licenciados para pesquisa dos próprios repositórios da Apple. O ponto em que uma camada de roteamento se justifica é um passo além — a descrição da cena, a decisão e o relatório em torno do seu estágio de profundidade são chamadas a modelos de linguagem, e o OrcaRouter coloca mais de 200 modelos hospedados em uma única chave com 0% de markup sobre o preço de tabela do provedor, com failover automático entre provedores, de modo que um checkpoint de pesquisa sem cadência de lançamento é a única coisa frágil no pipeline, em vez de uma entre várias.

Se você usa o Depth Pro e ele funciona, o motivo para migrar é o vídeo. Se você usa o Depth Pro e só trabalha com imagens estáticas, a nitidez que você tem é a nitidez que o sucessor afirma ter mantido, e o mais honesto a fazer é esperar pelo relatório técnico antes de gastar uma tarde em uma renomeação de import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.