Um cartão de título gerado para Depth Pro 2 vs Depth Anything 3, com uma coluna à esquerda indicando profundidade métrica em metros, quadro único e vídeo e feed ao vivo, e quatro tamanhos de até 872M, e uma coluna à direita indicando profundidade relativa, poses e intrínsecos da câmera, e quatro tamanhos de até 1,15B, além de um logotipo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Anything 3: Metros ou Poses de Câmera

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Faça a mesma pergunta aos dois modelos — qual é a distância até isto? — e apenas um deles responde em metros. O Depth Pro 2, o modelo métrico de profundidade monocular da Apple, retorna um mapa de profundidade em metros ao longo do eixo de visão da câmera, além da distância focal que utilizou. O Depth Anything 3, o modelo de base da ByteDance Seed lançado em novembro de 2025, lista a "profundidade relativa" como sua primeira capacidade, ao lado da estimativa de pose da câmera e do condicionamento por pose. Ele fornece profundidade a menos de uma escala desconhecida, e fornece as câmeras que tornam essa escala recuperável.

Essa única diferença decide a maioria das integrações antes mesmo de a precisão entrar na conversa, e é por isso que uma comparação direta de benchmark entre os dois é menos útil do que parece. Os dois laboratórios relatam métricas diferentes, contra baselines diferentes, e nenhum executou a avaliação do outro. O que segue é o que cada repositório documenta de facto, com as alegações dos fornecedores assinaladas como tal.

Duas saídas diferentes, uma letra de diferença

O objeto de predição do Depth Anything 3 é o lugar mais claro para começar, porque é excepcionalmente explícito. Uma única chamada retorna a profundidade como [N, H, W] float32, um mapa de confiança com a mesma forma, extrínsecos como matrizes mundo-para-câmera [N, 3, 4] e intrínsecos como [N, 3, 3]. As exportações vão para GLB, NPZ, PLY, mini-NPZ, PLY de Gaussian-splat ou um vídeo de Gaussian-splat.

A saída do Depth Pro 2 é mais restrita e imediatamente mais útil se a resposta de que você precisa for um número. Ele retorna um mapa de profundidade em metros, uma distância focal em pixels e — na saída NPZ da linha de comando — esses dois arrays e nada mais. A conversão para uma nuvem de pontos fica por sua conta, usando a distância focal e o centro da imagem como ponto principal, ou o seu ponto principal real se a câmera estiver calibrada.

• Escala — A saída do Depth Pro 2 é métrica; a profundidade do Depth Anything 3 é relativa, com a escala recuperada a partir da pose e dos intrínsecos que ele também retorna.

• Parâmetros da câmera — o Depth Anything 3 prevê parâmetros extrínsecos e intrínsecos; o Depth Pro 2 prevê apenas a distância focal e não tem noção de onde a câmera está.

• Confiança — O Depth Anything 3 retorna um mapa de confiança por pixel; o Depth Pro 2 não retorna nenhum.

• Entrada — O Depth Pro 2 recebe uma foto, um arquivo de vídeo ou uma transmissão ao vivo da câmera; o Depth Anything 3 recebe uma lista de imagens como um único conjunto de vistas.

• Licença — os pesos do Depth Pro 2 são apenas para fins de pesquisa sob a licença Apple Machine Learning Research Model; o Depth Anything 3 é Apache 2.0 em 0,08B e 0,12B, CC BY-NC 4.0 em 0,35B e 1,15B.

Os quatro tamanhos não coincidem.

Ambas as famílias publicam quatro checkpoints, e as contagens de parâmetros ficam em patamares quase iguais, o que torna tentador compará-las uma a uma. Resista a essa tentação.

O Depth Anything 3 publica 0,08B, 0,12B, 0,35B e 1,15B — 34,3M, 135,4M, 410,9M e 1.355,7M parâmetros, de acordo com os metadados do safetensors. O Depth Pro 2 publica 24M, 97M, 334M e 872M. Os dois menores tamanhos do Depth Pro 2 são consideravelmente menores do que seus equivalentes do Depth Anything 3, e o maior é consideravelmente menor do que o DA3 Giant.

As licenças dividem-se pela mesma linha que os tamanhos, e este é o detalhe que importa comercialmente: os dois checkpoints pequenos do Depth Anything 3 são Apache 2.0, e os dois grandes são CC BY-NC 4.0. Os quatro do Depth Pro 2 estão todos sob a mesma licença de uso apenas para investigação, definida no repositório como investigação científica não comercial e desenvolvimento académico. Portanto, se precisar de um modelo de profundidade licenciável comercialmente, o Depth Anything 3-Small ou -Base é a única opção nesta comparação, e o Depth Pro 2 não é uma delas em nenhum tamanho.

Depth Anything 3 também tem uma revisão 1.1, DA3-GIANT-1.1 e DA3-LARGE-1.1, com contagem de parâmetros idêntica às versões originais e repositórios criados em 11 de dezembro de 2025. A ficha original do GIANT descreve a estimativa gaussiana 3D como um recurso adicional oferecido pelos modelos de grande porte, portanto a superfície de exportação é mais ampla do que apenas profundidade.

O que cada laboratório afirma, e contra o quê

O cartão do Depth Anything 3 faz duas afirmações comparativas e nomeia as baselines para ambas: ele supera significativamente o Depth Anything 2 na estimação de profundidade monocular e o VGGT na estimação de profundidade e pose com múltiplas vistas. Tratam-se de declarações específicas e falseáveis sobre modelos nomeados, e os números detalhados estão no artigo, não no cartão.

O cartão do Depth Pro 2 faz uma única afirmação e nomeia sua linha de base apenas como "trabalho anterior que opera em um único quadro ou em vários quadros". Ele relata que o Depth Pro 2 supera esse conjunto em Boundary F1 e Jitter, em média sobre os conjuntos de dados Sintel e Spring, e ilustra isso com um gráfico de dispersão dessas duas métricas, com seus eixos indo de Boundary F1 de 0 a 0,3 e Jitter de 0,1 até 0.

The sharpness-versus-temporal-consistency scatter from the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis, averaged over Sintel and Spring.

O Depth Anything 3 está nesse gráfico — como DA3-NGL, um dos baselines multiframe de círculo aberto situado em cerca de 0,06 de Boundary F1 e 0,018 de jitter. Portanto, existe uma comparação, mas apenas nas duas métricas da Apple, com média sobre Sintel e Spring, sem que números de profundidade do Depth Anything 3 sejam impressos ao lado. O próprio conjunto de comparação da ByteDance é formado por Depth Anything 2 e VGGT, nas métricas que a ByteDance escolheu, e o DA3-NGL não é discutido ali. Os dois conjuntos não se encontram: independentemente do cartão que você leia, o outro laboratório escolheu os eixos, e nenhum dos dois publicou uma tabela compartilhada.

Não se trata de fugir da escolha de um vencedor. É o estado real das evidências, e vale a pena dizê-lo claramente, porque a alternativa — escolher o gráfico de fornecedor que favorece o modelo que você já prefere — é como decisões ruins de aquisição são tomadas.

A consistência de vídeo é todo o argumento da Apple

O Depth Pro 2 existe por causa de uma fraqueza específica na profundidade monocular: execute um modelo por quadro em vídeo e a profundidade oscila, porque cada quadro é estimado sem conhecimento dos seus vizinhos. A correção da Apple é arquitetural. O modelo é um transformer multivista sobre os quadros de entrada e, após o primeiro terço dos seus blocos, a atenção alterna entre intraquadro e entre quadros. Um decodificador DPT por quadro então monta tokens de vários blocos em mapas de características a um trinta e dois avos até um quarto da resolução de entrada.

The architecture diagram from the Depth Pro 2 model card showing a multi-view transformer processing input frames jointly, followed by a DPT decoder producing an inverse depth map per frame, with numbered annotations for alternating within-frame and across-frame attention and multi-scale decoder feature maps.

Os modos de operação decorrem disso. O modo com buffer, padrão para arquivos de vídeo, processa clipes de 16 quadros com sobreposição de quatro, para que a profundidade permaneça estável nas fronteiras entre clipes. O modo sem buffer prevê cada quadro conforme ele chega, a partir desse quadro e dos 15 anteriores, para uso com câmera, com a ressalva documentada de que os primeiros quadros de um fluxo têm menos predecessores e, portanto, profundidade menos estável. Um vídeo recebe uma única distância focal em todos os quadros — a mediana das estimativas na primeira janela.

O Depth Anything 3 lida com várias vistas em conjunto por design, pois é isso que um modelo de conjunto de vistas faz, mas a sua abordagem é de reconstrução e não de estabilização. A linguagem do cartão é sobre recuperar o espaço visual a partir de quaisquer vistas, e as saídas — extrínsecos, intrínsecos, mapas de pontos, splats gaussianos — são a linguagem de um pipeline de reconstrução 3D. Se o seu problema é "este vídeo cintila", o Depth Pro 2 tem um modo para isso e o Depth Anything 3 é um produto diferente.

Obtendo a profundidade em metros de qualquer forma

A profundidade relativa do Depth Anything 3 não é tanto uma limitação quanto uma divisão de tarefas: o modelo entrega as câmeras, e são as câmeras que convertem a profundidade relativa em metros. Essa conversão é trabalho de verdade — um fator de escala por cena, a partir de uma linha de base conhecida, de um tamanho de objeto conhecido ou de um sensor — e é o mesmo trabalho que o Depth Pro 2 já fez internamente.

A saída métrica do Depth Pro 2 tem seus próprios modos de falha, e eles estão documentados. A profundidade escala com a distância focal, então uma distância focal 10% maior que o correto faz tudo ficar 10% mais distante. Os pixels do céu retornam como profundidade infinita ou, especialmente nos modelos menores, como uma profundidade finita de vários quilômetros, então o README orienta a limitar o intervalo antes de construir uma nuvem de pontos ou uma imagem colorida. Em Python, a profundidade inversa é normalizada pela distância focal e é igual a focallength_px / (width * depth). Um fluxo pertence a um vídeo e mantém seus quadros recentes e sua distância focal até você abrir um novo.

Nenhum dos modelos substitui um sensor de profundidade em uma superfície sem textura ou refletiva. Ambos estão inferindo escala a partir de evidências visuais, e ambos falharão nos mesmos tipos de lugares pelos mesmos tipos de razões.

Quanto custa executar ambos

A diferença prática está no grafo de dependências. O Depth Pro 2 é instalado como um pacote Python a partir do repositório do GitHub com uv, expõe uma linha de comando (uv run depth-pro-2 predict -i photo.jpg -o out/) e uma API Python, e inclui exportações Core ML para Apple silicon, além de um aplicativo de demonstração para Mac. O repositório deixa explícito que contém código para executar os modelos, mas não código de treinamento ou avaliação.

O Depth Anything 3 é instalado como um pacote editável a partir do repositório ByteDance Seed e expõe uma CLI (da3 auto path/to/images --export-format glb) com um processo de backend opcional para inferência repetida, que é o tipo de detalhe que só aparece quando alguém o executa em loop.

Ambos são checkpoints de pesquisa de propósito único, e nenhum deles é algo que você roteia. O que fica ao redor de um estágio de profundidade é trabalho de modelo de linguagem — descrever uma cena, decidir o que fazer a respeito, registrar o resultado — e é aí que um endpoint único se paga: O OrcaRouter coloca mais de 200 modelos hospedados por trás de uma única API compatível com OpenAI, com 0% de markup sobre o preço de tabela do provedor, então os estágios de raciocínio ao redor do seu modelo de profundidade são uma única chave e uma única fatura. O checkpoint de profundidade continua sendo uma dependência que você fixa; o pipeline ao redor dele não precisa ser.

Com qual começar?

Comece com o Depth Anything 3 se você estiver reconstruindo uma cena a partir de várias vistas e quiser as câmeras, os mapas de pontos e os Gaussian splats em uma única chamada, e se uma licença Apache 2.0 nos tamanhos pequenos for o que torna o projeto possível. Seu conjunto de comparação é nomeado, suas saídas são amplas, e os checkpoints pequenos são as únicas coisas licenciáveis comercialmente neste artigo.

Comece com o Depth Pro 2 se a resposta de que você precisa é uma distância em metros a partir de um único quadro ou de uma transmissão ao vivo, e se a estabilidade entre quadros é a propriedade sem a qual sua aplicação falha. Vá com a expectativa de cortar a profundidade do céu, fixar a distância focal de propósito e estar diante de algo muito recente — os repositórios têm downloads na casa das dezenas, o código tem um único commit e o relatório técnico ainda é um placeholder.

O que nenhum dos modelos oferece é uma alegação defensável de que supera o outro, porque nenhum dos laboratórios realizou o teste. Escolha com base no formato de saída, na licença e em se a sua entrada é um vídeo. Essas três perguntas têm resposta hoje; a tabela de classificação não.

A generated two-column scoreboard comparing Depth Pro 2 and Depth Anything 3 across six dimensions: depth type, camera parameters, video handling, largest model size, licence and published numbers, with a footer noting that no shared benchmark exists.