Um cartão de título gerado com o cabeçalho Depth Pro 2 vs VGGT em grandes caracteres geométricos escuros, com o subtítulo Uma medição ou uma reconstrução abaixo dele, acima de uma fina barra de gradiente de azul para ciano.
Engineering & Research

Depth Pro 2 vs VGGT: Profundidade Métrica ou Geometria Multi-Vista

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Aponte um telefone para uma sala, ande ao redor dela e grave quarenta segundos de vídeo. Dois modelos podem transformar isso em geometria, e eles não vão concordar sobre o que é a geometria. O Depth Pro 2, o modelo de profundidade monocular métrico da Apple, retorna um valor de profundidade em metros para cada pixel de cada quadro, com uma distância focal associada. O VGGT — o Visual Geometry Grounded Transformer da Meta AI Research e do grupo VGG da Universidade de Oxford, publicado na CVPR 2025 — retorna extrínsecos e intrínsecos de câmera, mapas de pontos, mapas de profundidade e trilhas de pontos 3D para todo o conjunto de vistas de uma só vez.

Uma dessas saídas é uma medição. A outra é uma reconstrução. Escolher entre elas não é uma questão de qual é mais precisa, porque os dois modelos estão respondendo a perguntas diferentes, e a resposta de que você precisa é determinada pelo que vem depois do modelo no seu pipeline.

O que cada modelo foi criado para fazer

O VGGT é uma rede feed-forward que infere todos os atributos 3D essenciais de uma cena a partir de uma, algumas ou centenas de vistas, em segundos. A proposta é a estimativa conjunta: em vez de executar um modelo de profundidade por frame e depois resolver as poses de câmara com uma etapa separada de structure-from-motion, o VGGT produz poses, intrínsecos, profundidade e traços de pontos numa única passagem, com as vistas a atenderem umas às outras. É por isso que a afirmação de "centenas de vistas" importa — trata-se de um substituto para um pipeline de fotogrametria, e não de um complemento a ele.

Depth Pro 2 é um estimador de profundidade métrica monocular, e a palavra que faz o trabalho é métrica. Sua saída é um mapa de profundidade em metros ao longo da direção de visão da câmera, calculado a partir de uma única imagem, sem necessidade de metadados da câmera — o modelo pode ler uma distância focal do EXIF, aceitar uma que você forneça em pixels ou prevê-la com um estimador separado de 23,5M de parâmetros que é distribuído como seu próprio repositório. Ele também processa vídeo, e é daí que vem o "2": um transformer multivisão processa os quadros conjuntamente, alternando a atenção dentro de cada quadro e entre quadros após o primeiro terço de seus blocos, e um decodificador DPT emite um mapa de profundidade inversa por quadro.

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• Unidade de trabalho — o VGGT recebe um conjunto de vistas; o Depth Pro 2 recebe uma foto, um vídeo ou um feed ao vivo.

• Saída principal — o VGGT fornece parâmetros de câmera, mapas de pontos, mapas de profundidade e rastreamentos de pontos 3D; o Depth Pro 2 fornece profundidade métrica mais a distância focal utilizada.

• Solução da câmera — o VGGT a estima como parte do problema conjunto; o Depth Pro 2 lê, aceita ou prevê uma distância focal, sem extrínsecos.

• Escala — a saída principal do Depth Pro 2 é em metros; a ficha do modelo VGGT descreve parâmetros de câmera, mapas de pontos, profundidade e rastreamentos, e não declara escala métrica.

• Lançamento — O VGGT foi publicado na CVPR 2025 (arXiv 2503.11651); os repositórios do Depth Pro 2 foram criados em novembro de 2026, com um relatório técnico ainda pendente.

A questão de escala decide a maioria das implantações

Se você precisa saber que a mesa está a 0,74 metros de distância, o VGGT não lhe diz isso diretamente, e o Depth Pro 2 diz. Esse é todo o argumento em uma frase, e vale a pena ser preciso sobre o porquê.

A alegação métrica do Depth Pro 2 é arquitetural, não incidental. O Depth Pro original foi criado como um modelo de base para profundidade métrica zero-shot, e o repositório é explícito quanto às convenções: profundidade é a coordenada z ao longo da direção de visualização, e não a distância radial; profundidade inversa é normalizada pela distância focal; e uma distância focal 10 por cento maior do que deveria coloca tudo 10 por cento mais longe. Essas são as convenções de um modelo cuja saída deve ser lida como uma medição, e o Depth Pro 2 as herda sem alterações em todos os quatro tamanhos.

A saída do VGGT é geométrica. Extrínsecos e intrínsecos de câmera, mapas de pontos e trilhas de pontos são internamente consistentes — a reconstrução está correta até uma transformação de similaridade global — e recuperar a escala absoluta a partir dela é uma etapa separada, geralmente envolvendo uma referência conhecida na cena. Para síntese de novas vistas, para um ativo 3D, para qualquer coisa em que você redimensionará a cena para caber em um visualizador, isso é aceitável e muitas vezes preferível. Para um robô que precisa saber se um obstáculo está a um metro ou a três metros de distância, é um problema que você precisa resolver fora do modelo.

Depth Pro 2 tem seus próprios problemas de honestidade aqui. Pixels de céu retornam como profundidade infinita ou, especialmente nos modelos menores, como uma profundidade finita de vários quilômetros, então uma nuvem de pontos ingênua construída a partir de sua saída terá uma parede de geometria distante espúria onde está o céu. O README diz para limitar o intervalo de profundidade antes de criar uma nuvem de pontos ou uma imagem colorida, que é o tipo de instrução que só aparece depois que alguém já se deu mal com isso.

A consistência do vídeo é a verdadeira contribuição

O Depth Pro 2 não é tanto um Depth Pro melhor, mas sim um Depth Pro estabilizado temporalmente, e o mecanismo está inteiramente no padrão de atenção. Após o primeiro terço de seus blocos, o transformer alterna entre atenção dentro de cada quadro e atenção entre quadros, e o decodificador DPT monta tokens de vários blocos em mapas de características com resolução de um trinta e dois avos a um quarto da resolução de entrada. O propósito dessa alternância é o Jitter — a métrica de consistência temporal —, e a página do projeto o reporta junto com o Boundary F1, com médias sobre os conjuntos de dados Sintel e Spring, com a alegação de que o Depth Pro 2 supera trabalhos anteriores que operam em um único quadro ou em vários quadros em ambas as métricas.

Nenhum valor acompanha essa afirmação, e nenhuma baseline é nomeada. A página se refere apenas a “trabalhos anteriores que operam em um único quadro ou em múltiplos quadros” e a “baselines com suas configurações padrão”, e o bloco de citação traz arXiv:261X.XXXXX — um espaço reservado, não um artigo. Qualquer pessoa que cite um número de Boundary F1 ou Jitter para o Depth Pro 2 está lendo isso em um gráfico.

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

O envelope de operação do Depth Pro 2 é mais estreito do que seu enquadramento de vídeo sugere, e essa limitação está documentada. Seu modo padrão consome clipes de 16 quadros com sobreposição de quatro quadros, e o caminho ao vivo processa cada quadro em relação aos quinze anteriores, o que significa que o primeiro segundo de qualquer fluxo é o segundo mais instável que você terá. Uma única distância focal atende ao vídeo inteiro, escolhida como a mediana sobre a janela inicial — portanto, um clipe que aplica zoom terá a estimativa de distância focal de um único quadro aplicada a todos eles. A memória escala com o tamanho do quadro e com a janela, não com a duração, e a solução da Apple para um vídeo que esgota a memória é encurtar a janela antes de reduzir o modelo.

A VGGT não tem um modo equivalente, porque não precisa de um. Ela já trata todo o conjunto de vistas em conjunto, o que é uma forma mais forte da mesma garantia — desde que você consiga suportar a atenção sobre centenas de vistas e desde que sua aplicação queira uma reconstrução em vez de uma leitura de profundidade por quadro.

Tamanhos, exportações e o que você realmente executa

O Depth Pro 2 oferece quatro tamanhos com contagens publicadas: S com 24M de parâmetros e 97 MB, B com 97M e 386 MB, L com 334M e 1,3 GB, e H+ com 872M e 3,5 GB, sendo H+ o padrão e S recomendado para notebooks. Os arquivos de configuração mostram a estrutura da família — backbones DINOv3 ViT-S e ViT-B no par pequeno com atenção nos blocos 5, 7, 9 e 11, ViT-L com atenção nos blocos 9 a 23, ViT-H+ nos blocos 11 a 31, com dimensões do decodificador de 64, 128, 256 e 256. As exportações Core ML para Apple silicon são distribuídas como um repositório separado, e o repositório de código inclui um aplicativo de demonstração para Mac para profundidade ao vivo a partir da câmera.

VGGT-1B é um único checkpoint de um bilhão de parâmetros, e a família já seguiu adiante desde então. O VGGT-Omega foi lançado em 18 de maio de 2026 como "o próximo passo do VGGT", e um checkpoint comercial, o VGGT-1B-Commercial, existe ao lado do original, com AUC@30 de 90,37 no Co3D contra 89,98 do original — o único número de benchmark na ficha do modelo, e marginal. O VGGT-1B registra 748.148 downloads até o momento desta redação, o que revela o quão amplamente a comunidade de pesquisa o adotou como baseline.

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

O Depth Pro 2 é a história oposta. Seus quatro checkpoints têm downloads na casa das dezenas, os repositórios foram criados no início de novembro de 2026, e o repositório do card tem apenas um punhado de likes. É um modelo que foi publicado e ainda não foi adotado. Vale a pena saber disso antes de se comprometer: se você encontrar um bug, será você quem abrirá a issue.

Licenciamento e o ponto de verificação comercial

O VGGT-1B está sob CC BY-NC 4.0, não comercial. A existência do VGGT-1B-Commercial é o detalhe interessante — a Meta lançou uma variante licenciável comercialmente, o que significa que existe um caminho da pesquisa ao produto sem negociação de licença. Os pesos do Depth Pro 2 estão sob a licença Apple Machine Learning Research Model, apenas para uso em pesquisa, definida pelo repositório como atividades de pesquisa científica não comercial e desenvolvimento acadêmico.

Nenhuma das licenças é uma licença de produto sobre o checkpoint aberto. A diferença é que a família do VGGT inclui uma opção comercial e a do Depth Pro 2 não, então, se você está desenvolvendo para gerar receita, uma delas tem uma porta e a outra tem uma parede.

Esta é o mesmo cálculo que aparece uma camada acima em qualquer pipeline de produção. Um modelo de reconstrução é uma chamada; ao redor dele está a parte que lê uma cena, decide o que fazer e a registra — trabalho de modelo de linguagem, em que o fornecedor lista um preço e um agregador o repassa ou não. A proposta do OrcaRouter é 0% de margem sobre 217 modelos, com failover automático entre provedores, o que importa mais exatamente aqui: quando o estágio de geometria é um checkpoint de pesquisa com um punhado de downloads e nenhuma cadência de lançamento, você quer que o resto do pipeline seja a parte entediante e redundante.

Quem deve começar com qual?

Comece com o VGGT se estiver reconstruindo uma cena a partir de muitas vistas e for lidar com a escala nas etapas seguintes — síntese de novas vistas, um ativo 3D, um conjunto de dados criado a partir de vídeo em que a geometria é o resultado final. A solução conjunta de câmera e geometria é o que justifica o bilhão de parâmetros, e o VGGT-Omega é a geração atual se estiver começando do zero.

Comece com o Depth Pro 2 se precisar de metros a partir de um único quadro, ou se precisar que a profundidade permaneça estável quadro a quadro em uma transmissão ao vivo. O ajuste de tamanho é real e o fluxo de trabalho em laptop está documentado. Vá esperando cortar a profundidade do céu, espere ser a primeira pessoa a registrar a maioria dos bugs e espere ter de aguardar o relatório técnico antes de poder citar um número de Boundary F1 para qualquer pessoa.

O que você não deve fazer é tratar isso como um confronto direto. O VGGT reconstrói, o Depth Pro 2 mede, e a única comparação honesta é qual deles o seu código downstream consegue consumir. Para a maioria dos pipelines 3D, a resposta é o VGGT e uma etapa de recuperação de escala; para a maioria dos pipelines de robótica e RA, é o Depth Pro 2 e um orçamento de robustez para a fumaça.