Um cartão de comparação gerado para Depth Pro 2 e Marigold, com uma coluna à esquerda que diz passagem direta única, profundidade métrica em metros, quatro tamanhos de 24M a 872M parâmetros e suporte a vídeo, e uma coluna à direita que diz desruído iterativo, profundidade invariante a afim, resolução efetiva de aproximadamente 768 pixels e um prior de difusão, além de um logotipo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: Profundidade Métrica ou um Prior de Difusão

Autor

Gideon Frost

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

A Marigold não prevê profundidade. Ela a gera, um passo de desruído por vez, a partir de um modelo de difusão latente ajustado a partir do Stable Diffusion 2. A Depth Pro 2 a prevê, em uma única passagem direta, a partir de um transformer treinado diretamente na tarefa. Ambas produzem um mapa de profundidade que parece correto, ambas têm licença para pesquisa, e a diferença entre elas é a diferença entre um amostrador e um regressor — que aparece primeiro como uma conta, depois como um perfil de latência e só em terceiro lugar como precisão.

Essa ordenação é deliberada. A comparação habitual coloca o AbsRel de um lado e o Boundary F1 do outro e declara um vencedor, o que não é possível aqui: os números do Marigold e os do Depth Pro 2 vêm de protocolos diferentes em conjuntos de dados diferentes e nunca foram comparados entre si por nenhum dos laboratórios. O que é comparável é o custo de se obter uma resposta, a convenção de escala em que a resposta chega e o que cada licença permite. Essas três perguntas têm respostas reais.

Duas maneiras de obter um número a partir de pixels

A ficha do modelo do Marigold é explícita quanto ao próprio tipo: um estimador de profundidade monocular afim-invariante generativo baseado em difusão latente, ajustado a partir do stable-diffusion-2. O checkpoint v1.1, prs-eth/marigold-depth-v1-1, foi criado em 12 de dezembro de 2024 e tem 34 curtidas e cerca de 6.600 downloads. Ele foi projetado para o agendador DDIM e entre 1 e 50 etapas de remoção de ruído, e herda a resolução efetiva do modelo de difusão base de aproximadamente 768 pixels, portanto entradas maiores devem ser redimensionadas com o lado mais longo em 768 antes de serem alimentadas.

O Depth Pro 2 é um modelo discriminativo. O cartão descreve um transformer multivisão sobre os quadros de entrada e um decodificador DPT que prevê um mapa de profundidade inversa por quadro, montando tokens de vários blocos em mapas de características a um trinta e dois avos até um quarto da resolução de entrada. Uma chamada, uma saída, na resolução total da entrada — o cartão é específico quanto a isso, e é o oposto de uma resolução de trabalho de 768 pixels.

• Inferência — Marigold executa de 1 a 50 etapas de denoising por imagem; Depth Pro 2 executa uma passagem direta.

• Resolução de trabalho — a resolução efetiva do Marigold é de cerca de 768 pixels no lado maior; o Depth Pro 2 faz previsões na resolução total da entrada.

• Ensembling — O Marigold produz um mapa de incerteza somente quando várias previsões são combinadas em ensemble com tamanho superior a dois, o que multiplica novamente o custo; o Depth Pro 2 não retorna incerteza.

• Escala — a saída do Marigold é invariante por transformação afim, com valores entre 0 e 1 que interpolam entre os planos próximo e distante à escolha do próprio modelo; a saída do Depth Pro 2 é métrica, em metros.

• Entrada — o Depth Pro 2 aceita uma foto, um arquivo de vídeo ou um feed de câmera ao vivo; o Marigold v1.1 aceita uma única imagem.

Marigold é um sampler, e isso tem um custo.

A contagem de passos não é uma nota de rodapé. A qualidade de um modelo de profundidade por difusão é função de quantos passos de remoção de ruído ele executa e de quantas amostras ele combina em ensemble, e ambos são parâmetros que você ajusta. Na extremidade inferior, você obtém um mapa rápido e grosseiro; com 50 passos e um ensemble, obtém um mapa melhor e um custo computacional muito maior para a mesma imagem. A ficha do Marigold apresenta isso como um recurso — de 1 a 50 passos é um intervalo, e você escolhe onde nele quer ficar — e isso é honesto, mas significa que a "precisão do Marigold" não é um único número. É uma curva, e a curva tem um eixo de custo.

O Depth Pro 2 não tem um seletor equivalente. O tamanho é o seletor — S, B, L ou H+ — e ele altera os pesos, não o número de passagens. Uma previsão é uma única passagem de qualquer forma. Para um notebook, essa diferença é acadêmica; para um serviço que processa um fluxo de vídeo a 30 quadros por segundo, é o design inteiro.

É por isso que a conversa sobre custos em torno de um modelo de profundidade não termina no modelo. A etapa que consome um mapa de profundidade — descrever a cena, decidir o que fazer, escrever o resultado — é trabalho de modelo de linguagem, e é nessa parte que o custo por chamada é publicado e comparável. O OrcaRouter repassa o preço de tabela do provedor com 0% de margem em mais de 200 modelos hospedados com uma única chave, com failover automático entre provedores. Um amostrador de difusão na etapa de visão com um multiplicador de ensemble é exatamente o tipo de custo que faz você querer que o restante do pipeline seja previsível.

O Depth Pro 2 responde em uma única passagem

O design de passagem única traz consigo as suas próprias restrições, e estas são documentadas em vez de ocultadas. A profundidade é a distância ao longo do eixo de visão da câmara — a coordenada z, não a distância radial. A profundidade inversa em Python é normalizada pela distância focal: focallength_px / (width * depth). A profundidade escala com a distância focal, pelo que uma distância focal 10 por cento maior do que o devido coloca tudo 10 por cento mais longe.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

O comportamento de vídeo é onde a arquitetura compensa. O modo com buffer processa clipes de 16 quadros com sobreposição de quatro, mantendo a profundidade estável entre os limites dos clipes; o modo sem buffer prevê cada quadro conforme ele chega a partir desse quadro e dos 15 anteriores, com a penalidade de aquecimento documentada de que os primeiros quadros de um fluxo têm menos predecessores e, portanto, profundidade menos estável. Um vídeo recebe uma única distância focal para todos os seus quadros, a mediana da primeira janela. A memória cresce com o tamanho do quadro e o comprimento da janela, não com a duração.

Nada disso tem equivalente no Marigold, porque o Marigold v1.1 é um modelo de imagem única. Rode-o em vídeo e você o executa quadro a quadro, e qualquer cintilação que surgir é a cintilação que você entrega.

Invariante afim em relação à métrica

Esta é a seção que decide a maioria das integrações, e não se trata de qualidade. A saída do Marigold é invariante a transformações afins: os valores previstos ficam entre 0 e 1 e interpolam entre os planos próximo e distante escolhidos pelo modelo. Essa é uma representação perfeitamente adequada para um matte, um passe de profundidade para composição ou qualquer coisa que seja redimensionada para caber em um intervalo — e é a convenção padrão na literatura de profundidade por difusão, pelo bom motivo de ser exatamente aquilo em que esses modelos são realmente bons.

A saída do Depth Pro 2 é uma medição em metros, com a distância focal associada. Para um robô decidindo se um obstáculo está a um metro ou a três metros de distância, para uma sobreposição de RA que precisa ficar a uma distância física, para uma nuvem de pontos em um referencial de coordenadas real, essa diferença é o cerne da tarefa. Recuperar a escala absoluta a partir de um mapa invariante a afinidade é uma etapa separada que envolve uma referência conhecida na cena ou um sensor, e é um trabalho que o Depth Pro 2 já realizou internamente.

Nenhum dos dois é melhor. São produtos diferentes da mesma palavra, e qual você quer depende do que consome o mapa.

O que o Marigold V2 mudou em 2026

O nome "Marigold" agora abrange duas gerações, e a segunda não é uma pequena atualização. O Marigold V2, huawei-bayerlab/marigold-v2-0, foi criado em 27 de agosto de 2026, com lançamento inicial em 8 de setembro de 2026. É um transformador de difusão, e não uma UNet: um ajuste fino com LoRA do Qwen/Qwen-Image-Edit-2509, publicado com um artigo da SIGGRAPH Asia 2026 na ACM Transactions on Graphics 45(6), arXiv 2609.08084.

A superfície de capacidades alargou-se consideravelmente. O Marigold V2 disponibiliza checkpoints para profundidade em parametrizações logarítmica, linear e de disparidade, variantes em camadas que preveem geometria atrás de vidro, além de normais de superfície e albedo — sendo este último o tipo de saída que só faz sentido num modelo generativo que já compreende a formação de imagens. A inferência precisa de cerca de 17 GB de memória de GPU a 1024² e 29 GB a 2048², pelo que uma placa de 24 GB cobre a primeira e a segunda exige 32 GB.

A saída de profundidade ainda é invariante a transformações afins — profundidade até uma escala e um deslocamento desconhecidos por imagem —, então o argumento de escala acima sobrevive intacto à mudança de geração. O que mudou foram a precisão e a resolução: os resultados zero-shot relatados sob o protocolo Pixel-Perfect Depth, AbsRel (menor é melhor) e δ1 em porcentagem, são 3,6 / 98,0 no NYUv2, 5,4 / 97,4 no KITTI, 2,8 / 99,2 no ETH3D, 3,7 / 97,9 no ScanNet e 5,2 / 97,1 no DIODE. As normais de superfície apresentam erro angular médio de 16,6 graus e 61,2 por cento dentro de 11,25 graus no NYUv2, e o albedo no Hypersim com PSNR 20,78, SSIM 0,811 e LPIPS 0,195. Esses valores foram relatados pelo fornecedor e não foram reproduzidos aqui.

O que cada lado permitirá que você cite

O Marigold V2 publica uma tabela. O Depth Pro 2 publica um gráfico de dispersão com eixos rotulados e nenhuma tabela por modelo. Essa assimetria é o fato mais subnoticiado sobre essa combinação, e vai contra a suposição de que o modelo mais novo deve ser o mais bem documentado.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

O cartão do Depth Pro 2 relata Boundary F1 e Jitter com média sobre Sintel e Spring, afirma superar trabalhos anteriores que operam com um único quadro ou com múltiplos quadros em ambos, e plota aproximadamente duas dúzias de baselines — mas Marigold não está entre eles. Não há marcador de Marigold no gráfico da Apple nem linha de Depth Pro 2 na tabela do Marigold V2, então nenhum dos laboratórios colocou os dois modelos em um mesmo eixo. O bloco de citação ainda traz arXiv:261X.XXXXX — um espaço reservado — e não há página de pesquisa para o Depth Pro 2 em machinelearning.apple.com. O relatório técnico que o cartão diz comparar os tamanhos em termos de velocidade e memória ainda não existe.

Assim, um documento de contratação pode citar o AbsRel e o δ1 do Marigold V2 hoje, com a ressalva de que são números do fornecedor em um protocolo que você não executou. Não pode citar nenhum número do Depth Pro 2. Isso não é uma crítica ao modelo; é um fato sobre o lançamento, e mudará no dia em que o relatório for publicado.

Licenças: OpenRAIL, Apache, somente para pesquisa

Três licenças em três checkpoints, e elas não são intercambiáveis.

• Marigold v1.1 — CreativeML OpenRAIL++-M, a licença comunitária do Stable Diffusion 2, que traz restrições baseadas no uso em vez de uma proibição puramente não comercial.

• Marigold V2 — Apache 2.0 nos pesos divulgados, com o Qwen-Image-Edit-2509 base mantendo sua própria licença, portanto suas obrigações dependem de ambos.

• Depth Pro 2 — a licença Apple Machine Learning Research Model, que o repositório define como permitindo uso exclusivamente para fins de pesquisa, ou seja, pesquisa científica não comercial e desenvolvimento acadêmico.

A consequência prática: o Marigold V2 é o único desses três que é plausivelmente lançável, sujeito ao que quer que o modelo base Qwen exija. O Depth Pro 2 não é, em nenhum tamanho, e a sua licença de código não muda isso. O código do Depth Pro 2 reconhece separadamente o TIMM e o DINOv3 como suas bases.

Qual escolher

Opte pelo {{1}}Marigold V2{{/1}} se você quiser um mapa de profundidade como uma das saídas entre várias — normais, albedo, profundidade em camadas com transparência — e estiver trabalhando em cerca de {{2}}1024²{{/2}}, e a convenção invariante a transformações afins for adequada porque seu consumidor redimensiona de qualquer forma. É o modelo mais flexível, publica números, e sua licença é a única permissiva aqui.

Recorra ao Depth Pro 2 se precisar de metros, se a sua entrada for um vídeo ou um feed ao vivo, ou se precisar de limites nítidos na resolução total e não puder se dar ao luxo de reamostrar para 768. Comece com o S em um laptop, como sugere a documentação da Apple, e espere cortar a profundidade do céu — o próprio conselho do README, já que pixels de céu retornam profundidade infinita ou um valor finito de vários quilômetros nos modelos pequenos.

O que você não deve fazer é ler os dois cartões como um ranking. O AbsRel do Marigold V2 e o Boundary F1 do Depth Pro 2 não são o mesmo experimento, e a única afirmação honesta sobre a qualidade relativa deles é que ninguém fez a comparação: a Apple plotou duas dúzias de baselines e o Marigold não estava entre eles, enquanto o artigo do Marigold V2 avalia contra seus próprios predecessores no protocolo Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.