Depth Pro 2와 Marigold를 위한 생성된 비교 카드로, 왼쪽 열에는 단일 순전파, 미터 단위의 메트릭 깊이, 24M에서 872M 파라미터까지의 네 가지 크기 및 비디오 지원이 있고, 오른쪽 열에는 반복적 노이즈 제거, 아핀 불변 깊이, 대략 768픽셀의 유효 해상도 및 확산 사전이 있으며, 추가로 OrcaRouter 로고가 있습니다.
Guides & Insights

Depth Pro 2 vs Marigold: 메트릭 깊이 또는 디퓨전 프라이어

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Marigold는 깊이를 예측하지 않는다. Stable Diffusion 2에서 미세 조정된 잠재 확산 모델로부터 노이즈 제거 단계를 한 번에 하나씩 거치며 깊이를 생성한다. Depth Pro 2는 해당 작업으로 직접 학습된 트랜스포머를 통해 단일 순방향 패스로 깊이를 예측한다. 둘 다 그럴듯해 보이는 깊이 맵을 생성하고, 둘 다 연구용 라이선스로 제공되며, 두 방식의 차이는 샘플러와 회귀기의 차이인데, 이 차이는 첫째로 비용 청구서로, 둘째로 지연 시간 프로파일로, 셋째로서야 정확도로 드러난다.

그 순서는 의도된 것입니다. 흔한 비교는 AbsRel을 한쪽에, Boundary F1을 다른 쪽에 두고 승자를 가리지만, 여기서는 그럴 수 없습니다. Marigold의 수치와 Depth Pro 2의 수치는 서로 다른 데이터셋에서 서로 다른 프로토콜로 산출된 것이며, 어느 연구실도 이 둘을 서로 맞대어 실행한 적이 없습니다. 비교할 수 있는 것은 답을 얻는 비용, 답이 제시되는 스케일 규약, 그리고 각 라이선스가 허용하는 범위입니다. 이 세 가지 질문에는 실제 답이 있습니다.

픽셀에서 숫자를 얻는 두 가지 방법

Marigold의 모델 카드는 자체 유형을 명확히 밝히고 있습니다. 즉, stable-diffusion-2에서 미세 조정된 생성형 잠재 확산 기반 아핀 불변 단안 깊이 추정기입니다. v1.1 체크포인트인 prs-eth/marigold-depth-v1-1은 2024년 12월 12일에 생성되었으며 좋아요 34개와 약 6,600회 다운로드를 기록하고 있습니다. DDIM 스케줄러와 1~50회의 노이즈 제거 단계에 맞게 설계되었고, 기본 확산 모델의 대략 768픽셀의 유효 해상도를 이어받으므로 더 큰 입력은 투입하기 전에 긴 변을 768로 조정해 리사이즈해야 합니다.

Depth Pro 2는 판별적 모델입니다. 카드에는 입력 프레임들에 대한 다중 시점 트랜스포머와 프레임별 역 깊이 맵을 예측하는 DPT 디코더가 설명되어 있으며, 여러 블록의 토큰을 입력 해상도의 32분의 1에서 4분의 1 크기의 특징 맵으로 조립합니다. 한 번의 호출, 한 번의 출력, 입력의 전체 해상도에서 — 카드는 이 점을 구체적으로 밝히며, 이는 768픽셀 작업 해상도와 정반대입니다.

• 추론 — Marigold는 이미지당 1~50개의 노이즈 제거 단계를 실행하며, Depth Pro 2는 한 번의 순방향 패스를 실행합니다.

• 작업 해상도 — Marigold의 실효 해상도는 긴 변 기준 약 768픽셀이며, Depth Pro 2는 입력의 전체 해상도에서 예측합니다.

• 앙상블 — Marigold는 크기가 2보다 큰 여러 예측을 앙상블할 때만 불확실성 맵을 생성하며, 이는 비용을 다시 배로 증가시킵니다; Depth Pro 2는 불확실성을 반환하지 않습니다.

• 스케일 — Marigold의 출력은 아핀 불변이며, 0과 1 사이의 값이 모델이 자체적으로 선택한 근거리 평면과 원거리 평면 사이를 보간합니다. Depth Pro 2의 출력은 미터 단위의 메트릭입니다.

• 입력 — Depth Pro 2는 사진, 동영상 파일 또는 실시간 카메라 피드를 입력받고, Marigold v1.1은 단일 이미지를 입력받습니다.

Marigold는 샘플러이며, 그에는 비용이 따른다.

스텝 수는 각주가 아닙니다. 디퓨전 깊이 모델의 품질은 실행하는 노이즈 제거 스텝 수와 앙상블하는 샘플 수에 따라 달라지며, 둘 다 사용자가 설정하는 값입니다. 낮은 쪽에서는 빠르고 거친 맵을 얻고, 앙상블과 함께 50스텝을 사용하면 더 나은 맵을 얻는 대신 같은 이미지에 훨씬 더 큰 연산 비용을 치릅니다. Marigold의 카드는 이를 기능으로 내세웁니다 — 1~50스텝은 하나의 범위이며, 그중 어디에 위치할지는 사용자가 선택합니다 — 그리고 이는 정직한 설명이지만, 그렇기 때문에 "Marigold의 정확도"는 단일 숫자가 아닙니다. 그것은 곡선이며, 그 곡선에는 비용 축이 있습니다.

Depth Pro 2에는 이에 해당하는 다이얼이 없습니다. 크기가 곧 다이얼이며 — S, B, L 또는 H+ — 이는 패스 횟수가 아니라 가중치를 바꿉니다. 예측은 어느 경우든 한 번의 패스입니다. 노트북에서는 그 차이가 이론적인 문제이지만, 초당 30프레임의 비디오 스트림을 처리하는 서비스에서는 설계 전체를 좌우하는 문제입니다.

Which is why the cost conversation around a depth model does not stop at the model. The stage that consumes a depth map — describing the scene, deciding what to do, writing the result — is language-model work, and that is the part where per-call cost is published and comparable. OrcaRouter passes provider list price through at 0% markup across 200-plus hosted models on a single key, with automatic failover across providers. A diffusion sampler in the vision stage with an ensemble multiplier is exactly the kind of cost that makes you want the rest of the pipeline to be predictable.

Depth Pro 2는 한 번의 패스로 응답합니다

단일 패스 설계에는 고유한 제약이 있으며, 이는 숨기지 않고 문서화되어 있습니다. 깊이는 카메라 시선 축을 따른 거리, 즉 방사형 거리가 아니라 z 좌표입니다. Python에서 역깊이는 초점 거리로 정규화됩니다: focallength_px / (width * depth). 깊이는 초점 거리에 비례하므로, 초점 거리가 10퍼센트 더 길면 모든 것이 10퍼센트 더 멀리 배치됩니다.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

비디오 동작은 아키텍처가 성과를 내는 부분입니다. 버퍼링 모드는 16프레임 클립을 4프레임씩 겹치게 처리하여 클립 경계에서도 깊이를 일정하게 유지합니다. 비버퍼링 모드는 각 프레임이 도착할 때 해당 프레임과 그 이전 15개 프레임으로부터 예측하며, 문서화된 워밍업 페널티가 있어 스트림의 첫 프레임들은 선행 프레임이 더 적기 때문에 깊이가 덜 안정적입니다. 한 비디오의 모든 프레임에는 첫 윈도우의 중앙값인 하나의 초점 거리가 적용됩니다. 메모리는 지속 시간이 아니라 프레임 크기와 윈도우 길이에 따라 증가합니다.

그중 어느 것도 Marigold에 대응하는 기능이 없습니다. Marigold v1.1은 단일 이미지 모델이기 때문입니다. 비디오에 실행하면 프레임 단위로 실행하게 되고, 거기서 발생하는 깜빡임이 바로 여러분이 출시하게 되는 깜빡임입니다.

메트릭에 대한 아핀 불변

이 섹션은 대부분의 통합을 좌우하는 부분이며, 품질에 관한 이야기가 아니다. Marigold의 출력은 아핀 불변적이다. 예측값은 0과 1 사이에 위치하며, 모델이 선택한 근평면과 원평면 사이를 보간한다. 이는 매트, 합성용 깊이 패스, 또는 범위에 맞게 재조정되는 모든 것에 있어 아주 좋은 표현이며, diffusion-depth 문헌의 표준 관례이다. 이 모델들이 실제로 잘하는 것이 바로 이것이라는 타당한 이유에서다.

Depth Pro 2의 출력은 초점 거리가 함께 포함된 미터 단위의 측정값입니다. 장애물이 1미터 떨어져 있는지 3미터 떨어져 있는지 판단해야 하는 로봇에게, 물리적 거리에 위치해야 하는 AR 오버레이에게, 실제 좌표계의 포인트 클라우드에게 그 차이는 일의 전부입니다. 아핀 불변 맵에서 절대 스케일을 복원하는 것은 장면 내의 알려진 기준물이나 센서가 필요한 별도의 단계이며, 이는 Depth Pro 2가 내부적으로 이미 수행한 작업입니다.

어느 쪽도 더 낫지 않습니다. 둘은 같은 단어에서 나온 서로 다른 결과물이며, 어느 쪽을 원할지는 맵을 소비하는 대상에 따라 결정됩니다.

2026년에 Marigold V2가 무엇을 변경했나요?

이제 "Marigold"라는 이름은 두 세대를 아우르며, 두 번째 모델은 작은 업데이트가 아니다. Marigold V2, huawei-bayerlab/marigold-v2-0은 2026년 8월 27일에 만들어졌고 2026년 9월 8일에 최초 릴리스되었다. 이는 UNet이 아니라 디퓨전 트랜스포머로, Qwen/Qwen-Image-Edit-2509를 LoRA로 파인튜닝한 모델이며, SIGGRAPH Asia 2026 논문과 함께 ACM Transactions on Graphics 45(6), arXiv 2609.08084에 게재되었다.

기능 범위가 상당히 넓어졌습니다. Marigold V2는 로그, 선형, 디스패리티 파라미터화의 깊이를 위한 체크포인트를 제공하고, 유리 뒤의 기하 구조를 예측하는 계층형 변형과 표면 법선 및 알베도도 포함합니다. 그중 마지막 것은 이미지 형성을 이미 이해하는 생성 모델에서만 의미가 있는 종류의 출력입니다. 추론에는 1024²에서 약 17GB의 GPU 메모리가, 2048²에서는 29GB가 필요하므로 24GB 카드는 첫 번째를 커버하고 두 번째는 32GB가 필요합니다.

Its depth output is still affine-invariant — depth up to an unknown scale and shift per image — so the scale argument above survives the generation change intact. What changed is accuracy and resolution: the reported zero-shot results under the Pixel-Perfect Depth protocol, AbsRel (lower is better) and δ1 in percent, are 3.6 / 98.0 on NYUv2, 5.4 / 97.4 on KITTI, 2.8 / 99.2 on ETH3D, 3.7 / 97.9 on ScanNet and 5.2 / 97.1 on DIODE. Surface normals come in at a mean angular error of 16.6 degrees and 61.2 percent within 11.25 degrees on NYUv2, and albedo on Hypersim at PSNR 20.78, SSIM 0.811 and LPIPS 0.195. Those are vendor-reported and unreproduced here.

각 측이 인용하도록 허용하는 내용

{{1}}Marigold V2{{/1}}는 표를 공개한다. {{2}}Depth Pro 2{{/2}}는 축에 레이블이 붙은 산점도를 공개하고 모델별 표는 내놓지 않는다. 그 비대칭성은 이 조합에 관해 가장 적게 보도된 사실이며, 더 새로운 모델이 더 잘 문서화되어 있을 수밖에 없다는 가정에 반한다.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Depth Pro 2의 카드는 Sintel과 Spring에 걸쳐 평균한 Boundary F1 및 Jitter를 보고하고, 두 데이터셋 모두에서 단일 프레임 또는 여러 프레임으로 작동하는 선행 연구보다 성능이 뛰어나다고 주장하며, 대략 24개의 기준선을 플롯한다 — 그러나 Marigold는 그중에 없다. Apple의 차트에는 Marigold 표시가 없고 Marigold V2의 표에는 Depth Pro 2 행이 없으므로, 어느 연구실도 두 모델을 한 축에 배치하지 않았다. 인용 블록에는 여전히 arXiv:261X.XXXXX — 자리 표시자 — 가 적혀 있으며, machinelearning.apple.com에는 Depth Pro 2 연구 페이지가 없다. 카드가 속도와 메모리 측면에서 크기를 비교한다고 말하는 기술 보고서는 아직 존재하지 않는다.

따라서 조달 문서는 오늘날 Marigold V2의 AbsRel과 δ1을 인용할 수 있습니다. 단, 그것들이 귀하가 수행하지 않은 프로토콜에 대한 벤더 수치라는 전제가 있습니다. Depth Pro 2 수치는 전혀 인용할 수 없습니다. 그것은 모델에 대한 비판이 아니라 릴리스에 관한 사실이며, 보고서가 도착하는 날 바뀔 것입니다.

라이선스: OpenRAIL, Apache, 연구 전용

세 개의 체크포인트에 걸쳐 세 개의 라이선스가 있으며, 이들은 서로 교환하여 사용할 수 없습니다.

• 메리골드 v1.1 — CreativeML OpenRAIL++-M, 즉 Stable Diffusion 2 커뮤니티 라이선스로, 순수한 비상업적 금지 조항이 아니라 사용 기반 제한을 둡니다.

• Marigold V2 — 공개된 가중치에는 Apache 2.0이 적용되지만, 기반 모델인 Qwen-Image-Edit-2509는 자체 라이선스를 유지하므로 귀하의 의무는 두 라이선스 모두에 따라 달라집니다.

• {{1}}Depth Pro 2{{/1}} — Apple Machine Learning Research Model 라이선스이며, 저장소에서는 이 라이선스가 비상업적 과학 연구 및 학술 개발을 의미하는 연구 목적으로만 사용을 허용한다고 정의합니다.

실질적 결과: Marigold V2는 이 셋 중 Qwen 기본 모델이 요구하는 사항을 전제로 현실적으로 출시 가능한 유일한 모델이다. Depth Pro 2는 어떤 크기에서도 그렇지 않으며, 코드 라이선스가 그 사실을 바꾸지 않는다. Depth Pro 2의 코드는 TIMM과 DINOv3를 기반으로 별도로 명시하고 있다.

어느 것을 선택할까

여러 출력 중 하나로 깊이 맵을 원한다면 — 노멀, 알베도, 레이어드 시스루 깊이 — 그리고 대략 1024²에서 작업 중이며, 사용하는 쪽에서 어차피 다시 스케일을 조정하므로 affine-invariant 규약이 괜찮다면 Marigold V2를 선택하세요. 더 유연한 모델이고, 수치를 공개하며, 라이선스가 여기서 유일하게 허용적인 모델입니다.

미터 단위가 필요하거나, 입력이 비디오 또는 라이브 피드이거나, 전체 해상도에서 선명한 경계가 필요해 768로 리샘플링할 여유가 없다면 Depth Pro 2를 선택하세요. Apple 문서에서 제안하듯 노트북에서는 S로 시작하고, 하늘 깊이는 클리핑할 것으로 예상하세요 — 이는 README 자체의 조언인데, 작은 모델에서는 하늘 픽셀이 무한 깊이 또는 수 킬로미터의 유한 값을 반환하기 때문입니다.

두 카드를 리더보드처럼 읽어서는 안 된다. Marigold V2의 AbsRel과 Depth Pro 2의 Boundary F1은 같은 실험이 아니며, 두 모델의 상대적 품질에 관해 할 수 있는 유일하게 정직한 말은 아무도 그 비교를 수행하지 않았다는 것이다. Apple은 24개의 베이스라인을 플롯했지만 Marigold는 그중 하나가 아니었고, 반면 Marigold V2 논문은 Pixel-Perfect Depth 프로토콜에서 자체 선행 모델들과 비교 평가한다.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.