생성된 타이틀 카드는 크고 짙은 기하학적 서체로 ‘Depth Pro 2 vs VGGT’라는 제목을 달고 있으며, 그 아래에는 ‘측정인가, 재구성인가’라는 부제목이 있고, 그 밑으로 얇은 파란색-청록색 그라데이션 바가 이어진다.
Engineering & Research

Depth Pro 2 vs VGGT: 메트릭 깊이 또는 다시점 기하학

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

휴대폰을 방에 향하게 하고, 방 주위를 걸어 다니며 40초 분량의 영상을 촬영하라. 두 모델은 그것을 기하 구조로 바꿀 수 있지만, 그 기하 구조가 무엇인지에 대해서는 서로 동의하지 않을 것이다. Apple의 메트릭 단안 깊이 모델인 Depth Pro 2는 모든 프레임의 모든 픽셀에 대해 미터 단위의 깊이 값을 반환하며 초점 거리도 함께 제공한다. Meta AI Research와 옥스퍼드 대학교 VGG 그룹의 Visual Geometry Grounded Transformer인 VGGT — CVPR 2025에 발표됨 — 는 전체 뷰 집합에 대한 카메라 외부 파라미터와 내부 파라미터, 포인트 맵, 깊이 맵, 3D 포인트 트랙을 한 번에 반환한다.

그 출력 중 하나는 측정값입니다. 다른 하나는 재구성입니다. 이 둘 중에서 선택하는 것은 어느 쪽이 더 정확한가의 문제가 아닙니다. 두 모델은 서로 다른 질문에 답하고 있으며, 필요한 답은 파이프라인에서 모델 뒤에 무엇이 오는지에 따라 결정되기 때문입니다.

각 모델이 하도록 만들어진 작업

VGGT는 한 장, 몇 장 또는 수백 장의 뷰로부터 장면의 모든 핵심 3D 속성을 몇 초 안에 추론하는 피드포워드 네트워크입니다. 핵심은 공동 추정입니다. 프레임마다 깊이 모델을 실행한 뒤 별도의 Structure-from-Motion 단계로 카메라 포즈를 푸는 대신, VGGT는 뷰들이 서로에게 어텐션하면서 포즈, 내부 파라미터, 깊이, 포인트 트랙을 단일 패스로 생성합니다. 그래서 "수백 장의 뷰"라는 주장이 중요합니다. 이는 사진측량 파이프라인에 추가되는 것이 아니라 이를 대체하는 것입니다.

Depth Pro 2는 단안 메트릭 깊이 추정기이며, 여기서 핵심이 되는 단어는 '메트릭(metric)'입니다. 출력은 카메라의 시선 방향을 따라 미터 단위로 표현된 깊이 맵이며, 단일 이미지로부터 계산되고 카메라 메타데이터가 필요 없습니다. 모델은 EXIF에서 초점 거리를 읽거나, 사용자가 픽셀 단위로 제공한 값을 받아들이거나, 자체 리포지토리로 제공되는 별도의 23.5M 파라미터 추정기로 이를 예측할 수 있습니다. 또한 비디오도 처리하는데, 여기서 '2'가 나옵니다. 멀티뷰 트랜스포머가 프레임들을 공동으로 처리하며, 블록의 처음 3분의 1 이후에는 각 프레임 내부와 프레임 간 어텐션을 번갈아 수행하고, DPT 디코더가 프레임마다 역 깊이 맵을 출력합니다.

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• 작업 단위 — VGGT는 여러 뷰 세트를 입력으로 받고, Depth Pro 2는 사진, 동영상 또는 라이브 피드를 입력으로 받습니다.

• 주요 출력 — VGGT는 카메라 파라미터, 포인트 맵, 깊이 맵 및 3D 포인트 트랙을 제공하고, Depth Pro 2는 메트릭 깊이와 함께 사용된 초점 거리를 제공합니다.

• 카메라 솔브 — VGGT는 이를 공동 문제의 일부로 추정하고, Depth Pro 2는 외부 파라미터 없이 초점 거리를 읽거나 수용하거나 예측합니다.

• 스케일 — Depth Pro 2의 대표 출력은 미터 단위입니다; VGGT의 모델 카드는 카메라 매개변수, 포인트 맵, 깊이 및 트랙을 설명하며 미터법 스케일을 주장하지 않습니다.

• 릴리스 — VGGT는 CVPR 2025(arXiv 2503.11651)에 게재되었으며, Depth Pro 2의 저장소들은 2026년 11월에 생성되었고 기술 보고서는 아직 대기 중입니다.

규모 문제가 대부분의 배포를 결정한다

테이블이 0.74미터 떨어져 있다는 사실을 알아야 한다면, VGGT는 그것을 직접 알려주지 않지만 Depth Pro 2는 알려줍니다. 이것이 한 문장으로 정리되는 논증의 전부이며, 그 이유를 정확히 따져볼 가치가 있습니다.

Depth Pro 2의 메트릭 주장은 우연이 아니라 아키텍처에서 비롯된 것입니다. 원래 Depth Pro는 제로샷 메트릭 깊이를 위한 파운데이션 모델로 구축되었으며, 저장소는 그 규약을 명시하고 있습니다. 즉 깊이는 방사형 거리가 아니라 시선 방향을 따른 z 좌표이고, 역깊이는 초점 거리로 정규화되며, 초점 거리가 10퍼센트 길면 모든 것이 10퍼센트 더 멀리 놓이게 됩니다. 이는 출력이 측정값으로 읽히도록 의도된 모델의 규약이며, Depth Pro 2는 네 가지 크기 모두에서 이를 그대로 계승합니다.

VGGT의 출력은 기하학적입니다. 카메라 외부 파라미터, 내부 파라미터, 포인트 맵, 포인트 트랙은 내부적으로 일관성이 있으며 — 재구성은 전역 유사 변환까지 정확하고 — 여기서 절대 스케일을 복원하는 것은 별도의 단계로, 보통 장면 내의 알려진 기준을 포함합니다. 새 시점 합성, 3D 에셋, 뷰어에 맞게 장면 크기를 조정하는 모든 경우에는 그것이 괜찮고 종종 바람직합니다. 장애물이 1미터 떨어져 있는지 3미터 떨어져 있는지 알아야 하는 로봇에게는 모델 외부에서 해결해야 하는 문제입니다.

Depth Pro 2는 여기서 나름의 정직성 문제를 안고 있습니다. 하늘 픽셀은 무한 깊이로 반환되거나, 특히 더 작은 모델에서는 수 킬로미터의 유한 깊이로 반환됩니다. 그래서 그 출력으로 순진하게 만든 포인트 클라우드는 하늘이 있는 곳에 가짜 원거리 지오메트리 벽을 갖게 됩니다. README에서는 포인트 클라우드나 컬러 이미지를 만들기 전에 깊이 범위를 클리핑하라고 알려 주는데, 이는 누군가 그 지침에 한 번 당한 뒤에야 나타나는 종류의 안내입니다.

비디오 일관성이 진정한 기여입니다.

Depth Pro 2는 Depth Pro를 더 개선한 것이라기보다 시간적으로 안정화된 버전이며, 그 메커니즘은 전적으로 어텐션 패턴에 있습니다. 블록의 첫 3분의 1이 지나면 트랜스포머는 각 프레임 내 어텐션과 프레임 간 어텐션을 번갈아 수행하고, DPT 디코더는 여러 블록의 토큰을 입력 해상도의 1/32에서 1/4에 해당하는 특징 맵으로 조립합니다. 이러한 교대의 핵심은 시간적 일관성 지표인 Jitter이며, 프로젝트 페이지는 Sintel 및 Spring 데이터셋에서 평균한 Boundary F1과 함께 이를 보고하면서 Depth Pro 2가 단일 프레임 또는 다중 프레임에서 작동하는 선행 연구보다 두 지표 모두에서 우수하다고 주장합니다.

그 주장에 함께 제시된 수치는 없고, 이름이 명시된 베이스라인도 없다. 해당 페이지는 오직 “단일 프레임 또는 여러 프레임에서 작동하는 선행 연구”와 “기본 설정 상태의 베이스라인”만 언급하며, 인용 블록에는 arXiv:261X.XXXXX라고 적혀 있는데, 이는 논문이 아니라 자리표시자다. Depth Pro 2에 대해 Boundary F1이나 Jitter 수치를 인용하는 사람은 그것을 차트에서 읽어내는 것이다.

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

Depth Pro 2의 작동 범위는 비디오 프레이밍이 시사하는 것보다 좁으며, 그 좁음은 문서화되어 있다. 기본 모드는 4프레임 겹침이 있는 16프레임 클립을 처리하고, 라이브 경로는 각 프레임을 앞선 15프레임과 대조해 실행하므로, 어떤 스트림이든 첫 1초가 얻게 될 가장 흔들리는 1초이다. 하나의 초점 거리가 비디오 전체에 적용되며, 시작 윈도우의 중앙값으로 선택된다 — 따라서 줌하는 클립은 한 프레임 분량의 초점 추정값이 모든 프레임에 적용된다. 메모리는 지속 시간이 아니라 프레임 크기와 윈도우에 따라 확장되며, 메모리 부족 비디오에 대한 Apple의 해결책은 모델을 축소하기 전에 윈도우를 단축하는 것이다.

VGGT에는 이에 상응하는 모드가 없습니다. 필요하지 않기 때문입니다. VGGT는 이미 전체 뷰 집합을 공동으로 처리하며, 이는 동일한 보장의 더 강력한 형태입니다. 단, 수백 개의 뷰에 대한 어텐션을 감당할 수 있고, 애플리케이션이 프레임별 깊이 판독이 아니라 재구성을 원하는 경우에 그렇습니다.

크기, 내보내기, 그리고 실제로 실행하는 것

Depth Pro 2는 공개된 수치가 있는 네 가지 크기를 제공합니다. S는 24M 파라미터와 97MB, B는 97M과 386MB, L은 334M과 1.3GB, H+는 872M과 3.5GB이며, H+가 기본이고 S는 노트북에 권장됩니다. 구성 파일은 패밀리 구조를 보여 줍니다. 소형 두 모델의 DINOv3 ViT-S 및 ViT-B 백본은 블록 5, 7, 9, 11에서 어텐션하고, ViT-L은 블록 9부터 23까지, ViT-H+는 블록 11부터 31까지 어텐션하며, 디코더 차원은 64, 128, 256, 256입니다. Apple silicon용 Core ML 내보내기는 별도 저장소로 제공되며, 코드 저장소에는 카메라에서 실시간 깊이를 확인할 수 있는 Mac 데모 앱이 포함되어 있습니다.

VGGT-1B는 10억 개 매개변수를 가진 단일 체크포인트이며, 이후 이 제품군은 다음 단계로 나아갔다. VGGT-Omega는 2026년 5월 18일 "VGGT의 다음 단계"로 공개되었고, 상용 체크포인트인 VGGT-1B-Commercial은 원본과 함께 존재하며 Co3D에서 AUC@30이 90.37로 원본의 89.98보다 높다. 이는 모델 카드에 있는 유일한 벤치마크 수치이며, 그마저도 근소한 차이다. 이 글을 쓰는 시점에 VGGT-1B의 다운로드 수는 748,148회로, 연구 커뮤니티가 이를 기준 모델로 얼마나 폭넓게 채택했는지를 보여준다.

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2는 정반대 사례입니다. 이 모델의 네 체크포인트는 다운로드 수가 수십 건에 불과하고, 리포지토리는 2026년 11월 초에 생성되었으며, 카드 리포지토리에 달린 좋아요도 몇 개뿐입니다. 공개는 되었지만 아직 주목받지 못한 모델입니다. 도입하기 전에 알아둘 만한 점입니다. 버그를 발견하면 이슈를 올리는 사람도 바로 당신이 될 테니까요.

라이선싱 및 상업적 체크포인트

VGGT-1B는 CC BY-NC 4.0, 비상업적입니다. 흥미로운 점은 VGGT-1B-Commercial의 존재입니다. Meta가 상업적 라이선스가 가능한 변형을 출시했다는 것은 라이선스 협상 없이 연구에서 제품으로 이어지는 경로가 존재한다는 뜻입니다. Depth Pro 2의 가중치는 Apple Machine Learning Research Model 라이선스 하에 있으며 연구용으로만 사용할 수 있고, 저장소에서는 이를 비상업적 과학 연구 및 학술 개발 활동으로 정의합니다.

어느 라이선스도 오픈 체크포인트에 대한 제품 라이선스가 아닙니다. 차이는 VGGT 제품군에는 상용 옵션이 포함되어 있고 Depth Pro 2에는 포함되어 있지 않다는 점입니다. 따라서 수익을 목적으로 개발한다면, 이 중 하나는 문이 있고 다른 하나는 벽이 있습니다.

이것은 어떤 프로덕션 파이프라인에서든 한 계층 위에 나타나는 것과 동일한 계산입니다. 재구성 모델은 호출 하나에 불과하고, 그 주위에는 장면을 읽고 무엇을 할지 결정하고 이를 기록하는 부분이 자리합니다. 즉 언어 모델 작업이며, 여기서 공급업체는 가격을 제시하고 애그리게이터는 그 가격을 그대로 전달하거나 전달하지 않습니다. OrcaRouter의 제안은 217개 모델에 대해 0% 마크업과 공급자 간 자동 장애 조치를 제공한다는 것이며, 이는 바로 이 지점에서 가장 중요합니다. 기하 단계가 다운로드 수가 적고 릴리스 주기가 없는 연구 체크포인트일 때, 여러분은 파이프라인의 나머지가 지루하고 중복성 있는 부분이기를 원하기 때문입니다.

누가 무엇부터 시작해야 할까요?

여러 뷰에서 장면을 재구성하고 스케일은 다운스트림에서 처리할 예정이라면 — 새로운 시점 합성, 3D 에셋, 기하 구조가 최종 산출물인 비디오로 구축한 데이터셋 — VGGT로 시작하세요. 카메라와 기하 구조를 함께 푸는 방식이 VGGT를 10억 개 파라미터의 가치가 있게 만드는 이유이며, 새로 시작한다면 VGGT-Omega가 현재 세대입니다.

단일 프레임에서 미터 단위 깊이가 필요하거나, 라이브 피드에서 프레임마다 깊이가 안정적으로 유지되어야 한다면 Depth Pro 2로 시작하세요. 크기 다이얼은 실제로 작동하며 노트북 워크플로도 문서화되어 있습니다. 시작할 때는 하늘 깊이가 잘려 나갈 것이라고, 대부분의 버그를 가장 먼저 신고하는 사람이 될 것이라고, 그리고 누군가에게 Boundary F1 수치를 인용하려면 기술 보고서를 기다려야 한다고 예상하세요.

당신이 해서는 안 되는 일은 이것을 일대일 맞대결로 다루는 것입니다. VGGT는 재구성하고, Depth Pro 2는 측정하며, 유일하게 정직한 비교는 다운스트림 코드가 어느 쪽을 소비할 수 있는지입니다. 대부분의 3D 파이프라인에서 답은 VGGT와 스케일 복원 단계이고, 대부분의 로봇공학 및 AR 파이프라인에서는 Depth Pro 2와 연기(smoke)에 대한 견고성 여유분입니다.