Depth Pro 2용으로 생성된 타이틀 카드로, 부제는 'Sharp and Temporally Consistent Metric Monocular Depth'이며, S 24M, B 97M, L 334M, H+ 872M이라고 적힌 네 개의 크기 칩과 focal estimator 23.5M이라고 적힌 다섯 번째 칩, arXiv 식별자가 아직 자리 표시자라는 바닥글 메모, 그리고 OrcaRouter 로고가 포함되어 있습니다.
Guides & Insights

논문 없이 출시된 Depth Pro 2: 가중치가 보여주는 것

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Apple의 Depth Pro 2 모델 카드 맨 아래로 스크롤해서 인용 정보를 읽어 보세요. 저자 여덟 명, 2026년 날짜, 그리고 261X.XXXXX로 표시된 arXiv 식별자가 있습니다. X는 검게 가린 부분이 아닙니다. 아무도 돌아와 채우지 않은 자리 표시자이며, 이번 공개를 가장 솔직하게 요약한 것이기도 합니다. Apple의 메트릭 단안 깊이 모델인 Depth Pro 2는 오늘 다운로드할 수 있는 가중치로는 존재하지만, 아직 읽을 수 있는 논문으로는 존재하지 않습니다.

그 격차가 바로 이야기입니다. 출시 행사도, 벤치마크 표도, 데모 Space도 아닙니다 — 리포지토리 자체에서 Space가 공개되기 전까지 숨김으로 표시하고 있으며, 이 글을 쓰는 현재까지도 공개되지 않았습니다. 이어지는 내용은 리포지토리와 문서에서 알 수 있는 모든 것으로, 아직 확인되지 않은 것과 분리해 두었습니다.

무엇이 출시되었고, 어느 날짜에 출시되었나요?

날짜는 문서로 남아 있는 부분입니다. Hugging Face가 호스팅하는 모든 저장소에 타임스탬프를 기록하기 때문입니다. 모델 카드 저장소인 apple/DepthPro2는 2026년 11월 3일에 생성되었습니다. 가중치 저장소들은 이틀 뒤인 11월 5일에 이어졌으며, 그중에는 apple/DepthPro2-H도 있었습니다. Core ML 내보내기 저장소는 11월 9일에 나왔습니다. 독립형 초점 거리 추정기인 apple/DepthPro2-focal은 11월 19일에 등장했습니다. 같은 날 코드 저장소인 apple-aiml-research/ml-depth-pro-2가 GitHub에서 공개되었습니다.

그 시퀀스를 마케팅 타임라인이 아니라 엔지니어링 타임라인으로 읽어라. 카드, 가중치, Apple silicon 내보내기, 카메라 보정 모델, 코드는 16일에 걸쳐 순차적으로 공개되었고, 마지막으로 도착한 조각은 Apple 내부 사람이 아닌 누구라도 전체를 실행할 수 있게 해주는 것이었다. 이 순서 어디에도 조율된 발표를 암시하는 점은 없다. 오히려 검토를 통과하는 대로 아티팩트를 밀어 올리는 팀을 암시한다.

반응이 이를 입증한다. H+ 가중치 저장소는 다운로드 40회, 카드 저장소는 좋아요 10개를 기록했다. GitHub 저장소는 커밋이 단 하나뿐이다. Depth Pro를 만든 연구소에서 나온 모델치고는, 그것은 출시 곡선이 아니다 — 아직 주목받지 못한 출시다.

이 논문은 프리프린트가 아니라 자리 표시자입니다.

세 군데의 별도 위치가 존재하지 않는 기술 보고서를 가리킵니다. 모델 카드의 배지는 arxiv.org/abs/TODO를 링크합니다. GitHub README의 배지는 arxiv.org/abs/261X.XXXXX를 링크합니다. 두 곳 모두의 BibTeX 블록에는 journal = {arXiv preprint arXiv:261X.XXXXX} 및 url = {https://arxiv.org/abs/261X.XXXXX}라고 되어 있습니다.

그에 대한 Apple Machine Learning 연구 페이지도 없습니다 — machinelearning.apple.com/research/depth-pro-2는 404를 반환하고, Apple의 연구 사이트맵에는 depth-pro가 있지만 depth-pro-2는 없습니다. 배지가 가리키는 프로젝트 페이지인 apple-aiml-research.github.io/ml-depth-pro-2는 실제로 접속되는 유일한 Apple 관리 표면입니다.

이 점은 들리는 것보다 더 중요합니다. 기술 보고서는 평가 프로토콜이 담겨 있는 문서이며, 그것이 없으면 카드가 보고하는 수치를 베이스라인이 보고하는 수치와 대조하여 확인할 수 없습니다. 따라서 아래의 모든 정량적 내용은 공급업체의 자체 주장으로, 독립적 검증 없이 그대로 재현되었으며 그렇게 표시되어 있습니다.

네 가지 크기, 그리고 초점 거리 추정기

이 제품군은 자체적인 스케일링에 대해 이례적으로 분명히 밝힌다. Apple은 네 구성원 모두의 매개변수 수와 다운로드 크기를 공개하는데, 이는 대부분의 깊이 모델 릴리스가 신경 쓰는 것보다 더 많은 정보이다:

• 소형(S) — 24M 매개변수, 97MB 다운로드, 노트북에서 시작하기에 적합한 모델입니다.

• Base (B) — 9,700만 개의 매개변수, 386 MB.

• 대형(L) — 334M 파라미터, 1.3 GB.

• H+ (H) — 8억 7,200만 개의 파라미터, 3.5 GB이며, -m을 지정하지 않으면 명령줄이 기본으로 다운로드하는 모델입니다.

• 초점 거리 추정기 — 23.5M 파라미터, 94 MB, 어떤 크기와도 함께 로드되며 사진이나 동영상에 카메라 초점 거리 정보가 없을 때 이를 예측하는 별도 저장소입니다.

이름 표기 방식은 한 가지 짚고 넘어갈 만한데, 설정 파일을 작성하는 사람이라면 누구나 헷갈릴 수 있기 때문입니다. 저장소는 apple/DepthPro2-H이지만 명령줄 플래그는 -m depthpro2-h이고, 카드에서는 해당 크기를 H+라고 부릅니다. 문서에서는 두 표기가 몇 줄 간격을 두고 함께 사용됩니다.

밑에 있는 아키텍처는 멀티뷰 트랜스포머와 그 뒤를 잇는 프레임별 DPT 디코더로 구성됩니다. 트랜스포머 블록의 처음 3분의 1이 지나면 어텐션은 프레임 내부와 프레임 간을 번갈아 수행하며, 디코더는 여러 블록의 토큰을 입력 해상도의 1/32에서 1/4 크기의 특징 맵으로 조합합니다. README에서는 TIMM과 DINOv3를 코드 및 모델 기반으로 명시하고 있습니다.

트레이드오프 차트가 유일한 결과입니다.

이 카드의 결과 섹션 전체는 하나의 그림과 두 문장으로 이루어져 있다. 이 그림은 Apple이 선택한 두 지표인 Boundary F1을 Jitter에 대해 약 24개의 단일 프레임 및 다중 프레임 깊이 모델을 산점도로 나타내며, 네 가지 Depth Pro 2 크기는 주황색으로, 나머지는 모두 파란색 또는 초록색으로 표시하고, Sintel 및 Spring 데이터셋에 대해 평균화한 값이다. 두 문장은 Depth Pro 2가 단일 프레임 또는 여러 프레임에서 작동하는 기존 연구보다 두 데이터셋 모두에서 더 우수하며, 오른쪽 위가 가장 좋다는 것을 말한다.

The sharpness-versus-temporal-consistency scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL further down the jitter axis, footnoted as averaged over Sintel and Spring.

축에는 레이블이 붙어 있습니다. Boundary F1은 0에서 0.3까지, jitter는 0.1에서 0까지입니다. 산점도에서 위치를 읽어 보면, H+ 마커는 Boundary F1 약 0.29, jitter 약 0.017에 위치하며, 원래 Depth Pro의 대략 0.235와 0.095와 대비됩니다. 두 축 모두에서 큰 격차입니다. 이 그림에 없는 것은 표, 데이터셋별 분석, 속도나 메모리 측정치, 또는 플롯된 24개 모델 밖의 비교입니다. 카드에는 논문이 속도와 메모리를 포함한 크기를 비교한다고 적혀 있지만, 그 논문은 아직 존재하지 않습니다.

그것은 모델을 불신할 이유가 아니다. Depth Pro 2의 Boundary F1을 소수점 셋째 자리까지 인용해 제시하는 어떤 기사든 불신할 이유다. 왜냐하면 그런 숫자가 존재하는 유일한 곳은 약 100분의 1 정도까지 읽을 수 있는 산점도뿐이고, 평가 프로토콜은 아직 발표되지 않은 보고서로 미뤄져 있기 때문이다. 조달 문서에 그 수치가 필요하다면, 당신은 그 보고서를 기다리고 있는 것이다.

비디오가 바로 그것을 속편으로 만드는 요소다.

원래의 Depth Pro는 그 제목 그대로 선명함과 속도에 관한 것이었습니다: 1초 미만의 선명한 단안 메트릭 깊이— 표준 GPU에서 0.3초 만에 2.25메가픽셀. Depth Pro 2는 그 선명함을 유지하면서 두 번째 축인 시간적 일관성을 추가했으며, 아키텍처 전체의 변경은 바로 이를 위해 존재합니다. 프레임 내부와 프레임 간을 번갈아 수행하는 어텐션은 트랜스포머가 여러 장의 이미지가 아닌 하나의 장면으로서 여러 프레임을 바라보게 하는 방식입니다.

The method diagram from the Depth Pro 2 model card showing a multi-view transformer over the input frames followed by a DPT decoder per frame, annotated with the two numbered contributions: alternating within-frame and across-frame attention after the first third of blocks, and decoder feature maps at one thirty-second to one quarter of the input resolution.

여기서 두 가지 작동 모드가 나옵니다. 비디오 파일의 기본값인 버퍼링 모드는 4프레임씩 겹치는 16프레임 클립을 처리하여 연속 클립이 만나는 지점에서도 깊이를 안정적으로 유지합니다. --window와 --overlap은 두 수치를 모두 노출합니다. 비버퍼링 모드는 각 프레임이 도착하는 즉시 해당 프레임과 그 이전 15프레임을 바탕으로 예측하며, 라이브 카메라용 모드입니다. Apple은 스트림의 첫 프레임들은 참조할 선행 프레임이 더 적어 깊이가 덜 안정적이라고 솔직히 밝힙니다. 이는 운영 환경에서 발견되는 것이 아니라 문서에 명시된 워밍업 페널티입니다.

영상 동작의 나머지 부분은 통합하기 전에 알아 둘 가치가 있는 일련의 결과들이다. 영상은 모든 프레임에 대해 단일 초점 거리를 가지며, 이는 첫 윈도우에 걸친 추정값들의 중앙값으로 정해진다. 메모리는 영상 길이가 아니라 프레임 크기와 윈도우 길이에 따라 증가하므로, 맞지 않는 클립에 대해 문서화된 해결책은 먼저 윈도우를 줄이고, 그다음 더 작은 모델로 전환하며, 입력 크기 조정은 최후의 수단으로만 하는 것이다. 그리고 하늘 픽셀은 무한 깊이로, 또는 특히 더 작은 모델에서는 수 킬로미터의 유한 깊이로 반환된다. README에서는 포인트 클라우드를 만들기 전에 범위를 클리핑하라고 알려 주는데, 이는 누군가 그렇게 하지 않았기 때문에만 존재하는 종류의 조언이다.

아직 확인되지 않은 것은 무엇인가?

솔직한 미해결 질문 목록은 짧고 구체적입니다.

• 독립적 평가 — 없음. Depth Pro 2에 대해 Boundary F1 또는 Jitter 수치를 발표한 제3자는 없으며, 해당 카드 자체의 베이스라인은 "단일 프레임 또는 여러 프레임에서 작동하는 선행 작업" 외에는 이름이 명시되지 않았습니다.

• 속도와 메모리 — 논문에서 비교된다고 주장되지만 이는 자리표시자입니다. 구체적인 런타임 지침은 H+가 3.5 GB의 가중치라는 것과 S가 노트북 옵션이라는 것뿐입니다.

• 데모 — Space는 HTML 주석 안에 링크되어 있으며, 공개될 때까지 숨김으로 표시되어 있습니다. 데모가 존재한다는 것과 데모에 접근할 수 있다는 것은 서로 다른 주장입니다.

• 이름 — "Depth Pro 2"는 저장소 이름에서 DepthPro2로, 코드 패키지와 Core ML 저장소에서 depth-pro-2로, Python import에서 depth_pro_2로 표시됩니다. 네 가지 모두 검색하세요.

A screenshot of the Hugging Face model card for apple/DepthPro2, showing the Depth Pro 2 title, the badge row linking to GitHub, the technical report and the project page, the licence and tags row, and the opening paragraph describing metric depth from a single photo, a whole video or a live feed at the input's full resolution.

논문이 발표되기 전에 그것을 먼저 돌려보는 것

설치 과정은 의도적으로 지루하게 만들어졌는데, 그게 오히려 장점입니다. uv를 설치하고 저장소를 클론한 다음, 사진의 경우 uv run depth-pro-2 predict -i assets/example.jpg -o out/를 실행하거나 동영상의 경우 같은 명령에 .mp4를 지정해 실행합니다. 첫 실행 시 -m depthpro2-s를 전달하지 않으면 3.5GB의 H+를 가져옵니다. 이 명령은 사용 가능한 첫 번째 장치를 선택합니다 — CUDA, 그다음 Apple silicon MPS, 그다음 CPU — 그리고 GPU에서는 bfloat16 autocast로, CPU에서는 float32로 실행됩니다. Apple 하드웨어용 Core ML 내보내기와 macOS 15 및 Xcode 16이 필요한 최소한의 Mac 데모 앱이 있습니다.

실용적인 세부 사항은 출력 형식에 있습니다. 이 명령은 항상 색상으로 구분된 깊이 이미지를 작성하며, 가까운 곳은 빨간색, 먼 곳은 파란색입니다. --save-png16은 합성 도구용 16비트 그레이스케일 PNG를 추가하며, 가까운 곳은 흰색, 먼 곳은 검은색이고, 사진 또는 비디오 첫 프레임의 깊이 범위에 맞춰 스케일됩니다. 따라서 비디오에서 나중에 더 가까워지는 지점은 포화됩니다. --save-npz는 미터 단위의 실제 깊이 배열과 focallength_px를 추가하며, 수치 작업을 하는 경우 원하는 것은 이것입니다.

문서를 건너뛰면 두 가지 관례가 발목을 잡을 것입니다. 깊이는 카메라 시점 축을 따라 측정한 거리, 즉 z 좌표이며 렌즈로부터의 직선 거리가 아닙니다. 그리고 Python에서 역깊이는 초점 거리로 정규화됩니다. 즉 focallength_px / (width * depth)와 같습니다. 초점 거리를 10퍼센트 잘못 구하면 모든 것이 10퍼센트 너무 멀리 놓입니다.

이 중 어느 것도 저희를 통해 라우팅되지 않습니다. Depth Pro 2는 Apple 자체 저장소에서 제공되는 연구용 라이선스 가중치이며, 실행하려면 Apple에서 직접 다운로드해야 합니다. OrcaRouter가 담당하는 것은 그 주변 파이프라인의 나머지 부분입니다 — 200개 이상의 호스팅 모델에 대해 제공업체 정가 대비 0% 마크업으로 하나의 API와 하나의 키를 제공하며, 제공업체 간 자동 장애 조치를 지원합니다. 깊이 단계가 자리표시자 인용과 정해진 릴리스 주기가 없는 연구용 체크포인트일 때, 그 주변의 추론 및 작성 단계야말로 지루하고 중복적인 부분이 되어야 하는 단계입니다.

빌드하는 대신 기다리고 있다면 주목할 것: X로 표시된 자리를 대체하는 arXiv 식별자, machinelearning.apple.com 아래에 나타나는 연구 페이지, 그리고 주석 처리된 상태에서 링크된 상태로 바뀌는 데모 Space. 이 중 하나라도 이 상황을 가중치 공개에서 릴리스로 바꿔 놓을 것이며, 위 차트에 빠져 있는 모델별 표를 제공하게 될 것입니다.