Thẻ so sánh được tạo cho Depth Pro và Depth Pro 2, hiển thị bản phát hành năm 2024 với một checkpoint monocular 0,3 giây duy nhất và không có chế độ video, so với bản phát hành năm 2026 với bốn kích cỡ từ 24M đến 872M tham số, chế độ video và luồng trực tiếp, cùng một báo cáo kỹ thuật vẫn được đánh dấu là giữ chỗ, kèm logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Depth Pro: Giữ nguyên độ sắc nét, khắc phục rung giật

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Depth Pro gốc có một vấn đề bất thường khi làm đường cơ sở: checkpoint mà Apple công bố không phải là mô hình được mô tả trong bài báo. Thẻ mô hình nói thẳng điều này — checkpoint trong kho lưu trữ là một bản triển khai tham chiếu đã được huấn luyện lại, và hiệu năng của nó gần với mô hình được báo cáo trong bài báo nhưng không khớp chính xác. Vì vậy, mọi so sánh giữa Depth Pro 2 và Depth Pro đều là so sánh với một bản thay thế, kể cả so sánh trên chính thẻ của Depth Pro 2.

Sau khi đã nêu rõ lưu ý đó, hình hài của bản nâng cấp đã đủ rõ. Depth Pro 2 giữ lại đặc tính đã làm nên sự nổi bật của Depth Pro — độ sâu sắc nét ở ranh giới vật thể, tính bằng mét, từ một ảnh duy nhất — và bổ sung thêm đặc tính thứ hai: độ sâu ổn định qua từng khung hình. Tiêu đề bài báo nói rõ điều đó. Depth Pro từng là Độ sâu mét đơn mắt sắc nét trong chưa đầy một giây. Depth Pro 2 là Độ sâu mét đơn mắt sắc nét và nhất quán theo thời gian. Mọi thứ thay đổi giữa hai phiên bản đều phục vụ tính từ thứ hai; gần như không có gì thay đổi ở tính từ thứ nhất.

Hai năm, hai bản phát hành rất khác nhau

Depth Pro ra mắt vào ngày 3 tháng 10 năm 2024 cùng một bài báo, arXiv 2410.02073, và một kết quả được công bố: một bản đồ độ sâu 2,25 megapixel trong 0,3 giây trên một GPU tiêu chuẩn. Kho lưu trữ có 568 lượt thích và chỉ hơn 6.200 lượt tải xuống. Nó được phát hành dưới dạng một checkpoint, depth_pro.pt, và thẻ mô hình của nó mô tả các đóng góp kỹ thuật — một vision transformer đa tỷ lệ hiệu quả cho dự đoán dày đặc, một giao thức huấn luyện kết hợp dữ liệu thực và tổng hợp, các chỉ số độ chính xác ranh giới chuyên dụng, và ước lượng tiêu cự tiên tiến nhất từ một hình ảnh duy nhất.

Các kho lưu trữ của Depth Pro 2 được tạo vào tháng 11 năm 2026: thẻ vào ngày 3 tháng 11, trọng số vào ngày 5 tháng 11, các bản xuất Core ML vào ngày 9 tháng 11, bộ ước lượng tiêu cự và kho mã vào ngày 19 tháng 11. Thẻ và README trên GitHub đều trỏ đến mã định danh arXiv 261X.XXXXX, vốn là một chỗ giữ chỗ chứ không phải bản tiền in. Không có trang nghiên cứu nào cho nó trên machinelearning.apple.com — đường dẫn đó trả về 404 — và không có số liệu đánh giá chuẩn nào ở bất kỳ đâu ngoài biểu đồ phân tán của chính thẻ.

Vậy cách diễn đạt trung thực là Depth Pro 2 là một bản phát hành trọng số kèm tài liệu, chứ không phải một công bố. Depth Pro là một bài báo kèm checkpoint. Nếu bạn đang trích dẫn thứ gì đó, một trong hai cái này cho bạn một con số còn cái kia cho bạn một kho lưu trữ.

Điều gì thực sự đã thay đổi trong kiến trúc

Depth Pro là một mô hình một ảnh. Depth Pro 2 là một transformer đa khung nhìn, xử lý đồng thời một hoặc nhiều khung hình, và cơ chế rất cụ thể: sau một phần ba số block đầu tiên, attention luân phiên giữa trong từng khung hình và giữa các khung hình. Sau đó, một bộ giải mã DPT dự đoán bản đồ độ sâu nghịch đảo cho mỗi khung hình, tập hợp các token từ một số block thành các feature map ở độ phân giải từ một phần ba mươi hai đến một phần tư độ phân giải đầu vào.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Đó là toàn bộ lập luận kiến trúc cho phần tiếp theo, và nó có hệ quả rõ ràng trong cách bạn chạy mô hình. Depth Pro 2 có hai chế độ video. Chế độ Buffered, mặc định cho tệp, xử lý các đoạn gồm 16 khung hình chồng lấn bốn khung, giúp độ sâu ổn định tại nơi các đoạn gặp nhau. Chế độ Unbuffered dự đoán từng khung hình ngay khi nó đến, từ khung đó và 15 khung trước đó, và là chế độ dành cho camera trực tiếp. Apple ghi rõ chi phí của đường xử lý trực tiếp thay vì che giấu nó: những khung hình đầu tiên của một luồng có ít khung trước hơn để tham chiếu, nên độ sâu của chúng kém ổn định hơn.

Depth Pro không có cả hai chế độ đó, vì nó không có attention xuyên khung hình để chạy. Đưa vào một video, bạn sẽ nhận được các ước lượng độc lập cho từng khung hình, và mọi hiện tượng nhấp nháy giữa chúng đều do bạn tự làm mượt. Với ảnh tĩnh thì đó không phải là mất mát; với bất kỳ thứ gì có chuyển động, đó chính là khoảng cách mà phần tiếp theo được tạo ra để thu hẹp.

Điều gì đã không thay đổi

Các quy ước về số liệu là giống hệt nhau, đây là tin tốt cho bất kỳ ai đang chuyển đổi: hai mô hình thống nhất về ý nghĩa của các con số. Độ sâu là khoảng cách dọc theo trục nhìn của camera — tọa độ z — chứ không phải khoảng cách theo đường thẳng từ ống kính. Độ sâu nghịch đảo trong Python được chuẩn hóa theo tiêu cự, bằng focallength_px / (width * depth). Độ sâu tỉ lệ với tiêu cự, nên tiêu cự dài hơn 10 phần trăm sẽ đặt mọi thứ xa hơn 10 phần trăm. Các pixel bầu trời trả về độ sâu vô hạn hoặc, đặc biệt trên các mô hình nhỏ hơn, độ sâu hữu hạn vài kilômét, và tài liệu hướng dẫn bạn cắt khoảng giá trị trước khi tạo đám mây điểm.

Ước lượng tiêu cự vẫn là một phần cốt lõi của gói, và vẫn có thể bỏ qua. Những bức ảnh ghi tiêu cự quy đổi tương đương 35mm trong EXIF sẽ được dùng trực tiếp; mọi trường hợp còn lại đều đi qua bộ ước lượng. Depth Pro 2 tách bộ ước lượng này thành một kho lưu trữ riêng gồm 23,5 triệu tham số, apple/DepthPro2-focal, được nạp song song với bất kỳ kích thước nào và cũng có thể chạy độc lập — hữu ích khi bạn muốn giải bài toán camera một lần và chạy mô hình độ sâu nhiều lần. Với Depth Pro, khả năng tương tự được tích hợp sẵn vào một checkpoint duy nhất mà không có cách nào tách riêng hai phần.

Hỗ trợ Core ML vẫn được kế thừa và còn được cải thiện. Depth Pro 2 cung cấp các gói Core ML đã xuất trong một kho lưu trữ chuyên dụng và bao gồm một ứng dụng demo Mac tối giản hiển thị độ sâu trực tiếp từ camera, yêu cầu Apple silicon, macOS 15 và Xcode 16. Đó là yêu cầu thấp hơn để có một bản demo hoạt động so với những gì bản gốc đưa ra.

Bốn kích thước so với một checkpoint

Sự khác biệt thực tế lớn nhất là Depth Pro 2 không chịu là một mô hình duy nhất. Apple công bố bốn mô hình, kèm tham số và dung lượng tải xuống:

• S — 24M tham số, 97 MB, điểm khởi đầu được khuyến nghị trên máy tính xách tay.

• B — 97M tham số, 386 MB.

• L — 334 triệu tham số, 1,3 GB.

• H+ — 872M tham số, 3.5 GB, là mặc định mà dòng lệnh tải xuống.

Kích thước bạn chọn không thay đổi giấy phép chút nào và thay đổi hành vi khá nhiều, vì các mô hình nhỏ hơn được ghi nhận là tạo ra nhiều hơn những độ sâu bầu trời giả tạo cỡ nhiều kilômét đó. H+ là mặc định vì một lý do, nhưng trên máy tính xách tay, S là sự khác biệt giữa chạy được và không chạy được.

Depth Pro là một checkpoint duy nhất, không có nút điều chỉnh. Đó không phải là lời chỉ trích — đây là bản phát hành năm 2024 và bài báo chỉ báo cáo một kết quả 0,3 giây — nhưng điều đó có nghĩa là câu hỏi chuyển đổi “kích thước nào” không có đối tác tương ứng ở phía cũ, và bất kỳ so sánh nào coi “Depth Pro” là một hàng so với bốn hàng đều đang làm phẳng một quyết định thực sự.

Những con số, dù chúng có như thế nào đi nữa.

Thẻ mô hình của Depth Pro 2 báo cáo Boundary F1 và Jitter được lấy trung bình trên các bộ dữ liệu Sintel và Spring, tuyên bố vượt trội so với các công trình trước đó hoạt động trên một khung hình hoặc nhiều khung hình trên cả hai, và vẽ biểu đồ so sánh. Depth Pro là một trong các điểm đánh dấu trên biểu đồ đó. Các trục được dán nhãn — Boundary F1 từ 0 đến 0,3, jitter từ 0,1 giảm xuống 0 — nhưng không có bảng theo từng mô hình, nên mức cải thiện chỉ đọc được đến khoảng hàng phần trăm: H+ nằm gần 0,29 Boundary F1 ở mức jitter khoảng 0,017, còn Depth Pro gốc ở khoảng 0,235 và 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Hãy coi đó là một tuyên bố do nhà cung cấp tự báo cáo và chưa được tái lập, đúng như bản chất của nó. Không có bên thứ ba nào đã công bố con số Boundary F1 hay Jitter cho Depth Pro 2, và báo cáo kỹ thuật lẽ ra phải định nghĩa giao thức đánh giá chỉ là một bản giữ chỗ. Ngược lại, Depth Pro gốc cung cấp các chỉ số biên ngay trong chính cơ sở mã của mình — eval/boundary_metrics.py exposes SI_boundary_F1 và SI_boundary_Recall — vì vậy nếu bạn muốn tự chạy phép so sánh, công cụ cho một nửa của nó là công khai và checkpoint mục tiêu là một bản xấp xỉ được huấn luyện lại của một mô hình trong bài báo.

Giấy phép và vấn đề thương mại

Không thay đổi, và đáng nêu ra vì đây là kiểu chi tiết thường bị bỏ sót trong một lần nâng cấp. Trọng số của cả hai mô hình đều thuộc giấy phép Apple Machine Learning Research Model, mà kho lưu trữ định nghĩa là chỉ cho phép sử dụng dành riêng cho mục đích nghiên cứu, nghĩa là nghiên cứu khoa học phi thương mại và phát triển học thuật. Mã nguồn được cấp phép riêng, và phần ghi nhận trong Depth Pro 2 ghi công TIMM và DINOv3 là nền tảng của nó.

Vậy nên bản nâng cấp là miễn phí về mặt giấy phép và không khả dụng về mặt sản phẩm ở cả hai đầu. Nếu bạn phát hành để tạo doanh thu, thì không mốc kiểm tra nào trong hai mốc là mốc bạn cần, và cuộc trao đổi bạn cần là với Apple chứ không phải với một tệp giấy phép.

Di chuyển, cụ thể

Depth Pro 2 không phải là bản thay thế trực tiếp cho Depth Pro, vì tên gói, điểm vào và các định danh mô hình đều đã thay đổi. Depth Pro được cài từ apple/ml-depth-pro và chạy bằng depth-pro-run -i ./data/example.jpg. Depth Pro 2 được cài từ apple-aiml-research/ml-depth-pro-2 và chạy bằng uv run depth-pro-2 predict -i assets/example.jpg -o out/, với -m depthpro2-s đến -m depthpro2-h để chọn kích thước. Trong Python, lệnh import là depth_pro_2 và đường dẫn khởi tạo là create_model_and_transforms hoặc DepthPro2.from_pretrained.

Giao diện đầu ra cũng đã thay đổi hình dạng. model.infer() của Depth Pro trả về một từ điển gồm depth và focallength_px. infer() của Depth Pro 2 trả về depth, còn tiêu cự sẽ tự nhiên hơn khi lấy từ bộ ước lượng riêng hoặc được truyền vào dưới dạng f_px nếu bạn có sẵn. Nếu bạn có một pipeline truy cập trực tiếp vào dict dự đoán, hãy dành một buổi chiều.

Những gì bạn nhận được cho quá trình chuyển đổi là một núm điều chỉnh kích thước, một pipeline video với hai chế độ đã được ghi tài liệu, một bộ ước lượng tiêu cự tách riêng, và gói đóng gói Core ML cùng một ứng dụng demo hoạt động được. Những gì bạn không nhận được là một bài báo, một bảng đánh giá chuẩn cho từng mô hình, hay bất kỳ xác nhận độc lập nào rằng mô hình mới tốt hơn — chỉ một biểu đồ phân tán với các trục có nhãn và không có bảng nào đằng sau nó.

Không có phần nào trong số này được định tuyến qua chúng tôi, và không nên mô tả như thể là vậy: Depth Pro 2 là trọng số được cấp phép cho nghiên cứu từ các kho lưu trữ của chính Apple. Nơi một lớp định tuyến chứng minh được giá trị của nó là ở một bước ngoài — phần mô tả cảnh, quyết định, bài viết xung quanh giai đoạn độ sâu của bạn là các lệnh gọi mô hình ngôn ngữ, và OrcaRouter đưa hơn 200 mô hình được lưu trữ trên một khóa với mức đánh dấu 0% so với giá niêm yết của nhà cung cấp, với chuyển đổi dự phòng tự động giữa các nhà cung cấp, vì vậy một checkpoint nghiên cứu không có nhịp phát hành là thứ mong manh duy nhất trong quy trình xử lý, thay vì là một trong nhiều thứ.

Nếu bạn đang dùng Depth Pro và nó vẫn chạy tốt, lý do để chuyển sang là video. Nếu bạn đang dùng Depth Pro và chỉ chạy ảnh tĩnh, độ sắc nét bạn đang có chính là độ sắc nét mà bản kế nhiệm tuyên bố đã giữ nguyên, và điều trung thực nên làm là chờ báo cáo kỹ thuật trước khi bạn bỏ ra một buổi chiều để đổi tên import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.