Một thẻ so sánh được tạo cho Depth Pro 2 và Marigold, với cột bên trái ghi một lượt truyền xuôi, độ sâu metric tính bằng mét, bốn kích cỡ từ 24M đến 872M tham số và hỗ trợ video, còn cột bên phải ghi khử nhiễu lặp, độ sâu bất biến affine, độ phân giải hiệu dụng khoảng 768 pixel và một tiên nghiệm khuếch tán, cùng với logo OrcaRouter.
Guides & Insights

Depth Pro 2 vs Marigold: Độ sâu metric hay tiên nghiệm khuếch tán

Tác giả

Gideon Frost

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Marigold không dự đoán độ sâu. Nó sinh ra độ sâu, từng bước khử nhiễu một, từ một mô hình khuếch tán tiềm ẩn được tinh chỉnh từ Stable Diffusion 2. Depth Pro 2 dự đoán độ sâu, trong một lượt truyền xuôi duy nhất, từ một transformer được huấn luyện trực tiếp cho tác vụ này. Cả hai đều tạo ra một bản đồ độ sâu trông đúng, cả hai đều được cấp phép cho mục đích nghiên cứu, và sự khác biệt giữa chúng là sự khác biệt giữa một bộ lấy mẫu và một bộ hồi quy — điều này thể hiện trước tiên dưới dạng hóa đơn, thứ hai là hồ sơ độ trễ, và chỉ thứ ba mới là độ chính xác.

Thứ tự đó là có chủ đích. Cách so sánh thông thường đặt AbsRel ở một bên và Boundary F1 ở bên kia rồi tuyên bố một bên thắng, điều này không thể thực hiện ở đây: số liệu của Marigold và số liệu của Depth Pro 2 được lấy từ các giao thức khác nhau trên các bộ dữ liệu khác nhau và chưa từng được một trong hai phòng thí nghiệm chạy đối chọi với nhau. Điều có thể so sánh được là chi phí để có được câu trả lời, quy ước tỷ lệ mà câu trả lời được đưa ra, và những gì mỗi giấy phép cho phép. Ba câu hỏi đó đều có câu trả lời thực sự.

Hai cách để lấy một con số ra từ các điểm ảnh

Thẻ mô hình của Marigold nói rõ về loại của chính nó: một bộ ước lượng độ sâu đơn mắt bất biến affine dựa trên khuếch tán tiềm ẩn sinh tạo, được tinh chỉnh từ stable-diffusion-2. Checkpoint v1.1, prs-eth/marigold-depth-v1-1, được tạo vào ngày 12 tháng 12 năm 2024 và có 34 lượt thích cùng khoảng 6.600 lượt tải xuống. Nó được thiết kế cho bộ lập lịch DDIM và từ 1 đến 50 bước khử nhiễu, đồng thời kế thừa độ phân giải hiệu dụng khoảng 768 pixel của mô hình khuếch tán cơ sở, vì vậy các đầu vào lớn hơn nên được đổi kích thước sao cho cạnh dài bằng 768 trước khi đưa chúng vào.

Depth Pro 2 là một mô hình phân biệt. Thẻ mô tả một transformer đa khung nhìn trên các khung đầu vào và một bộ giải mã DPT dự đoán bản đồ độ sâu nghịch đảo cho mỗi khung, tập hợp các token từ một số khối thành bản đồ đặc trưng ở độ phân giải từ một phần ba mươi hai đến một phần tư độ phân giải đầu vào. Một lần gọi, một đầu ra, ở độ phân giải đầy đủ của đầu vào — thẻ nói rõ về điều đó, và nó ngược lại với độ phân giải làm việc 768 pixel.

• Suy luận — Marigold chạy từ 1 đến 50 bước khử nhiễu cho mỗi ảnh; Depth Pro 2 chạy một lượt lan truyền xuôi.

• Độ phân giải làm việc — độ phân giải hiệu dụng của Marigold là khoảng 768 pixel ở cạnh dài; Depth Pro 2 dự đoán ở độ phân giải đầy đủ của đầu vào.

• Kết hợp mô hình — Marigold chỉ tạo ra bản đồ độ bất định khi nhiều dự đoán được kết hợp với kích thước lớn hơn hai, điều này lại làm tăng gấp bội chi phí; Depth Pro 2 không trả về độ bất định.

• Tỷ lệ — Đầu ra của Marigold có tính bất biến affine, với các giá trị từ 0 đến 1 nội suy giữa mặt phẳng gần và mặt phẳng xa do chính mô hình tự chọn; đầu ra của Depth Pro 2 là metric, tính bằng mét.

• Đầu vào — Depth Pro 2 nhận ảnh chụp, tệp video hoặc luồng camera trực tiếp; Marigold v1.1 chỉ nhận một ảnh.

Marigold là một người lấy mẫu, và điều đó có một hóa đơn.

Số bước không phải là chú thích nhỏ. Chất lượng của một mô hình độ sâu khuếch tán phụ thuộc vào số bước khử nhiễu mà nó chạy và số mẫu mà nó kết hợp, và cả hai đều là những núm vặn do bạn thiết lập. Ở mức thấp, bạn nhận được một bản đồ nhanh và thô; ở 50 bước với một ensemble, bạn nhận được một bản đồ tốt hơn và hóa đơn tính toán lớn hơn nhiều cho cùng một hình ảnh. Thẻ của Marigold trình bày điều này như một tính năng — 1 đến 50 bước là một khoảng, và bạn chọn vị trí mình muốn đứng trên đó — và điều đó trung thực, nhưng nó có nghĩa là "độ chính xác của Marigold" không phải là một con số duy nhất. Đó là một đường cong, và đường cong có một trục chi phí.

Depth Pro 2 không có nút xoay tương đương. Kích thước chính là nút xoay — S, B, L hoặc H+ — và nó thay đổi trọng số thay vì số lượt chạy. Một dự đoán dù sao cũng chỉ là một lượt chạy. Đối với một notebook, sự khác biệt đó chỉ mang tính học thuật; đối với một dịch vụ xử lý luồng video ở 30 khung hình mỗi giây, đó là toàn bộ thiết kế.

Đó là lý do cuộc trò chuyện về chi phí xoay quanh một mô hình độ sâu không dừng lại ở bản thân mô hình. Giai đoạn tiêu thụ bản đồ độ sâu — mô tả cảnh, quyết định làm gì, viết ra kết quả — là công việc của mô hình ngôn ngữ, và đó là phần mà chi phí mỗi lần gọi được công bố và có thể so sánh.OrcaRouter chuyển nguyên giá niêm yết của nhà cung cấp với mức chênh lệch 0% trên hơn 200 mô hình được lưu trữ bằng một khóa duy nhất, với tính năng chuyển đổi dự phòng tự động giữa các nhà cung cấp. Một bộ lấy mẫu diffusion trong giai đoạn thị giác với hệ số ensemble chính là kiểu chi phí khiến bạn muốn phần còn lại của pipeline trở nên dễ dự đoán.

Depth Pro 2 trả lời trong một lượt

Thiết kế single-pass đi kèm những ràng buộc riêng, và chúng được ghi lại chứ không bị che giấu. Độ sâu là khoảng cách dọc theo trục nhìn của camera — tọa độ z, không phải khoảng cách xuyên tâm. Độ sâu nghịch đảo trong Python được chuẩn hóa theo tiêu cự: focallength_px / (width * depth). Độ sâu tỉ lệ với tiêu cự, vì vậy tiêu cự dài hơn 10 phần trăm sẽ khiến mọi thứ ở xa hơn 10 phần trăm.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Hành vi của video là nơi kiến trúc phát huy tác dụng. Chế độ có bộ đệm xử lý các clip 16 khung hình chồng lấn bốn khung, giữ độ sâu ổn định qua ranh giới các clip; chế độ không bộ đệm dự đoán từng khung ngay khi khung đó đến, dựa trên chính khung đó và 15 khung trước nó, với hạn chế khởi động đã được ghi nhận rằng các khung đầu của một luồng có ít khung trước hơn và do đó độ sâu kém ổn định hơn. Một video nhận một tiêu cự cho tất cả khung hình của nó, là trung vị trên cửa sổ đầu tiên. Bộ nhớ tăng theo kích thước khung hình và độ dài cửa sổ, không tăng theo thời lượng.

Không có phần nào trong số đó có bản tương ứng ở Marigold, vì Marigold v1.1 là mô hình một ảnh đơn. Chạy nó trên video thì bạn chạy từng khung hình một, và bất kỳ hiện tượng nhấp nháy nào xuất hiện chính là thứ nhấp nháy bạn phải xuất ra.

Bất biến affine đối với metric

Đây là phần quyết định phần lớn các tích hợp, và nó không phải là về chất lượng. Đầu ra của Marigold là bất biến affine: các giá trị dự đoán nằm giữa 0 và 1 và nội suy giữa mặt phẳng gần và mặt phẳng xa mà mô hình đã chọn. Đó là một biểu diễn hoàn toàn tốt cho một matte, một pass độ sâu compositing, hoặc bất kỳ thứ gì được co giãn lại để vừa một khoảng — và đó là quy ước tiêu chuẩn trong tài liệu về độ sâu diffusion, vì lý do chính đáng rằng đó chính là thứ mà các mô hình này thực sự làm tốt.

Đầu ra của Depth Pro 2 là một phép đo tính bằng mét, kèm theo tiêu cự. Đối với một robot đang quyết định xem vật cản cách đó một mét hay ba mét, đối với một lớp phủ AR phải nằm ở một khoảng cách vật lý, đối với một đám mây điểm trong một hệ tọa độ thực, sự khác biệt đó chính là toàn bộ công việc. Khôi phục tỷ lệ tuyệt đối từ một bản đồ bất biến affine là một bước riêng biệt, liên quan đến một tham chiếu đã biết trong cảnh hoặc một cảm biến, và đó là công việc mà Depth Pro 2 đã thực hiện nội bộ.

Không cái nào tốt hơn. Chúng là những sản phẩm khác nhau của cùng một từ, và bạn muốn cái nào sẽ do thứ sử dụng bản đồ quyết định.

Marigold V2 đã thay đổi những gì vào năm 2026?

Tên "Marigold" hiện bao gồm hai thế hệ, và thế hệ thứ hai không phải là một bản cập nhật nhỏ. Marigold V2, huawei-bayerlab/marigold-v2-0, được tạo vào ngày 27 tháng 8 năm 2026 với bản phát hành đầu tiên vào ngày 8 tháng 9 năm 2026. Đây là một diffusion transformer chứ không phải UNet: một bản tinh chỉnh LoRA của Qwen/Qwen-Image-Edit-2509, được công bố cùng một bài báo SIGGRAPH Asia 2026 trên ACM Transactions on Graphics 45(6), arXiv 2609.08084.

Bề mặt năng lực đã được mở rộng đáng kể. Marigold V2 cung cấp các checkpoint cho độ sâu theo các tham số hóa log, tuyến tính và disparity, các biến thể phân lớp dự đoán hình học phía sau kính, cùng với pháp tuyến bề mặt và albedo — trong đó cái cuối là loại đầu ra chỉ có ý nghĩa từ một mô hình sinh đã hiểu cách hình thành ảnh. Suy luận cần khoảng 17 GB bộ nhớ GPU ở 1024² và 29 GB ở 2048², vì vậy card 24 GB đáp ứng trường hợp đầu, còn trường hợp thứ hai cần 32 GB.

Đầu ra độ sâu của nó vẫn bất biến affine — độ sâu sai khác tới một tỉ lệ và độ dịch chưa biết trên mỗi ảnh — nên lập luận về tỉ lệ ở trên vẫn đứng vững nguyên vẹn qua thay đổi thế hệ. Điều đã thay đổi là độ chính xác và độ phân giải: các kết quả zero-shot được báo cáo theo giao thức Pixel-Perfect Depth, AbsRel (càng thấp càng tốt) và δ1 tính theo phần trăm, là 3,6 / 98,0 trên NYUv2, 5,4 / 97,4 trên KITTI, 2,8 / 99,2 trên ETH3D, 3,7 / 97,9 trên ScanNet và 5,2 / 97,1 trên DIODE. Pháp tuyến bề mặt đạt sai số góc trung bình 16,6 độ và 61,2 phần trăm nằm trong 11,25 độ trên NYUv2, còn albedo trên Hypersim đạt PSNR 20,78, SSIM 0,811 và LPIPS 0,195. Đó là các số do nhà cung cấp báo cáo và chưa được tái tạo tại đây.

Mỗi bên sẽ cho phép bạn trích dẫn những gì

Marigold V2 công bố một bảng số liệu. Depth Pro 2 công bố một biểu đồ phân tán với các trục có dán nhãn và không có bảng số liệu riêng cho từng mô hình. Sự bất đối xứng đó là sự thật ít được đề cập nhất về cặp đôi này, và nó đi ngược lại giả định rằng mô hình mới hơn ắt phải là mô hình được ghi chép đầy đủ hơn.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Thẻ của Depth Pro 2 báo cáo Boundary F1 và Jitter được lấy trung bình trên Sintel và Spring, tuyên bố vượt trội so với công trình trước đó hoạt động trên một khung hình hoặc nhiều khung hình ở cả hai, và vẽ khoảng hai tá baseline — nhưng Marigold không nằm trong số đó. Không có điểm đánh dấu Marigold trên biểu đồ của Apple và không có hàng Depth Pro 2 trong bảng của Marigold V2, vì vậy không bên nào đặt hai mô hình trên cùng một trục. Khối trích dẫn vẫn ghi arXiv:261X.XXXXX — một placeholder — và không có trang nghiên cứu nào cho Depth Pro 2 trên machinelearning.apple.com. Báo cáo kỹ thuật mà thẻ nói rằng so sánh các kích cỡ về tốc độ và bộ nhớ vẫn chưa tồn tại.

Vì vậy, hôm nay một tài liệu mua sắm có thể trích dẫn AbsRel và δ1 của Marigold V2, với lưu ý rằng chúng là các con số của nhà cung cấp trên một giao thức mà bạn không thực hiện. Nó hoàn toàn không thể trích dẫn bất kỳ con số nào của Depth Pro 2. Đó không phải là lời chê mô hình; đó là thực tế về bản phát hành, và nó sẽ thay đổi vào ngày báo cáo được công bố.

Giấy phép: OpenRAIL, Apache, chỉ dùng cho nghiên cứu

Ba giấy phép tại ba trạm kiểm soát, và chúng không thể hoán đổi cho nhau.

• Marigold v1.1 — CreativeML OpenRAIL++-M, giấy phép cộng đồng Stable Diffusion 2, mang các hạn chế dựa trên mục đích sử dụng thay vì một rào cản phi thương mại thuần túy.

• Marigold V2 — Apache 2.0 trên các trọng số đã phát hành, với Qwen-Image-Edit-2509 nền vẫn giữ giấy phép riêng của nó, nên các nghĩa vụ của bạn phụ thuộc vào cả hai.

• Depth Pro 2 — giấy phép Mô hình Nghiên cứu Học máy của Apple, được kho lưu trữ định nghĩa là chỉ cho phép sử dụng cho mục đích nghiên cứu, nghĩa là nghiên cứu khoa học phi thương mại và phát triển học thuật.

Hệ quả thực tế: Marigold V2 là mô hình duy nhất trong ba mô hình này có khả năng được phát hành một cách khả thi, tùy thuộc vào những gì mô hình nền Qwen yêu cầu. Depth Pro 2 thì không, ở bất kỳ kích thước nào, và giấy phép mã nguồn của nó không thay đổi điều đó. Mã nguồn của Depth Pro 2 riêng rẽ ghi nhận TIMM và DINOv3 là nền tảng của nó.

Nên chọn cái nào

Hãy chọn Marigold V2 nếu bạn muốn bản đồ độ sâu là một trong nhiều đầu ra — pháp tuyến, albedo, độ sâu xuyên thấu có phân lớp — và bạn đang làm việc ở khoảng 1024², đồng thời quy ước bất biến affine là ổn vì bên sử dụng đầu ra của bạn dù sao cũng sẽ co giãn lại. Đây là mô hình linh hoạt hơn, nó công bố số liệu, và giấy phép của nó là giấy phép duy nhất ở đây cho phép sử dụng thoáng.

Hãy dùng Depth Pro 2 nếu bạn cần đơn vị mét, nếu đầu vào của bạn là video hoặc luồng trực tiếp, hoặc nếu bạn cần ranh giới sắc nét ở độ phân giải đầy đủ và không thể chấp nhận việc lấy mẫu lại về 768. Hãy bắt đầu với S trên máy tính xách tay, như tài liệu của Apple gợi ý, và hãy dự kiến sẽ phải cắt độ sâu bầu trời — đó cũng là lời khuyên của chính README, vì các pixel bầu trời trả về độ sâu vô hạn hoặc một giá trị hữu hạn vài kilômét trên các mô hình nhỏ.

Điều bạn không nên làm là đọc hai thẻ đó như một bảng xếp hạng. AbsRel của Marigold V2 và Boundary F1 của Depth Pro 2 không phải là cùng một thí nghiệm, và phát biểu trung thực duy nhất về chất lượng tương đối của chúng là chưa ai đã chạy phép so sánh: Apple đã vẽ hai tá baseline và Marigold không nằm trong số đó, trong khi bài báo của Marigold V2 đánh giá so với các phiên bản tiền nhiệm của chính nó trên giao thức Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.