Một thẻ tiêu đề được tạo cho Depth Pro 2, với phụ đề Độ sâu đơn mắt theo hệ mét sắc nét và nhất quán theo thời gian, cùng bốn thẻ kích thước ghi S 24M, B 97M, L 334M và H+ 872M, thẻ thứ năm ghi bộ ước lượng tiêu cự 23.5M, và ghi chú chân trang ghi định danh arXiv vẫn là phần giữ chỗ, cùng với logo OrcaRouter.
Guides & Insights

Depth Pro 2 được phát hành không kèm bài báo khoa học: Những gì các trọng số cho thấy

Tác giả

Gideon Frost

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Hãy cuộn xuống cuối thẻ mô hình Depth Pro 2 của Apple và đọc phần trích dẫn. Tám tác giả, một mốc thời gian năm 2026, và một mã định danh arXiv có dạng 261X.XXXXX. Các chữ X không phải là chỗ bị che thông tin. Chúng là một chỗ giữ chỗ mà không ai quay lại điền vào, và chúng là bản tóm tắt trung thực nhất về bản phát hành: Depth Pro 2, mô hình độ sâu đơn mắt theo hệ mét của Apple, tồn tại dưới dạng trọng số mà bạn có thể tải xuống ngay hôm nay, và nó vẫn chưa tồn tại dưới dạng một bài báo mà bạn có thể đọc.

Khoảng trống đó chính là câu chuyện. Không phải một sự kiện ra mắt, không phải một bảng benchmark, cũng không phải một Space demo — chính kho lưu trữ đánh dấu Space là ẩn cho đến khi nó được công khai, và tính đến thời điểm viết bài thì nó vẫn chưa được công khai. Những gì tiếp theo là tất cả những gì có thể biết được từ các kho lưu trữ và tài liệu, được tách riêng khỏi những gì chưa được xác nhận.

Đã phát hành những gì và vào những ngày nào

Ngày tháng là phần được ghi lại, vì Hugging Face đóng dấu thời gian cho mọi kho lưu trữ mà nó lưu trữ. Kho lưu trữ thẻ mô hình, apple/DepthPro2, được tạo vào ngày 3 tháng 11 năm 2026. Các kho lưu trữ trọng số theo sau hai ngày sau đó, vào ngày 5 tháng 11, trong đó có apple/DepthPro2-H. Kho lưu trữ xuất Core ML đến vào ngày 9 tháng 11. Công cụ ước lượng tiêu cự độc lập, apple/DepthPro2-focal, xuất hiện vào ngày 19 tháng 11 — cùng ngày kho lưu trữ mã, apple-aiml-research/ml-depth-pro-2, được công khai trên GitHub.

Hãy đọc chuỗi đó như một dòng thời gian kỹ thuật chứ không phải dòng thời gian tiếp thị. Card, weights, bản xuất cho Apple silicon, mô hình hiệu chỉnh camera và mã nguồn đã được đưa ra theo từng giai đoạn trong mười sáu ngày, và phần cuối cùng xuất hiện chính là phần khiến toàn bộ thứ này có thể chạy được bởi một người không thuộc nội bộ Apple. Không có gì trong thứ tự đó gợi ý một thông báo có phối hợp; nó gợi ý một nhóm đang đẩy các artifact ra khi chúng được duyệt xong.

Sự đón nhận xác nhận điều đó. Kho lưu trữ trọng số H+ có 40 lượt tải xuống và kho lưu trữ thẻ có 10 lượt thích. Kho lưu trữ GitHub chỉ có một commit duy nhất đứng sau nó. Đối với một mô hình đến từ phòng thí nghiệm đã tạo ra Depth Pro, đó không phải là một đường cong phát hành — mà là một bản phát hành vẫn chưa được chú ý.

Bài báo này là bản giữ chỗ, không phải bản tiền in.

Ba vị trí riêng biệt cùng trỏ đến một báo cáo kỹ thuật không tồn tại. Huy hiệu trên thẻ mô hình liên kết đến arxiv.org/abs/TODO. Huy hiệu trên README của GitHub liên kết đến arxiv.org/abs/261X.XXXXX. Khối BibTeX trong cả hai ghi journal = {arXiv preprint arXiv:261X.XXXXX} và url = {https://arxiv.org/abs/261X.XXXXX}.

Cũng không có trang nghiên cứu Apple Machine Learning nào cho nó — machinelearning.apple.com/research/depth-pro-2 trả về lỗi 404, và sitemap nghiên cứu của Apple có liệt kê depth-pro nhưng không có depth-pro-2. Trang dự án mà các huy hiệu trỏ tới, apple-aiml-research.github.io/ml-depth-pro-2, là bề mặt duy nhất do Apple kiểm soát thực sự phân giải được.

Điều này quan trọng hơn vẻ ngoài của nó. Báo cáo kỹ thuật là nơi chứa giao thức đánh giá, và nếu không có nó thì các con số mà thẻ báo cáo không thể được đối chiếu với các con số mà các đường cơ sở báo cáo. Do đó, mọi nội dung định lượng dưới đây đều là tuyên bố của chính nhà cung cấp, được tái tạo mà không có xác minh độc lập, và được dán nhãn như vậy.

Bốn kích cỡ, cùng với công cụ ước tính tiêu cự

Bộ mô hình này minh bạch một cách bất thường về quy mô của chính nó. Apple công bố số lượng tham số và kích thước tải xuống cho cả bốn thành viên, điều mà hầu hết các bản phát hành depth không buồn đề cập:

• Nhỏ (S) — 24 triệu tham số, tải xuống 97 MB, là lựa chọn để bắt đầu trên máy tính xách tay.

• Base (B) — 97M tham số, 386 MB.

• Large (L) — 334M tham số, 1.3 GB.

• H+ (H) — 872M tham số, 3,5 GB và là mặc định mà dòng lệnh tải xuống nếu bạn không truyền -m.

• Bộ ước lượng tiêu cự — 23,5M tham số, 94 MB, một kho mã nguồn riêng tải song song với mọi kích cỡ và dự đoán tiêu cự của máy ảnh khi ảnh hoặc video không có thông tin này.

Việc đặt tên này đáng để lưu ý, vì nó sẽ khiến bất kỳ ai viết tệp cấu hình gặp vướng mắc: kho lưu trữ là apple/DepthPro2-H nhưng cờ dòng lệnh lại là -m depthpro2-h, trong khi thẻ gọi kích thước đó là H+. Tài liệu sử dụng cả hai cách viết chỉ cách nhau vài dòng.

Kiến trúc bên dưới là một transformer đa khung nhìn, theo sau là bộ giải mã DPT theo từng khung hình. Sau một phần ba đầu tiên các khối của transformer, attention luân phiên giữa trong cùng khung hình và xuyên khung hình, và bộ giải mã lắp ghép các token từ một số khối thành các bản đồ đặc trưng ở độ phân giải từ một phần ba mươi hai đến một phần tư độ phân giải đầu vào. README ghi nhận TIMM và DINOv3 là nền tảng mã nguồn và mô hình.

Biểu đồ đánh đổi là kết quả duy nhất.

Toàn bộ phần kết quả của thẻ chỉ gồm một hình và hai câu. Hình vẽ Boundary F1 theo Jitter, hai chỉ số mà Apple đã chọn, dưới dạng biểu đồ phân tán của khoảng hai tá mô hình độ sâu một khung hình và đa khung hình, với bốn kích cỡ Depth Pro 2 màu cam và mọi thứ còn lại màu xanh dương hoặc xanh lá, lấy trung bình trên các bộ dữ liệu Sintel và Spring. Hai câu đó nói rằng Depth Pro 2 vượt trội hơn công trình trước đây hoạt động trên một khung hình hoặc nhiều khung hình ở cả hai, và rằng phía trên bên phải là tốt nhất.

The sharpness-versus-temporal-consistency scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL further down the jitter axis, footnoted as averaged over Sintel and Spring.

Các trục được dán nhãn: Boundary F1 chạy từ 0 đến 0.3, jitter từ 0.1 xuống 0. Đọc vị trí từ biểu đồ phân tán, điểm đánh dấu H+ nằm gần Boundary F1 0.29 với jitter khoảng 0.017, so với khoảng 0.235 và 0.095 của Depth Pro gốc — một khoảng cách lớn trên cả hai trục. Điều mà hình không có là bảng, phân tích theo từng bộ dữ liệu, bất kỳ đo lường tốc độ hay bộ nhớ nào, hoặc so sánh ngoài hai tá mô hình được vẽ. Thẻ nói rằng bài báo so sánh các kích thước, bao gồm tốc độ và bộ nhớ của chúng — và bài báo vẫn chưa tồn tại.

Đó không phải là lý do để không tin mô hình. Đó là lý do để không tin bất kỳ bài viết nào đưa cho bạn một Boundary F1 của Depth Pro 2 được trích dẫn đến ba chữ số thập phân, bởi nơi duy nhất tồn tại một con số như vậy là một biểu đồ phân tán mà bạn chỉ có thể đọc được đến khoảng hàng phần trăm, với giao thức đánh giá được dẫn chiếu tới một báo cáo chưa được công bố. Nếu bạn cần con số đó cho một tài liệu mua sắm, bạn đang phải chờ báo cáo đó.

Video chính là thứ khiến nó trở thành phần tiếp theo.

Depth Pro nguyên bản, ngay trong tiêu đề của nó, nói về độ sắc nét và tốc độ: Độ sâu metric đơn mắt sắc nét trong chưa đầy một giây, 2,25 megapixel trong 0,3 giây trên một GPU tiêu chuẩn. Depth Pro 2 giữ được độ sắc nét và bổ sung một trục thứ hai — tính nhất quán thời gian — và toàn bộ thay đổi kiến trúc đều tồn tại để phục vụ điều đó. Cơ chế attention luân phiên trong và giữa các khung hình là cách một transformer nhìn nhiều khung hình như một cảnh thay vì nhiều hình ảnh.

The method diagram from the Depth Pro 2 model card showing a multi-view transformer over the input frames followed by a DPT decoder per frame, annotated with the two numbered contributions: alternating within-frame and across-frame attention after the first third of blocks, and decoder feature maps at one thirty-second to one quarter of the input resolution.

Từ đó có hai chế độ hoạt động. Chế độ có bộ đệm, mặc định cho tệp video, xử lý các clip 16 khung hình chồng lấn bốn khung, giúp độ sâu ổn định tại nơi các clip liên tiếp gặp nhau; --window và --overlap hiển lộ cả hai con số. Chế độ không có bộ đệm dự đoán từng khung hình ngay khi nó đến, dựa trên khung đó và 15 khung trước nó, và là chế độ dành cho camera trực tiếp. Apple thẳng thắn thừa nhận rằng các khung đầu tiên của một luồng có ít khung trước hơn để tham chiếu, nên độ sâu của chúng kém ổn định hơn — một điểm trừ thời gian khởi động được nêu trong tài liệu thay vì bị phát hiện trong môi trường sản xuất.

Phần còn lại của hành vi video là một tập hợp các hệ quả đáng biết trước khi bạn tích hợp. Một video nhận một tiêu cự duy nhất cho tất cả các khung hình của nó, được lấy làm trung vị của các ước lượng trên cửa sổ đầu tiên của nó. Bộ nhớ tăng theo kích thước khung hình và độ dài cửa sổ, không tăng theo thời lượng video, vì vậy biện pháp khắc phục được ghi trong tài liệu cho một clip không vừa là rút ngắn cửa sổ trước và chuyển sang một mô hình nhỏ hơn sau đó, chỉ thay đổi kích thước đầu vào như là biện pháp cuối cùng. Và các pixel bầu trời trả về với độ sâu vô cực, hoặc, đặc biệt là trên các mô hình nhỏ hơn, với độ sâu hữu hạn vài kilômét — README bảo bạn cắt phạm vi trước khi dựng đám mây điểm, đó là kiểu lời khuyên chỉ tồn tại vì ai đó đã không làm vậy.

Điều gì vẫn chưa được xác nhận?

Danh sách trung thực những câu hỏi còn bỏ ngỏ thì ngắn gọn và cụ thể.

• Đánh giá độc lập — không có. Không bên thứ ba nào đã công bố con số Boundary F1 hoặc Jitter cho Depth Pro 2, và các baseline của chính card không được nêu tên ngoài cụm "công trình trước đây vận hành trên một khung hình hoặc nhiều khung hình".

• Tốc độ và bộ nhớ — được cho là có so sánh trong bài báo, nhưng đó chỉ là chỗ giữ chỗ. Hướng dẫn cụ thể duy nhất về vận hành là H+ có 3,5 GB trọng số và S là lựa chọn dành cho máy tính xách tay.

• Bản demo — Space được liên kết bên trong một chú thích HTML, được đánh dấu ẩn cho đến khi công khai. Việc một bản demo tồn tại và việc một bản demo có thể truy cập được là hai nhận định khác nhau.

• Tên — "Depth Pro 2" xuất hiện dưới dạng DepthPro2 trong tên repository, depth-pro-2 trong gói mã và repository Core ML, và depth_pro_2 trong Python import. Hãy tìm cả bốn.

A screenshot of the Hugging Face model card for apple/DepthPro2, showing the Depth Pro 2 title, the badge row linking to GitHub, the technical report and the project page, the licence and tags row, and the opening paragraph describing metric depth from a single photo, a whole video or a live feed at the input's full resolution.

Chạy nó trước khi bài báo được công bố

Quy trình cài đặt cố tình được làm cho nhàm chán, và đó lại là một điểm cộng. Bạn cài uv, sao chép kho lưu trữ rồi chạy uv run depth-pro-2 predict -i assets/example.jpg -o out/ cho ảnh hoặc dùng đúng lệnh đó với tệp .mp4 cho video. Lần chạy đầu tiên sẽ tải H+ có dung lượng 3,5 GB trừ khi bạn truyền -m depthpro2-s. Lệnh sẽ chọn thiết bị khả dụng đầu tiên — CUDA, rồi Apple silicon MPS, rồi CPU — và chạy dưới bfloat16 autocast trên GPU, float32 trên CPU. Có bản xuất Core ML cho phần cứng Apple và một ứng dụng demo Mac tối giản cần macOS 15 và Xcode 16.

Các định dạng đầu ra là nơi chứa các chi tiết thực dụng. Lệnh này luôn ghi một ảnh độ sâu được mã hóa màu, đỏ là gần và xanh lam là xa. --save-png16 thêm các tệp PNG thang độ xám 16-bit cho các công cụ compositing, trắng là gần và đen là xa, được chia tỉ lệ theo phạm vi độ sâu của ảnh hoặc của khung hình đầu tiên trong video — vì vậy các điểm đến gần hơn về sau trong video sẽ bị bão hòa. --save-npz thêm mảng độ sâu thực tế tính bằng mét cùng với focallength_px, đây là thứ bạn muốn nếu bạn đang làm bất cứ điều gì mang tính số học.

Hai quy ước sẽ khiến bạn gặp rắc rối nếu bỏ qua tài liệu. Độ sâu là khoảng cách dọc theo trục quan sát của camera, tức tọa độ z, chứ không phải khoảng cách đường thẳng từ ống kính. Và độ sâu nghịch đảo trong Python được chuẩn hóa theo tiêu cự: nó bằng focallength_px / (width * depth). Chỉ cần sai tiêu cự 10 phần trăm là mọi thứ sẽ nằm xa hơn 10 phần trăm.

Không có phần nào trong số này được định tuyến qua chúng tôi. Depth Pro 2 là các trọng số được cấp phép nghiên cứu từ chính các kho lưu trữ của Apple, và nếu bạn muốn chạy nó, bạn tải nó từ Apple. Điều OrcaRouter bao phủ là phần còn lại của pipeline xung quanh nó — một API và một khóa cho hơn 200 mô hình được lưu trữ tại mức tăng giá 0% so với giá niêm yết của nhà cung cấp, với chuyển đổi dự phòng tự động giữa các nhà cung cấp. Khi giai đoạn depth là một checkpoint nghiên cứu với trích dẫn giữ chỗ và không có nhịp phát hành, các giai đoạn lập luận và viết xung quanh nó chính là những giai đoạn bạn muốn trở thành phần nhàm chán, dư thừa.

Điều đáng theo dõi, nếu bạn đang chờ đợi thay vì tự xây dựng: một mã định danh arXiv thay cho các chữ X, một trang nghiên cứu xuất hiện dưới machinelearning.apple.com, và Space demo chuyển từ trạng thái bị chú thích sang được liên kết. Bất kỳ điều nào trong số đó cũng sẽ biến đây từ một lần tung trọng số thành một bản phát hành, và sẽ mang lại cho biểu đồ phía trên bảng theo từng mô hình mà nó đang thiếu.