Сгенерированная титульная карточка для Depth Pro 2 с подзаголовком «Резкая и согласованная во времени метрическая монокулярная глубина», четырьмя плашками размера с надписями S 24M, B 97M, L 334M и H+ 872M, пятой плашкой с надписью «focal estimator 23.5M», примечанием в нижнем колонтитуле «идентификатор arXiv всё ещё остаётся заглушкой» и логотипом OrcaRouter.
Guides & Insights

Depth Pro 2 выпущен без статьи: что показывают веса

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Прокрутите до конца карточки модели Depth Pro 2 от Apple и прочитайте раздел цитирования. Восемь авторов, дата 2026 года и идентификатор arXiv, который выглядит как 261X.XXXXX. X — это не сокрытие. Это заполнитель, который никто так и не вернулся заполнить, и это самая честная характеристика релиза: Depth Pro 2, метрическая монокулярная модель глубины от Apple, существует в виде весов, которые можно скачать сегодня, и пока не существует в виде статьи, которую можно прочитать.

Этот пробел — и есть суть. Не анонс запуска, не таблица бенчмарков, не демо-Space: сам репозиторий помечает Space как скрытый до публикации, и на момент написания это ещё не произошло. Далее — всё, что можно узнать из репозиториев и документации, отдельно от того, что пока не подтверждено.

Что было выпущено и в какие даты

Даты — это та часть, которая задокументирована, поскольку Hugging Face проставляет временные метки каждому репозиторию, который размещает. Репозиторий карточки модели apple/DepthPro2 был создан 3 ноября 2026 года. Репозитории с весами появились двумя днями позже, 5 ноября, и среди них был apple/DepthPro2-H. Репозиторий экспорта Core ML появился 9 ноября. Отдельный оценщик фокусного расстояния apple/DepthPro2-focal появился 19 ноября — в тот же день, когда репозиторий с кодом apple-aiml-research/ml-depth-pro-2 стал публичным на GitHub.

Читайте эту последовательность как инженерную хронологию, а не маркетинговую. Карта, веса, экспорт под Apple silicon, модель калибровки камеры и код выкладывались поэтапно в течение шестнадцати дней, и последним появился элемент, который позволяет запустить всё это человеку, не находящемуся внутри Apple. Порядок никак не намекает на согласованный анонс; скорее он говорит о команде, которая публиковала артефакты по мере прохождения ревью.

Реакция это подтверждает. У репозитория весов H+ 40 скачиваний, а у репозитория карточки — 10 лайков. За репозиторием GitHub стоит всего один коммит. Для модели из лаборатории, создавшей Depth Pro, это не кривая релиза — это релиз, который ещё не заметили.

Статья — это заглушка, а не препринт.

Три отдельных места указывают на технический отчёт, которого не существует. Бейдж карточки модели ведёт на arxiv.org/abs/TODO. Бейдж в README на GitHub ведёт на arxiv.org/abs/261X.XXXXX. Блок BibTeX в обоих содержит journal = {arXiv preprint arXiv:261X.XXXXX} и url = {https://arxiv.org/abs/261X.XXXXX}.

Для него также нет страницы исследований Apple Machine Learning — machinelearning.apple.com/research/depth-pro-2 возвращает 404, а в карте сайта исследований Apple указан depth-pro, но не depth-pro-2. Страница проекта, на которую указывают бейджи, apple-aiml-research.github.io/ml-depth-pro-2, — единственная контролируемая Apple площадка, которая действительно открывается.

Это важнее, чем может показаться. Именно в техническом отчёте описывается протокол оценки, и без него цифры, которые приводит карточка, невозможно сверить с цифрами, которые приводят базовые модели. Поэтому все количественные данные ниже — это заявление самого поставщика, воспроизведённое без независимой проверки и помеченное соответствующим образом.

Четыре размера, плюс оценка фокусного расстояния

Семейство на удивление откровенно рассказывает о собственном масштабировании. Apple публикует количество параметров и размеры загрузки для всех четырёх представителей — больше, чем обычно утруждают себя большинство релизов моделей глубины:

• Малый (S) — 24 млн параметров, 97 МБ для загрузки, с него стоит начать на ноутбуке.

• Base (B) — 97 млн параметров, 386 МБ.

• Большая (L) — 334 млн параметров, 1,3 ГБ.

• H+ (H) — 872 млн параметров, 3,5 ГБ, и вариант по умолчанию, который загружает командная строка, если не указать -m.

• Оценщик фокусного расстояния — 23,5 млн параметров, 94 МБ, отдельный репозиторий, который загружается вместе с моделями любого размера и предсказывает фокусное расстояние камеры, если фото или видео не содержит его.

Именование заслуживает отдельного упоминания, потому что оно собьёт с толку любого, кто пишет файл конфигурации: репозиторий называется apple/DepthPro2-H, но флаг командной строки — -m depthpro2-h, тогда как в карточке этот размер обозначен как H+. В документации используются оба варианта написания в пределах нескольких строк друг от друга.

В основе архитектуры лежит многовидовой трансформер, за которым следует покадровый DPT-декодер. После первой трети блоков трансформера внимание чередуется между внутрикадровым и межкадровым, а декодер собирает токены из нескольких блоков в карты признаков с разрешением от одной тридцать второй до одной четверти входного разрешения. В README указано, что TIMM и DINOv3 являются основой кода и модели.

График компромиссов — единственный результат

Весь раздел результатов карточки состоит из одного рисунка и двух предложений. На рисунке показана зависимость Boundary F1 от Jitter — двух метрик, выбранных Apple, — в виде точечной диаграммы примерно двух десятков однокадровых и многокадровых моделей глубины, где четыре размера Depth Pro 2 выделены оранжевым, а всё остальное — синим или зелёным, с усреднением по наборам данных Sintel и Spring. В этих двух предложениях говорится, что Depth Pro 2 превосходит предыдущие работы, работающие с одним кадром или несколькими кадрами, в обоих случаях, и что верхний правый угол является лучшим.

The sharpness-versus-temporal-consistency scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL further down the jitter axis, footnoted as averaged over Sintel and Spring.

Оси подписаны: Boundary F1 изменяется от 0 до 0,3, jitter — от 0,1 вниз до 0. Если считывать позиции с точечной диаграммы, маркер H+ находится около 0,29 по Boundary F1 при jitter около 0,017, тогда как у оригинального Depth Pro — примерно 0,235 и 0,095, то есть большой разрыв по обеим осям. Чего на рисунке нет, так это таблицы, разбивки по наборам данных, каких-либо измерений скорости или памяти, а также сравнения за пределами двух десятков моделей, нанесённых на график. В карточке сказано, что в статье сравниваются размеры, включая их скорость и память, — а статьи ещё не существует.

Это не причина не доверять модели. Это причина не доверять любой статье, которая преподносит вам Boundary F1 для Depth Pro 2 с точностью до трёх знаков после запятой, потому что единственное место, где такое число существует, — это диаграмма рассеяния, которую можно прочитать примерно до сотой, а протокол оценки отложен до отчёта, который ещё не опубликован. Если вам нужна эта цифра для документа закупки, вам придётся ждать отчёта.

Видео — вот что делает его сиквелом.

Оригинальная Depth Pro, судя по её названию, была посвящена резкости и скорости: Резкая монокулярная метрическая глубина менее чем за секунду, 2,25 мегапикселя за 0,3 секунды на стандартном GPU. Depth Pro 2 сохраняет резкость и добавляет вторую ось — временную согласованность — и всё изменение архитектуры существует ради неё. Чередующееся внимание внутри кадров и между ними — это то, как трансформер видит несколько кадров как одну сцену, а не несколько изображений.

The method diagram from the Depth Pro 2 model card showing a multi-view transformer over the input frames followed by a DPT decoder per frame, annotated with the two numbered contributions: alternating within-frame and across-frame attention after the first third of blocks, and decoder feature maps at one thirty-second to one quarter of the input resolution.

Из этого вытекают два режима работы. Буферизованный режим, используемый по умолчанию для видеофайлов, обрабатывает клипы из 16 кадров с перекрытием в четыре, что поддерживает стабильную глубину на стыках последовательных клипов; параметры --window и --overlap позволяют настроить оба этих значения. Небуферизованный режим предсказывает каждый кадр в момент его поступления — по этому кадру и 15 предыдущим — и предназначен для камеры реального времени. Apple открыто признаёт, что у первых кадров потока меньше предшествующих кадров, на которые можно опереться, поэтому их глубина менее стабильна — это плата за прогрев, заявленная в документации, а не обнаруженная в процессе эксплуатации.

Остальные особенности поведения при работе с видео — это набор последствий, которые стоит знать до интеграции. Видео получает единое фокусное расстояние для всех кадров, взятое как медиана оценок по первому окну. Память растёт с размером кадра и длиной окна, а не с длительностью видео, поэтому задокументированное средство для клипа, который не помещается, — сначала сократить окно, затем перейти к меньшей модели, и только в крайнем случае изменять размер входных данных. А пиксели неба возвращаются как бесконечная глубина или, особенно на меньших моделях, как конечная глубина в несколько километров — README советует обрезать диапазон перед построением облака точек, и это тот совет, который существует только потому, что кто-то этого не сделал.

Что ещё не подтверждено

Честный список открытых вопросов краток и конкретен.

• Независимая оценка — отсутствует. Ни одна третья сторона не опубликовала показатель Boundary F1 или Jitter для Depth Pro 2, а собственные базовые модели в карточке не названы — указано лишь «предшествующая работа, оперирующая одним кадром или несколькими кадрами».

• Скорость и память — утверждается, что они сравниваются в статье, но это заглушка. Единственное конкретное указание по запуску: H+ — это 3.5 ГБ весов, а S — вариант для ноутбука.

• Демо — Space указан ссылкой внутри HTML-комментария, помеченного как скрытый до публикации. Существование демо и возможность до него добраться — разные утверждения.

• Название — "Depth Pro 2" — встречается как DepthPro2 в названиях репозиториев, как depth-pro-2 в пакете кода и репозитории Core ML и как depth_pro_2 в Python-импорте. Ищите все четыре варианта.

A screenshot of the Hugging Face model card for apple/DepthPro2, showing the Depth Pro 2 title, the badge row linking to GitHub, the technical report and the project page, the licence and tags row, and the opening paragraph describing metric depth from a single photo, a whole video or a live feed at the input's full resolution.

Запустить это до выхода статьи

Путь установки намеренно скучен, и это говорит в его пользу. Вы устанавливаете uv, клонируете репозиторий и запускаете uv run depth-pro-2 predict -i assets/example.jpg -o out/ для фотографии или ту же команду с .mp4 для видео. При первом запуске загружается H+ размером 3.5 ГБ, если не передать -m depthpro2-s. Команда выбирает первое доступное устройство — CUDA, затем Apple silicon MPS, затем CPU — и работает с autocast bfloat16 на GPU и float32 на CPU. Есть экспорт в Core ML для техники Apple и минимальное демонстрационное приложение для Mac, которому требуются macOS 15 и Xcode 16.

Практические детали кроются в форматах вывода. Команда всегда записывает цветокодированное изображение глубины: красный — близко, синий — далеко. --save-png16 добавляет 16-битные полутоновые PNG для инструментов композитинга: белый — близко, чёрный — далеко; масштабирование выполняется по диапазону глубины фотографии или первого кадра видео — поэтому точки, которые позже в видео оказываются ближе, насыщаются. --save-npz добавляет фактический массив глубины в метрах плюс focallength_px — это то, что вам нужно, если вы делаете что-либо с числами.

Если пропустить документацию, вас подстерегут два соглашения. Глубина — это расстояние вдоль оси обзора камеры, координата z, а не расстояние по прямой от объектива. А обратная глубина в Python нормируется на фокусное расстояние: она равна focallength_px / (width * depth). Ошибётесь в фокусном расстоянии на 10 процентов — и всё окажется на 10 процентов дальше.

Ничто из этого не проходит через нас. Depth Pro 2 — это веса с исследовательской лицензией из собственных репозиториев Apple, и если вы хотите его запустить, скачиваете его у Apple. OrcaRouter покрывает остальную часть пайплайна вокруг него — один API и один ключ для более чем 200 моделей с хостингом при 0% наценки к прайс-листу провайдера, с автоматическим переключением при сбое между провайдерами. Когда этап определения глубины — это исследовательский чекпоинт с цитатой-заглушкой и без графика релизов, именно этапы рассуждения и письма вокруг него должны быть скучной, избыточной частью.

За чем следить, если вы ждёте, а не строите: идентификатор arXiv вместо Xs, страница исследования, появляющаяся на machinelearning.apple.com, и демо Space, переходящий из закомментированного состояния в состояние со ссылкой. Любой из этих пунктов превратил бы это из выкладки весов в релиз и дал бы графику выше недостающую таблицу по моделям.