Сгенерированная карточка сравнения для Depth Pro и Depth Pro 2, показывающая выпуск 2024 года с одним монокулярным чекпоинтом на 0,3 секунды и без видеорежима, против выпуска 2026 года с четырьмя размерами от 24M до 872M параметров, режимами видео и прямой трансляции, а также техническим отчётом, всё ещё отмеченным как заглушка, плюс логотип OrcaRouter.
Guides & Insights

Depth Pro 2 против Depth Pro: резкость сохранена, дрожание исправлено

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

У оригинального Depth Pro есть необычная проблема как у базовой модели: чекпоинт, опубликованный Apple, — это не та модель, которую описывает статья. В карточке модели об этом сказано прямо: чекпоинт в репозитории — это эталонная реализация, которая была переобучена, и её производительность близка к модели, описанной в статье, но не совпадает с ней в точности. Поэтому любое сравнение Depth Pro 2 с Depth Pro — это сравнение с заменителем, включая сравнение в собственной карточке Depth Pro 2.

С учётом этой оговорки характер обновления достаточно ясен. Depth Pro 2 сохраняет свойство, которое сделало Depth Pro заметным, — чёткую глубину на границах объектов, в метрах, по одному изображению — и добавляет второе: глубину, которая остаётся стабильной от кадра к кадру. Название статьи говорит об этом прямо. Статья о Depth Pro называлась «Чёткая монокулярная метрическая глубина менее чем за секунду». Статья о Depth Pro 2 называлась «Чёткая и темпорально согласованная метрическая монокулярная глубина». Всё, что изменилось между ними, служит второму прилагательному; почти ничего не изменилось в отношении первого.

Два года — два совершенно разных релиза

{{1}}Depth Pro{{/1}} вышел 3 октября 2024 года вместе со статьёй {{2}}arXiv 2410.02073{{/2}} и заявленным результатом: карта глубины разрешением 2,25 мегапикселя за 0,3 секунды на стандартном GPU. У репозитория 568 отметок «Нравится» и чуть более 6 200 загрузок. Он поставлялся в виде одного чекпоинта {{3}}depth_pro.pt{{/3}}, а его карточка описывает технический вклад — эффективный многомасштабный vision transformer для плотного предсказания, протокол обучения, смешивающий реальные и синтетические данные, специализированные метрики точности границ и передовую оценку фокусного расстояния по одному изображению.

Репозитории Depth Pro 2 были созданы в ноябре 2026 года: карточка — 3 ноября, веса — 5 ноября, экспорты Core ML — 9 ноября, оценщик фокусного расстояния и репозиторий с кодом — 19 ноября. И карточка, и README на GitHub указывают на идентификатор arXiv 261X.XXXXX, который является заглушкой, а не препринтом. На machinelearning.apple.com для него нет страницы исследования — этот путь возвращает 404 — и нигде за пределами собственной диаграммы рассеяния карточки нет результатов бенчмарков.

Если честно, Depth Pro 2 — это выпуск весов с документацией, а не публикация. Depth Pro был статьёй с чекпойнтом. Если вы на что-то ссылаетесь, одно из них даёт вам цифру, а другое — репозиторий.

Что на самом деле изменилось в архитектуре

Depth Pro была моделью для одного изображения. Depth Pro 2 — это многовидовой трансформер, который совместно обрабатывает один или несколько кадров, и механизм здесь конкретен: после первой трети его блоков внимание чередуется между работой внутри каждого кадра и между кадрами. Затем декодер DPT предсказывает для каждого кадра карту обратной глубины, собирая токены из нескольких блоков в карты признаков с разрешением от одной тридцать второй до одной четверти входного.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

В этом весь архитектурный аргумент в пользу продолжения, и у него есть заметное следствие для того, как вы запускаете модель. У Depth Pro 2 есть два видеорежима. Буферизованный режим, используемый по умолчанию для файлов, обрабатывает клипы по 16 кадров с перекрытием в четыре кадра, что сохраняет стабильность глубины на стыках клипов. Небуферизованный режим предсказывает каждый кадр по мере его поступления, используя этот кадр и 15 предыдущих, и предназначен для камеры в режиме реального времени. Apple документирует издержки пути реального времени, а не скрывает их: у первых кадров потока меньше предшественников, на которые можно опираться, поэтому их глубина менее стабильна.

У Depth Pro нет ни того, ни другого режима, поскольку у неё отсутствует кросс-кадровое внимание, которое можно было бы запустить. Подайте ей видео — и вы получите независимые оценки для каждого кадра, а любое мерцание между ними придётся сглаживать вам самим. Для статичных изображений это не потеря; для любого материала с движением это тот разрыв, который и было призвано закрыть продолжение.

Что не изменилось

Метрические соглашения идентичны, что является хорошей новостью для всех, кто переходит: обе модели сходятся в том, что означают числа. Глубина — это расстояние вдоль оси обзора камеры, то есть координата z, а не расстояние по прямой от объектива. Обратная глубина в Python нормируется на фокусное расстояние и равна focallength_px / (width * depth). Глубина масштабируется с фокусным расстоянием, поэтому фокусное расстояние, завышенное на 10 процентов, помещает всё на 10 процентов дальше. Пиксели неба возвращаются как бесконечная глубина или, особенно на меньших моделях, как конечная глубина в несколько километров, и документация советует обрезать диапазон перед созданием облака точек.

Оценка фокусного расстояния по-прежнему остаётся полноценной частью пакета, и её по-прежнему можно пропустить. Фотографии, в EXIF которых записано фокусное расстояние в 35-мм эквиваленте, используют его; всё остальное проходит через оценщик. Depth Pro 2 выносит этот оценщик в отдельный репозиторий с 23,5 млн параметров, apple/DepthPro2-focal, который загружается вместе с любым размером и также может запускаться отдельно — полезно, если вы хотите один раз решить задачу камеры, а модель глубины использовать многократно. В Depth Pro та же возможность была встроена в единый чекпоинт без возможности разделить эти две части.

Поддержка Core ML сохраняется и улучшается. Depth Pro 2 поставляет экспортированные пакеты Core ML в отдельном репозитории и включает минимальное демонстрационное приложение для Mac, показывающее глубину с камеры в реальном времени; для него требуются Apple silicon, macOS 15 и Xcode 16. Это более низкий порог для запуска рабочей демонстрации, чем предлагал оригинал.

Четыре размера против одной контрольной точки

Самое большое практическое различие в том, что Depth Pro 2 отказывается быть единственной моделью. Apple публикует четыре — с параметрами и размерами для скачивания:

• S — 24 млн параметров, 97 МБ, рекомендуемая отправная точка на ноутбуке.

• B — 97M параметров, 386 МБ.

• L — 334 млн параметров, 1,3 ГБ.

• H+ — 872 млн параметров, 3,5 ГБ, вариант по умолчанию, который загружает командная строка.

Выбранный размер нисколько не влияет на лицензию и весьма заметно — на поведение, поскольку, согласно документации, меньшие модели чаще выдают эти ложные глубины неба в несколько километров. H+ выбран по умолчанию не случайно, но на ноутбуке S — это разница между работоспособностью и её отсутствием.

Depth Pro — это один чекпоинт без переключателя. Это не критика — релиз 2024 года, и в статье сообщался единственный результат в 0,3 секунды, — но это означает, что у вопроса миграции «какой размер» нет аналога на старой стороне, и любое сравнение, которое рассматривает «Depth Pro» как одну строку против четырёх, упрощает реальное решение.

Числа, каковы они есть.

Карточка Depth Pro 2 сообщает Boundary F1 и Jitter, усреднённые по наборам данных Sintel и Spring, утверждает, что превосходит предыдущие работы, работающие с одним кадром или несколькими кадрами, по обоим показателям, и строит график сравнения. Depth Pro — одна из отметок на этом графике. Оси подписаны — Boundary F1 от 0 до 0,3, Jitter от 0,1 до 0 — но таблицы по отдельным моделям нет, поэтому улучшение читается примерно до сотых: H+ находится около 0,29 Boundary F1 при примерно 0,017 Jitter, исходный Depth Pro — примерно при 0,235 и 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Считайте это заявлением вендора, не подтверждённым воспроизведением, — и это именно так. Ни одна третья сторона не опубликовала значение Boundary F1 или Jitter для Depth Pro 2, а технический отчёт, который определял бы протокол оценки, является заглушкой. Оригинальный Depth Pro, напротив, поставляется с метриками границ в собственной кодовой базе — eval/boundary_metrics.py предоставляет SI_boundary_F1 и SI_boundary_Recall — так что если вы хотите провести сравнение самостоятельно, инструменты для половины этого сравнения являются публичными, а целевой чекпойнт представляет собой переобученную аппроксимацию модели из статьи.

Лицензия и коммерческий вопрос

Без изменений, и об этом стоит сказать, поскольку такое часто упускается при обновлении. Веса обеих моделей распространяются по лицензии Apple Machine Learning Research Model, которая, согласно определению в репозитории, разрешает использование исключительно в исследовательских целях, то есть для некоммерческих научных исследований и академической разработки. Код лицензируется отдельно, а в разделе благодарностей Depth Pro 2 указаны TIMM и DINOv3 в качестве его основ.

Итак, обновление бесплатно с точки зрения лицензии и недоступно с точки зрения продукта — причём с обеих сторон. Если вы выпускаете продукт ради выручки, ни одна из этих контрольных точек не подходит, и разговаривать вам нужно с Apple, а не с файлом лицензии.

Конкретно о миграции

Depth Pro 2 не является прямой заменой Depth Pro, поскольку название пакета, точка входа и идентификаторы модели изменились. Depth Pro устанавливается из apple/ml-depth-pro и запускается как depth-pro-run -i ./data/example.jpg. Depth Pro 2 устанавливается из apple-aiml-research/ml-depth-pro-2 и запускается как uv run depth-pro-2 predict -i assets/example.jpg -o out/, а для выбора размера используются параметры от -m depthpro2-s до -m depthpro2-h. В Python импорт выполняется как depth_pro_2, а путь создания — create_model_and_transforms или DepthPro2.from_pretrained.

Форма выходных данных тоже изменилась. model.infer() в Depth Pro возвращает словарь с depth и focallength_px. infer() в Depth Pro 2 возвращает depth, а фокусное расстояние естественнее получать из отдельного оценщика или передавать как f_px, если оно у вас есть. Если у вас есть пайплайн, который обращается к словарю предсказаний напрямую, выделите полдня.

При миграции вы получаете регулятор размера, видеотракт с двумя документированными режимами, отдельный оценщик фокусного расстояния и упаковку Core ML с работающим демо-приложением. Чего вы не получаете — это статьи, таблицы бенчмарков по каждой модели или какого-либо независимого подтверждения, что новая модель лучше: только точечная диаграмма с подписанными осями и без таблицы за ней.

Ничто из этого не проходит через нас, и это не следует описывать так, будто это так: Depth Pro 2 — это веса с исследовательской лицензией из собственных репозиториев Apple. Место, где слой маршрутизации оправдывает себя, находится на шаг в стороне — описание сцены, решение, отчёт вокруг вашего этапа глубины — это вызовы языковых моделей, и OrcaRouter предоставляет более 200 размещённых моделей по одному ключу с наценкой 0% к прайс-листу провайдера, с автоматическим переключением при сбое между провайдерами, поэтому исследовательский чекпойнт без регулярного графика выпусков — единственная хрупкая вещь в пайплайне, а не одна из нескольких.

Если вы работаете с Depth Pro и всё работает, причина переходить — видео. Если вы работаете с Depth Pro и запускаете только статичные изображения, резкость, которая у вас есть, — это та резкость, которую продолжение заявляет, что сохранило, и честнее подождать технического отчёта, прежде чем тратить полдня на переименование импорта.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.