Сгенерированная титульная карточка для сравнения Depth Pro 2 и Depth Anything 3: в левой колонке указаны метрическая глубина в метрах, одиночный кадр, видео и прямая трансляция, а также четыре размера до 872M; в правой колонке указаны относительная глубина, позы и внутренние параметры камеры, а также четыре размера до 1.15B; кроме того, есть логотип OrcaRouter.
Guides & Insights

Depth Pro 2 против Depth Anything 3: метры или позы камеры

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Задайте обеим моделям один и тот же вопрос — насколько это далеко? — и только одна из них ответит в метрах. Depth Pro 2, метрическая монокулярная модель глубины от Apple, возвращает карту глубины в метрах вдоль оси обзора камеры, а также использованное фокусное расстояние. Depth Anything 3, фундаментальная модель ByteDance Seed, выпущенная в ноябре 2025 года, указывает «относительную глубину» в качестве своей первой возможности наряду с оценкой позы камеры и обусловливанием позой. Она даёт глубину с точностью до неизвестного масштаба и даёт камеры, которые позволяют этот масштаб восстановить.

Это единственное различие решает судьбу большинства интеграций ещё до того, как речь заходит о точности, и именно поэтому прямое сравнение этих двух решений по бенчмаркам менее полезно, чем кажется. Две лаборатории сообщают о разных метриках, на фоне разных базовых показателей, и ни одна из них не проводила оценку по методике другой. Далее приводится то, что фактически задокументировано в каждом репозитории, с пометкой заявлений поставщиков как таковых.

Два разных вывода, отличающихся одной буквой

Объект предсказания Depth Anything 3 — самое очевидное место для начала, поскольку он необычайно явно устроен. Один вызов возвращает глубину в формате [N, H, W] float32, карту уверенности той же формы, внешние параметры в виде матриц преобразования из мира в камеру [N, 3, 4] и внутренние параметры в виде [N, 3, 3]. Экспорт возможен в GLB, NPZ, PLY, mini-NPZ, PLY с гауссовыми сплатами или видео с гауссовыми сплатами.

Выход Depth Pro 2 уже и непосредственно полезнее, если нужный вам ответ — число. Он возвращает карту глубины в метрах, фокусное расстояние в пикселях и — в NPZ-выводе командной строки — эти два массива и ничего больше. Преобразование в облако точек оставляется на ваше усмотрение: используйте фокусное расстояние и центр изображения в качестве главной точки или вашу реальную главную точку, если камера откалибрована.

• Масштаб — выход Depth Pro 2 метрический; глубина Depth Anything 3 относительная, причём масштаб восстанавливается из позы и внутренних параметров камеры, которые он также возвращает.

• Параметры камеры — Depth Anything 3 предсказывает внешние и внутренние параметры; Depth Pro 2 предсказывает только фокусное расстояние и не имеет представления о том, где находится камера.

• Уверенность — Depth Anything 3 возвращает карту уверенности для каждого пикселя; Depth Pro 2 не возвращает её вовсе.

• Ввод — Depth Pro 2 принимает одно фото, видеофайл или поток с камеры в реальном времени; Depth Anything 3 принимает список изображений как один набор видов.

• Лицензия — веса Depth Pro 2 предназначены только для исследовательских целей в рамках лицензии Apple Machine Learning Research Model; Depth Anything 3 распространяется по лицензии Apache 2.0 для моделей 0.08B и 0.12B и по CC BY-NC 4.0 для 0.35B и 1.15B.

Четыре размера не выравниваются

Оба семейства публикуют по четыре контрольные точки, и количество параметров оказывается почти на одних и тех же уровнях, что вызывает соблазн сравнивать их один к одному. Не поддавайтесь этому.

Depth Anything 3 выпускает модели 0,08B, 0,12B, 0,35B и 1,15B — 34,3M, 135,4M, 410,9M и 1 355,7M параметров согласно метаданным safetensors. Depth Pro 2 выпускает модели 24M, 97M, 334M и 872M. Два самых маленьких размера Depth Pro 2 существенно меньше своих аналогов в Depth Anything 3, а самый большой существенно меньше DA3 Giant.

Лицензии распределены по той же линии, что и размеры, и это деталь, важная с коммерческой точки зрения: два малых чекпоинта Depth Anything 3 распространяются по Apache 2.0, а два крупных — по CC BY-NC 4.0. Все четыре чекпоинта Depth Pro 2 распространяются по одной и той же лицензии только для исследований, определённой в репозитории как некоммерческие научные исследования и академическая разработка. Так что если вам вообще нужна модель глубины с коммерческой лицензией, Depth Anything 3-Small или -Base — единственный вариант в этом сравнении, а Depth Pro 2 не является таковым ни при каком размере.

Depth Anything 3 также имеет ревизию 1.1 — DA3-GIANT-1.1 и DA3-LARGE-1.1 — с идентичным оригиналам количеством параметров и репозиториями, созданными 11 декабря 2025 года. В оригинальной карточке GIANT оценка 3D-гауссианов описывается как дополнительная возможность, присущая крупным версиям, поэтому поверхность экспорта шире, чем одна только глубина.

Что заявляет каждая лаборатория и против чего

Карточка Depth Anything 3 содержит два сравнительных утверждения и указывает базовые модели для обоих: она значительно превосходит Depth Anything 2 в монокулярной оценке глубины и VGGT в многовидовой оценке глубины и позы. Это конкретные, опровержимые утверждения об указанных моделях, а подробные цифры приведены в статье, а не в карточке.

Карточка Depth Pro 2 содержит одно утверждение и обозначает свою базовую линию только как «предыдущие работы, оперирующие одним кадром или несколькими кадрами». В ней сообщается, что Depth Pro 2 превосходит этот набор по Boundary F1 и Jitter в среднем по наборам данных Sintel и Spring, и это иллюстрируется диаграммой рассеяния этих двух метрик, где оси идут: Boundary F1 от 0 до 0,3, а Jitter от 0,1 до 0.

The sharpness-versus-temporal-consistency scatter from the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis, averaged over Sintel and Spring.

Depth Anything 3 присутствует на этом графике — как DA3-NGL, один из многоракурсных базовых вариантов, отмеченных незакрашенными кружками, с показателями около 0,06 Boundary F1 и 0,018 джиттера. То есть сравнение существует, но только по двум метрикам Apple, усреднённым по Sintel и Spring, причём числовые значения глубины для Depth Anything 3 рядом не приведены. Собственный набор сравнений ByteDance — это Depth Anything 2 и VGGT, по выбранным ByteDance метрикам, и DA3-NGL там не обсуждается. Эти два набора не пересекаются: на какую бы карточку вы ни смотрели, оси выбирала другая лаборатория, и ни одна из них не опубликовала общую таблицу.

Это не уклонение от выбора победителя. Это реальное состояние доказательной базы, и об этом стоит говорить прямо, потому что альтернатива — выбрать любой график поставщика, который льстит модели, уже предпочитаемой вами, — именно так и принимаются плохие решения о закупках.

Стабильность видео — вот весь аргумент Apple.

Depth Pro 2 существует из-за конкретной слабости монокулярной глубины: если запустить покадровую модель на видео, глубина мерцает, потому что каждый кадр оценивается без знания о соседних. Apple исправляет это на архитектурном уровне. Модель представляет собой трансформер для нескольких видов по входным кадрам, и после первой трети её блоков внимание чередуется между внутрикадровым и межкадровым. Затем покадровый декодер DPT собирает токены из нескольких блоков в карты признаков с разрешением от одной тридцать второй до одной четверти входного разрешения.

The architecture diagram from the Depth Pro 2 model card showing a multi-view transformer processing input frames jointly, followed by a DPT decoder producing an inverse depth map per frame, with numbered annotations for alternating within-frame and across-frame attention and multi-scale decoder feature maps.

Режимы работы следуют из этого. Буферизованный режим, используемый по умолчанию для видеофайлов, обрабатывает фрагменты по 16 кадров с перекрытием в четыре кадра, чтобы глубина оставалась стабильной на границах фрагментов. Небуферизованный режим предсказывает каждый кадр по мере его поступления на основе этого кадра и 15 предыдущих, для использования с камерой, с задокументированной оговоркой, что первые кадры потока имеют меньше предшественников и поэтому менее стабильную глубину. Для видео используется одно фокусное расстояние на всех кадрах — медиана оценок по первому окну.

Depth Anything 3 по замыслу обрабатывает несколько ракурсов совместно, поскольку именно это и делает модель набора ракурсов, но его позиционирование — это реконструкция, а не стабилизация. Формулировки в карточке посвящены восстановлению визуального пространства по любым ракурсам, а выходные данные — внешние параметры, внутренние параметры, карты точек, гауссовы сплаты — это язык конвейера 3D-реконструкции. Если ваша проблема — «это видео мерцает», у Depth Pro 2 есть для этого режим, а Depth Anything 3 — это другой продукт.

Получение глубины в метрах в любом случае

Относительная глубина в Depth Anything 3 — это не столько ограничение, сколько разделение труда: модель предоставляет вам камеры, и именно камеры превращают относительную глубину в метры. Это преобразование — реальная работа: масштабный коэффициент для каждой сцены, получаемый из известной базовой линии, известного размера объекта или сенсора, — и это та же работа, которую Depth Pro 2 уже выполнила внутри.

Метрический вывод Depth Pro 2 имеет собственные режимы отказа, и они задокументированы. Глубина масштабируется вместе с фокусным расстоянием, поэтому фокусное расстояние, превышенное на 10 процентов, делает всё на 10 процентов дальше. Пиксели неба возвращаются как бесконечная глубина или, особенно на меньших моделях, как конечная глубина в несколько километров, поэтому README советует обрезать диапазон перед построением облака точек или цветного изображения. В Python обратная глубина нормируется на фокусное расстояние и равна focallength_px / (width * depth). Поток принадлежит одному видео и хранит свои последние кадры и своё фокусное расстояние, пока вы не откроете новый.

Ни одна из моделей не заменяет датчик глубины на бестекстурной или отражающей поверхности. Обе выводят масштаб по визуальным признакам, и обе будут давать сбой в одних и тех же типах мест по одним и тем же причинам.

Сколько стоит запускать оба

Практическое отличие заключается в графе зависимостей. Depth Pro 2 устанавливается как пакет Python из репозитория GitHub с помощью uv, предоставляет интерфейс командной строки (uv run depth-pro-2 predict -i photo.jpg -o out/) и Python API, а также поставляется с экспортами Core ML для Apple silicon и демонстрационным приложением для Mac. В репозитории прямо указано, что он содержит код для запуска моделей, но не код для обучения или оценки.

Depth Anything 3 устанавливается как редактируемый пакет из репозитория ByteDance Seed и предоставляет CLI (da3 auto path/to/images --export-format glb) с опциональным фоновым процессом для повторного инференса — это та деталь, которая проявляется, только когда кто-то запускает его в цикле.

Оба — исследовательские контрольные точки узкого назначения, и ни одну из них вы не маршрутизируете. Вокруг этапа глубины сосредоточена работа языковой модели — описание сцены, решение, что с этим делать, запись результата — и именно здесь единая конечная точка окупает себя: OrcaRouter предоставляет доступ к более чем 200 размещённым моделям через один API, совместимый с OpenAI, с наценкой 0% к прейскурантной цене провайдера, поэтому этапы рассуждения вокруг вашей модели глубины — это один ключ и один счёт. Контрольная точка глубины остаётся зависимостью, которую вы фиксируете; конвейер вокруг неё — нет.

С какого начать

Начните с Depth Anything 3, если вы реконструируете сцену по нескольким видам и хотите получить камеры, карты точек и гауссовы сплаты одним вызовом, а также если лицензия Apache 2.0 для малых размеров — это то, что вообще делает проект возможным. Его набор для сравнения назван, его выходные данные обширны, а малые чекпоинты — единственные коммерчески лицензируемые вещи в этой статье.

Начните с Depth Pro 2, если нужный вам ответ — это расстояние в метрах по одному кадру или по живому потоку, и если покадровая стабильность — это свойство, без которого ваше приложение не работает. Заранее ожидайте, что глубина неба будет обрезана, что фокусное расстояние придётся намеренно фиксировать, и что вы будете ранними — у репозиториев десятки скачиваний, у кода один коммит, а технический отчёт всё ещё заглушка.

Ни одна из моделей не даёт вам обоснованного утверждения, что она превосходит другую, потому что ни одна из лабораторий не проводила этот тест. Ориентируйтесь на формат вывода, лицензию и на то, видео ли у вас на входе. На эти три вопроса ответы есть уже сегодня; а у таблицы лидеров — нет.

A generated two-column scoreboard comparing Depth Pro 2 and Depth Anything 3 across six dimensions: depth type, camera parameters, video handling, largest model size, licence and published numbers, with a footer noting that no shared benchmark exists.