Сгенерированная карточка сравнения для Depth Pro 2 и Marigold: в левом столбце указаны один прямой проход, метрическая глубина в метрах, четыре размера от 24M до 872M параметров и поддержка видео, а в правом — итеративное шумоподавление, аффинно-инвариантная глубина, эффективное разрешение примерно 768 пикселей и диффузионный априор, а также логотип OrcaRouter.
Guides & Insights

Depth Pro 2 против Marigold: метрическая глубина или диффузионный приор

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Marigold не предсказывает глубину. Он генерирует её, шаг за шагом шумоподавления, из модели латентной диффузии, дообученной на основе Stable Diffusion 2. Depth Pro 2 предсказывает её за один прямой проход, с помощью трансформера, обученного непосредственно на этой задаче. Оба создают карту глубины, которая выглядит правильной, обе имеют исследовательскую лицензию, и разница между ними — это разница между сэмплером и регрессором; она проявляется сначала как счёт, затем как профиль задержки и лишь в третью очередь как точность.

Такой порядок выбран намеренно. Обычное сравнение ставит AbsRel с одной стороны, а Boundary F1 — с другой, и объявляет победителя, что здесь невозможно: числа Marigold и числа Depth Pro 2 получены по разным протоколам на разных наборах данных, и ни одна из лабораторий никогда не проводила их прямого сравнения друг с другом. Сравнивать можно стоимость получения ответа, соглашение о масштабе, в котором приходит ответ, и то, что разрешает каждая лицензия. На эти три вопроса есть реальные ответы.

Два способа получить число из пикселей

Карточка модели Marigold прямо указывает её собственный тип: генеративный оценщик монокулярной глубины, инвариантный к аффинным преобразованиям, на основе латентной диффузии, дообученный на основе stable-diffusion-2. Контрольная точка v1.1, prs-eth/marigold-depth-v1-1, была создана 12 декабря 2024 года и имеет 34 отметки «Нравится» и около 6 600 загрузок. Она рассчитана на планировщик DDIM и от 1 до 50 шагов удаления шума, а также наследует эффективное разрешение базовой диффузионной модели примерно 768 пикселей, поэтому более крупные входные данные следует изменять в размере так, чтобы длинная сторона составляла 768, прежде чем подавать их.

Depth Pro 2 — дискриминативная модель. В карточке описывается multi-view transformer, работающий с входными кадрами, и DPT-декодер, который предсказывает для каждого кадра карту обратной глубины, собирая токены из нескольких блоков в карты признаков с разрешением от одной тридцать второй до одной четверти входного разрешения. Один вызов — один результат, в полном разрешении входа; карточка особо это подчёркивает, и это противоположность рабочему разрешению 768 пикселей.

• Инференс — Marigold выполняет от 1 до 50 шагов удаления шума на каждое изображение; Depth Pro 2 выполняет один прямой проход.

• Рабочее разрешение — эффективное разрешение Marigold составляет около 768 пикселей по длинной стороне; Depth Pro 2 выполняет предсказание в полном разрешении входного изображения.

• Ансамблирование — Marigold создаёт карту неопределённости только тогда, когда несколько предсказаний объединяются в ансамбль размером более двух, что снова умножает затраты; Depth Pro 2 не возвращает неопределённость.

• Масштаб — выходные данные Marigold аффинно-инвариантны: значения от 0 до 1 интерполируют между ближней и дальней плоскостями, выбираемыми самой моделью; выходные данные Depth Pro 2 метрические, в метрах.

• Входные данные — Depth Pro 2 принимает фотографию, видеофайл или поток с камеры в реальном времени; Marigold v1.1 принимает одно изображение.

Marigold — это семплер, и за это придётся платить.

Количество шагов — не сноска. Качество модели диффузионной глубины — это функция от того, сколько шагов денойзинга она выполняет и сколько сэмплов объединяет в ансамбль, и оба этих параметра задаёте вы. На нижнем конце вы получаете быструю грубую карту; при 50 шагах с ансамблем — более качественную карту и гораздо больший счёт за вычисления для того же изображения. Карточка Marigold подаёт это как особенность — от 1 до 50 шагов это диапазон, и вы выбираете, где на нём находиться — и это честно, но означает, что «точность Marigold» — не одно число. Это кривая, и у кривой есть ось стоимости.

У Depth Pro 2 нет аналогичного переключателя. Переключателем служит размер — S, B, L или H+ — и он меняет веса, а не количество проходов. Предсказание в любом случае выполняется за один проход. Для ноутбука эта разница носит академический характер; для сервиса, обрабатывающего видеопоток с частотой 30 кадров в секунду, это определяет всю архитектуру.

Именно поэтому разговор о стоимости модели глубины не ограничивается самой моделью. Этап, который потребляет карту глубины — описание сцены, решение о том, что делать, запись результата — это работа языковой модели, и именно там стоимость за вызов публикуется и поддаётся сравнению. OrcaRouter передаёт прайс-листовую цену провайдера без наценки — 0% — для более чем 200 размещённых моделей по одному ключу, с автоматическим переключением между провайдерами при сбоях. Диффузионный сэмплер на этапе зрения с множителем ансамбля — это как раз та статья расходов, из-за которой хочется, чтобы остальная часть пайплайна была предсказуемой.

Depth Pro 2 отвечает за один проход

Однопроходная схема имеет собственные ограничения, и они документированы, а не скрыты. Глубина — это расстояние вдоль оси обзора камеры, то есть координата z, а не радиальное расстояние. Обратная глубина в Python нормируется на фокусное расстояние: focallength_px / (width * depth). Глубина масштабируется пропорционально фокусному расстоянию, поэтому фокусное расстояние, завышенное на 10 процентов, помещает всё на 10 процентов дальше.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, annotated with alternating within-frame and across-frame attention after the first third of blocks and decoder feature maps at one thirty-second to one quarter of the input resolution.

Поведение при обработке видео — это то, где архитектура окупается. Буферизованный режим обрабатывает клипы по 16 кадров с перекрытием в четыре кадра, сохраняя стабильную глубину на границах клипов; небуферизованный режим предсказывает каждый кадр по мере его поступления на основе этого кадра и 15 предыдущих, с документированным штрафом за разогрев: у первых кадров потока меньше предшественников и, следовательно, менее стабильная глубина. Для видео используется одно фокусное расстояние для всех его кадров — медиана по первому окну. Память растёт с размером кадра и длиной окна, а не с длительностью.

Ничего из этого не имеет аналога в Marigold, потому что Marigold v1.1 — это модель для одного изображения. Запустите её на видео — и вы будете запускать её покадрово, а какое мерцание получится, с таким вы и выпустите.

Аффинно-инвариантный относительно метрики

Это тот раздел, который решает судьбу большинства интеграций, и дело вовсе не в качестве. Выходные данные Marigold аффинно-инвариантны: предсказанные значения лежат между 0 и 1 и интерполируются между ближней и дальней плоскостями, выбранными моделью. Это вполне хорошее представление для маски, прохода глубины для композитинга или чего угодно, что масштабируется, чтобы уложиться в диапазон, — и это стандартное соглашение в литературе по диффузионным моделям глубины, и на то есть веская причина: именно в этом эти модели действительно хороши.

Выходные данные Depth Pro 2 — это измерение в метрах с указанием фокусного расстояния. Для робота, решающего, находится ли препятствие в одном или трёх метрах от него, для AR-наложения, которое должно располагаться на физическом расстоянии, для облака точек в реальной системе координат — эта разница и есть вся суть. Восстановление абсолютного масштаба из аффинно-инвариантной карты — это отдельный шаг, требующий известного ориентира в сцене или датчика, и эту работу Depth Pro 2 уже выполнила внутри.

Ни то, ни другое не лучше. Это разные производные одного и того же слова, и то, какой из них вам нужен, определяется тем, что использует карту.

Что изменилось в Marigold V2 в 2026 году

Название «Marigold» теперь охватывает два поколения, и второе из них — не небольшое обновление. Marigold V2, huawei-bayerlab/marigold-v2-0, был создан 27 августа 2026 года с первоначальным выпуском 8 сентября 2026 года. Это диффузионный трансформер, а не UNet: результат LoRA-дообучения Qwen/Qwen-Image-Edit-2509, опубликованный вместе со статьёй для SIGGRAPH Asia 2026 в ACM Transactions on Graphics 45(6), arXiv 2609.08084.

Спектр возможностей заметно расширился. Marigold V2 поставляет чекпойнты для глубины в логарифмической, линейной и диспаритетной параметризациях, слоистые варианты, предсказывающие геометрию за стеклом, а также нормали поверхности и альбедо — последнее относится к типу выхода, который имеет смысл только у генеративной модели, уже понимающей формирование изображения. Для инференса требуется около 17 ГБ памяти GPU при 1024² и 29 ГБ при 2048², так что карта на 24 ГБ покрывает первый случай, а для второго нужна 32 ГБ.

Его выход глубины по-прежнему аффинно-инвариантен — глубина с точностью до неизвестного масштаба и сдвига для каждого изображения — поэтому приведённый выше аргумент о масштабе сохраняется без изменений при смене генерации. Изменились точность и разрешение: сообщённые результаты zero-shot по протоколу Pixel-Perfect Depth, AbsRel (меньше — лучше) и δ1 в процентах, составляют 3,6 / 98,0 на NYUv2, 5,4 / 97,4 на KITTI, 2,8 / 99,2 на ETH3D, 3,7 / 97,9 на ScanNet и 5,2 / 97,1 на DIODE. Поверхностные нормали показывают среднюю угловую ошибку 16,6 градуса и 61,2 процента в пределах 11,25 градуса на NYUv2, а альбедо на Hypersim — при PSNR 20,78, SSIM 0,811 и LPIPS 0,195. Эти данные заявлены производителем и здесь не воспроизводились.

Что каждая сторона разрешит вам цитировать

Marigold V2 публикует таблицу. Depth Pro 2 публикует диаграмму рассеяния с подписанными осями и без таблицы по отдельным моделям. Эта асимметрия — самый малоосвещённый факт об этой паре, и она противоречит предположению, что более новая модель непременно должна быть лучше задокументирована.

The tradeoff scatter from the Depth Pro 2 model card plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes in orange at the top right near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis. There is no Marigold marker.

Карточка Depth Pro 2 сообщает Boundary F1 и Jitter, усреднённые по Sintel и Spring, утверждает превосходство над предыдущими работами, работающими с одним кадром или несколькими кадрами, по обоим показателям, и строит графики примерно для двух десятков базовых моделей — но Marigold среди них нет. На графике Apple нет маркера Marigold, а в таблице Marigold V2 нет строки Depth Pro 2, поэтому ни одна из лабораторий не разместила обе модели на одной оси. В блоке цитирования по-прежнему указано arXiv:261X.XXXXX — заполнитель — и на machinelearning.apple.com нет исследовательской страницы для Depth Pro 2. Технического отчёта, который, согласно карточке, сравнивает размеры по скорости и памяти, ещё не существует.

Итак, закупочный документ может сегодня ссылаться на AbsRel и δ1 из Marigold V2 — с оговоркой, что это вендорские цифры по протоколу, который вы не проводили. На показатель Depth Pro 2 он не может сослаться вообще. Это не упрёк модели; это факт о релизе, и он изменится в тот день, когда выйдет отчёт.

Лицензии: OpenRAIL, Apache, только для исследований

Три лицензии на трёх контрольных точках, и они не взаимозаменяемы.

• Marigold v1.1 — CreativeML OpenRAIL++-M, лицензия сообщества Stable Diffusion 2, содержащая ограничения на использование, а не исключительно запрет на коммерческое использование.

• Marigold V2 — Apache 2.0 на опубликованных весах, при этом базовая модель Qwen-Image-Edit-2509 сохраняет собственную лицензию, поэтому ваши обязательства зависят от обеих.

• Depth Pro 2 — лицензия модели Apple Machine Learning Research Model, которая, согласно определению в репозитории, разрешает использование исключительно в исследовательских целях, то есть для некоммерческих научных исследований и академической разработки.

Практическое следствие: Marigold V2 — единственный из этих трёх, который реально можно выпустить, при условии выполнения того, что требует базовая модель Q​wen. Depth Pro 2 — нет, ни при каком размере, и его лицензия на код этого не меняет. В коде Depth Pro 2 отдельно указано, что его основой являются TIMM и DINOv3.

К чему прибегнуть

Выбирайте Marigold V2, если вам нужна карта глубины как один из нескольких результатов — нормали, альбедо, многослойная просвечивающая глубина — и вы работаете при разрешении примерно 1024², а аффинно-инвариантное соглашение вас устраивает, потому что ваш потребитель всё равно выполняет перемасштабирование. Это более гибкая модель, она публикует числовые показатели, и её лицензия — единственная разрешительная из всех здесь.

Выбирайте Depth Pro 2, если вам нужны метры, если на входе видео или прямая трансляция, или если вам нужны чёткие границы в полном разрешении и вы не можете позволить себе пересэмплирование до 768. Начните с S на ноутбуке, как советует документация Apple, и ожидайте, что глубину неба придётся отсекать — это совет из самого README, поскольку пиксели неба возвращают бесконечную глубину или конечное значение в несколько километров на малых моделях.

Не следует читать эти две карточки как таблицу лидеров. AbsRel у Marigold V2 и Boundary F1 у Depth Pro 2 — это не один и тот же эксперимент, и единственное честное утверждение об их относительном качестве состоит в том, что никто не проводил это сравнение: Apple построила графики для двух десятков базовых моделей, и Marigold не была одной из них, а в статье о Marigold V2 оценка проводится по сравнению с её собственными предшественниками на протоколе Pixel-Perfect Depth.

A generated two-column scoreboard comparing Depth Pro 2 and Marigold V2 across six dimensions: inference cost, depth scale convention, working resolution, video support, additional outputs and licence, with a footer noting Depth Pro 2 figures are vendor-reported and Marigold V2 figures follow its own Pixel-Perfect Depth protocol.