Hi3D V1.0 против CARI4D: одна и та же базовая архитектура, два разных вопроса

Наиболее показательный факт о Hi3D V1.0 и CARI4Dзаключается в том, что оба могут вызывать Hunyuan3D-2 от Tencent. Hi3D V1.0, выпущенный 23 октября 2026 года как преемник Sparc3D с открытым исходным кодом, использует мини-адаптер Hunyuan3D-2 в своей демонстрации, чтобы создать грубую сетку, которую затем уточняет. CARI4D — не зависящая от категории 4D-реконструкция взаимодействия человека с объектом от NVIDIA — использует Hunyuan3D-2 для реконструкции сетки объекта по первому кадру видео, прежде чем отслеживать, как движется этот объект. Та же исходная геометрическая модель, две совершенно разные задачи: Hi3D спрашивает, как должна выглядеть поверхность объекта в высоком разрешении, а CARI4D спрашивает, что человек и объект делали с течением времени.

Какое место на самом деле занимает Hunyuan3D-2

Стоит быть точным, потому что фраза «оба используют Hunyuan3D» может подразумевать более тесную связь, чем существует на самом деле.

Основная библиотека Hi3D вовсе не требует Hunyuan. Конвейер уточнения принимает эталонное изображение и грубую сетку, а demo/refine_mesh.py ничего не импортирует из Tencent. Адаптер Hunyuan3D-2 mini находится в demo/coarse_stage.py, является необязательным и существует для того, чтобы тот, у кого есть только изображение, мог создать грубую сетку, необходимую модулю уточнения. Код, веса и выходные данные Tencent сохраняют собственную лицензию, и их необходимо получать отдельно. В производственном конвейере Hunyuan — лишь один из возможных вышестоящих компонентов среди многих.

Зависимость CARI4D имеет структурный характер. На этапе реконструкции объекта она берёт первый кадр, сегментирует объект манипуляции и восстанавливает его геометрию с помощью Hunyuan3D-2. Затем эта mesh-модель размещается в метрическом масштабе с использованием UniDepth и поиска от грубого к точному через FoundationPose. Остальная часть конвейера — NLF для человека, этап выбора гипотез позы, CoCoNet для коррекции рендерингом и сравнением, а также совместная оптимизация с учётом контактов — зависит от того, что эта mesh-модель объекта достаточно хороша для отслеживания относительно неё.

Следствие — это полезная рамка для данного сравнения. {{1}}Вся цель Hi3D — исправлять тот тип геометрии, который создаёт Hunyuan3D-2.{{/1}} {{2}}Цель CARI4D — восстанавливать движение, а меш он воспринимает как входные данные, которые наследует.{{/2}} Одна модель нацелена на слабое место другой, хотя ни один проект об этом не говорит.

Для чего предназначена каждая обученная модель

Обучаемый компонент Hi3D — это разреженный поток, обусловленный признаками изображения и определённый на координатах, взятых из грубого меша. Он сэмплирует разреженные латентные представления, декодирует их с помощью разреженного VAE с самоотсечением, извлекает поверхность, повторно вокселизирует и повторяет процесс. Три прохода переводят структурную сетку с 64³ до 128³ и до 192³, а сетку разреженного извлечения — с 512³ до 1024³ и до 1536³, при 25 обновлениях планировщика на проход. Модель учится локальной геометрической детализации: краям, тонким структурам, непрерывности поверхности — тем частям, которые грубый генератор сглаживает.

Обучаемый компонент CARI4D — это CoCoNet, сеть рендеринга и сравнения. Она рендерит текущую оценку объекта и человека в RGB, глубину и маски, кодирует этот рендер с помощью DINOv2 ViT-B/14 и шестиканального кодировщика ViT-S/14 для XYZ и масок, применяет пространственно-временное внимание и регрессирует покадровые поправки позы плюс два логита контакта рук. Исследовательский чекпоинт содержит 194 млн параметров; коммерчески лицензированный вариант MHR, выпущенный 30 августа 2026 года, — 231 млн. Она изучает не детали формы, а взаимосвязь между отрендеренной гипотезой и наблюдаемым кадром.

Это разные обучающие сигналы и разные сценарии отказа. Hi3D может сделать неправильный силуэт более чётким. CARI4D может точно отслеживать объект с плохой формой на протяжении видео и всё равно выдать вам плохую сетку, потому что его метрики касаются позы и контакта, а не точности поверхности.

Что получается, строка за строкой

• Входные данные — Hi3D V1.0: эталонное изображение плюс грубая сетка против CARI4D: монокулярное RGB-видео

• Выход — Hi3D V1.0: чисто геометрическая trimesh сетка против CARI4D: покадровая поза и форма человека, поворот и перемещение объекта и два логита контакта рук

• Масштаб — Hi3D V1.0, повторно центрированный и нормализованный до единичного максимального радиуса, по сравнению с метрическим масштабом CARI4D, восстановленным с помощью UniDepth и FoundationPose

• Текстура — Hi3D V1.0 none vs CARI4D none; он возвращает позы и контакт, а не текстурированный ассет

• Вычисления — Hi3D V1.0: замерено на 96 ГБ NVIDIA H20, без CPU-пути, размер батча — один, в сравнении с CARI4D PyTorch на NVIDIA Ampere, проверено на A100, с Docker-образом

• Лицензия — Hi3D V1.0: Hi3D Open License 1.0, коммерческое использование с порогом срабатывания в 200 000 MAU или 1 млн USD ежемесячной выручки, в отличие от CARI4D: NVIDIA Open Model Agreement для коммерческого чекпоинта 231M, только для исследований для релиза 194M

• Доказательства — Hi3D V1.0: не опубликован числовой бенчмарк, в отличие от CARI4D — статьи CVPR 2026 с абляциями и результатами BEHAVE; данные заявлены поставщиком и независимо не воспроизведены

Эксперимент, который никто не опубликовал

Вот композиция, которую делает очевидной общий backbone, — сформулированная как эксперимент, а не как функция.

CARI4D восстанавливает свою объектную сетку из одного первого кадра с помощью Hunyuan3D-2. Hi3D уточняет именно такую грубую сетку, обусловливаясь референсным изображением того же объекта — а у CARI4D оно есть, потому что первый кадр и является референсом. В принципе, конвейер мог бы взять изображение первого кадра CARI4D и сетку Hunyuan, запустить Hi3D при 1024³ или 1536³ и передать уточнённую поверхность обратно на этап, который размещает и отслеживает её.

На практике существуют четыре препятствия, и ни одно из них не является незначительным.

• Масштаб. Hi3D перецентрирует свой результат и нормализует его к единичному максимальному радиусу. CARI4D нужен меш в метрическом масштабе, чтобы инициализировать FoundationPose. Обратное преобразование не опубликовано, и ошибка в нём меняет видимый размер объекта в каждом кадре.

• Структура. Hi3D уточняет заданную ему грубую структуру; он её не исправляет. Если Hunyuan3D-2 неверно прочитал топологию объекта по одному кадру, Hi3D делает это неверное прочтение более детальным. Выбор гипотезы позы в CARI4D может поглотить часть ошибки объекта — в статье сообщается о сокращении расстояния Chamfer для объекта с примерно 1,565 см до 16.85 см при инициализации — но это не этап восстановления формы.

• Время выполнения. Hi3D обрабатывает по одному объекту за раз, до трёх проходов по 25 шагов каждый, без опубликованных данных о задержке. Конвейер CARI4D уже объединяет Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet и совместную оптимизацию. Добавление этапа уточнения объёмом 96 ГБ перед циклом обработки каждого клипа может быть оправданным в офлайн-режиме и невозможным в интерактивном.

• Валидация. Никто не публиковал эту интеграцию. Числа в статье CARI4D измеряют точность позы и контакта, а не влияние лучшей сетки объекта на эти числа. Вполне возможно, что уточнение улучшает сетку и почти не меняет метрики реконструкции, поскольку трекинг устойчив к детализации поверхности. Также возможно, что более четкая сетка улучшает соответствия FoundationPose. Пока кто-нибудь не проведет абляцию, и то и другое — догадки.

Подлинная ценность этого наблюдения не в том, чтобы «использовать их вместе». Она в том, что два релиза дополняют друг друга на конкретном стыке, и с этим стыком связан измеримый вопрос, на который не ответил ни один из вендоров.

Два вида доказательств, ни один из которых не является независимым

У {{1}}CARI4D{{/1}} доказательная база выглядит сильнее, чем у {{2}}Hi3D{{/2}}, и это действительно так, но разница меньше, чем кажется на первый взгляд. У {{3}}CARI4D{{/3}} есть рецензируемая статья {{4}}CVPR 2026{{/4}}, именованный бенчмарк, абляции и заявленное снижение ошибки реконструкции на {{5}}38%{{/5}} на данных из распределения и на {{6}}36%{{/6}} на невидимых данных. Это цифры {{7}}NVIDIA{{/7}} из оценки {{7}}NVIDIA{{/7}}. Ни одна нейтральная лаборатория их не воспроизвела. Код и скрипты оценки открыты, что делает воспроизведение возможным, но не выполненным.

У Hi3D вообще нет числового бенчмарка. Репозиторий публикует визуальные сравнения девяти методов для локальной геометрии, заявление о масштабе обучения примерно на два миллиона отобранных ассетов и заявление о разрешении 1536³ для разреженного извлечения. В пресс-релизе добавляются 90% успешности нарезки и утверждение о наивысших показателях многовидовой точности и детализации в описанной оценке, при этом не приводятся ни баллы, ни базовый уровень, ни название слайсера. Код обучения и оценочная обвязка отсутствуют, поэтому таблицы из статьи невозможно восстановить по релизу.

Иными словами, оба показателя — со слов производителя. Один подкреплён статьёй, другой — пресс-релизом. Покупателю следует воспринимать знак CVPR как повод отнестись к методологии серьёзно, а не как замену независимому тестированию.

Какой вопрос у тебя на самом деле?

Если у вас есть видео, где человек манипулирует объектом, и вам нужно понять, как двигались рука, объект и тело — позы в метрическом масштабе, точки контакта, кадр за кадром — CARI4D — это система, созданная именно для этого, а коммерческий чекпоинт делает её пригодной для развёртывания. Hi3D вообще не может ответить на этот вопрос. В ней нет временной модели, вывода поз и рассуждений о контактах.

Если у вас есть референсное изображение и грубая сетка и вам нужен более чёткий статический ассет, Hi3D — это прямой инструмент для такой задачи. CARI4D тоже не может ответить на этот вопрос: его сетка объекта является побочным продуктом конвейера трекинга, создаётся с той точностью, которую Hunyuan3D-2 выдаёт по одному кадру, и он предоставляет позы, а не уточнённую поверхность.

Если вы строите композит — конвейер реконструкции, в котором геометрия объекта является слабым звеном, — интересный шаг состоит в том, чтобы проверить, улучшает ли уточнение Hi3D последующие метрики CARI4D. Это исследовательский вопрос с ясным экспериментом и без опубликованного ответа. Заложите бюджет на преобразование масштаба и GPU, прежде чем закладывать бюджет на статью.

Слой, который окружает оба

Ни одна из моделей не обслуживается OrcaRouter, и ни одна из них не является языковой моделью. Каталог включает текст, зрение, видео, эмбеддинги и речь; 3D-реконструкция выполняется на вашем собственном оборудовании. Однако вызовы вокруг реконструкции — это вызовы моделей: подпись к первому кадру, описание объекта для записи об активе или оценка того, соответствует ли уточнённый рендер эталону с трёх ракурсов.

Последний вариант хорошо подходит для фьюжна моделей. Вместо того чтобы полагаться на мнение одной модели компьютерного зрения о том, что уточнённая сетка достоверна, отправьте одно и то же многовидовое сравнение панели моделей и позвольте их ответам агрегироваться. OrcaRouter открывает доступ к fusion и более чем 200 отдельным моделям через единый API, с ценой по прайс-листу провайдера, передаваемой с наценкой 0%, и автоматическим переключением при сбое, если один из провайдеров деградирует. Геометрия остаётся на вашем GPU; суждение вокруг неё может быть избыточным, не требуя дорогой интеграции.

Что бы это решило?

Один-единственный абляционный эксперимент даст больше, чем любое количество сравнений спецификаций: возьмите одну последовательность BEHAVE, уточните сетку объекта с помощью Hi3D при 1024³, отмените нормализацию и сообщите метрики позы и контакта относительно неуточнённого базового варианта. Если показатели изменятся, общий бэкбон превратится в пайплайн. Если нет, ценность Hi3D останется там, где она максимальна, — как автономного инструмента для работы с геометрией для тех, у кого уже есть грубая сетка.

Пока такой эксперимент не проведён, обоснованное разграничение просто. {{1}}Hi3D V1.0 — это инструмент уточнения геометрии с открытыми весами и без бенчмарка.{{/1}} {{2}}CARI4D — это инструмент реконструкции движения со статьёй и коммерческим чекпоинтом.{{/2}} Они сходятся в Hunyuan3D-2, и ни один из них не заменяет другой.