PAN 2 vs Cari4D: наблюдаем взаимодействие и предсказываем его

Cari4D знает, что рука сделала с объектом. PAN 2 может показать вам, что рука сделала бы с объектом, если бы вы её об этом попросили. Это противоположные направления движения вдоль одной и той же оси, и пока вы не скажете, в каком направлении работает ваша задача, сравнение между ними — это подбрасывание монеты, переодетое в анализ. Cari4D — это не зависящая от категорий линейка 4D-реконструкции от NVIDIA: модель CoCoNet, которая смотрит монокулярное RGB-видео того, как один человек манипулирует одним жёстким объектом, и покадрово восстанавливает их позы в метрическом масштабе, с коммерчески лицензированным чекпойнтом на 231 миллион параметров на Hugging Face с 30 августа 2026 года. PAN 2 — это открытая по весам модель мира от IFM с 29 миллиардами параметров, выпущенная как чекпойнт под лицензией Apache-2.0 7 октября 2026 года, которая работает в обратную сторону: передайте ей кадр и описанное действие, и она отрендерит до двадцати секунд видео 704×1248, предсказывая, что сделает это действие. Одна читает. Другая пишет. Причина, по которой их стоит ставить на одну страницу, в том, что артефакт, связывающий их — структурированное описание того, кто что сделал с каким объектом, — это именно то, что каждая из них производит или потребляет.

Два пайплайна, которые выглядят одинаково и не имеют ничего общего

Cari4D — это не единая сеть, реагирующая на видео. Это цепочка фундаментальных моделей с обучаемой стадией коррекции в середине: UniDepth для метрической глубины, NLF и GENMO для позы человека, Hunyuan3D для сеток объектов по одному изображению, FoundationPose для отслеживания, VolumetricSMPL для модели тела на основе функции знакового расстояния. CoCoNet — часть, которую выпускает NVIDIA, — рендерит текущую оценку человека и объекта в RGB, глубину и маски, сравнивает этот рендер с реальным наблюдением через RGB-кодировщик DINOv2 ViT-B/14 и шестиканальный кодировщик ViT-S/14, прогоняет два блока пространственно-временного внимания и регрессирует поправки для каждого кадра через MLP-головы.

Цепочка PAN 2 работает в обратном направлении и включает языковую модель. Концептуальный модуль рассуждения — любая модель, следующая инструкциям, — читает наблюдение и запрошенные действия и записывает следующее состояние мира в виде структурированной, привязанной ко времени подписи: события по порядку, действия, привязанные к действующим лицам, движение камеры. Замороженный текстовый энкодер Qwen3.5-9B отображает эту подпись в признаки обусловливания. Мультимодальный диффузионный трансформер на 29 млрд параметров предсказывает видеолатенты, которые подпись оставляет открытыми, обусловливаясь ею и VAE-латентом начального кадра, а декодер Wan 2.2 рендерит их.

Итак, сходство, из-за которого люди ставят их в пару, реально — оба касаются людей, рук, предметов и физики контакта — а вот лежащий в их основе механизм вообще никак не связан.

• Направление — Cari4D восстанавливает параметры из пикселей; PAN 2 генерирует пиксели из параметров.

• Вывод — Cari4D возвращает пофреймовые позу и форму человека на риге MHR, пофреймовую позу объекта и два логита контакта рук; PAN 2 возвращает MP4.

• Входные данные — Cari4D принимает одно монокулярное RGB-видео; PAN 2 принимает опциональный первый кадр плюс структурированную подпись действия.

• Размер — Cari4D CoCoNet имеет 231 млн параметров и обучен до шага 200 000; диффузионный бэкбон PAN 2 составляет 29 млрд параметров, с отдельным замороженным текстовым энкодером на 9 млрд и VAE Wan 2.2.

• Метрический масштаб — главное утверждение Cari4D — метрическая реконструкция по одной камере без датчика глубины; PAN 2 вообще не претендует на метричность, а его результат — это предсказание, а не измерение.

• Оценка — цифры Cari4D взяты из статьи CVPR 2026 и карточки продукта от поставщика, где признаётся, что у коммерческой модели нет отдельного тестового набора; цифры PAN 2 — из собственного испытательного стенда IFM, без воспроизведения третьей стороной.

Разница в лицензии — это и есть практическое различие

Обе модели доступны для скачивания, что уже относит их к узкому кругу. То, что вы можете с ними делать, различается сильнее, чем можно предположить по числу их параметров.

Собственные код и веса PAN 2 распространяются по Apache-2.0 без ограничений доступа: шестьдесят файлов и 86,17 гигабайта, а сторонние компоненты — Wan 2.2, Qwen3.5-9B, Diffusers — на своих условиях, и MBZUAI их не перераспространяет. Вы скачиваете его, запускаете его и поставляете то, что создаёте, при соблюдении обычных обязательств Apache. Репозиторий `pan2-guardrail` поставляется отдельно с модулем проверки запросов и классификатором кадров; IFM сообщает, что он сократил долю вредоносных запросов на преобразование текста в видео, дающих небезопасный результат, с 33,9% до 1,5%, одновременно блокируя 11,5% безвредных запросов на преобразование текста в видео и 3,3% безвредных запросов на преобразование изображения в видео, — это именно тот показатель, который хочется видеть перед развёртыванием чего-либо, генерирующего реалистичные видеоматериалы.

Позиция Cari4D более раздроблена, и это сбивает с толку команды закупок. Исследовательский репозиторий, nvidia/CARI4D, распространяется под NVIDIA License, а в карточке указано «только для исследований и разработок». Коммерческий чекпойнт, nvidia/cari4d_commercial, распространяется по NVIDIA Open Model Agreement и допускает коммерческое использование — но доступ к нему ограничен: необходимо принять условия и поделиться контактными данными, прежде чем появятся файлы, а выпущенный CoCoNet не работает сам по себе. Более широкий пайплайн по-прежнему подтягивает веса NLF torchscript, веса FoundationPose, ассеты SMPL-H и меши Hunyuan3D, каждый со своей лицензией. Коммерческая лицензия покрывает только ту часть, которую выпускает NVIDIA, и ничего вокруг неё.

Также нужно запланировать миграцию рига. Исследовательская ветка восстанавливает позу и форму SMPL; коммерческий чекпоинт выдаёт параметры Native Momentum Human Rig. Если вы писали код интеграции под исследовательские тензоры, то выходная форма коммерческой карты не подойдёт как прямая замена.

Где эти две вещи сочетаются и почему именно в этом заключается самое интересное.

Вот та связка, которую не афиширует ни один из поставщиков и которую сразу узнает каждый, кто строит конвейеры данных для физического ИИ.

Интерфейс PAN 2 — это структурированная подпись: события по порядку, действия, привязанные к акторам, движение камеры, в пределах мягкого бюджета в 1 480 токенов и жёсткого в 1 536. Создавать такую подпись вручную — самая утомительная часть использования модели, и репозиторий поставляется с навыком prompt-rewriter именно потому, что свободный текст не выдерживает интерфейса. Теперь рассмотрим, что Cari4D выдаёт из обычного видео: позу человека на каждом кадре, позу объекта на каждом кадре и два логита контакта рук — метрическую, плотную, согласованную во времени запись именно того, что должна описывать подпись состояния мира.

Это генератор подписей. Реконструкция даёт вам истинное состояние взаимодействия в пространстве параметров; языковая модель превращает эти параметры в структурированное описание, на которое опирается PAN 2; затем симулятор отрисовывает вариации этого взаимодействия. Замкните цикл — и у вас получится движок данных: запишите одну реальную манипуляцию, реконструируйте её с помощью Cari4D, снабдите подписью и сгенерируйте контрфактические варианты — другой объект, другой захват, другая поверхность, — которые вы никогда не смогли бы себе позволить снять. Тот же цикл работает в обратном направлении для оценки, сравнивая симулированный клип с реконструированным реальным на одной и той же установке.

Ни одна из двух половин этого цикла не готова к использованию «под ключ». В коммерческой карточке Cari4D указано, что модель обучена на 2 126 внутренних последовательностях FORM-HOI и что отдельного тестового набора данных нет — оценка проводится на качественном демонстрационном наборе, — а внутренний корпус «Daniel» не распространяется. Его ключевые показатели точности — на 38% меньшая ошибка реконструкции, чем у предшествующих методов, на данных из того же распределения и на 36% на не встречавшихся ранее наборах данных — взяты из статьи CVPR и не были независимо воспроизведены. PAN 2, со своей стороны, признаёт, что примерно в двух из трёх смоделированных планов есть как минимум один шаг, который не выполняется, что текстовые действия задают ловкий контакт лишь грубо и что то, насколько достоверно он моделирует планы, которые должны завершиться неудачей, не измерено.

Сопоставьте эти два признания, и их сочетание окажется честным, а не рекламным: реконструированное взаимодействие — это измерение с известным распределением обучения, а смоделированное — это прогноз с известной частотой пропуска шагов. Ни то, ни другое не является истиной о мире. Оба полезнее, чем каждое по отдельности.

Вычисления: рабочая станция против узла

Cari4D работает на одном GPU и, согласно его карточке, был проверен на оборудовании класса Ampere; развёрнутая модель имеет 231M параметров, а окружающие базовые модели составляют основную часть памяти. Это как раз тот тип пайплайна, который исследовательская команда запускает на рабочей станции за ночь, обрабатывая папку с клипами.

PAN 2 не соответствует этому описанию. В заголовке рецепта vLLM — тринадцать секунд видео 704×1248 примерно за 119 секунд на четырёх GPU B300, при этом classifier-free guidance распараллелен по двум рангам, а Ulysses sequence parallelism — по двум; документированная конфигурация по умолчанию — восемь H200 в BF16 с VAE patch parallelism по четырём тайлам. Пятьдесят шагов сэмплера с guidance на каждом шаге означают сто прямых проходов через 29B-трансформер на клип, поэтому параллелизм не является опциональным. Если вы генерируете контрфактические примеры в цикле, стоимость цикла равна произведению числа клипов на эту стоимость за клип, и она на порядки превышает затраты на реконструкцию.

Эта асимметрия — практическая данность планирования для любого гибрида. Реконструкция достаточно дешева, чтобы запускать её для всего, что у вас есть; симуляция достаточно дорога, чтобы запускать её только там, где контрфактический сценарий меняет решение.

Опять слот планировщика

В обоих пайплайнах есть языковая модель, и только один из этих слотов является типовым компонентом, который можно маршрутизировать.

Концептуальный модуль рассуждений PAN 2 явно взаимозаменяем — IFM оценила четыре варианта и ранжировала их по показателю завершения полного плана: Claude Opus 5.5, GPT-6 Astra при средних усилиях, Kimi K3, Qwen3.8-Flash. Все четыре присутствуют в каталоге OrcaRouter, поэтому этап формирования подписей может работать через одну конечную точку с автоматическим переключением при сбое, а цена каждого провайдера по прайс-листу передаётся с наценкой 0%, и вы можете проверять планировщики на собственных подписях, а не доверять рейтингу, измеренному на задачах IFM. Этап коррекции Cari4D не имеет такого слота: CoCoNet — фиксированная сеть с 231 млн параметров, и её замена означает переобучение, а не перенаправление. OrcaRouter не размещает PAN 2 или Cari4D и не может маршрутизировать ни то, ни другое — и рендерер, и реконструктор остаются на вашем оборудовании.

Честная формулировка для маршрутизатора здесь узкая: один этап двухэтапного конвейера — это тарифицируемый вызов API, а остальное — нет. Это всё равно имеет смысл, потому что именно на этапе подготовки подписей особенно ощущается чувствительность к промптам и проверка второй модели стоит одного запроса, а не обучающего прогона.

Какой именно нужен для вашей проблемы?

Если у вас есть видео и нужны параметры — захват движения для анимации, разметка контактов для набора данных, метрическая поза для обучения роботов имитацией, проход контроля качества по записанным манипуляциям — Cari4D и есть нужный инструмент, а PAN 2 нечего предложить. Начните с исследовательского чекпойнта для оценки, заложите в бюджет замену установки и сторонние лицензии, прежде чем остановиться на коммерческом варианте, и воспринимайте показатели точности как прошедшие рецензирование заявления производителя, а не как воспроизведённые результаты.

Если у вас есть параметры или описание и нужно увидеть, что получится, — оценка планов, генерация контрфактических данных, исследования физического рассуждения, агент, который предварительно просматривает свои действия, — то PAN 2 и есть нужная модель, а стоимость — это узел с несколькими GPU на каждый клип. Ознакомьтесь с её ограничениями, прежде чем проектировать решение на её основе: в большинстве планов пропускается один шаг, длинные клипы дрейфуют по внешнему виду, потому что каждый симулируется не более чем из одного начального кадра, а текст лишь грубо задаёт ловкий контакт.

Если у вас есть обе проблемы, ответ — цикл, и слабейшее звено цикла — контракт подписи. Cari4D даёт измерение; языковая модель превращает его в структурированное описание; PAN 2 рендерит альтернативу. Три компонента, три лицензии, один исследовательский вопрос — примерно так и выглядит создание решений на основе мировых моделей 2026 года, и поэтому сравнение любых двух из них менее полезно, чем схема того, как они связаны.