Hi3D V1.0 vs CARI4D: 동일한 백본, 두 가지 다른 질문

가장 분명하게 보여 주는 사실은 Hi3D V1.0과 CARI4D 둘 다 Tencent의 Hunyuan3D-2를 호출할 수 있다는 것입니다. Sparc3D의 오픈소스 후속 모델로 2026년 10월 23일에 공개된 Hi3D V1.0은 데모에서 Hunyuan3D-2 mini 어댑터를 사용해 거친 메시를 생성한 뒤 이를 정교화합니다. NVIDIA의 범주에 구애받지 않는 인간-물체 상호작용 4D 재구성인 CARI4D는 비디오의 첫 프레임에서 Hunyuan3D-2를 사용해 물체의 메시를 재구성한 뒤 해당 물체가 어떻게 움직이는지를 추적합니다. 동일한 업스트림 형상 모델이지만 완전히 다른 두 작업입니다. Hi3D는 물체의 표면이 고해상도에서 어떻게 보여야 하는지를 다루고, CARI4D는 사람과 물체가 시간에 따라 무엇을 했는지를 다룹니다.

Hunyuan3D-2가 실제로 차지하는 위치

정확히 말하는 것이 좋습니다. "둘 다 Hunyuan3D를 사용한다"는 표현은 실제보다 더 밀접한 관계를 암시할 수 있기 때문입니다.

Hi3D의 핵심 라이브러리는 Hunyuan이 전혀 필요하지 않습니다. 정제 파이프라인은 참조 이미지와 거친 메시를 받으며, demo/refine_mesh.py는 Tencent에서 아무것도 가져오지 않습니다. Hunyuan3D-2 mini 어댑터는 demo/coarse_stage.py에 있으며 선택 사항이고, 이미지만 가진 사람이 정제기에 필요한 거친 메시를 생성할 수 있도록 존재합니다. Tencent의 코드, 가중치, 출력물은 자체 라이선스를 유지하며 별도로 획득해야 합니다. 프로덕션 파이프라인에서 Hunyuan은 여러 업스트림 중 하나일 뿐입니다.

CARI4D의 의존성은 구조적인 것이다. 객체 재구성 단계에서는 첫 번째 프레임을 받아 조작 대상 객체를 분할하고, Hunyuan3D-2로 그 형상을 재구성한다. 그런 다음 그 메시를 UniDepth와 FoundationPose를 통한 거친 탐색에서 정밀 탐색으로 이어지는 방식으로 미터 단위 스케일에 배치한다. 파이프라인의 나머지 부분, 즉 사람을 위한 NLF, 포즈 가설 선택 단계, 렌더링-비교 보정을 위한 CoCoNet, 그리고 접촉을 인식하는 결합 최적화는 그 객체 메시가 추적에 충분할 정도로 양호하다는 것에 의존한다.

그 결과가 이 비교에 유용한 틀이다. Hi3D의 목적 전체는 Hunyuan3D-2가 만들어내는 종류의 지오메트리를 교정하는 것이다. CARI4D의 목적은 모션을 복원하는 것이며, 메시를 물려받는 입력으로 취급한다. 한 모델은 어느 프로젝트도 그렇게 말하지 않지만 다른 모델의 약점을 겨냥하고 있다.

각 학습된 모델의 용도

Hi3D의 학습된 구성 요소는 이미지 특징에 조건화된 희소 플로우로, 거친 메시에서 가져온 좌표 위에 정의됩니다. 이는 희소 잠재 변수를 샘플링하고, 자기 가지치기 희소 VAE로 이를 디코딩하며, 표면을 추출하고, 재복셀화한 뒤 이 과정을 반복합니다. 세 번의 패스에서 구조 그리드는 64³에서 128³, 192³으로, 희소 추출 그리드는 512³에서 1024³, 1536³으로 확장되며, 패스당 25회의 스케줄러 업데이트가 이루어집니다. 이 모델은 국소적인 기하학적 세부 사항, 즉 모서리, 얇은 구조, 표면 연속성, 그리고 거친 생성기가 매끄럽게 지워버리는 부분들을 학습하고 있습니다.

{{1}}CARI4D{{/1}}의 학습된 구성 요소는 렌더-앤-컴페어 네트워크인 CoCoNet이다. 이는 객체와 사람에 대한 현재 추정치를 RGB, 깊이, 마스크로 렌더링하고, 그 렌더를 DINOv2 ViT-B/14와 ViT-S/14 6채널 XYZ 및 마스크 인코더로 인코딩하며, 시공간 어텐션을 실행하고, 프레임별 포즈 보정과 두 개의 손 접촉 로짓을 회귀한다. 연구용 체크포인트는 194M 파라미터이며, 2026년 8월 30일에 공개된 상업적 라이선스 MHR 변형은 231M이다. 이것이 학습하는 것은 형상 세부가 아니라 렌더링된 가설과 관측 프레임 사이의 관계이다.

그것들은 서로 다른 학습 신호이자 서로 다른 실패 모드입니다. Hi3D는 잘못된 실루엣을 더 선명하게 만들 수 있습니다. CARI4D는 형태가 잘못된 객체를 비디오 전체에서 정확하게 추적하면서도 여전히 품질이 낮은 메시를 제공할 수 있습니다. 왜냐하면 그 지표는 포즈와 접촉에 관한 것이지 표면 충실도에 관한 것이 아니기 때문입니다.

한 줄씩 무엇이 나오나요?

• 입력 — Hi3D V1.0: 참조 이미지와 거친 메시 vs CARI4D: 단안 RGB 비디오

• 출력 — Hi3D V1.0 지오메트리 전용 trimesh 메시 vs CARI4D의 프레임별 인체 자세 및 형상, 객체 회전 및 이동, 두 개의 손 접촉 로짓

• 스케일 — Hi3D V1.0은 단위 최대 반지름 기준으로 재중심화 및 정규화됨 vs UniDepth와 FoundationPose를 통해 복원된 CARI4D의 미터법 스케일

• 텍스처 — Hi3D V1.0 없음 vs CARI4D 없음; 포즈와 접촉을 반환할 뿐, 텍스처가 입혀진 에셋은 아닙니다

• 컴퓨팅 — Hi3D V1.0: 96GB NVIDIA H20에서 측정, CPU 경로 없음, NVIDIA Ampere에서 CARI4D PyTorch 대비 배치 크기 1, A100에서 검증, Docker 이미지 포함

• 라이선스 — Hi3D V1.0은 Hi3D 오픈 라이선스 1.0으로, MAU 200,000명 또는 월 매출 100만 달러 도달 시 상업적 사용이 가능하며, CARI4D는 231M 상업용 체크포인트에 NVIDIA 오픈 모델 계약이 적용되고 194M 릴리스는 연구 전용입니다

• 근거 — Hi3D V1.0은 수치 벤치마크가 공개되지 않은 반면, CARI4D는 ablation과 BEHAVE 결과를 포함한 CVPR 2026 논문이며, 벤더 보고 기준이고 독립적으로 재현되지 않음

아무도 발표하지 않은 실험

다음은 공유 백본이 분명하게 드러내는 구성으로, 기능이 아니라 실험으로서 제시된 것이다.

CARI4D는 단일 첫 프레임에서 Hunyuan3D-2를 통해 객체 메시를 재구성한다. Hi3D는 동일 객체의 참조 이미지를 조건으로 바로 그런 종류의 거친 메시를 정교화한다. 그리고 CARI4D에는 그러한 참조 이미지가 있는데, 첫 프레임이 바로 그 참조이기 때문이다. 원칙적으로, 파이프라인은 CARI4D의 첫 프레임 이미지와 Hunyuan 메시를 가져다가 1024³ 또는 1536³에서 Hi3D를 실행하고, 정교화된 표면을 그것을 배치하고 추적하는 단계로 다시 넘길 수 있다.

실제로는 네 가지 장애물이 있으며, 그중 작은 것은 없습니다.

• 스케일. Hi3D는 출력의 중심을 다시 맞추고 최대 반경이 1이 되도록 정규화합니다. CARI4D는 FoundationPose를 초기화하기 위해 미터법 스케일의 메시가 필요합니다. 되돌리는 변환은 공개되지 않았으며, 이를 잘못 적용하면 모든 프레임에서 객체의 겉보기 크기가 달라집니다.

• 구조. Hi3D는 주어진 거친 구조를 정교화할 뿐, 이를 교정하지는 않는다. Hunyuan3D-2가 한 프레임에서 물체의 토폴로지를 잘못 판독했다면, Hi3D는 그 잘못된 판독을 더 정교하게 만든다. CARI4D의 포즈 가설 선택은 일부 물체 오류를 흡수할 수 있다 — 논문에 따르면 초기화 시 물체 Chamfer 거리를 약 1,565cm에서 16.85cm로 줄인다고 보고한다 — 하지만 이는 형상 복구 단계가 아니다.

• 런타임. Hi3D는 한 번에 객체 하나를 처리하며, 최대 3회 패스, 각 25단계로 실행되고 공개된 지연 시간은 없습니다. CARI4D의 파이프라인은 이미 Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet 및 공동 최적화를 연결합니다. 클립별 루프 앞에 96GB 정제 단계를 추가하는 것은 오프라인에서는 정당화될 수 있지만 대화형에서는 불가능할 수 있습니다.

• 검증. 아무도 이 통합을 발표하지 않았습니다. CARI4D 논문의 수치는 포즈 및 접촉 정확도를 측정한 것이지, 더 나은 객체 메시가 그 수치에 미치는 영향을 측정한 것이 아닙니다. 정교화가 메시를 개선하면서도 재구성 지표는 거의 움직이지 않을 가능성이 충분히 있습니다. 추적이 표면 세부 정보에 강인하기 때문입니다. 또한 더 선명한 메시가 FoundationPose의 대응 관계를 개선할 가능성도 있습니다. 누군가 절제 실험(ablation)을 수행하기 전까지는 둘 다 추측에 불과합니다.

이 관찰의 정직한 가치는 "함께 사용하라"가 아닙니다. 그것은 두 릴리스가 특정 접점에서 상보적이며, 그 접점에는 어느 벤더도 답하지 않은 측정 가능한 질문이 달려 있다는 점입니다.

두 종류의 증거, 어느 쪽도 독립적이지 않다

CARI4D는 Hi3D보다 근거가 더 탄탄해 보이고, 실제로 그렇다. 하지만 그 차이는 처음 보이는 것보다 작다. CARI4D에는 동료 심사를 거친 CVPR 2026 논문, 이름 붙은 벤치마크, 절제 연구(ablation)가 있으며, 분포 내 데이터에서는 재구성 오차가 38%, 보지 못한 데이터에서는 36% 더 낮다고 보고했다. 이는 NVIDIA의 평가에서 나온 NVIDIA의 수치다. 어떤 중립적인 연구소도 이를 재현하지 않았다. 코드와 평가 스크립트가 공개되어 있다는 것은 재현이 가능하다는 뜻이지, 재현이 이루어졌다는 뜻은 아니다.

Hi3D에는 수치 벤치마크가 전혀 없다. 저장소는 지역 형상에 대한 아홉 가지 방법의 시각적 비교, 약 200만 개의 선별된 자산이라는 학습 규모 주장, 1536³ 희소 추출이라는 해상도 주장을 공개한다. 보도자료는 90% 슬라이싱 성공률과 보고된 평가에서 최고의 다시점 충실도 및 세부 점수라는 주장을 덧붙이지만, 점수도, 기준선도, 슬라이서 이름도 없다. 학습 코드와 평가 하네스가 없으므로 보도자료만으로는 논문의 표를 재구성할 수 없다.

다시 말해, 둘 다 공급업체가 보고한 것입니다. 하나는 논문이 첨부되어 있고 다른 하나는 보도자료가 있습니다. 구매자는 CVPR 배지를 해당 방법론을 진지하게 받아들일 이유로 여겨야 하며, 독립적인 테스트를 대체하는 것으로 여겨서는 안 됩니다.

실제로 어떤 질문이 있으신가요?

사람이 물체를 다루는 영상이 있고, 손과 물체, 신체가 어떻게 움직였는지 — 미터 스케일의 포즈, 접촉점, 프레임 단위까지 — 알아야 한다면, CARI4D가 바로 그런 목적으로 만들어진 시스템이며, 상용 체크포인트 덕분에 실제 배포가 가능합니다. Hi3D는 그 질문에 전혀 답할 수 없습니다. 시간 모델도, 포즈 출력도, 접촉 추론도 없기 때문입니다.

참조 이미지와 대략적인 메시가 있고 더 선명한 정적 에셋이 필요하다면, Hi3D가 직접적인 도구입니다. CARI4D도 그 질문에 답할 수 없습니다: 해당 객체 메시는 추적 파이프라인의 부산물로, 한 프레임에서 Hunyuan3D-2가 제공하는 만큼의 충실도로 생성되며, 정교화된 표면이 아니라 포즈를 제공합니다.

여러분이 합성(composite)을 구축하고 있다면 — 객체 형상이 약한 고리인 재구성 파이프라인이라면 — 흥미로운 선택은 Hi3D의 개선(refinement)이 CARI4D의 다운스트림 지표를 향상시키는지 시험해 보는 것입니다. 이는 명확한 실험이 있지만 게시된 답은 없는 연구 질문입니다. 논문을 위한 예산을 세우기 전에 스케일 변환과 GPU를 위한 예산을 먼저 세우십시오.

둘 모두를 둘러싸는 계층

두 모델 모두 OrcaRouter에서 제공되지 않으며, 둘 다 언어 모델이 아닙니다. 카탈로그는 텍스트, 비전, 비디오, 임베딩, 음성으로 구성되며, 3D 재구성은 자체 하드웨어에서 수행됩니다. 하지만 재구성 과정을 둘러싼 호출은 모델 호출입니다. 첫 프레임에 캡션을 달거나, 에셋 레코드용으로 객체를 설명하거나, 정제된 렌더가 세 각도에서의 참조와 여전히 일치하는지 판단하는 작업이 여기에 해당합니다.

마지막 방법은 모델 퓨전에 잘 맞습니다. 정제된 메시가 충실하다는 단일 비전 모델의 의견을 신뢰하는 대신, 동일한 다시점 비교를 여러 모델 패널에 보내고 그 답을 집계하도록 하세요. OrcaRouter는 퓨전과 200개가 넘는 개별 모델을 하나의 API 뒤에 제공합니다, 공급자의 정가는 0% 마크업으로 그대로 전달되며 한 공급자가 성능 저하를 보일 경우 자동 페일오버됩니다. 지오메트리는 GPU에 그대로 두고, 그 주변의 판단은 연결 비용을 크게 들이지 않고도 중복으로 둘 수 있습니다.

무엇이 그것을 해결할까요?

단일 절제 실험은 어떤 스펙 비교보다 더 많은 것을 해줄 것입니다. BEHAVE 시퀀스 하나를 선택해 Hi3D로 1024³에서 객체 메시를 정제하고, 정규화를 되돌린 뒤, 정제되지 않은 베이스라인 대비 포즈 및 접촉 메트릭을 보고하십시오. 수치가 움직이면 공유 백본은 파이프라인이 됩니다. 그렇지 않다면 Hi3D의 가치는 가장 강력한 곳에 머뭅니다 — 이미 코스 메시를 보유한 사람들을 위한 독립형 지오메트리 도구로서.

그 실험이 존재하기 전까지, 정당화할 수 있는 구분은 간단하다. Hi3D V1.0은 공개 가중치를 갖고 벤치마크는 없는 형상 정제기다. CARI4D는 논문과 상용 체크포인트를 갖춘 모션 재구성기다. 둘은 Hunyuan3D-2에서 만나며, 어느 쪽도 다른 쪽의 대체물이 아니다.