Hi3D V1.0 vs CARI4D : la même architecture de base, deux questions différentes

Le fait le plus éclairant au sujet de Hi3D V1.0 et CARI4D est que tous deux peuvent faire appel à Hunyuan3D-2 de Tencent. Hi3D V1.0, publié le 23 octobre 2026 comme successeur open source de Sparc3D, utilise un adaptateur mini de Hunyuan3D-2 dans sa démo pour produire le maillage grossier qu'il affine ensuite. CARI4D, la reconstruction 4D de l'interaction humain-objet indépendante de la catégorie, de NVIDIA, utilise Hunyuan3D-2 pour reconstruire le maillage de l'objet à partir de la première image d'une vidéo avant de suivre le déplacement de cet objet. Même modèle de géométrie en amont, deux tâches entièrement différentes : Hi3D demande à quoi doit ressembler la surface de l'objet à haute résolution, et CARI4D demande ce que la personne et l'objet ont fait au fil du temps.

Où se situe réellement Hunyuan3D-2

Il vaut la peine d’être précis, car « tous deux utilisent Hunyuan3D » peut impliquer une relation plus étroite qu’elle ne l’est.

La bibliothèque de base de Hi3D n’a pas du tout besoin de Hunyuan. Le pipeline de raffinement prend une image de référence et un maillage grossier, et demo/refine_mesh.py n’importe rien de Tencent. L’adaptateur mini Hunyuan3D-2 se trouve dans demo/coarse_stage.py, est facultatif, et existe pour qu’une personne disposant uniquement d’une image puisse produire le maillage grossier dont le raffineur a besoin. Le code, les poids et les sorties de Tencent conservent leur propre licence et doivent être obtenus séparément. Dans un pipeline de production, Hunyuan est l’une des nombreuses options en amont possibles.

La dépendance de CARI4D est structurelle. Son étape de reconstruction d'objet prend la première image, segmente l'objet manipulé et reconstruit sa géométrie avec Hunyuan3D-2. Ce maillage est ensuite placé à l'échelle métrique à l'aide d'UniDepth et d'une recherche du grossier au fin via FoundationPose. Le reste du pipeline — NLF pour l'humain, une étape de sélection d'hypothèses de pose, CoCoNet pour la correction par rendu-et-comparaison, et une optimisation conjointe tenant compte des contacts — dépend du fait que ce maillage d'objet soit suffisamment bon pour servir de référence au suivi.

La conséquence constitue le cadre utile de cette comparaison. Toute la vocation de Hi3D est de corriger le type de géométrie que produit Hunyuan3D-2. CARI4D a pour vocation de retrouver le mouvement, et il traite le maillage comme une entrée dont il hérite. Un modèle vise le point faible de l'autre sans qu'aucun des deux projets ne le dise.

À quoi sert chaque modèle appris

Le composant appris de Hi3D est un flux épars conditionné sur des caractéristiques d’image, défini sur des coordonnées issues du maillage grossier. Il échantillonne des latents épars, les décode avec un VAE épars à auto-élagage, extrait une surface, revoxélise et répète. Trois passes font passer la grille structurelle de 64³ à 128³ puis à 192³ et la grille d’extraction éparse de 512³ à 1024³ puis à 1536³, à raison de 25 mises à jour de l’ordonnanceur par passe. Le modèle apprend les détails géométriques locaux : arêtes, structures fines, continuité de surface, les parties qu’un générateur grossier lisse.

Le composant appris de CARI4D est CoCoNet, un réseau de rendu-et-comparaison. Il effectue le rendu de l’estimation courante de l’objet et de la personne en RGB, profondeur et masques, encode ce rendu avec un DINOv2 ViT-B/14 et un encodeur ViT-S/14 à six canaux XYZ-et-masque, exécute une attention spatio-temporelle, et régresse des corrections de pose par image ainsi que deux logits de contact avec les mains. Le checkpoint de recherche compte 194 M de paramètres ; la variante MHR sous licence commerciale publiée le 30 août 2026 en compte 231 M. Ce qu’il apprend n’est pas le détail de la forme, mais la relation entre une hypothèse rendue et une image observée.

Ces signaux d’entraînement et ces modes de défaillance sont différents. Hi3D peut rendre plus nette une silhouette erronée. CARI4D peut suivre avec précision, tout au long d’une vidéo, un objet mal formé et vous fournir malgré tout un maillage médiocre, car ses métriques portent sur la pose et le contact, pas sur la fidélité de la surface.

Qu’est-ce qui en ressort, ligne par ligne ?

• Entrée — Hi3D V1.0 : une image de référence plus un maillage grossier vs CARI4D : une vidéo RGB monoculaire

• Sortie — Hi3D V1.0 un maillage trimesh uniquement géométrique, contre la pose et la forme humaines par image de CARI4D, la rotation et la translation d’objets, et deux logits de contact des mains

• Échelle — Hi3D V1.0 recentré et normalisé à un rayon maximal unitaire vs l’échelle métrique CARI4D récupérée via UniDepth et FoundationPose

• Texture — Hi3D V1.0 : aucun vs CARI4D : aucun ; il renvoie des poses et des contacts, et non une ressource texturée

• Calcul — Hi3D V1.0 mesuré sur un NVIDIA H20 de 96 Go, sans chemin CPU, taille de lot de un par rapport à CARI4D PyTorch sur NVIDIA Ampere, validé sur A100, avec une image Docker

• Licence — Hi3D V1.0 : la Hi3D Open License 1.0, utilisation commerciale avec un déclencheur à 200 000 MAU ou 1 M USD de revenus mensuels, contre CARI4D : l'accord NVIDIA Open Model Agreement pour le checkpoint commercial de 231 M, et usage strictement réservé à la recherche pour la version 194 M

• Preuves — Hi3D V1.0 : aucun benchmark numérique publié, contre CARI4D, un article CVPR 2026 avec ablations et résultats BEHAVE, rapportés par le fournisseur et non reproduits indépendamment.

L’expérience que personne n’a publiée

Voici la composition que le socle partagé rend évidente, formulée comme une expérience plutôt que comme une fonctionnalité.

CARI4D reconstruit son maillage d’objet à partir d’une seule première image grâce à Hunyuan3D-2. Hi3D affine précisément ce type de maillage grossier, conditionné par une image de référence du même objet — et CARI4D en possède une, puisque la première image sert de référence. En principe, un pipeline pourrait prendre l’image de la première image de CARI4D et le maillage Hunyuan, exécuter Hi3D en 1024³ ou 1536³, puis renvoyer la surface affinée à l’étape qui la place et la suit.

En pratique, il y a quatre obstacles, et aucun d’entre eux n’est petit.

• Échelle. Hi3D recentre sa sortie et la normalise à un rayon maximal unitaire. CARI4D a besoin d’un maillage à échelle métrique pour initialiser FoundationPose. La transformation inverse n’est pas publiée, et se tromper modifie la taille apparente de l’objet à chaque image.

• Structure. Hi3D affine la structure grossière qui lui est fournie ; il ne la corrige pas. Si Hunyuan3D-2 a mal interprété la topologie de l’objet à partir d’une seule image, Hi3D rend cette erreur d’interprétation plus détaillée. La sélection des hypothèses de pose de CARI4D peut absorber une partie de l’erreur sur l’objet — l’article indique faire passer la distance de Chamfer de l’objet d’environ 1 565 cm à 16,85 cm à l’initialisation — mais il ne s’agit pas d’une étape de réparation de forme.

• Temps d’exécution. Hi3D traite un objet à la fois, avec jusqu’à trois passes de 25 étapes chacune, sans latence publiée. Le pipeline de CARI4D enchaîne déjà Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet et une optimisation conjointe. Ajouter une étape de raffinement de 96 Go en amont d’une boucle par clip peut se justifier hors ligne et s’avérer impossible en interactif.

• Validation. Personne n’a publié cette intégration. Les chiffres de l’article de CARI4D mesurent la précision de la pose et du contact, et non l’effet d’un meilleur maillage d’objet sur ces chiffres. Il est tout à fait possible que le raffinement améliore le maillage sans presque faire bouger les métriques de reconstruction, car le suivi est robuste aux détails de surface. Il est également possible qu’un maillage plus net améliore les correspondances de FoundationPose. Tant que personne n’a effectué l’ablation, les deux restent des suppositions.

La valeur honnête de cette observation n’est pas « utilisez-les ensemble ». Elle réside dans le fait que les deux versions sont complémentaires sur une jointure précise, et que cette jointure comporte une question mesurable à laquelle aucun des deux fournisseurs n’a répondu.

Deux types de preuves, aucune des deux indépendante

CARI4D semble mieux étayé que Hi3D, et il l'est, mais la différence est plus petite qu'elle n'y paraît au premier abord. CARI4D dispose d'un article CVPR 2026 évalué par les pairs, d'un benchmark nommé, d'ablations et d'une erreur de reconstruction rapportée inférieure de 38 % en distribution et de 36 % sur des données inédites. Ce sont les chiffres de NVIDIA issus de l'évaluation de NVIDIA. Aucun laboratoire neutre ne les a reproduits. Le code et les scripts d'évaluation sont publics, ce qui rend la reproduction possible, pas réalisée.

Hi3D n’a aucun benchmark numérique. Le dépôt publie des comparaisons visuelles entre neuf méthodes pour la géométrie locale, une affirmation d’échelle d’entraînement d’environ deux millions de ressources sélectionnées, et une affirmation de résolution d’extraction éparse de 1536³. Le communiqué de presse ajoute un taux de réussite de tranchage de 90 % et affirme les meilleurs scores de fidélité multi-vues et de détail dans l’évaluation rapportée, sans scores, sans référence de base et sans nommer de trancheur. Le code d’entraînement et le banc d’évaluation sont absents, de sorte que les tableaux de l’article ne peuvent pas être reconstruits à partir du communiqué.

Les deux, en d’autres termes, sont déclarés par le fournisseur. L’un est accompagné d’un article, l’autre d’un communiqué de presse. Un acheteur devrait considérer le badge CVPR comme une raison de prendre la méthodologie au sérieux, et non comme un substitut à un test indépendant.

Quelle question avez-vous réellement ?

Si vous avez une vidéo d’une personne manipulant un objet et que vous devez savoir comment la main, l’objet et le corps se sont déplacés — des poses à l’échelle métrique, des points de contact, image par image — CARI4D est le système conçu pour cela, et le checkpoint commercial le rend déployable. Hi3D ne peut pas du tout répondre à cette question. Il n’a ni modèle temporel, ni sortie de pose, ni raisonnement sur les contacts.

Si vous disposez d’une image de référence et d’un maillage approximatif et que vous avez besoin d’un actif statique plus net, Hi3D est l’outil direct. CARI4D ne peut pas non plus répondre à cette question : son maillage d’objet est un sous-produit d’un pipeline de suivi, produit avec la fidélité que Hunyuan3D-2 fournit à partir d’une seule image, et il expose des poses plutôt qu’une surface affinée.

Si vous construisez le composite — un pipeline de reconstruction où la géométrie des objets est le maillon faible —, le geste intéressant consiste à tester si le raffinement de Hi3D améliore les métriques en aval de CARI4D. C’est une question de recherche avec une expérience claire et aucune réponse publiée. Prévoyez le budget pour la transformation d’échelle et le GPU avant de prévoir celui de l’article.

La couche qui entoure les deux

Aucun des deux modèles n'est servi par OrcaRouter, et aucun n'est un modèle de langage. Le catalogue couvre le texte, la vision, la vidéo, l'embedding et la parole ; la reconstruction 3D est effectuée sur votre propre matériel. Les appels autour de la reconstruction, en revanche, sont des appels de modèle : légender la première image, décrire l'objet pour une fiche d'actif, ou juger si un rendu affiné correspond encore à la référence sous trois angles.

Le dernier est parfaitement adapté à la fusion de modèles. Plutôt que de faire confiance à l’avis d’un seul modèle de vision sur la fidélité d’un maillage raffiné, envoyez la même comparaison multivue à un panel de modèles et laissez leurs réponses s’agréger. OrcaRouter expose la fusion et plus de 200 modèles individuels derrière une seule API, avec le prix catalogue du fournisseur répercuté à 0 % de marge et un basculement automatique si un fournisseur se dégrade. La géométrie reste sur votre GPU ; le jugement qui l’entoure peut être redondant sans pour autant coûter cher à mettre en place.

Qu'est-ce qui réglerait ça

Une seule ablation ferait plus que n’importe quelle quantité de comparaison de spécifications : prenez une séquence BEHAVE, raffinez le maillage de l’objet avec Hi3D en 1024³, annulez la normalisation, puis rapportez les métriques de pose et de contact par rapport à la référence non raffinée. Si les chiffres bougent, le backbone partagé devient un pipeline. S’ils ne bougent pas, la valeur de Hi3D reste là où elle est la plus forte — comme outil de géométrie autonome pour les personnes qui possèdent déjà le maillage grossier.

Tant que cette expérience n’existe pas, la distinction défendable est simple. Hi3D V1.0 est un affineur de géométrie à poids ouverts et sans benchmark. CARI4D est un reconstructeur de mouvement avec un article et un checkpoint commercial. Ils se rejoignent sur Hunyuan3D-2, et aucun des deux ne remplace l’autre.