Hi3D V1.0 vs. CARI4D: Dasselbe Backbone, zwei unterschiedliche Fragestellungen

Der aufschlussreichste Punkt an Hi3D V1.0 und CARI4D ist, dass beide Tencents Hunyuan3D-2 aufrufen können. Hi3D V1.0, am 23. Oktober 2026 als Open-Source-Nachfolger von Sparc3D veröffentlicht, verwendet in seiner Demo einen Hunyuan3D-2-Mini-Adapter, um das grobe Mesh zu erzeugen, das es anschließend verfeinert. CARI4D, NVIDIAs kategorieunabhängige 4D-Rekonstruktion von Mensch-Objekt-Interaktion, verwendet Hunyuan3D-2, um das Mesh des Objekts aus dem ersten Frame eines Videos zu rekonstruieren, bevor es nachverfolgt, wie sich dieses Objekt bewegt. Dasselbe vorgelagerte Geometriemodell, zwei völlig unterschiedliche Aufgaben: Hi3D fragt, wie die Oberfläche des Objekts in hoher Auflösung aussehen sollte, und CARI4D fragt, was die Person und das Objekt im Zeitverlauf getan haben.

Wo Hunyuan3D-2 tatsächlich einzuordnen ist

Es lohnt sich, präzise zu sein, denn „beide verwenden Hunyuan3D“ kann eine engere Beziehung implizieren, als tatsächlich besteht.

Die Kernbibliothek von Hi3D benötigt überhaupt kein Hunyuan. Die Refinement-Pipeline nimmt ein Referenzbild und ein Grob-Mesh entgegen, und demo/refine_mesh.py importiert nichts von Tencent. Der Hunyuan3D-2-Mini-Adapter liegt in demo/coarse_stage.py, ist optional und existiert, damit jemand, der nur ein Bild hat, das Grob-Mesh erzeugen kann, das der Refiner benötigt. Der Code, die Gewichte und die Ausgaben von Tencent behalten ihre eigene Lizenz und müssen separat bezogen werden. In einer Produktions-Pipeline ist Hunyuan einer von vielen möglichen Upstreams.

CARI4Ds Abhängigkeit ist strukturell. Seine Objektrekonstruktionsphase nimmt das erste Einzelbild, segmentiert das manipulierte Objekt und rekonstruiert dessen Geometrie mit Hunyuan3D-2. Dieses Mesh wird dann mithilfe von UniDepth und einer Grob-zu-fein-Suche durch FoundationPose in metrischem Maßstab platziert. Der Rest der Pipeline — NLF für den Menschen, ein Auswahlschritt für Pose-Hypothesen, CoCoNet zur Render-and-Compare-Korrektur und eine kontaktbewusste gemeinsame Optimierung — hängt davon ab, dass dieses Objekt-Mesh gut genug ist, um als Tracking-Grundlage zu dienen.

Die Konsequenz ist der nützliche Rahmen für diesen Vergleich. Der ganze Zweck von Hi3D ist es, die Art von Geometrie zu korrigieren, die Hunyuan3D-2 erzeugt. Der Zweck von CARI4D ist es, Bewegung zu rekonstruieren, und es behandelt das Mesh als eine Eingabe, die es übernimmt. Ein Modell zielt auf die Schwachstelle des anderen, ohne dass eines der beiden Projekte das ausspricht.

Wozu die einzelnen gelernten Modelle dienen

Die gelernte Komponente von Hi3D ist ein Sparse Flow, konditioniert auf Bildmerkmale und definiert auf Koordinaten, die aus dem groben Mesh stammen. Sie sampelt Sparse-Latents, dekodiert diese mit einem selbst-pruning Sparse-VAE, extrahiert eine Oberfläche, revoxelisiert und wiederholt den Vorgang. Drei Durchläufe bringen das strukturelle Gitter von 64³ auf 128³ auf 192³ und das sparse Extraktionsgitter von 512³ auf 1024³ auf 1536³, mit 25 Scheduler-Updates pro Durchlauf. Das Modell lernt lokale geometrische Details: Kanten, dünne Strukturen, Oberflächenkontinuität – die Teile, die ein grober Generator weg glättet.

Die gelernte Komponente von CARI4D ist CoCoNet, ein Render-and-Compare-Netzwerk. Es rendert die aktuelle Schätzung des Objekts und des Menschen in RGB, Tiefe und Masken, kodiert dieses Rendering mit einem DINOv2 ViT-B/14 und einem sechskanaligen ViT-S/14-XYZ-und-Masken-Encoder, führt raumzeitliche Attention aus und regressiert Posenkorrekturen pro Frame sowie zwei Handkontakt-Logits. Der Forschungs-Checkpoint hat 194 Mio. Parameter; die kommerziell lizenzierte MHR-Variante, die am 30. August 2026 veröffentlicht wurde, hat 231 Mio. Was es lernt, sind nicht Formdetails, sondern die Beziehung zwischen einer gerenderten Hypothese und einem beobachteten Frame.

Das sind unterschiedliche Trainingssignale und unterschiedliche Fehlermodi. Hi3D kann eine falsche Silhouette schärfer machen. CARI4D kann ein schlecht geformtes Objekt präzise durch ein Video verfolgen und trotzdem ein schlechtes Mesh liefern, weil seine Metriken Pose und Kontakt betreffen, nicht die Oberflächentreue.

Was dabei herauskommt, Zeile für Zeile

• Eingabe — Hi3D V1.0 ein Referenzbild plus ein grobes Mesh vs. CARI4D ein monokulares RGB-Video

• Ausgabe — Hi3D V1.0 ein rein geometrisches trimesh-Mesh vs. CARI4D pro Frame menschliche Pose und Form, Objektrotation und -translation sowie zwei Handkontakt-Logits

• Skalierung — Hi3D V1.0 neu zentriert und auf den maximalen Einheitsradius normalisiert gegenüber der durch UniDepth und FoundationPose rekonstruierten metrischen Skala von CARI4D

• Textur — Hi3D V1.0 keine vs. CARI4D keine; es liefert Posen und Kontakt, kein texturiertes Asset

• Compute — Hi3D V1.0 auf einer 96 GB NVIDIA H20 gemessen, kein CPU-Pfad, Batchgröße eins im Vergleich zu CARI4D PyTorch auf NVIDIA Ampere, validiert auf A100, mit einem Docker-Image

• Lizenz — Hi3D V1.0: die Hi3D Open License 1.0, kommerzielle Nutzung mit Auslöseschwelle bei 200.000 MAU oder 1 Mio. USD Monatsumsatz, gegenüber CARI4D: das NVIDIA Open Model Agreement für den kommerziellen 231M-Checkpoint, ausschließlich für Forschung beim 194M-Release

• Belege — Für Hi3D V1.0 wurden keine numerischen Benchmarks veröffentlicht, im Gegensatz zu CARI4D, einem CVPR-2026-Paper mit Ablationen und BEHAVE-Ergebnissen; vom Anbieter berichtet und nicht unabhängig reproduziert.

Das Experiment, das niemand veröffentlicht hat

Hier ist die Komposition, die das geteilte Backbone offensichtlich macht – formuliert als Experiment statt als Feature.

CARI4D rekonstruiert sein Objekt-Mesh aus einem einzelnen ersten Frame mittels Hunyuan3D-2. Hi3D verfeinert genau diese Art grobes Mesh, konditioniert auf ein Referenzbild desselben Objekts – und CARI4D hat eines, denn das erste Frame ist die Referenz. Im Prinzip könnte eine Pipeline CARI4Ds Erstframe-Bild und Hunyuan-Mesh nehmen, Hi3D bei 1024³ oder 1536³ ausführen und die verfeinerte Oberfläche an die Stufe zurückgeben, die sie platziert und verfolgt.

In der Praxis gibt es vier Hindernisse, und keines davon ist klein.

• Skalierung. Hi3D zentriert seine Ausgabe neu und normalisiert sie auf einen maximalen Radius von 1. CARI4D benötigt ein Mesh mit metrischer Skala, um FoundationPose zu initialisieren. Die Rücktransformation ist nicht veröffentlicht, und ein Fehler dabei verändert die scheinbare Größe des Objekts in jedem Frame.

• Struktur. Hi3D verfeinert die grobe Struktur, die ihm vorgegeben wird; es korrigiert sie nicht. Wenn Hunyuan3D-2 die Topologie des Objekts anhand eines Einzelbilds falsch gelesen hat, macht Hi3D dieses Fehllesen detaillierter. Die Auswahl der Posenhypothesen von CARI4D kann einen Teil des Objektfehlers auffangen — das Paper berichtet, dass die Chamfer-Distanz des Objekts bei der Initialisierung von etwa 1.565 cm auf 16,85 cm gesenkt wird —, aber sie ist keine Phase zur Formreparatur.

• Laufzeit. Hi3D verarbeitet jeweils ein Objekt, mit bis zu drei Durchgängen à 25 Schritte, und veröffentlicht keine Latenzwerte. CARI4Ds Pipeline verkettet bereits Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet und eine gemeinsame Optimierung. Eine 96-GB-Verfeinerungsstufe vor eine Schleife pro Clip zu schalten, mag offline vertretbar sein und ist interaktiv unmöglich.

• Validierung. Niemand hat diese Integration veröffentlicht. Die Zahlen in CARI4Ds Paper messen Pose- und Kontaktgenauigkeit, nicht die Auswirkung eines besseren Objekt-Meshs auf diese Zahlen. Es ist durchaus möglich, dass die Verfeinerung das Mesh verbessert und die Rekonstruktionsmetriken kaum verändert, weil das Tracking robust gegenüber Oberflächendetails ist. Es ist ebenso möglich, dass ein schärferes Mesh die Korrespondenzen von FoundationPose verbessert. Bis jemand die Ablation durchführt, sind beides Vermutungen.

Der ehrliche Wert dieser Beobachtung liegt nicht in „verwenden Sie sie zusammen“. Er liegt darin, dass die beiden Releases an einer bestimmten Nahtstelle komplementär sind, und an dieser Nahtstelle hängt eine messbare Frage, die keiner der beiden Anbieter beantwortet hat.

Zwei Arten von Beweisen, keine von beiden unabhängig

CARI4D ist besser belegt als Hi3D, und das ist es auch, aber der Unterschied ist kleiner, als es zunächst scheint. CARI4D hat ein begutachtetes CVPR-2026-Paper, einen benannten Benchmark, Ablationen und einen berichteten um 38 % niedrigeren Rekonstruktionsfehler in-distribution sowie um 36 % bei ungesehenen Daten. Das sind NVIDIAs Zahlen aus NVIDIAs Evaluierung. Kein neutrales Labor hat sie reproduziert. Der Code und die Evaluierungsskripte sind öffentlich, was Reproduktion möglich macht, nicht erledigt.

{{1}}Hi3D{{/1}} hat überhaupt keinen numerischen Benchmark. Das Repository veröffentlicht visuelle Vergleiche über neun Methoden für lokale Geometrie, eine Angabe zum Trainingsumfang von rund zwei Millionen kuratierten Assets und eine Auflösungsangabe von 1536³ für die Sparse-Extraktion. Die Pressemitteilung ergänzt eine Erfolgsquote beim Slicing von {{2}}90%{{/2}} sowie die Behauptung der höchsten Werte für Multi-View-Treue und Detailgenauigkeit in der berichteten Evaluation, ohne dass Punktzahlen, eine Baseline oder ein Slicer genannt werden. Trainingscode und der Evaluations-Harness fehlen, sodass die Tabellen des Papers nicht aus der Pressemitteilung rekonstruiert werden können.

Beides ist mit anderen Worten vom Hersteller angegeben. Bei dem einen liegt ein Paper bei, bei dem anderen eine Pressemitteilung. Ein Käufer sollte das CVPR-Badge als Grund sehen, die Methodik ernst zu nehmen, und nicht als Ersatz für einen unabhängigen Test.

Welche Frage hast du eigentlich?

Wenn Sie ein Video einer Person haben, die einen Gegenstand handhabt, und wissen müssen, wie sich die Hand, der Gegenstand und der Körper bewegt haben – metrische Posen, Kontaktpunkte, Bild für Bild –, dann ist CARI4D das dafür entwickelte System, und der kommerzielle Checkpoint macht es einsatzfähig. Hi3D kann diese Frage überhaupt nicht beantworten. Es hat kein zeitliches Modell, keine Posenausgabe und keine Kontaktlogik.

Wenn Sie ein Referenzbild und ein grobes Mesh haben und ein schärferes statisches Asset benötigen, ist Hi3D das direkte Werkzeug. Auch CARI4D kann diese Frage nicht beantworten: Sein Objekt-Mesh ist ein Nebenprodukt einer Tracking-Pipeline, erzeugt mit der Genauigkeit, die Hunyuan3D-2 aus einem Einzelbild liefert, und es gibt Posen statt einer verfeinerten Oberfläche aus.

Wenn Sie das Komposit bauen – eine Rekonstruktionspipeline, in der die Objektgeometrie das schwache Glied ist –, ist der interessante Schritt zu testen, ob die Verfeinerung von Hi3D die nachgelagerten Metriken von CARI4D verbessert. Das ist eine Forschungsfrage mit einem klaren Experiment und keiner veröffentlichten Antwort. Planen Sie die Skalierungstransformation und die GPU ein, bevor Sie das Papier einplanen.

Die Schicht, die beide umgibt

Keines der beiden Modelle wird von OrcaRouter bereitgestellt, und keines ist ein Sprachmodell. Der Katalog umfasst Text, Vision, Video, Embedding und Sprache; die 3D-Rekonstruktion erfolgt auf Ihrer eigenen Hardware. Die Aufrufe rund um die Rekonstruktion sind jedoch Modellaufrufe: das erste Frame mit einer Bildbeschreibung versehen, das Objekt für einen Asset-Datensatz beschreiben oder beurteilen, ob ein verfeinertes Rendering noch mit der Referenz aus drei Blickwinkeln übereinstimmt.

Der letzte Punkt eignet sich gut für Modellfusion. Statt der Meinung eines einzelnen Vision-Modells zu vertrauen, dass ein verfeinertes Mesh originalgetreu ist, schicken Sie denselben Multi-View-Vergleich an ein Gremium von Modellen und lassen Sie deren Antworten aggregieren. OrcaRouter stellt Fusion und mehr als 200 einzelne Modelle hinter einer API bereit, wobei der Listenpreis des Anbieters ohne Aufschlag (0 % Markup) durchgereicht wird und automatisches Failover erfolgt, wenn ein Anbieter beeinträchtigt ist. Die Geometrie bleibt auf Ihrer GPU; die Beurteilung drumherum kann redundant sein, ohne teuer in der Anbindung zu werden.

Was würde es klären

Eine einzige Ablation würde mehr leisten als noch so viele Spezifikationsvergleiche: Nehmen Sie eine BEHAVE-Sequenz, verfeinern Sie das Objekt-Mesh mit Hi3D bei 1024³, machen Sie die Normalisierung rückgängig und berichten Sie die Pose- und Kontaktmetriken gegenüber der unverfeinerten Baseline. Wenn sich die Zahlen verändern, wird das gemeinsame Backbone zu einer Pipeline. Wenn nicht, bleibt Hi3Ds Wert dort, wo er am stärksten ist – als eigenständiges Geometriewerkzeug für Menschen, die bereits über das grobe Mesh verfügen.

Bis es dieses Experiment gibt, ist die belastbare Trennung einfach. Hi3D V1.0 ist ein Geometrie-Refiner mit offenen Gewichten und ohne Benchmark. CARI4D ist ein Bewegungsrekonstruktor mit einem Paper und einem kommerziellen Checkpoint. Sie treffen sich bei Hunyuan3D-2, und keines von beiden ist ein Ersatz für das andere.