Hi3D V1.0 vs CARI4D: Dezelfde backbone, twee verschillende vragen

Het meest verhelderende feit over Hi3D V1.0 en CARI4D is dat beide Hunyuan3D-2 van Tencent kunnen aanroepen. Hi3D V1.0, uitgebracht op 23 oktober 2026 als de open-source opvolger van Sparc3D, gebruikt in zijn demo een Hunyuan3D-2 mini-adapter om het grove mesh te produceren dat het vervolgens verfijnt. CARI4D, NVIDIA's categorie-agnostische 4D-reconstructie van mens-objectinteractie, gebruikt Hunyuan3D-2 om het mesh van het object te reconstrueren op basis van het eerste frame van een video, voordat het volgt hoe dat object beweegt. Hetzelfde upstream-geometriemodel, twee totaal verschillende taken: Hi3D vraagt hoe het oppervlak van het object er bij hoge resolutie uit moet zien, en CARI4D vraagt wat de persoon en het object in de loop van de tijd deden.

Waar Hunyuan3D-2 eigenlijk staat

Het is de moeite waard om precies te zijn, want "beide gebruiken Hunyuan3D" kan een nauwere relatie suggereren dan er werkelijk is.

De kernbibliotheek van Hi3D heeft helemaal geen Hunyuan nodig. De verfijningspijplijn neemt een referentieafbeelding en een grof mesh, en demo/refine_mesh.py importeert niets van Tencent. De Hunyuan3D-2 mini-adapter bevindt zich in demo/coarse_stage.py, is optioneel en bestaat zodat iemand met alleen een afbeelding het grove mesh kan produceren dat de verfijner nodig heeft. De code, gewichten en outputs van Tencent behouden hun eigen licentie en moeten afzonderlijk worden verkregen. In een productiepijplijn is Hunyuan een van vele mogelijke upstreams.

De afhankelijkheid van CARI4D is structureel. De objectreconstructiefase ervan neemt het eerste frame, segmenteert het gemanipuleerde object en reconstrueert de geometrie met Hunyuan3D-2. Dat mesh wordt vervolgens op metrische schaal geplaatst met UniDepth en een coarse-to-fine zoekproces via FoundationPose. De rest van de pipeline — NLF voor de mens, een selectiestap voor posehypothesen, CoCoNet voor render-and-compare-correctie en een contactbewuste gezamenlijke optimalisatie — is afhankelijk van dat objectmesh dat goed genoeg is om ertegen te tracken.

Het gevolg is het bruikbare kader voor deze vergelijking. Het hele doel van Hi3D is om het soort geometrie te corrigeren dat Hunyuan3D-2 produceert. Het doel van CARI4D is om beweging te herstellen, en het behandelt de mesh als een invoer die het overneemt. Het ene model richt zich op het zwakke punt van het andere zonder dat een van beide projecten dat zegt.

Waarvoor elk geleerd model dient

Hi3D's geleerde component is een sparse flow die conditioneert op beeldkenmerken, gedefinieerd op coördinaten afkomstig van het coarse mesh. De component samplet sparse latents, decodeert ze met een self-pruning sparse VAE, extraheert een oppervlak, revoxeliseert en herhaalt dit. Drie passes brengen het structurele grid van 64³ naar 128³ naar 192³ en het sparse extractie-grid van 512³ naar 1024³ naar 1536³, bij 25 scheduler-updates per pass. Het model leert lokale geometrische details: randen, dunne structuren, oppervlaktecontinuïteit, de delen die een coarse generator wegvlakt.

CARI4D's aangeleerde component is CoCoNet, een render-en-vergelijk-netwerk. Het rendert de huidige schatting van het object en de persoon naar RGB, diepte en masks, codeert die render met een DINOv2 ViT-B/14 en een ViT-S/14-zeskanalen-XYZ-en-mask-encoder, voert spatio-temporele attention uit en regresseert posecorrecties per frame plus twee handcontact-logits. Het onderzoekscheckpoint heeft 194M parameters; de commercieel gelicentieerde MHR-variant die op 30 augustus 2026 is uitgebracht, heeft 231M. Wat het leert, is niet vormdetail, maar de relatie tussen een gerenderde hypothese en een waargenomen frame.

Dat zijn verschillende trainingssignalen en verschillende faalmodi. Hi3D kan een verkeerd silhouet scherper maken. CARI4D kan een slecht gevormd object nauwkeurig door een video volgen en je toch een slechte mesh geven, omdat de metrieken over pose en contact gaan, niet over oppervlaktegetrouwheid.

Wat komt eruit, regel voor regel

• Invoer — Hi3D V1.0 een referentieafbeelding plus een grof mesh vs. CARI4D een monoculaire RGB-video

• Uitvoer — Hi3D V1.0 een uitsluitend geometrische trimesh mesh versus CARI4D per-frame menselijke pose en vorm, objectrotatie en -translatie, en twee handcontact-logits

• Schaal — Hi3D V1.0 opnieuw gecentreerd en genormaliseerd tot een maximale straal van één eenheid, tegenover de metrische schaal van CARI4D die via UniDepth en FoundationPose is hersteld

• Textuur — Hi3D V1.0 geen vs CARI4D geen; het levert poses en contact op, geen getextureerd asset

• Compute — Hi3D V1.0 gemeten op een 96 GB NVIDIA H20, geen CPU-pad, batchgrootte één vs CARI4D PyTorch op NVIDIA Ampere, gevalideerd op A100, met een Docker-image

• Licentie — Hi3D V1.0 de Hi3D Open License 1.0, commercieel gebruik met een drempel van 200.000 MAU of USD 1M maandomzet, tegenover CARI4D de NVIDIA Open Model Agreement voor het commerciële 231M-checkpoint, alleen voor onderzoek voor de 194M-release

• Bewijs — Voor Hi3D V1.0 is geen numerieke benchmark gepubliceerd, tegenover CARI4D, een CVPR 2026-paper met ablatie-experimenten en BEHAVE-resultaten, door de leverancier gerapporteerd en niet onafhankelijk gereproduceerd

Het experiment dat niemand heeft gepubliceerd

Hier is de compositie die de gedeelde ruggengraat duidelijk maakt, geformuleerd als een experiment in plaats van een functie.

CARI4D reconstrueert zijn objectmesh uit één enkel eerste frame via Hunyuan3D-2. Hi3D verfijnt precies dat soort grove mesh, geconditioneerd op een referentieafbeelding van hetzelfde object — en CARI4D heeft er een, omdat het eerste frame de referentie is. In principe zou een pipeline de afbeelding van het eerste frame en de Hunyuan-mesh van CARI4D kunnen nemen, Hi3D op 1024³ of 1536³ kunnen uitvoeren, en het verfijnde oppervlak terug kunnen geven aan de fase die het plaatst en volgt.

In de praktijk zijn er vier obstakels, en geen ervan is klein.

• Schaal. Hi3D hercentreert zijn uitvoer en normaliseert die naar een maximale straal van één eenheid. CARI4D heeft een mesh met metrische schaal nodig om FoundationPose te initialiseren. De terugtransformatie is niet gepubliceerd, en een fout daarin verandert de schijnbare grootte van het object in elk frame.

• Structuur. Hi3D verfijnt de grove structuur die het krijgt; het corrigeert die niet. Als Hunyuan3D-2 de topologie van het object uit één frame verkeerd heeft gelezen, maakt Hi3D die verkeerde lezing gedetailleerder. De selectie van pose-hypothesen door CARI4D kan enige objectfout opvangen — het artikel meldt dat de Chamfer-afstand van het object bij initialisatie wordt teruggebracht van ongeveer 1.565 cm naar 16,85 cm — maar het is geen fase voor vormherstel.

• Looptijd. Hi3D verwerkt één object per keer, tot drie passes van elk 25 stappen, zonder gepubliceerde latentie. De pipeline van CARI4D schakelt al Hunyuan3D, UniDepth, NLF, FoundationPose, CoCoNet en een gezamenlijke optimalisatie aaneen. Een verfijningsfase van 96 GB vóór een per-clip-lus toevoegen kan offline verdedigbaar zijn en interactief onmogelijk.

• Validatie. Niemand heeft deze integratie gepubliceerd. De cijfers in CARI4D's paper meten pose- en contactnauwkeurigheid, niet het effect van een betere objectmesh op die cijfers. Het is heel goed mogelijk dat de verfijning de mesh verbetert en de reconstructiemetrieken nauwelijks verandert, omdat de tracking robuust is tegen oppervlaktedetail. Het is ook mogelijk dat een scherpere mesh de correspondenties van FoundationPose verbetert. Totdat iemand de ablatie uitvoert, zijn beide gissingen.

De eerlijke waarde van deze observatie is niet "gebruik ze samen." Het is dat de twee releases complementair zijn op een specifieke naad, en aan die naad is een meetbare vraag verbonden die geen van beide leveranciers heeft beantwoord.

Twee soorten bewijs, geen van beide onafhankelijk

CARI4D lijkt beter onderbouwd dan Hi3D, en dat is het ook, maar het verschil is kleiner dan het op het eerste gezicht lijkt. CARI4D heeft een peer-reviewed CVPR 2026-paper, een benoemde benchmark, ablatiestudies en een gerapporteerde reconstructiefout die 38% lager is in-distribution en 36% op ongeziene data. Dat zijn NVIDIA's cijfers uit NVIDIA's eigen evaluatie. Geen enkel neutraal lab heeft ze gereproduceerd. De code en de evaluatiescripts zijn openbaar, waardoor reproductie mogelijk is, maar niet uitgevoerd.

Hi3D heeft helemaal geen numerieke benchmark. De repository publiceert visuele vergelijkingen over negen methoden voor lokale geometrie, een claim over de trainingsschaal van ongeveer twee miljoen gecureerde assets en een claim over een resolutie van 1536³ voor sparse extraction. Het persbericht voegt een succespercentage van 90% voor slicing toe en beweert de hoogste scores voor multi-view fidelity en detail in de gerapporteerde evaluatie te hebben, zonder scores, zonder baseline en zonder dat de slicer wordt genoemd. Trainingscode en de evaluatieharness ontbreken, dus de tabellen uit het paper kunnen niet opnieuw worden opgebouwd op basis van de release.

Beide zijn met andere woorden door de leverancier gerapporteerd. Bij de een hoort een paper, bij de ander een persbericht. Een koper moet de CVPR-badge zien als een reden om de methodologie serieus te nemen, en niet als vervanging voor een onafhankelijke test.

Welke vraag heb je eigenlijk?

Als je een video hebt van iemand die een object hanteert en je moet weten hoe de hand, het object en het lichaam bewogen — metrische poses, contactpunten, frame voor frame — dan is CARI4D het systeem dat daarvoor is gebouwd, en de commerciële checkpoint maakt het inzetbaar. Hi3D kan die vraag helemaal niet beantwoorden. Het heeft geen temporeel model, geen pose-uitvoer en geen contactredenering.

Als je een referentieafbeelding en een ruwe mesh hebt en je een scherpere statische asset nodig hebt, is Hi3D de directe tool. CARI4D kan die vraag ook niet beantwoorden: de objectmesh is een bijproduct van een trackingpijplijn, geproduceerd met de mate van detail die Hunyuan3D-2 uit één frame haalt, en het levert poses op in plaats van een verfijnd oppervlak.

Als je het composiet bouwt — een reconstructiepijplijn waarin objectgeometrie de zwakke schakel is — is de interessante stap om te testen of Hi3D's verfijning de downstreammetrics van CARI4D verbetert. Dat is een onderzoeksvraag met een duidelijk experiment en geen gepubliceerd antwoord. Reserveer budget voor de schaaltransformatie en de GPU voordat je budget voor de paper reserveert.

De laag die beide omgeeft

OrcaRouter serveert geen van beide modellen, en geen van beide is een taalmodel. De catalogus bestaat uit tekst, beeld, video, embeddings en spraak; 3D-reconstructie gebeurt op je eigen hardware. De aanroepen rond de reconstructie zijn echter modelaanroepen: een bijschrift maken bij het eerste frame, het object beschrijven voor een assetrecord, of beoordelen of een verfijnde render nog overeenkomt met de referentie vanuit drie hoeken.

Die laatste is een goede match voor model fusion. In plaats van te vertrouwen op de mening van één enkel visiemodel dat een verfijnd mesh getrouw is, stuur je dezelfde multi-view vergelijking naar een panel van modellen en laat je hun antwoorden samenvoegen. OrcaRouter biedt fusion en meer dan 200 afzonderlijke modellen achter één API, met de lijstprijs van de provider doorgegeven aan 0% markup en automatische failover als een provider verslechtert. De geometrie blijft op je GPU; het oordeel eromheen kan redundant zijn zonder duur te zijn om aan te sluiten.

Wat zou het beslechten?

Eén enkele ablatie zou meer doen dan welke hoeveelheid specificatievergelijking dan ook: neem één BEHAVE-sequentie, verfijn de objectmesh met Hi3D op 1024³, draai de normalisatie terug en rapporteer de pose- en contactmetrieken tegen de onverfijnde baseline. Als de cijfers bewegen, wordt de gedeelde backbone een pipeline. Als ze dat niet doen, blijft de waarde van Hi3D waar die het sterkst is — als een op zichzelf staande geometrietool voor mensen die de grove mesh al bezitten.

Totdat dat experiment bestaat, is de verdedigbare opsplitsing eenvoudig. Hi3D V1.0 is een geometrie-refiner met open gewichten en geen benchmark. CARI4D is een bewegingsreconstructor met een paper en een commerciële checkpoint. Ze komen samen bij Hunyuan3D-2, en geen van beide is een vervanging voor de andere.