CARI4D Commercial: NVIDIA heeft zijn 4D-interactiemodel stilletjes opengesteld voor bedrijven

Rond 30 augustus 2026 verscheen een besloten repository genaamd nvidia/cari4d_commercial op Hugging Face. De modelkaart beschrijft een checkpoint die de leverancier "CARI4D CoCoNet Native Momentum Human Rig (MHR)" noemt — een netwerk met 231 miljoen parameters dat een gewone MP4-video aanneemt en frame voor frame de pose teruggeeft van één persoon en één star object dat diegene hanteert, plus twee handcontact-logits. De licentieregel luidt nvidia-open-model-agreement, en de kaart vermeldt dat het model klaar is voor commercieel of niet-commercieel gebruik. Dat is een betekenisvolle verandering ten opzichte van CARI4D's eerdere bestaan. De onderzoeksrepository, nvidia/CARI4D, levert dezelfde modelfamilie — CoCoNet, 194 miljoen parameters — onder de NVIDIA-licentie, met de woorden "alleen voor onderzoek en ontwikkeling" op de kaart gedrukt. Het is het verschil tussen een paper die je kunt lezen en een component die je kunt uitleveren.

Wat dit nieuwswaardig maakt, is niet de release. Het is de stilte eromheen. Dit is geen lancering: NVIDIA heeft geen blogpost, geen nieuwsbericht, geen benchmarktabel en geen prijs gepubliceerd voor cari4d_commercial, en op het moment van schrijven is de repository alleen bereikbaar na het accepteren van voorwaarden en het delen van contactgegevens. Alles hieronder is afgelezen van de twee modelkaarten en de openbare code-release. Waar een bewering van NVIDIA zelf is en niet gereproduceerd, zegt dit artikel dat.

Wat is er op 30 augustus eigenlijk veranderd?

De verleiding is om dit te classificeren als een licentiewijziging. Het is meer dan dat. Lees de twee kaarten tegen elkaar en er verschoven drie dingen tegelijk — de licentie, de grootte van het controlepunt, en het menselijk lichaamsmodel dat eraan ten grondslag ligt.

• Parameters — CARI4D onderzoeksrelease 194M vs CARI4D CoCoNet MHR 231M

• Controlepunt — step031397.pth (31.397 trainingsstappen) vs. versiereeks 2026-08-25-09-35-57, stap 200.000, status "Training voltooid"

• Lichaamsrig — SMPL / SMPL-H pose- en vormparameters vs Native Momentum Human Rig (MHR)-parameters

• Licentie — NVIDIA-licentie, "alleen voor onderzoek en ontwikkeling" vs. NVIDIA Open Model Agreement, commercieel gebruik toegestaan

• Toegang — open download versus afgeschermd, voorwaarden moeten worden geaccepteerd

• Uitvoer — bijgewerkte SMPL-pose, -vorm, -translatie, objectrotatie en -translatie, binair handcontact versus objectpose per frame en MHR-residuen, plus twee handcontact-logits

Het stappenaantal is de regel die aandacht verdient. Een onderzoekscheckpoint dat bij ongeveer 31k stappen is bevroren en een productiecheckpoint dat tot 200.000 liep, zijn niet hetzelfde object met een andere licentieheader eraan vastgeniet. NVIDIA rapporteert het getal van 231M ook als "gemeten vanaf de modeltoestand van stap 84.000, exclusief geregistreerde buffers", wat aangeeft dat de kaart een trainingslijn beschrijft in plaats van één bevroren artefact.

De body rig-swap is net zo belangrijk voor iedereen die al tegen CARI4D heeft gebouwd. De onderzoekslijn is volledig op SMPL gebaseerd — de optimalisatietermen van het paper regresseren SMPL-pose, -vorm en -translatie, en de code is afhankelijk van SMPL-H pickle-bestanden plus een VolumetricSMPL-patch. MHR is een andere parameterisatie. Als je integratiecode hebt geschreven tegen de outputtensors van het onderzoekscheckpoint, is de outputvorm van de commerciële kaart geen drop-in.

De onderzoeksrelease waarop dit is gebaseerd is acht maanden oud.

Het is de moeite waard om precies te zijn over de tijdlijn, want de uitdrukking "nieuw model" zou hier onjuist zijn en de uitdrukking "oud model" zou dat ook zijn.

De CARI4D-paper — Categorie-agnostische 4D-reconstructie van mens-objectinteractie, door Xianghui Xie, Bowen Wen, Yan Chang, Hesam Rabeti, Jiefeng Li, Ye Yuan, Gerard Pons-Moll en Stan Birchfield — verscheen op arXiv op 16 december 2025 als 2512.11988, en werd geaccepteerd voor CVPR 2026. De NVlabs-code-release volgde op 28 februari 2026. Trainingscode en voorbewerking van aangepaste video's kwamen op 4 april beschikbaar. Naar alle normale maatstaven is de onderzoekslijn een afgerond, acht maanden oud stuk werk met een voltooide TODO-lijst.

De eerlijke formulering is dus deze: de methode is oud nieuws, en het commerciële artefact is drie weken oud. Als u in maart naar CARI4D zocht en concludeerde dat het een onderzoekscuriositeit met een beperkende licentie was, dan was die conclusie toen correct en is die nu achterhaald. Dat is de hele reden waarom dit in een nieuwsslot thuishoort.

Wat het model daadwerkelijk doet, en hoe goed.

CARI4D reconstrueert mens-objectinteractie in 4D — drie ruimtelijke dimensies plus tijd — op metrische schaal, vanuit één enkele monoculaire RGB-video. Die laatste beperking is de interessante. Het herstellen van de metrische schaal van een object dat iemand vasthoudt, met één gewone camera, zonder dieptesensor en zonder multi-viewopstelling, is het probleem waar dit artikel omheen is gebouwd.

De pipeline is een keten van basismodellen in plaats van één end-to-end netwerk: UniDepth voor metrische diepte, NLF en GENMO voor menselijke pose, Hunyuan3D voor objectmeshes uit één enkele afbeelding, FoundationPose voor objecttracking, VolumetricSMPL voor een signed-distance-lichaamsmodel. CoCoNet — het deel dat NVIDIA daadwerkelijk uitbrengt — bevindt zich in het midden en doet de contactredenering. Het rendert de huidige schatting van mens en object naar RGB, diepte en maskers, vergelijkt die render vervolgens met de werkelijke observatie met behulp van een DINOv2 ViT-B/14 RGB-encoder en een ViT-S/14 zeskanalen-XYZ-en-masker-encoder, voert twee spatiotemporele attentieblokken uit en regresseert per-frame correcties via MLP-heads.

De gerapporteerde cijfers, uit het artikel en de eigen specificatiekaart van de leverancier: 38% lagere reconstructiefout dan bestaande methoden op in-distributiedatasets, 36% op ongeziene datasets. De ablatie die de architectuur inzichtelijk maakt, brengt de object-Chamferafstand op 1.565,42 cm vanaf ruwe NLF plus FoundationPose-tracking, 16,85 cm na CARI4D-initialisatie, en 11,59 tot 11,57 cm zodra CoCoNet-verfijning en de volledige gezamenlijke optimalisatie zijn ingeschakeld. Dat zijn leverancierscijfers uit een peer-reviewed artikel — betere herkomst dan een marketingpagina, nog steeds geen onafhankelijke reproductie, en geen enkele derde partij heeft er een gepubliceerd.

De commerciële modelkaart voegt een detail toe dat de paper niet kon geven: het model is getraind op FORM-HOI, beschreven als 2.126 interne sequenties, en de kaart stelt ronduit dat er geen aparte testdataset is — evaluatie is een kwalitatieve demodataset. Ook wordt erin opgemerkt dat het interne "Daniel"-trainingscorpus niet wordt gedistribueerd. Samen gelezen is dat een leverancier die je vertelt dat de trainingsdistributie de zijne is en dat het generalisatiebewijs dunner is dan de ablatietabel suggereert.

Wat de licentie daadwerkelijk verleent, en wat niet

De NVIDIA Open Model Agreement is een permissieve commerciële licentie, maar "commercieel gebruik toegestaan" is niet hetzelfde als "geen verplichtingen". Op de kaart staat dat het model bedoeld is voor ontwikkelaars en onderzoekers die commerciële of niet-commerciële visionsystemen bouwen voor 3D/4D-pose-estimatie van mens en object, bewegingsanalyse, visualisatie, datacuratie en robotperceptie, en directe autonome aansturing of levenskritieke beslissingen worden expliciet uitgesloten.

Twee praktische opmerkingen voor iedereen die dit evalueert. Ten eerste is de repository beperkt toegankelijk: je accepteert voorwaarden en deelt contactgegevens voordat de bestanden verschijnen, dus inkoop en juridische toetsing vinden plaats vóór de download, niet erna. Ten tweede is het ingezette model niet op zichzelf staand. CoCoNet heeft 231M parameters, maar het draait niet alleen: de bredere pijplijn haalt nog steeds NLF torchscript-gewichten, FoundationPose-gewichten, SMPL-H-assets en een `kid_template.npy` op, en er is nog steeds Hunyuan3D nodig om de objectmeshes überhaupt te produceren. De commerciële licentie dekt het deel dat NVIDIA vrijgeeft. Deze dekt niet de afhankelijkheden van derden eromheen, en elk daarvan kent zijn eigen voorwaarden. Dat is de meest voorkomende manier waarop een release als deze een juridisch team verrast.

Waar dit op neerkomt voor mensen die met modellen bouwen

Om duidelijk te zijn over de scope: CARI4D is een computervisie-reconstructiemodel, geen taalmodel, en OrcaRouter serveert het niet. Niets in dit artikel mag zo worden gelezen dat het iets anders zegt — het zelf hosten met PyTorch op een GPU uit de Ampere-klasse, de configuratie waarop het volgens de kaart is gevalideerd, is vandaag de dag de enige manier om het te draaien.

De reden dat het hier toch nog een alinea waard is, is dat de kaart datacuratatie als primair beoogd gebruik noemt, en dat is precies het deel van een 4D-pijplijn waar taalmodellen echt leven. Een dataset voor mens-objectinteractie bouwen betekent clips ondertitelen, contactgebeurtenissen labelen, QC-prompts schrijven en fouten filteren — werk dat via vision-language- en taalmodellen loopt, en werk dat slecht schaalt als elk onderdeel een apart contract en een aparte sleutel is. Meer dan 200 modellen achter één API routeren bij OrcaRouter, waarbij de lijstprijs van de provider met 0% opslag wordt doorgegeven en automatische failover wanneer een provider uitvalt, is hoe die laag eruitziet als hij niet op maat is gebouwd. Prijsverlagingen van leveranciers bereiken het endpoint dezelfde dag, want er is geen opslag die opnieuw moet worden afgeleid. Dat is ander werk dan wat CARI4D doet, en het is het werk dat eromheen zit.

Wat zou deze aflezing veranderen?

Vier dingen. Een aankondiging van NVIDIA zou van een stille repository een ondersteund product maken, en daarmee zouden de prijs- en supportvoorwaarden komen die momenteel ontbreken. Een gepubliceerde evaluatie op een dataset die NVIDIA niet heeft gebouwd, zou de generalisatievraag beslechten die de kaart openlaat. Documentatie van wat MHR verandert ten opzichte van SMPL zou bestaande CARI4D-integratoren vertellen hoe duur de migratie werkelijk is — op dit moment noemt de kaart de rig zonder het verschil uit te leggen. En een beslissing over de afhankelijkheden van derden zou bepalen of "commercieel gelicentieerd" betekent wat een inkoopteam zal aannemen.

Tot dan toe is de correcte beschrijving beperkt en weinig glamoureus, en het is de beschrijving die het bewijs ondersteunt: de CARI4D-lijn van NVIDIA heeft sinds 30 augustus 2026 een commercieel gelicentieerd, groter en langer getraind checkpoint beschikbaar, en de leverancier heeft er geen woord over gezegd. Als je 4D mens-objectinteractie op metrische schaal nodig hebt en je had dit afgedaan als alleen voor onderzoek, dan is het obstakel waar je omheen werkte verdwenen.