Een gegenereerde titelkaart met als kop Depth Pro 2 vs VGGT in grote donkere geometrische typografie, met daaronder de ondertitel Een meting of een reconstructie, boven een dunne blauw-naar-cyaan gradiëntbalk.
Engineering & Research

Depth Pro 2 vs VGGT: metrische diepte of multi-viewgeometrie

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Richt een telefoon op een kamer, loop eromheen en neem veertig seconden video op. Twee modellen kunnen daar geometrie van maken, en ze zullen het niet eens worden over wat die geometrie is. Depth Pro 2, Apples metrische monoculaire dieptemodel, geeft voor elke pixel van elk frame een dieptewaarde in meters terug, met een bijbehorende brandpuntsafstand. VGGT — de Visual Geometry Grounded Transformer van Meta AI Research en de VGG-groep van de Universiteit van Oxford, gepubliceerd op CVPR 2025 — geeft camera-extrinsieken en -intrinsieken, puntmaps, dieptemaps en 3D-puntsporen voor de hele set weergaven in één keer terug.

Een van die outputs is een meting. De andere is een reconstructie. Kiezen tussen beide is geen kwestie van welke nauwkeuriger is, want de twee modellen beantwoorden verschillende vragen, en welk antwoord je nodig hebt, wordt bepaald door wat er na het model in je pipeline komt.

Waarvoor elk model is gebouwd

VGGT is een feed-forwardnetwerk dat binnen enkele seconden alle belangrijke 3D-eigenschappen van een scène afleidt uit één, een paar of honderden weergaven. De insteek is gezamenlijke schatting: in plaats van per frame een dieptemodel te draaien en vervolgens met een aparte structure-from-motion-stap cameraposes op te lossen, produceert VGGT poses, intrinsieke parameters, diepte en puntsporen in één enkele doorgang, waarbij de weergaven op elkaar letten. Dat is waarom de claim "honderden weergaven" ertoe doet — het is een vervanging voor een fotogrammetriepijplijn, niet een aanvulling erop.

Depth Pro 2 is een monoculaire metrische diepteschatter, en het woord dat het werk doet, is metrisch. De uitvoer is een dieptekaart in meters langs de kijkrichting van de camera, berekend uit één enkele afbeelding, zonder dat camerametadata nodig zijn — het model kan een brandpuntsafstand uit EXIF lezen, er een accepteren die je in pixels opgeeft, of er een voorspellen met een aparte schatter met 23,5 miljoen parameters die als eigen repository wordt geleverd. Het verwerkt ook video, en daar komt de "2" vandaan: een multi-view transformer verwerkt frames gezamenlijk, met afwisselende aandacht binnen elk frame en tussen frames na het eerste derde deel van zijn blokken, en een DPT-decoder geeft per frame een inverse dieptekaart uit.

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• Werkeenheid — {{1}}VGGT verwerkt een set aanzichten; Depth Pro 2 verwerkt een foto, een video of een livefeed.{{/1}}

• Primaire output — VGGT levert cameraparameters, puntmaps, dieptemaps en 3D-puntsporen; Depth Pro 2 levert metrische diepte plus de gebruikte brandpuntsafstand.

• Camera-oplossing — VGGT schat die als onderdeel van het gezamenlijke probleem; Depth Pro 2 leest, accepteert of voorspelt een brandpuntsafstand, zonder extrinsics.

• Schaal — De belangrijkste output van Depth Pro 2 is in meters; de modelkaart van VGGT beschrijft cameraparameters, puntkaarten, diepte en tracks en claimt geen metrische schaal.

• Release — VGGT werd gepubliceerd op CVPR 2025 (arXiv 2503.11651); de repositories van Depth Pro 2 zijn in november 2026 aangemaakt, met een technisch rapport dat nog moet verschijnen.

De schaalvraag is beslissend voor de meeste implementaties.

Als je moet weten dat de tafel 0,74 meter verwijderd is, vertelt VGGT je dat niet rechtstreeks, en Depth Pro 2 doet dat wel. Dat is het hele argument in één zin, en het is de moeite waard om precies te zijn over waarom.

De metrische claim van Depth Pro 2 is architectonisch, niet incidenteel. Het originele Depth Pro is gebouwd als een fundatiemodel voor zero-shot metrische diepte, en de repository is expliciet over de conventies: diepte is de z-coördinaat langs de kijkrichting in plaats van radiale afstand, inverse diepte wordt genormaliseerd door de brandpuntsafstand, en een brandpuntsafstand die 10 procent te lang is, plaatst alles 10 procent te ver. Dat zijn de conventies van een model waarvan de uitvoer als een meting moet worden gelezen, en Depth Pro 2 erft ze ongewijzigd over alle vier de groottes.

De output van VGGT is geometrisch. Camera-extrinsieken, -intrinsieken, puntkaarten en puntsporen zijn intern consistent — de reconstructie is correct op een globale similariteitstransformatie na — en het herstellen van de absolute schaal daaruit is een aparte stap, waarbij meestal een bekende referentie in de scène betrokken is. Voor novel-view-synthese, voor een 3D-asset, voor alles waarbij je de scène zult herschalen om deze op een viewer af te stemmen, is dat prima en vaak zelfs wenselijk. Voor een robot die moet weten of een obstakel één meter of drie meter verderop staat, is het een probleem dat je buiten het model moet oplossen.

Depth Pro 2 heeft hier zijn eigen problemen met eerlijkheid. Hemelpixels komen terug als oneindige diepte, of, vooral bij de kleinere modellen, als een eindige diepte van enkele kilometers, dus een naïeve puntenwolk die uit de uitvoer wordt opgebouwd, krijgt een muur van spurieuze verre geometrie waar de hemel is. In de README staat dat je het dieptebereik moet afkappen voordat je een puntenwolk of een kleurenbeeld maakt, en dat is het soort instructie dat pas verschijnt nadat iemand erdoor is gebeten.

Videoconsistentie is de echte bijdrage.

Depth Pro 2 is niet zozeer een betere Depth Pro als wel een temporeel gestabiliseerde versie, en het mechanisme zit volledig in het attentionpatroon. Na het eerste derde deel van zijn blokken wisselt de transformer attention binnen elk frame af met attention tussen frames, en de DPT-decoder stelt tokens uit meerdere blokken samen tot feature maps met een resolutie van een tweeëndertigste tot een kwart van de invoerresolutie. Het doel van die afwisseling is Jitter — de metriek voor temporele consistentie — en de projectpagina rapporteert die naast Boundary F1, gemiddeld over de datasets Sintel en Spring, met de bewering dat Depth Pro 2 op beide beter presteert dan eerder werk dat op één frame of op meerdere frames werkt.

Bij die bewering worden geen waarden vermeld, en er worden geen baselines genoemd. De pagina verwijst alleen naar "eerder werk dat op één frame of meerdere frames werkt" en naar "baselines met hun standaardinstellingen", en het citatieblok vermeldt arXiv:261X.XXXXX — een plaatsaanduiding, geen paper. Iedereen die een Boundary F1- of Jitternummer voor Depth Pro 2 citeert, leest dat van een grafiek af.

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

Het operationele bereik van Depth Pro 2 is smaller dan de videoframing suggereert, en die beperktheid is gedocumenteerd. De standaardmodus verbruikt clips van 16 frames met vier frames overlap, en het live-pad verwerkt elk frame ten opzichte van de vijftien voorgaande, wat betekent dat de eerste seconde van elke stream de schokkerigste seconde is die je zult krijgen. Eén brandpuntsafstand geldt voor een hele video, gekozen als de mediaan over het openingsvenster — dus bij een clip die zoomt, wordt de brandpuntschatting van één frame op alle frames toegepast. Geheugen schaalt met framegrootte en venster, niet met duur, en Apples oplossing voor een video met onvoldoende geheugen is het venster verkorten voordat het model wordt verkleind.

VGGT heeft geen equivalente modus, omdat die niet nodig is. Het verwerkt de volledige set aanzichten al gezamenlijk, wat een sterkere vorm van dezelfde garantie is — mits je de attention over honderden aanzichten kunt veroorloven, en mits je toepassing een reconstructie wil in plaats van een dieptemeting per frame.

Formaten, exports en wat je daadwerkelijk draait

Depth Pro 2 biedt vier formaten met gepubliceerde aantallen: S met 24M parameters en 97 MB, B met 97M en 386 MB, L met 334M en 1,3 GB, en H+ met 872M en 3,5 GB, waarbij H+ de standaard is en S wordt aanbevolen voor laptops. De configuratiebestanden tonen de familiestructuur — DINOv3 ViT-S- en ViT-B-backbones bij het kleine paar die attenden op blokken 5, 7, 9 en 11, ViT-L die attendt op blokken 9 tot en met 23, ViT-H+ op blokken 11 tot en met 31, met decoderafmetingen van 64, 128, 256 en 256. Core ML-exports voor Apple silicon worden geleverd als een aparte repository, en de coderepository bevat een Mac-demo-app voor live diepte vanaf de camera.

VGGT-1B is één enkel checkpoint met een miljard parameters, en de familie is sindsdien verdergegaan. VGGT-Omega werd op 18 mei 2026 uitgebracht als "de volgende stap van VGGT", en naast het origineel bestaat een commercieel checkpoint, VGGT-1B-Commercial, met een AUC@30 van 90,37 op Co3D tegenover 89,98 voor het origineel — het enige benchmarkcijfer op de modelkaart, en een marginaal cijfer. VGGT-1B heeft op het moment van schrijven 748.148 downloads, wat iets zegt over hoe breed de onderzoeksgemeenschap het als baseline heeft omarmd.

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2 is het tegenovergestelde verhaal. De vier checkpoints hebben tientallen downloads, de repositories zijn begin november 2026 aangemaakt en de enige likes op de card-repository zijn op één hand te tellen. Het is een model dat is gepubliceerd maar nog niet is opgepikt. Dat is goed om te weten voordat je je eraan verbindt: als je een bug tegenkomt, ben jij degene die het issue indient.

Licenties en het commerciële controlepunt

VGGT-1B valt onder CC BY-NC 4.0, niet-commercieel. Het bestaan van VGGT-1B-Commercial is het interessante detail: Meta heeft een variant uitgebracht waarvoor een commerciële licentie mogelijk is, wat betekent dat het traject van onderzoek naar product bestaat zonder licentieonderhandeling. De gewichten van Depth Pro 2 vallen onder de Apple Machine Learning Research Model-licentie, uitsluitend voor onderzoeksgebruik, door de repository gedefinieerd als niet-commerciële wetenschappelijke onderzoeks- en academische ontwikkelingsactiviteiten.

Geen van beide licenties is een productlicentie op het open checkpoint. Het verschil is dat de familie van VGGT een commerciële optie bevat en die van Depth Pro 2 niet, dus als je bouwt voor omzet, heeft een van deze een deur en de andere een muur.

Dit is dezelfde berekening die één laag hoger in elke productiepipeline opduikt. Een reconstructiemodel is één aanroep; eromheen zit het deel dat een scène leest, beslist wat er moet gebeuren en het vastlegt — werk met taalmodellen, waarbij de leverancier een prijs vermeldt en een aggregator die al dan niet doorberekent. De propositie van OrcaRouter is 0% opslag op 217 modellen met automatische failover tussen providers, en dat is juist hier het belangrijkst: wanneer de geometriefase een onderzoekscheckpoint is met een handvol downloads en geen releasecadans, wil je dat de rest van de pipeline het saaie, redundante deel is.

Wie moet met welke beginnen?

Begin met VGGT als je een scène reconstrueert vanuit veel aanzichten en de schaal later in de pijplijn afhandelt — novel-view-synthese, een 3D-asset, een dataset gebouwd uit video waarbij de geometrie het eindproduct is. De gezamenlijke camera- en geometrie-oplossing is wat het de miljard parameters waard maakt, en VGGT-Omega is de huidige generatie als je vanaf nul begint.

Start met Depth Pro 2 als je meters nodig hebt uit één frame, of als je wilt dat de diepte frame na frame stabiel blijft in een livefeed. De grootteregelaar is echt en de laptopworkflow is gedocumenteerd. Ga erin met de verwachting dat je de diepte van de hemel zult afkappen, dat je de eerste persoon zult zijn die de meeste bugs meldt, en dat je moet wachten op het technische rapport voordat je een Boundary F1-getal aan iemand kunt citeren.

Wat je niet moet doen, is dit als een head-to-head behandelen. VGGT reconstrueert, Depth Pro 2 meet, en de enige eerlijke vergelijking is welke je downstreamcode kan verwerken. Voor de meeste 3D-pipelines is het antwoord VGGT plus een stap voor schaalherstel; voor de meeste robotica- en AR-pipelines is het Depth Pro 2 plus een robuustheidsbudget voor de rooktest.