Een gegenereerde titelkaart voor Depth Pro 2 vs Depth Anything 3, met een linkerkolom met metrische diepte in meters, één frame en video en live feed, en vier groottes tot 872M, en een rechterkolom met relatieve diepte, cameraposes en intrinsieke parameters, en vier groottes tot 1,15B, plus een OrcaRouter-logo.
Guides & Insights

Depth Pro 2 vs Depth Anything 3: Meters of cameraposities

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Stel beide modellen dezelfde vraag — hoe ver weg is dit? — en slechts één van hen antwoordt in meters. Depth Pro 2, Apples metrische monoculaire dieptemodel, retourneert een dieptekaart in meters langs de kijkas van de camera, plus de brandpuntsafstand die het heeft gebruikt. Depth Anything 3, het ByteDance Seed-foundationmodel dat in november 2025 is uitgebracht, vermeldt "relatieve diepte" als zijn eerste capaciteit, naast camerapose-inschatting en pose-conditionering. Het geeft je diepte tot een onbekende schaal, en het geeft je de camera's waarmee die schaal herstelbaar is.

Dat enkele verschil beslist de meeste integraties voordat nauwkeurigheid ter sprake komt, en het is de reden waarom een rechtstreekse benchmarkvergelijking tussen deze twee minder nuttig is dan ze lijkt. De twee labs rapporteren over verschillende metrics, tegen verschillende baselines, en geen van beide heeft de evaluatie van de ander uitgevoerd. Wat volgt is wat elke repository daadwerkelijk documenteert, waarbij de claims van de leveranciers als zodanig zijn gelabeld.

Twee verschillende outputs, één letter verschil

Het voorspellingsobject van Depth Anything 3 is de duidelijkste plek om te beginnen, omdat het ongewoon expliciet is. Eén aanroep retourneert diepte als [N, H, W] float32, een confidence map met dezelfde vorm, extrinsics als [N, 3, 4] world-to-camera-matrices, en intrinsics als [N, 3, 3]. Export gaat naar GLB, NPZ, PLY, mini-NPZ, Gaussian-splat PLY of een Gaussian-splat-video.

De uitvoer van Depth Pro 2 is beperkter en direct bruikbaarder als het antwoord dat je nodig hebt een getal is. Het retourneert een dieptekaart in meters, een brandpuntsafstand in pixels en — in de NPZ-uitvoer van de opdrachtregel — die twee arrays en niets anders. De conversie naar een puntenwolk laat men aan jou over, met de brandpuntsafstand en het beeldcentrum als hoofdpunt, of je werkelijke hoofdpunt als de camera is gekalibreerd.

• Schaal — de uitvoer van Depth Pro 2 is metrisch; de diepte van Depth Anything 3 is relatief, waarbij de schaal wordt hersteld uit de pose en intrinsics die het ook retourneert.

• Cameraparameters — Depth Anything 3 voorspelt extrinsics en intrinsics; Depth Pro 2 voorspelt alleen de brandpuntsafstand en heeft geen notie van waar de camera zich bevindt.

• Betrouwbaarheid — Depth Anything 3 retourneert een betrouwbaarheidskaart per pixel; Depth Pro 2 retourneert er geen.

• Invoer — Depth Pro 2 neemt één foto, een videobestand of een live camerafeed; Depth Anything 3 neemt een lijst met afbeeldingen als één set aanzichten.

• Licentie — De gewichten van Depth Pro 2 zijn uitsluitend voor onderzoek onder de Apple Machine Learning Research Model-licentie; Depth Anything 3 is Apache 2.0 bij 0,08B en 0,12B, CC BY-NC 4.0 bij 0,35B en 1,15B.

De vier maten komen niet overeen

Beide families publiceren vier checkpoints, en de parameteraantallen liggen bijna op dezelfde plekken, waardoor het verleidelijk is ze één-op-één te vergelijken. Weersta die verleiding.

Depth Anything 3 publiceert 0,08B, 0,12B, 0,35B en 1,15B — 34,3M, 135,4M, 410,9M en 1.355,7M parameters volgens de safetensors-metadata. Depth Pro 2 publiceert 24M, 97M, 334M en 872M. De twee kleinste Depth Pro 2-formaten zijn beduidend kleiner dan hun tegenhangers van Depth Anything 3, en het grootste is beduidend kleiner dan DA3 Giant.

De licenties zijn op dezelfde manier verdeeld als de groottes, en dit is het detail dat commercieel ertoe doet: de twee kleine checkpoints van Depth Anything 3 vallen onder Apache 2.0, en de twee grote onder CC BY-NC 4.0. De vier van Depth Pro 2 vallen allemaal onder dezelfde licentie uitsluitend voor onderzoek, in de repository gedefinieerd als niet-commercieel wetenschappelijk onderzoek en academische ontwikkeling. Dus als je überhaupt een commercieel licentieerbaar dieptemodel nodig hebt, is Depth Anything 3-Small of -Base de enige optie in deze vergelijking, en Depth Pro 2 is dat bij geen enkele grootte.

Depth Anything 3 heeft ook een 1.1-revisie, DA3-GIANT-1.1 en DA3-LARGE-1.1, met identieke parameteraantallen als de originelen en repositories die op 11 december 2025 zijn aangemaakt. De oorspronkelijke GIANT-kaart beschrijft 3D Gaussian-estimatie als een额外 capaciteit die de grote varianten hebben, dus het exportoppervlak is breder dan alleen diepte.

Wat elk lab beweert, en waartegen

De modelkaart van Depth Anything 3 bevat twee vergelijkende beweringen en noemt voor beide de baselines: het model presteert significant beter dan Depth Anything 2 voor monculaire diepteschatting, en dan VGGT voor multi-view diepteschatting en pose-schatting. Dat zijn specifieke, falsifieerbare uitspraken over genoemde modellen, en de gedetailleerde cijfers staan in het paper in plaats van op de modelkaart.

De kaart van Depth Pro 2 doet één bewering en noemt de baseline alleen als "eerder werk dat op één frame of meerdere frames werkt". Er wordt gemeld dat Depth Pro 2 die set overtreft op Boundary F1 en Jitter, gemiddeld over de datasets Sintel en Spring, en dat wordt geïllustreerd met een spreidingsdiagram van die twee metrieken, waarbij de assen lopen van Boundary F1 van 0 tot 0,3 en Jitter van 0,1 naar beneden tot 0.

The sharpness-versus-temporal-consistency scatter from the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis, averaged over Sintel and Spring.

Depth Anything 3 staat in die grafiek — als DA3-NGL, een van de open-cirkel-baselines met meerdere frames, op ongeveer 0,06 Boundary F1 en 0,018 jitter. Er bestaat dus wel een vergelijking, maar alleen op Apple's twee metrieken, gemiddeld over Sintel en Spring, zonder dat de dieptegetallen van Depth Anything 3 ernaast staan. ByteDance's eigen vergelijkingsset is Depth Anything 2 en VGGT, op de metrieken die ByteDance koos, en DA3-NGL wordt daar niet besproken. De twee sets raken elkaar niet: welke kaart je ook bekijkt, het andere lab koos de assen, en geen van beide publiceerde een gedeelde tabel.

Dat is geen ontwijking van een winnaar. Het is de werkelijke stand van het bewijs, en het loont om dat ronduit te zeggen, want het alternatief — de grafiek van welke leverancier dan ook kiezen die het model vleit dat je toch al verkiest — is hoe slechte inkoopbeslissingen worden genomen.

Video-consistentie is Apples hele argument.

Depth Pro 2 bestaat vanwege een specifieke zwakte in monoculaire diepte: als je een per-frame-model op video draait, flikkert de diepte, omdat elk frame wordt geschat zonder kennis van de aangrenzende frames. Apple's oplossing is architecturaal. Het model is een multi-view transformer over de invoerframes, en na het eerste derde deel van de blokken wisselt de attention af tussen binnen een frame en tussen frames. Een per-frame DPT-decoder assembleert vervolgens tokens uit meerdere blokken tot feature maps op een tweeëndertigste tot een kwart van de invoerresolutie.

The architecture diagram from the Depth Pro 2 model card showing a multi-view transformer processing input frames jointly, followed by a DPT decoder producing an inverse depth map per frame, with numbered annotations for alternating within-frame and across-frame attention and multi-scale decoder feature maps.

De werkingsmodi vloeien daaruit voort. Gebufferde modus, de standaard voor videobestanden, verwerkt clips van 16 frames die met vier overlappen, zodat de diepte stabiel blijft over clipgrenzen heen. Ongbufferde modus voorspelt elk frame wanneer het binnenkomt, op basis van dat frame en de 15 daarvoor, voor cameragebruik, met de gedocumenteerde kanttekening dat de eerste frames van een stream minder voorgangers hebben en daardoor een minder stabiele diepte. Een video krijgt één brandpuntsafstand over alle frames — de mediaan van de schattingen over het eerste venster.

Depth Anything 3 verwerkt meerdere weergaven gezamenlijk van nature, want dat is wat een view-setmodel doet, maar de insteek is reconstructie in plaats van stabilisatie. De bewoording op de kaart gaat over het herstellen van visuele ruimte uit willekeurige weergaven, en de uitvoer — extrinsics, intrinsics, point maps, Gaussian splats — is de taal van een 3D-reconstructiepijplijn. Als je probleem "deze video flikkert" is, heeft Depth Pro 2 daarvoor een modus en Depth Anything 3 is een ander product.

Diepte in meters krijgen, hoe dan ook

De relatieve diepte van Depth Anything 3 is niet zozeer een beperking als wel een taakverdeling: het model levert je de camera's, en de camera's zijn wat relatieve diepte omzet in meters. Die conversie is echt werk — een schaalfactor per scène, op basis van een bekende basislijn, een bekende objectgrootte of een sensor — en het is hetzelfde werk dat Depth Pro 2 al intern heeft gedaan.

De metrische output van Depth Pro 2 heeft zijn eigen faalmodi, en die zijn gedocumenteerd. Diepte schaalt met brandpuntsafstand, dus een brandpuntsafstand die 10 procent te lang is, zet alles 10 procent te ver weg. Luchtpixels komen terug als oneindige diepte, of, vooral bij de kleinere modellen, als een eindige diepte van meerdere kilometers, dus in de README staat dat je het bereik moet begrenzen voordat je een puntenwolk of een kleurenafbeelding opbouwt. In Python wordt inverse diepte genormaliseerd door de brandpuntsafstand en is gelijk aan focallength_px / (width * depth). Een stream hoort bij één video en behoudt zijn recente frames en zijn brandpuntsafstand totdat je een nieuwe opent.

Geen van beide modellen vervangt een dieptesensor op een textuurloos of reflecterend oppervlak. Beide leiden de schaal af uit visuele aanwijzingen, en beide zullen op dezelfde soorten plekken om dezelfde soorten redenen falen.

Wat het kost om beide te draaien

Het praktische verschil zit in de afhankelijkheidsgraaf. Depth Pro 2 installeert als Python-pakket vanuit de GitHub-repository met uv, biedt een command line (uv run depth-pro-2 predict -i photo.jpg -o out/) en een Python-API, en levert Core ML-exports voor Apple silicon plus een Mac-demo-app. De repository vermeldt expliciet dat deze code bevat om de modellen uit te voeren, maar geen trainings- of evaluatiecode.

Depth Anything 3 wordt geïnstalleerd als een bewerkbaar pakket uit de ByteDance Seed-repository en biedt een CLI (da3 auto path/to/images --export-format glb) met een optioneel backendproces voor herhaalde inferentie — het soort detail dat alleen opduikt wanneer iemand het in een loop draait.

Beide zijn onderzoekscheckpoints met één doel, en geen van beide is iets dat je routeert. Wat rond een dieptestadium zit, is werk voor taalmodellen — een scène beschrijven, beslissen wat daaraan te doen, het resultaat opschrijven — en dat is waar één endpoint zijn bestaansrecht verdient: OrcaRouter plaatst meer dan 200 gehoste modellen achter één OpenAI-compatibele API met 0% markup bovenop de lijstprijs van de provider, dus de redeneerfasen rond je dieptemodel hebben maar één sleutel en één factuur nodig. Het dieptecheckpoint blijft een afhankelijkheid die je vastzet; de pipeline eromheen hoeft dat niet te zijn.

Waarmee te beginnen?

Begin met Depth Anything 3 als je een scène reconstrueert vanuit meerdere aanzichten en je de camera's, de puntkaarten en de Gaussian splats in één aanroep wilt, en als een Apache 2.0-licentie bij de kleine formaten precies is wat het project überhaupt mogelijk maakt. De vergelijkingsset ervan heeft een naam, de outputs zijn breed, en de kleine checkpoints zijn de enige commercieel licentieerbare zaken in dit artikel.

Begin met Depth Pro 2 als het antwoord dat je nodig hebt een afstand in meters is uit één frame of een livefeed, en als frame-tot-frame-stabiliteit de eigenschap is waar je applicatie niet zonder kan. Ga ervan uit dat je de diepte van de lucht zult afkappen, dat je de brandpuntsafstand bewust vastzet en dat je er vroeg bij bent — de repositories hebben tientallen downloads, de code heeft één commit en het technische rapport is nog steeds een placeholder.

Wat geen van beide modellen je geeft, is een verdedigbare bewering dat het het andere verslaat, omdat geen van beide labs de test heeft uitgevoerd. Kies op basis van uitvoerformaat, licentie en of je invoer een video is. Die drie vragen hebben vandaag antwoorden; de ranglijst niet.

A generated two-column scoreboard comparing Depth Pro 2 and Depth Anything 3 across six dimensions: depth type, camera parameters, video handling, largest model size, licence and published numbers, with a footer noting that no shared benchmark exists.