Een gegenereerde vergelijkingskaart voor Depth Pro en Depth Pro 2, met een release uit 2024 met één monocular checkpoint van 0,3 seconde en geen videomodus, tegenover een release uit 2026 met vier groottes van 24M tot 872M parameters, video- en livefeedmodi, en een technisch rapport dat nog als placeholder is gemarkeerd, plus een OrcaRouter-logo.
Guides & Insights

Depth Pro 2 vs Depth Pro: scherpte behouden, jitter opgelost

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Het originele Depth Pro heeft als baseline een ongebruikelijk probleem: de checkpoint die Apple heeft gepubliceerd is niet het model dat het paper beschrijft. De modelkaart zegt dat ronduit — de checkpoint in de repository is een referentie-implementatie die opnieuw is getraind, en de prestaties ervan liggen dicht bij het model dat in het paper wordt gerapporteerd, maar komen er niet exact mee overeen. Elke vergelijking tussen Depth Pro 2 en Depth Pro is dus een vergelijking met een plaatsvervanger, inclusief de vergelijking op de eigen modelkaart van Depth Pro 2.

Met die kanttekening is de aard van de upgrade duidelijk genoeg. Depth Pro 2 behoudt de eigenschap die Depth Pro opmerkelijk maakte — scherpe diepte op objectgrenzen, in meters, uit één enkele afbeelding — en voegt er een tweede aan toe: diepte die van frame tot frame stabiel blijft. De titel van het artikel zegt het ronduit. Depth Pro was Scherpe monoculaire metrische diepte in minder dan een seconde. Depth Pro 2 is Scherpe en temporeel consistente metrische monoculaire diepte. Alles wat tussen beide versies veranderde, staat in dienst van het tweede bijvoeglijk naamwoord; aan het eerste is bijna niets veranderd.

Twee jaar, twee heel verschillende releases

Depth Pro verscheen op 3 oktober 2024 met een paper, arXiv 2410.02073, en een vermeld resultaat: een dieptekaart van 2,25 megapixel in 0,3 seconden op een standaard GPU. De repository heeft 568 likes en iets meer dan 6.200 downloads. Het werd geleverd als één checkpoint, depth_pro.pt, en de modelkaart beschrijft de technische bijdragen — een efficiënte multi-scale vision transformer voor dense prediction, een trainingsprotocol dat echte en synthetische data mengt, speciale metrics voor grensnauwkeurigheid, en state-of-the-art schatting van de brandpuntsafstand uit één afbeelding.

De repositories van Depth Pro 2 zijn aangemaakt in november 2026: de kaart op 3 november, de gewichten op 5 november, de Core ML-exports op 9 november, de focal estimator en de code-repository op 19 november. Zowel de kaart als de GitHub-README verwijzen naar een arXiv-identifier van 261X.XXXXX, wat een plaatsaanduiding is en geen preprint. Er is geen onderzoekspagina voor op machinelearning.apple.com — dat pad geeft een 404 — en er zijn nergens benchmarkcijfers te vinden buiten de scatterplot op de kaart zelf.

Dus de eerlijke framing is dat Depth Pro 2 een release van gewichten met documentatie is, geen publicatie. Depth Pro was een paper met een checkpoint. Als je iets citeert, geeft een van deze je een getal en de andere een repository.

Wat is er daadwerkelijk veranderd aan de architectuur?

Depth Pro was een model voor één afbeelding. Depth Pro 2 is een multi-view transformer die een of meer frames gezamenlijk verwerkt, en het mechanisme is specifiek: na het eerste derde deel van zijn blokken wisselt de attention af tussen binnen elk frame en tussen frames. Een DPT-decoder voorspelt vervolgens per frame een inverse-dieptekaart, waarbij tokens uit verschillende blokken worden samengevoegd tot feature maps op een tweeëndertigste tot een kwart van de invoerresolutie.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Dat is het volledige architectuurargument voor het vervolg, en het heeft een zichtbaar gevolg voor hoe je het model runt. Depth Pro 2 heeft twee videomodi. Buffered, de standaard voor bestanden, verwerkt clips van 16 frames met een overlap van vier, waardoor de diepte stabiel blijft waar clips samenkomen. Unbuffered voorspelt elk frame zodra het binnenkomt, op basis van dat frame en de 15 daarvoor, en is de modus voor een livecamera. Apple documenteert de kosten van het live-pad in plaats van ze te verbergen: de eerste frames van een stream hebben minder voorgaande frames om aandacht aan te besteden, dus hun diepte is minder stabiel.

Depth Pro heeft geen van beide modi, omdat het geen cross-frame-aandacht heeft om uit te voeren. Voer er een video aan en je krijgt onafhankelijke schattingen per frame, en eventuele flikkering daartussen moet je zelf wegwerken. Voor stilstaande beelden is dat geen verlies; voor alles met beweging erin is het juist het verschil dat het vervolg moest dichten.

Wat niet veranderde

De metrische conventies zijn identiek, wat goed nieuws is voor iedereen die migreert: de twee modellen zijn het eens over wat de getallen betekenen. Diepte is de afstand langs de kijkas van de camera — de z-coördinaat — niet de rechtstreekse afstand tot de lens. Inverse diepte in Python wordt genormaliseerd door de brandpuntsafstand en is gelijk aan focallength_px / (width * depth). Diepte schaalt met de brandpuntsafstand, dus een brandpuntsafstand die 10 procent te lang is, plaatst alles 10 procent te ver weg. Luchtpixels komen terug als oneindige diepte of, vooral bij de kleinere modellen, als een eindige diepte van enkele kilometers, en de documentatie zegt dat je het bereik moet clippen voordat je een puntenwolk maakt.

Het schatten van de brandpuntsafstand is nog steeds een eersteklas onderdeel van het pakket, en kan nog steeds worden overgeslagen. Foto's die een 35mm-equivalente brandpuntsafstand in EXIF vastleggen, gebruiken die; al het overige gaat door de schatter. Depth Pro 2 splitst die schatter in een aparte repository met 23,5M parameters, apple/DepthPro2-focal, die naast elke grootte wordt geladen en ook op zichzelf kan worden uitgevoerd — handig als je de camera-solve één keer wilt en het dieptemodel vele keren. Bij Depth Pro was dezelfde mogelijkheid ingebakken in het enkele checkpoint, zonder manier om de twee te scheiden.

Core ML-ondersteuning blijft behouden en wordt verbeterd. Depth Pro 2 levert geëxporteerde Core ML-pakketten in een aparte repository en bevat een minimale Mac-demo-app die live diepte vanaf de camera toont, waarvoor Apple silicon, macOS 15 en Xcode 16 nodig zijn. Dat is een lagere drempel naar een werkende demo dan het origineel bood.

Vier formaten tegen één checkpoint

Het grootste praktische verschil is dat Depth Pro 2 weigert één enkel model te zijn. Apple publiceert er vier, met parameters en downloadgroottes:

• S — 24M parameters, 97 MB, het aanbevolen startpunt op een laptop.

• B — 97M parameters, 386 MB.

• L — 334M parameters, 1,3 GB.

• H+ — 872M parameters, 3,5 GB, de standaard die de opdrachtregel downloadt.

De grootte die je kiest verandert niets aan de licentie en nogal wat aan het gedrag, want van de kleinere modellen is gedocumenteerd dat ze meer van die valse hemeldiepten van meerdere kilometers produceren. H+ is om een reden de standaard, maar op een laptop is S het verschil tussen werken en niet werken.

Depth Pro is één checkpoint zonder instelmogelijkheid. Dat is geen kritiek — het was een release uit 2024 en de paper rapporteerde één enkel resultaat van 0,3 seconden — maar het betekent wel dat de migratievraag "welke grootte" geen tegenhanger heeft aan de oude kant, en elke vergelijking die "Depth Pro" als één rij tegenover vier zet, vlakt een echte beslissing af.

De cijfers, zoals ze zijn.

De kaart van Depth Pro 2 rapporteert Boundary F1 en Jitter gemiddeld over de datasets Sintel en Spring, beweert op beide beter te presteren dan eerder werk dat met één frame of met meerdere frames werkt, en plot de vergelijking. Depth Pro is een van de markers op die plot. De assen zijn gelabeld — Boundary F1 van 0 tot 0,3, jitter van 0,1 omlaag naar 0 — maar er is geen tabel per model, dus de verbetering is tot op ongeveer een honderdste afleesbaar: H+ ligt nabij 0,29 Boundary F1 bij ongeveer 0,017 jitter, de originele Depth Pro op ongeveer 0,235 en 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Behandel dat als een door de leverancier gerapporteerde, niet-gereproduceerde claim, wat het ook is. Geen enkele derde partij heeft een Boundary F1- of Jitter-cijfer voor Depth Pro 2 gepubliceerd, en het technische rapport dat het evaluatieprotocol zou definiëren, is een placeholder. De originele Depth Pro daarentegen levert de boundary-metrieken in zijn eigen codebase mee — eval/boundary_metrics.py stelt SI_boundary_F1 en SI_boundary_Recall beschikbaar — dus als je de vergelijking zelf wilt uitvoeren, is de tooling voor de helft ervan openbaar en is het doel-checkpoint een opnieuw getrainde benadering van een model uit een paper.

Licentie en de commerciële kwestie

Ongewijzigd, en het vermelden waard omdat het het soort ding is dat bij een upgrade over het hoofd wordt gezien. De gewichten van beide modellen vallen onder de Apple Machine Learning Research Model-licentie, die de repository definieert als toestemming voor gebruik uitsluitend voor onderzoeksdoeleinden, wat niet-commercieel wetenschappelijk onderzoek en academische ontwikkeling betekent. De code is apart gelicentieerd, en in de dankbetuigingen van Depth Pro 2 worden TIMM en DINOv3 genoemd als de fundamenten.

De upgrade is gratis in de zin van de licentie en aan beide kanten in de zin van het product niet beschikbaar. Als je voor omzet levert, is geen van beide checkpoint het juiste, en het gesprek dat je moet voeren is met Apple, niet met een licentiebestand.

Migreren, concreet

Depth Pro 2 is geen drop-in vervanging voor Depth Pro, omdat de pakketnaam, het entry point en de model-ID's allemaal zijn gewijzigd. Depth Pro installeer je vanaf apple/ml-depth-pro en draait als depth-pro-run -i ./data/example.jpg. Depth Pro 2 installeer je vanaf apple-aiml-research/ml-depth-pro-2 en draait als uv run depth-pro-2 predict -i assets/example.jpg -o out/, met -m depthpro2-s tot en met -m depthpro2-h voor de grootte. In Python is de import depth_pro_2 en het constructiepad create_model_and_transforms of DepthPro2.from_pretrained.

Het uitvoeroppervlak is ook van vorm veranderd. Depth Pro's model.infer() retourneert een dictionary met depth en focallength_px. Depth Pro 2's infer() retourneert depth, en de brandpuntsafstand kun je natuurlijker uit de afzonderlijke estimator halen of als f_px meegeven wanneer je die hebt. Als je een pipeline hebt die in de prediction-dict grijpt, reserveer dan een middag.

Wat je voor de migratie krijgt, is een grootteregelaar, een videopad met twee gedocumenteerde modi, een aparte focal-estimator en Core ML-verpakking met een werkende demo-app. Wat je niet krijgt, is een paper, een benchmarktabel per model of enige onafhankelijke bevestiging dat het nieuwe model beter is — alleen een spreidingsdiagram met gelabelde assen en geen tabel erachter.

Niets hiervan loopt via ons, en het moet niet worden beschreven alsof dat wel zo is: Depth Pro 2 is onderzoeksgelicentieerde gewichten uit Apple's eigen repositories. De plek waar een routeringslaag zich terugverdient, ligt één stap verderop — de scènebeschrijving, de beslissing en de uitwerking rond je dieptefase zijn taalmodelaanroepen, en OrcaRouter zet meer dan 200 gehoste modellen op één sleutel tegen 0% opslag bovenop de lijstprijs van de provider, met automatische failover tussen providers, zodat een onderzoekscheckpoint zonder releasecadans het enige kwetsbare onderdeel in de pipeline is in plaats van een van meerdere.

Als je Depth Pro gebruikt en het werkt, is de reden om over te stappen video. Als je Depth Pro gebruikt en uitsluitend stilstaande beelden verwerkt, is de scherpte die je hebt de scherpte waarvan de opvolger beweert dat hij die heeft behouden, en het eerlijkste is om te wachten op het technische rapport voordat je een middag besteedt aan het hernoemen van een import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.