Ett genererat jämförelsekort för Depth Pro och Depth Pro 2, som visar en 2024-version med en enda monokulär checkpoint på 0,3 sekunder och inget videoläge, mot en 2026-version med fyra storlekar från 24M till 872M parametrar, video- och liveflödeslägen, och en teknisk rapport som fortfarande är markerad som en platshållare, plus en OrcaRouter-logotyp.
Guides & Insights

Depth Pro 2 vs Depth Pro: Skärpan bibehållen, jitter åtgärdad

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Det ursprungliga Depth Pro har ett ovanligt problem som baslinje: den checkpoint som Apple publicerade är inte den modell som artikeln beskriver. Modellkortet säger det rakt ut – checkpointen i repositoriet är en referensimplementation som har tränats om, och dess prestanda ligger nära den modell som rapporteras i artikeln men matchar den inte exakt. Så varje jämförelse mellan Depth Pro 2 och Depth Pro är en jämförelse mot en ersättare, inklusive den på Depth Pro 2:s eget modellkort.

Med den reservationen uttalad är uppgraderingens form tillräckligt tydlig. Depth Pro 2 behåller den egenskap som gjorde Depth Pro anmärkningsvärt – skarpt djup vid objektgränser, i meter, från en enda bild – och lägger till en andra: djup som håller sig stabilt från bildruta till bildruta. Artikelns titel säger det rakt ut. Depth Pro var Skarp monokulär metrisk djup på mindre än en sekund. Depth Pro 2 är Skarp och tidsmässigt konsekvent metrisk monokulär djup. Allt som förändrades mellan dem tjänar det andra adjektivet; nästan ingenting förändrades när det gäller det första.

Två år, två väldigt olika lanseringar

Depth Pro landade den 3 oktober 2024 med en artikel, arXiv 2410.02073, och ett angivet resultat: en djupkarta på 2,25 megapixlar på 0,3 sekunder på en vanlig GPU. Repositoriet har 568 gillningar och drygt 6 200 nedladdningar. Det levererades som en enda checkpoint, depth_pro.pt, och dess kort beskriver de tekniska bidragen – en effektiv flerskalig vision transformer för tät prediktion, ett träningsprotokoll som blandar verklig och syntetisk data, dedikerade mätvärden för gränsnoggrannhet och toppmodern brännviddsestimering från en enda bild.

Depth Pro 2:s repositorier skapades i november 2026: modellkortet den 3 november, vikterna den 5 november, Core ML-exporter den 9 november, fokalestimeraren och kodrepot den 19 november. Både modellkortet och GitHub-README:n hänvisar till en arXiv-identifierare på 261X.XXXXX, som är en platshållare snarare än en preprint. Det finns ingen forskningssida för den på machinelearning.apple.com – den sökvägen returnerar 404 – och inga benchmarksiffror någon annanstans än i modellkortets eget punktdiagram.

Så den ärliga formuleringen är att Depth Pro 2 är ett släpp av vikter med dokumentation, inte en publikation. Depth Pro var en artikel med en checkpoint. Om du citerar något ger en av dem dig ett nummer och den andra ger dig ett repositorium.

Vad ändrades egentligen i arkitekturen

Depth Pro var en enbildsmodell. Depth Pro 2 är en multi-view-transformer som bearbetar en eller flera bildrutor gemensamt, och mekanismen är specifik: efter den första tredjedelen av dess block växlar attention mellan att arbeta inom varje bildruta och att arbeta mellan bildrutor. En DPT-dekoder förutsäger sedan en invers djupkarta per bildruta och sätter samman token från flera block till feature maps vid en trettioandradel till en fjärdedel av indataupplösningen.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Det är hela det arkitektoniska argumentet för uppföljaren, och det får en synlig konsekvens för hur du kör modellen. Depth Pro 2 har två videolägen. Buffrat, som är standard för filer, bearbetar klipp på 16 bildrutor som överlappar med fyra, vilket håller djupet stabilt där klippen möts. Obuffrat förutsäger varje bildruta när den anländer, utifrån den bildrutan och de 15 före den, och är läget för en livekamera. Apple dokumenterar kostnaden för livevägen i stället för att dölja den: de första bildrutorna i en ström har färre föregångare att ta hänsyn till, så deras djup är mindre stabilt.

Depth Pro har inget av lägena, eftersom det inte har någon uppmärksamhet mellan bildrutor att köra. Mata det med en video och du får oberoende uppskattningar per bildruta, och eventuellt flimmer mellan dem är upp till dig att jämna ut. För stillbilder är det ingen förlust; för allt med rörelse i är det skillnaden som uppföljaren byggdes för att täppa till.

Vad förändrades inte

De metriska konventionerna är identiska, vilket är goda nyheter för den som migrerar: de två modellerna är överens om vad siffrorna betyder. Djup är avståndet längs kamerans blickaxel – z-koordinaten – inte det raka avståndet från linsen. Inverterat djup i Python normaliseras med brännvidden och är lika med focallength_px / (width * depth). Djupet skalar med brännvidden, så en brännvidd som är 10 procent för lång placerar allt 10 procent för långt bort. Himmelspixlar returneras som oändligt djup eller, särskilt på de mindre modellerna, som ett ändligt djup på flera kilometer, och dokumentationen säger att man ska klippa intervallet innan man skapar ett punktmoln.

Brännviddsuppskattning är fortfarande en förstklassig del av paketet och kan fortfarande hoppas över. Foton som registrerar en 35mm-ekvivalent brännvidd i EXIF använder den; allt annat går genom uppskattaren. Depth Pro 2 delar upp den uppskattaren i ett separat repository med 23,5M parametrar, apple/DepthPro2-focal, som laddas tillsammans med vilken storlek som helst och även kan köras separat – användbart om du vill göra kameraberäkningen en gång och djupmodellen många gånger. Med Depth Pro var samma funktion inbyggd i den enda checkpointen utan något sätt att separera de två.

Core ML-stödet finns kvar och förbättras. Depth Pro 2 levereras med exporterade Core ML-paket i ett dedikerat repository och innehåller en minimal Mac-demoapp som visar djup i realtid från kameran, vilket kräver Apple silicon, macOS 15 och Xcode 16. Det är en lägre tröskel till en fungerande demo än vad originalet erbjöd.

Fyra storlekar mot en kontrollpunkt

Den största praktiska skillnaden är att Depth Pro 2 vägrar vara en enda modell. Apple publicerar fyra, med parametrar och nedladdningsstorlekar:

• S — 24M parametrar, 97 MB, den rekommenderade startpunkten på en bärbar dator.

• B — 97M parametrar, 386 MB.

• L — 334 miljoner parametrar, 1,3 GB.

• H+ — 872M parametrar, 3,5 GB, standardvalet som kommandoraden laddar ner.

Storleken du väljer ändrar inte licensen alls och beteendet ganska mycket, eftersom de mindre modellerna enligt dokumentationen producerar fler av dessa felaktiga himmelsdjup på flera kilometer. H+ är standard av en anledning, men på en bärbar dator är S skillnaden mellan att fungera och att inte göra det.

Depth Pro är en enda checkpoint utan någon ratt. Det är inte en kritik – det var en utgåva från 2024 och artikeln rapporterade ett enda resultat på 0,3 sekunder – men det innebär att migreringsfrågan "vilken storlek" inte har någon motsvarighet på den gamla sidan, och varje jämförelse som behandlar "Depth Pro" som en rad mot fyra förenklar ett verkligt beslut.

Siffrorna, sådana de är.

Depth Pro 2:s kort rapporterar Boundary F1 och Jitter i genomsnitt över datamängderna Sintel och Spring, hävdar att det överträffar tidigare arbete som arbetar med en enskild bildruta eller flera bildrutor på båda, och plottar jämförelsen. Depth Pro är en av markörerna i den plotten. Axlarna är märkta – Boundary F1 från 0 till 0,3, jitter från 0,1 ned till 0 – men det finns ingen tabell per modell, så förbättringen är avläsbar till ungefär en hundradel: H+ ligger nära 0,29 Boundary F1 vid ungefär 0,017 jitter, den ursprungliga Depth Pro vid ungefär 0,235 och 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Betrakta det som ett leverantörsrapporterat, icke reproducerat påstående, vilket det är. Ingen tredje part har publicerat ett Boundary F1- eller Jitter-värde för Depth Pro 2, och den tekniska rapport som skulle definiera utvärderingsprotokollet är en platshållare. Det ursprungliga Depth Pro levererar däremot gränsmetrikerna i sin egen kodbas – eval/boundary_metrics.py exponerar SI_boundary_F1 och SI_boundary_Recall – så om du vill köra jämförelsen själv är verktygen för halva jämförelsen offentliga, och målcheckpointen är en omtränad approximation av en modell från en artikel.

Licens och den kommersiella frågan

Oförändrat, och värt att nämna eftersom det är sådant som lätt missas vid en uppgradering. Båda modellernas vikter omfattas av Apple Machine Learning Research Model-licensen, som förvaret definierar som tillåten användning uteslutande i forskningssyfte, vilket innebär icke-kommersiell vetenskaplig forskning och akademisk utveckling. Koden licensieras separat, och Depth Pro 2:s tackavsnitt anger TIMM och DINOv3 som dess grundvalar.

Så uppgraderingen är gratis i licenshänseende och otillgänglig i produkthänseende i båda ändarna. Om du släpper för intäkter är ingen av kontrollpunkterna den rätta, och samtalet du behöver är med Apple snarare än med en licensfil.

Att migrera, konkret

Depth Pro 2 är inte en direktersättning för Depth Pro, eftersom paketnamnet, ingångspunkten och modellidentifierarna alla har ändrats. Depth Pro installeras från apple/ml-depth-pro och körs som depth-pro-run -i ./data/example.jpg. Depth Pro 2 installeras från apple-aiml-research/ml-depth-pro-2 och körs som uv run depth-pro-2 predict -i assets/example.jpg -o out/, med -m depthpro2-s till -m depthpro2-h för storlek. I Python är importen depth_pro_2 och konstruktionsvägen är create_model_and_transforms eller DepthPro2.from_pretrained.

Även utdataformatet har ändrat form. Depth Pros model.infer() returnerar en dictionary med depth och focallength_px. Depth Pro 2:s infer() returnerar depth, och brännvidden hämtas mer naturligt från den separata estimatorn eller anges som f_px när du har den. Om du har en pipeline som går in i prediktionsdictionaryn, avsätt en eftermiddag.

Det du får för migreringen är ett storleksreglage, en videobana med två dokumenterade lägen, en separat fokalestimator och Core ML-paketering med en fungerande demapp. Det du inte får är en vetenskaplig artikel, en benchmarktabell per modell eller någon oberoende bekräftelse på att den nya modellen är bättre – bara ett punktdiagram med märkta axlar och ingen tabell bakom det.

Inget av detta dirigeras via oss, och det bör inte beskrivas som om det gjorde det: Depth Pro 2 är vikter med forskningslicens från Apples egna repositorier. Det är ett steg bort som ett routinglager motiverar sin plats – scenbeskrivningen, beslutet och skrivtexten kring ditt djupsteg är anrop till språkmodeller, och OrcaRouter sätter 200-plus hostade modeller på en enda nyckel till 0 % påslag över leverantörernas listpris, med automatisk failover mellan leverantörer, så en forskningscheckpoint utan releasekadens är det enda ömtåliga i pipelinen i stället för en av flera.

Om du kör Depth Pro och det fungerar är skälet att byta video. Om du kör Depth Pro och bara någonsin kör stillbilder är skärpan du har den skärpa som uppföljaren påstår sig ha behållit, och det ärliga att göra är att vänta på den tekniska rapporten innan du lägger en eftermiddag på att byta namn vid import.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.