Eine generierte Vergleichskarte für Depth Pro und Depth Pro 2, die eine Veröffentlichung aus dem Jahr 2024 mit einem einzigen monokularen 0,3-Sekunden-Checkpoint und ohne Videomodus einer Veröffentlichung aus dem Jahr 2026 mit vier Größen von 24M bis 872M Parametern, Video- und Live-Feed-Modi sowie einem weiterhin als Platzhalter markierten technischen Bericht und einem OrcaRouter-Logo gegenüberstellt.
Guides & Insights

Depth Pro 2 vs. Depth Pro: Schärfe beibehalten, Jitter behoben

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Das ursprüngliche Depth Pro hat als Baseline ein ungewöhnliches Problem: Der von Apple veröffentlichte Checkpoint ist nicht das Modell, das im Paper beschrieben wird. Die Modellkarte sagt das direkt – der Checkpoint im Repository ist eine Referenzimplementierung, die neu trainiert wurde, und ihre Leistung kommt dem im Paper berichteten Modell nahe, entspricht ihm aber nicht exakt. Jeder Vergleich zwischen Depth Pro 2 und Depth Pro ist also ein Vergleich mit einem Platzhalter, einschließlich des Vergleichs auf der eigenen Modellkarte von Depth Pro 2.

Nach diesem Vorbehalt ist die Art des Upgrades klar genug. Depth Pro 2 behält die Eigenschaft, die Depth Pro bemerkenswert machte – scharfe Tiefe an Objektgrenzen, in Metern, aus einem einzigen Bild – und fügt eine zweite hinzu: Tiefe, die von Frame zu Frame stabil bleibt. Der Titel des Papers sagt es deutlich. Depth Pro war Scharfe monokulare metrische Tiefe in weniger als einer Sekunde. Depth Pro 2 ist Scharfe und zeitlich konsistente metrische monokulare Tiefe. Alles, was sich zwischen ihnen geändert hat, dient dem zweiten Adjektiv; am ersten hat sich fast nichts geändert.

Zwei Jahre, zwei sehr unterschiedliche Releases

Depth Pro erschien am 3. Oktober 2024 mit einem Paper, arXiv 2410.02073, und einem angegebenen Ergebnis: eine 2,25-Megapixel-Tiefenkarte in 0,3 Sekunden auf einer Standard-GPU. Das Repository verzeichnet 568 Likes und knapp über 6.200 Downloads. Es wurde als ein Checkpoint, depth_pro.pt, ausgeliefert, und seine Modellkarte beschreibt die technischen Beiträge – einen effizienten mehrskaligen Vision Transformer für dichte Vorhersage, ein Trainingsprotokoll, das reale und synthetische Daten mischt, dedizierte Metriken für Grenzgenauigkeit und State-of-the-Art-Brennweitschätzung aus einem einzelnen Bild.

Die Repositories von Depth Pro 2 wurden im November 2026 erstellt: die Model Card am 3. November, die Gewichte am 5. November, die Core-ML-Exporte am 9. November sowie der Fokus-Schätzer und das Code-Repository am 19. November. Sowohl die Model Card als auch die GitHub-README verweisen auf die arXiv-Kennung 261X.XXXXX, bei der es sich um einen Platzhalter und nicht um ein Preprint handelt. Auf machinelearning.apple.com gibt es dafür keine Forschungsseite – dieser Pfad liefert 404 –, und außerhalb des Streudiagramms der Card selbst gibt es nirgends Benchmark-Zahlen.

Die ehrliche Einordnung ist also, dass Depth Pro 2 eine Veröffentlichung der Gewichte mit Dokumentation ist, keine Publikation. Depth Pro war ein Paper mit einem Checkpoint. Wenn man etwas zitiert, liefert das eine eine Zahl und das andere ein Repository.

Was hat sich in der Architektur tatsächlich geändert?

Depth Pro war ein Einzelbildmodell. Depth Pro 2 ist ein Multi-View-Transformer, der einen oder mehrere Frames gemeinsam verarbeitet, und der Mechanismus ist spezifisch: Nach dem ersten Drittel seiner Blöcke wechselt die Attention zwischen innerhalb jedes Frames und frameübergreifend. Ein DPT-Decoder sagt dann eine inverse Tiefenkarte pro Frame voraus und setzt Tokens aus mehreren Blöcken zu Feature-Maps in einer Auflösung von einem Zweiunddreißigstel bis zu einem Viertel der Eingangsauflösung zusammen.

The method figure from the Depth Pro 2 model card showing a multi-view transformer over input frames followed by a per-frame DPT decoder, with numbered annotations for alternating within-frame and across-frame attention after the first third of blocks and for decoder feature maps at one thirty-second to one quarter resolution.

Das ist das gesamte architektonische Argument für die Fortsetzung, und es hat eine sichtbare Konsequenz dafür, wie man das Modell betreibt. Depth Pro 2 hat zwei Videomodi. Gepuffert, der Standard für Dateien, verarbeitet Clips von 16 Frames mit einer Überlappung von vier Frames, was die Tiefe an den Übergängen zwischen Clips stabil hält. Ungepuffert sagt jedes Frame voraus, sobald es eintrifft, aus diesem Frame und den 15 davor, und ist der Modus für eine Live-Kamera. Apple dokumentiert die Kosten des Live-Pfads, statt sie zu verbergen: Die ersten Frames eines Streams haben weniger Vorgänger, auf die sie achten können, daher ist ihre Tiefe weniger stabil.

Depth Pro hat keinen der beiden Modi, weil es keine Cross-Frame-Attention auszuführen hat. Gib ihm ein Video, und du erhältst unabhängige Schätzungen pro Frame, und jedes Flackern dazwischen musst du selbst glätten. Bei Standbildern ist das kein Verlust; bei allem, was Bewegung enthält, ist es der Unterschied, den zu schließen die Fortsetzung entwickelt wurde.

Was sich nicht geändert hat

Die metrischen Konventionen sind identisch, was eine gute Nachricht für alle ist, die migrieren: Die beiden Modelle stimmen darin überein, was die Zahlen bedeuten. Die Tiefe ist der Abstand entlang der Sichtachse der Kamera – die z-Koordinate –, nicht die geradlinige Entfernung vom Objektiv. Die inverse Tiefe wird in Python durch die Brennweite normiert und entspricht focallength_px / (width * depth). Die Tiefe skaliert mit der Brennweite, sodass eine um 10 Prozent zu lange Brennweite alles 10 Prozent zu weit entfernt platziert. Himmelspixel werden als unendliche Tiefe zurückgegeben oder, insbesondere bei den kleineren Modellen, als endliche Tiefe von mehreren Kilometern, und die Dokumentation rät Ihnen, den Bereich zu beschneiden, bevor Sie eine Punktwolke erstellen.

Die Brennweitenschätzung ist weiterhin ein fester Bestandteil des Pakets und lässt sich weiterhin überspringen. Fotos, die eine 35-mm-äquivalente Brennweite in den EXIF-Daten aufzeichnen, verwenden diese; bei allen anderen kommt der Schätzer zum Einsatz. Depth Pro 2 lagert diesen Schätzer in ein separates Repository mit 23,5 Mio. Parametern, apple/DepthPro2-focal, aus, das sich neben jeder Modellgröße laden und auch eigenständig ausführen lässt – nützlich, wenn man den Kamera-Solve einmal und das Tiefenmodell viele Male ausführen möchte. Bei Depth Pro war dieselbe Funktion fest im einzelnen Checkpoint integriert, ohne Möglichkeit, beides zu trennen.

Die Core ML-Unterstützung wird beibehalten und verbessert. Depth Pro 2 liefert exportierte Core ML-Pakete in einem eigenen Repository und enthält eine minimale Mac-Demo-App, die Live-Tiefe von der Kamera anzeigt und Apple silicon, macOS 15 und Xcode 16 voraussetzt. Das ist eine niedrigere Hürde für eine funktionierende Demo, als sie das Original bot.

Vier Größen gegen einen Checkpoint

Der größte praktische Unterschied ist, dass Depth Pro 2 sich weigert, ein einziges Modell zu sein. Apple veröffentlicht vier, mit Parametern und Downloadgrößen:

• S — 24 Mio. Parameter, 97 MB, der empfohlene Einstiegspunkt auf einem Laptop.

• B — 97 Mio. Parameter, 386 MB.

• L — 334 Mio. Parameter, 1,3 GB.

• H+ — 872 Mio. Parameter, 3,5 GB, die Standardvariante, die die Befehlszeile herunterlädt.

Die gewählte Größe ändert an der Lizenz überhaupt nichts und am Verhalten ziemlich viel, da die kleineren Modelle laut Dokumentation mehr dieser fälschlichen mehrkilometrigen Himmelstiefen erzeugen. H+ ist aus gutem Grund die Voreinstellung, aber auf einem Laptop ist S der Unterschied zwischen funktionieren und nicht funktionieren.

Depth Pro ist ein einziger Checkpoint ohne Stellschraube. Das ist keine Kritik – es war eine Veröffentlichung aus dem Jahr 2024, und das Paper berichtete ein einziges Ergebnis von 0,3 Sekunden –, aber es bedeutet, dass die Migrationsfrage „welche Größe“ auf der alten Seite kein Gegenstück hat, und jeder Vergleich, der „Depth Pro“ als eine Zeile gegen vier behandelt, eine echte Entscheidung einebnet.

Die Zahlen, so wie sie nun einmal sind

Die Modellkarte von Depth Pro 2 berichtet Boundary F1 und Jitter, gemittelt über die Datensätze Sintel und Spring, behauptet, frühere Arbeiten, die mit einem einzelnen Frame oder mit mehreren Frames arbeiten, bei beiden Datensätzen zu übertreffen, und stellt den Vergleich als Diagramm dar. Depth Pro ist einer der Marker auf diesem Diagramm. Die Achsen sind beschriftet – Boundary F1 von 0 bis 0,3, Jitter von 0,1 abwärts bis 0 –, aber es gibt keine Tabelle pro Modell, sodass die Verbesserung nur bis auf etwa ein Hundertstel ablesbar ist: H+ liegt bei etwa 0,29 Boundary F1 bei ungefähr 0,017 Jitter, das ursprüngliche Depth Pro bei ungefähr 0,235 und 0,095.

The tradeoff scatter published on the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 on the vertical axis against Jitter from 0.1 down to 0 on the horizontal axis, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL, averaged over the Sintel and Spring datasets.

Behandeln Sie das als eine vom Anbieter gemeldete, nicht reproduzierte Behauptung – was sie auch ist. Kein Dritter hat einen Boundary-F1- oder Jitter-Wert für Depth Pro 2 veröffentlicht, und der technische Bericht, der das Evaluierungsprotokoll definieren würde, ist ein Platzhalter. Das ursprüngliche Depth Pro hingegen liefert die Boundary-Metriken in seiner eigenen Codebasis mit – eval/boundary_metrics.py stellt SI_boundary_F1 und SI_boundary_Recall bereit –, sodass die Werkzeuge für die Hälfte des Vergleichs öffentlich sind, falls Sie ihn selbst durchführen möchten, und der Ziel-Checkpoint eine neu trainierte Annäherung an ein Modell aus einem Paper ist.

Lizenz und die kommerzielle Frage

Unverändert – und erwähnenswert, weil es zu den Dingen gehört, die bei einem Upgrade übersehen werden. Die Gewichte beider Modelle stehen unter der Apple Machine Learning Research Model Licence, die das Repository so definiert, dass sie die Nutzung ausschließlich für Forschungszwecke erlaubt, also nichtkommerzielle wissenschaftliche Forschung und akademische Entwicklung. Der Code ist separat lizenziert, und die Danksagungen von Depth Pro 2 nennen TIMM und DINOv3 als seine Grundlagen.

Die Aktualisierung ist also im Lizenzsinn kostenlos und im Produktsinn an beiden Enden nicht verfügbar. Wenn es Ihnen um Umsatz geht, ist keiner der beiden Prüfpunkte der richtige, und das Gespräch, das Sie brauchen, führen Sie mit Apple und nicht mit einer Lizenzdatei.

Migration, konkret

Depth Pro 2 ist kein Drop-in-Ersatz für Depth Pro, da sich Paketname, Einstiegspunkt und Modellbezeichner alle geändert haben. Depth Pro wird von apple/ml-depth-pro installiert und läuft als depth-pro-run -i ./data/example.jpg. Depth Pro 2 wird von apple-aiml-research/ml-depth-pro-2 installiert und läuft als uv run depth-pro-2 predict -i assets/example.jpg -o out/, mit -m depthpro2-s bis -m depthpro2-h für die Größe. In Python lautet der Import depth_pro_2 und der Konstruktionspfad ist create_model_and_transforms oder DepthPro2.from_pretrained.

Auch die Form der Ausgabeoberfläche hat sich geändert. model.infer() von Depth Pro gibt ein Dictionary mit depth und focallength_px zurück. infer() von Depth Pro 2 gibt depth zurück, und die Brennweite lässt sich natürlicher aus dem separaten Schätzer beziehen oder als f_px angeben, wenn man sie hat. Wenn Sie eine Pipeline haben, die in das Vorhersage-Dict hineingreift, planen Sie einen Nachmittag ein.

Was du für die Migration bekommst, ist ein Größenregler, ein Videopfad mit zwei dokumentierten Modi, ein separater Fokus-Schätzer und Core ML-Paketierung mit einer funktionierenden Demo-App. Was du nicht bekommst, ist ein Paper, eine Benchmark-Tabelle pro Modell oder irgendeine unabhängige Bestätigung, dass das neue Modell besser ist – nur ein Streudiagramm mit beschrifteten Achsen und ohne Tabelle dahinter.

Nichts davon läuft über uns, und es sollte auch nicht so beschrieben werden, als wäre es so: Depth Pro 2 sind forschungslizenzierte Gewichte aus Apples eigenen Repositories. Der Punkt, an dem sich eine Routing-Schicht bezahlt macht, liegt einen Schritt weiter außen – die Szenenbeschreibung, die Entscheidung, die Ausarbeitung rund um deine Depth-Stufe sind Sprachmodell-Aufrufe, und OrcaRouter bringt über 200 gehostete Modelle auf einen einzigen Schlüssel bei 0 % Aufschlag auf den Listenpreis des Anbieters, mit automatischem Failover über Anbieter hinweg, sodass ein Forschungs-Checkpoint ohne Release-Kadenz das einzige fragile Element in der Pipeline ist und nicht eines von mehreren.

Wenn Sie Depth Pro nutzen und es funktioniert, ist Video der Grund zu wechseln. Wenn Sie Depth Pro nutzen und ausschließlich Standbilder aufnehmen, ist die Schärfe, die Sie haben, die Schärfe, die der Nachfolger laut eigener Aussage beibehalten hat, und das Ehrliche wäre, den technischen Bericht abzuwarten, bevor Sie einen Nachmittag mit einer Import-Umbenennung verbringen.

A generated two-column scoreboard comparing Depth Pro and Depth Pro 2 across six dimensions: release date and paper, parameter count, video modes, focal length estimation, Core ML export and licence, with a footer noting that Depth Pro 2's figures are vendor-reported and its technical report is still a placeholder.