Eine generierte Titelkarte für Depth Pro 2 vs. Depth Anything 3, mit einer linken Spalte mit der Aufschrift metrische Tiefe in Metern, Einzelbild sowie Video und Live-Feed und vier Größen bis zu 872M, und einer rechten Spalte mit der Aufschrift relative Tiefe, Kameraposen und Intrinsics sowie vier Größen bis zu 1,15B, plus ein OrcaRouter-Logo.
Guides & Insights

Depth Pro 2 vs Depth Anything 3: Meter oder Kameraposen

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Stell beiden Modellen dieselbe Frage – wie weit ist das entfernt? – und nur eines von ihnen antwortet in Metern. Depth Pro 2, Apples metrisches monokulares Tiefenmodell, liefert eine Tiefenkarte in Metern entlang der Blickachse der Kamera sowie die verwendete Brennweite. Depth Anything 3, das im November 2025 veröffentlichte Foundation-Modell von ByteDance Seed, nennt „relative Tiefe“ als seine erste Fähigkeit, zusammen mit Kameraposen-Schätzung und Pose-Conditioning. Es liefert Tiefe bis zu einem unbekannten Maßstab und liefert die Kameras, die diesen Maßstab rekonstruierbar machen.

Allein dieser Unterschied entscheidet bei den meisten Integrationen, bevor Genauigkeit überhaupt zur Sprache kommt, und er ist der Grund, warum ein direkter Benchmark-Vergleich zwischen den beiden weniger nützlich ist, als er aussieht. Die beiden Labore berichten über unterschiedliche Metriken, gegenüber unterschiedlichen Baselines, und keines hat die Evaluierung des anderen durchgeführt. Im Folgenden steht, was jedes Repository tatsächlich dokumentiert, wobei die Herstellerangaben als solche gekennzeichnet sind.

Zwei verschiedene Ausgaben, nur ein Buchstabe Unterschied

Das Prediction-Objekt von Depth Anything 3 ist der klarste Ausgangspunkt, weil es ungewöhnlich explizit ist. Ein einzelner Aufruf liefert Depth als [N, H, W] float32, eine Confidence-Map derselben Form, Extrinsics als [N, 3, 4]-Welt-zu-Kamera-Matrizen und Intrinsics als [N, 3, 3]. Exporte gehen nach GLB, NPZ, PLY, mini-NPZ, Gaussian-Splat-PLY oder ein Gaussian-Splat-Video.

Die Ausgabe von Depth Pro 2 ist enger gefasst und unmittelbar nützlicher, wenn die Antwort, die Sie benötigen, eine Zahl ist. Sie liefert eine Tiefenkarte in Metern, eine Brennweite in Pixeln und – in der NPZ-Ausgabe der Befehlszeile – genau diese beiden Arrays und sonst nichts. Die Umwandlung in eine Punktwolke bleibt Ihnen überlassen, wobei Sie die Brennweite und das Bildzentrum als Hauptpunkt verwenden oder Ihren tatsächlichen Hauptpunkt, wenn die Kamera kalibriert ist.

• Skalierung — Die Ausgabe von Depth Pro 2 ist metrisch; die Tiefe von Depth Anything 3 ist relativ, wobei die Skalierung aus der Pose und den Intrinsics wiedergewonnen wird, die es ebenfalls zurückgibt.

• Kameraparameter — Depth Anything 3 prognostiziert extrinsische und intrinsische Parameter; Depth Pro 2 prognostiziert nur die Brennweite und hat kein Konzept davon, wo sich die Kamera befindet.

• Konfidenz — Depth Anything 3 gibt eine Konfidenzkarte pro Pixel zurück; Depth Pro 2 gibt keine zurück.

• Eingabe — Depth Pro 2 verarbeitet ein einzelnes Foto, eine Videodatei oder einen Live-Kamerastream; Depth Anything 3 verarbeitet eine Liste von Bildern als einen Ansichtssatz.

• Lizenz — Die Gewichte von Depth Pro 2 sind ausschließlich für die Forschung bestimmt, im Rahmen der Apple Machine Learning Research Model License; Depth Anything 3 steht unter Apache 2.0 bei 0,08B und 0,12B sowie unter CC BY-NC 4.0 bei 0,35B und 1,15B.

Die vier Größen stimmen nicht überein.

Beide Modellfamilien veröffentlichen vier Checkpoints, und die Parameterzahlen liegen nahezu an denselben Stellen, was einen direkten Vergleich verlockend macht. Widerstehen Sie dieser Versuchung.

Depth Anything 3 veröffentlicht 0,08B, 0,12B, 0,35B und 1,15B – laut den Safetensors-Metadaten 34,3M, 135,4M, 410,9M und 1.355,7M Parameter. Depth Pro 2 veröffentlicht 24M, 97M, 334M und 872M. Die beiden kleinsten Depth-Pro-2-Größen sind deutlich kleiner als ihre Depth-Anything-3-Gegenstücke, und die größte ist deutlich kleiner als DA3 Giant.

Die Lizenzen sind entlang derselben Linie aufgeteilt wie die Größen, und das ist das Detail, das kommerziell zählt: Die beiden kleinen Checkpoints von Depth Anything 3 stehen unter Apache 2.0, die beiden großen unter CC BY-NC 4.0. Die vier von Depth Pro 2 stehen alle unter derselben reinen Forschungs-Lizenz, die im Repository als nichtkommerzielle wissenschaftliche Forschung und akademische Entwicklung definiert ist. Wenn Sie also überhaupt ein kommerziell lizenzierbares Tiefenmodell benötigen, ist Depth Anything 3-Small oder -Base die einzige Option in diesem Vergleich, und Depth Pro 2 ist es in keiner Größe.

Depth Anything 3 hat außerdem eine Revision 1.1, DA3-GIANT-1.1 und DA3-LARGE-1.1, mit identischen Parameterzahlen wie die Originale und Repositories, die am 11. Dezember 2025 erstellt wurden. Die ursprüngliche GIANT-Karte beschreibt die 3D-Gaussian-Schätzung als zusätzliche Fähigkeit, die die großen Größen mitbringen, sodass die Exportoberfläche breiter als nur Tiefe ist.

Was jedes Labor behauptet – und wogegen

Die Model Card von Depth Anything 3 enthält zwei vergleichende Aussagen und nennt für beide die Baselines: Es übertrifft Depth Anything 2 bei der monokularen Tiefenschätzung deutlich und VGGT bei der Mehransichts-Tiefen- und Posenschätzung. Das sind konkrete, falsifizierbare Aussagen über benannte Modelle, und die detaillierten Zahlen stehen im Paper und nicht in der Model Card.

Die Modellkarte von Depth Pro 2 stellt eine einzige Behauptung auf und nennt ihre Baseline nur als „frühere Arbeiten, die auf einem einzelnen Frame oder mehreren Frames operieren“. Sie berichtet, dass Depth Pro 2 diese Gruppe bei Boundary F1 und Jitter übertrifft, gemittelt über die Datensätze Sintel und Spring, und veranschaulicht dies mit einem Streudiagramm dieser beiden Metriken, dessen Achsen Boundary F1 von 0 bis 0,3 und Jitter von 0,1 bis 0 abbilden.

The sharpness-versus-temporal-consistency scatter from the Depth Pro 2 model card, plotting Boundary F1 from 0 to 0.3 against Jitter from 0.1 down to 0, with the four Depth Pro 2 sizes clustered near 0.29 F1 and 0.02 Jitter, Depth Pro at roughly 0.235 and 0.095, and single-frame and multi-frame baselines including VGGT, MapAnything and DA3-NGL lower on the jitter axis, averaged over Sintel and Spring.

Depth Anything 3 ist in diesem Diagramm enthalten – als DA3-NGL, eine der Multi-Frame-Baselines mit offenem Kreis, die bei ungefähr 0,06 Boundary F1 und 0,018 Jitter liegt. Ein Vergleich existiert also, aber nur anhand von Apples zwei Metriken, gemittelt über Sintel und Spring, wobei daneben keine Tiefenwerte von Depth Anything 3 angegeben sind. ByteDances eigener Vergleichssatz besteht aus Depth Anything 2 und VGGT, anhand der von ByteDance gewählten Metriken, und DA3-NGL wird dort nicht behandelt. Die beiden Sätze treffen sich nicht: Welche Karte man auch liest – das jeweils andere Labor hat die Achsen gewählt, und keines hat eine gemeinsame Tabelle veröffentlicht.

Das ist kein Ausweichen davor, einen Gewinner zu küren. Es ist der tatsächliche Stand der Evidenz, und es lohnt sich, das klar zu sagen, denn die Alternative – sich das Anbieterdiagramm herauszupicken, das dem Modell schmeichelt, das man ohnehin bevorzugt – ist genau die Art und Weise, wie schlechte Beschaffungsentscheidungen zustande kommen.

Video-Konsistenz ist Apples ganzes Argument

Depth Pro 2 existiert wegen einer bestimmten Schwäche der monokularen Tiefenschätzung: Wendet man ein Modell pro Einzelbild auf Video an, flackert die Tiefe, weil jedes Bild ohne Kenntnis seiner Nachbarbilder geschätzt wird. Apples Lösung ist architektonischer Natur. Das Modell ist ein Multi-View-Transformer über die Eingabebilder, und nach dem ersten Drittel seiner Blöcke wechselt die Aufmerksamkeit zwischen bildintern und bildübergreifend. Ein DPT-Decoder pro Einzelbild setzt dann Tokens aus mehreren Blöcken zu Feature-Maps in einer Auflösung von einem Zweiunddreißigstel bis einem Viertel der Eingangsauflösung zusammen.

The architecture diagram from the Depth Pro 2 model card showing a multi-view transformer processing input frames jointly, followed by a DPT decoder producing an inverse depth map per frame, with numbered annotations for alternating within-frame and across-frame attention and multi-scale decoder feature maps.

Die Betriebsmodi ergeben sich daraus. Der gepufferte Modus, der Standard für Videodateien, verarbeitet Clips von 16 Frames mit einer Überlappung von vier, damit die Tiefe über Clip-Grenzen hinweg stabil bleibt. Der ungepufferte Modus sagt jedes Frame bei Eintreffen anhand dieses Frames und der 15 davor vorher, für den Kameraeinsatz, mit dem dokumentierten Hinweis, dass die ersten Frames eines Streams weniger Vorgänger haben und daher eine weniger stabile Tiefe aufweisen. Ein Video erhält eine Brennweite über alle Frames — den Median der Schätzungen über das erste Fenster.

Depth Anything 3 behandelt mehrere Ansichten von Grund auf gemeinsam, denn genau das tut ein View-Set-Modell, doch seine Ausrichtung ist Rekonstruktion statt Stabilisierung. Die Sprache der Karte dreht sich darum, visuellen Raum aus beliebigen Ansichten zu rekonstruieren, und die Ausgaben – Extrinsics, Intrinsics, Punktkarten, Gaussian Splats – sind die Sprache einer 3D-Rekonstruktionspipeline. Wenn Ihr Problem „dieses Video flackert“ lautet, bietet Depth Pro 2 einen Modus dafür, und Depth Anything 3 ist ein anderes Produkt.

Tiefe in Metern ermitteln, so oder so

Die relative Tiefe von Depth Anything 3 ist weniger eine Einschränkung als vielmehr eine Arbeitsteilung: Das Modell liefert Ihnen die Kameras, und die Kameras sind es, die relative Tiefe in Meter umwandeln. Diese Umrechnung ist echte Arbeit – ein Skalierungsfaktor pro Szene, anhand einer bekannten Basislinie, einer bekannten Objektgröße oder eines Sensors – und es ist dieselbe Arbeit, die Depth Pro 2 bereits intern erledigt hat.

Die metrische Ausgabe von Depth Pro 2 bringt ihre eigenen Fehlermodi mit, und diese sind dokumentiert. Die Tiefe skaliert mit der Brennweite, daher führt eine um 10 Prozent zu lange Brennweite dazu, dass alles 10 Prozent zu weit entfernt liegt. Himmels-Pixel werden als unendliche Tiefe zurückgegeben oder, besonders bei den kleineren Modellen, als endliche Tiefe von mehreren Kilometern, daher empfiehlt die README, den Bereich zu clippen, bevor eine Punktwolke oder ein Farbbild erstellt wird. In Python wird die inverse Tiefe durch die Brennweite normalisiert und entspricht focallength_px / (width * depth). Ein Stream gehört zu einem Video und behält seine aktuellsten Frames und seine Brennweite, bis Sie einen neuen öffnen.

Keines der beiden Modelle ersetzt einen Tiefensensor auf einer texturlosen oder reflektierenden Oberfläche. Beide leiten die Skala aus visuellen Anhaltspunkten ab, und beide werden an denselben Arten von Stellen aus denselben Arten von Gründen scheitern.

Was es kostet, beide zu betreiben

{{1}}Der praktische Unterschied liegt im Abhängigkeitsgraphen. Depth Pro 2 wird als Python-Paket aus dem GitHub-Repository mit uv installiert, bietet eine Befehlszeile (uv run depth-pro-2 predict -i photo.jpg -o out/) und eine Python-API und liefert Core-ML-Exporte für Apple Silicon sowie eine Mac-Demo-App. Das Repository stellt ausdrücklich klar, dass es Code zum Ausführen der Modelle enthält, aber keinen Trainings- oder Evaluierungscode.{{/1}}

Depth Anything 3 lässt sich als editierbares Paket aus dem ByteDance-Seed-Repository installieren und stellt eine CLI bereit (da3 auto path/to/images --export-format glb) mit einem optionalen Backend-Prozess für wiederholte Inferenz – genau die Art von Detail, die erst auftaucht, wenn jemand das Ganze in einer Schleife laufen lässt.

Beide sind Forschungs-Checkpoints für einen einzigen Zweck, und keines von beiden ist etwas, das man routet. Was rund um eine Tiefenstufe liegt, ist Sprachmodell-Arbeit – eine Szene beschreiben, entscheiden, was damit zu tun ist, das Ergebnis niederschreiben – und genau dort spielt ein einzelner Endpunkt seine Stärke aus: OrcaRouter stellt über 200 gehostete Modelle hinter einer einzigen OpenAI-kompatiblen API zu 0 % Aufschlag auf den Listenpreis des Anbieters bereit, sodass die Reasoning-Stufen rund um dein Tiefenmodell einen Schlüssel und eine Rechnung haben. Der Tiefen-Checkpoint bleibt eine Abhängigkeit, die du festnagelst; die Pipeline drumherum muss es nicht sein.

Womit anfangen

Beginne mit Depth Anything 3, wenn du eine Szene aus mehreren Ansichten rekonstruierst und die Kameras, die Punktkarten und die Gaussian Splats in einem Aufruf haben möchtest, und wenn eine Apache-2.0-Lizenz bei den kleinen Größen das ist, was das Projekt überhaupt möglich macht. Sein Vergleichsset ist benannt, seine Ausgaben sind breit gefächert, und die kleinen Checkpoints sind die einzigen kommerziell lizenzierbaren Dinge in diesem Artikel.

Beginnen Sie mit Depth Pro 2, wenn die Antwort, die Sie benötigen, eine Entfernung in Metern aus einem Einzelbild oder einem Live-Feed ist und wenn Bild-zu-Bild-Stabilität die Eigenschaft ist, ohne die Ihre Anwendung scheitert. Gehen Sie davon aus, dass Sie die Himmelstiefe abschneiden, die Brennweite bewusst festlegen und früh dran sein werden – die Repositories haben Downloads im zweistelligen Bereich, der Code hat einen Commit und der technische Bericht ist noch ein Platzhalter.

Was dir keines der beiden Modelle liefert, ist eine belastbare Behauptung, dass es das andere schlägt, weil keines der beiden Labore den Test durchgeführt hat. Entscheide dich anhand des Ausgabeformats, der Lizenz und danach, ob deine Eingabe ein Video ist. Diese drei Fragen haben heute Antworten; die Bestenliste nicht.

A generated two-column scoreboard comparing Depth Pro 2 and Depth Anything 3 across six dimensions: depth type, camera parameters, video handling, largest model size, licence and published numbers, with a footer noting that no shared benchmark exists.