כרטיס כותרת שנוצר שעליו הכיתוב Depth Pro 2 vs VGGT באותיות גיאומטריות כהות וגדולות, ומתחתיו הכיתוב A measurement or a reconstruction מעל פס גרדיאנט דק מכחול לתכלת.
Engineering & Research

Depth Pro 2 לעומת VGGT: עומק מטרי או גיאומטריה רב-מבטית

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

כוונו טלפון אל חדר, הסתובבו בו והקליטו ארבעים שניות של וידאו. שני מודלים יכולים להפוך את זה לגאומטריה, והם לא יסכימו מהי הגאומטריה. Depth Pro 2, מודל העומק המונוקולרי המטרי של Apple, מחזיר ערך עומק במטרים לכל פיקסל בכל פריים, עם אורך מוקד מצורף. VGGT — ה-Visual Geometry Grounded Transformer מ-Meta AI Research וקבוצת VGG של אוניברסיטת אוקספורד, שפורסם ב-CVPR 2025 — מחזיר פרמטרים חיצוניים ופנימיים של המצלמה, מפות נקודות, מפות עומק ומסלולי נקודות תלת-ממדיות עבור כל מערך התצוגות בבת אחת.

אחד מהפלטים האלה הוא מדידה. האחר הוא שחזור. הבחירה ביניהם אינה שאלה של מה מדויק יותר, משום ששני המודלים עונים על שאלות שונות, והתשובה שאתה צריך נקבעת לפי מה שבא אחרי המודל בצינור העיבוד שלך.

מה כל מודל נועד לעשות

VGGT היא רשת feed-forward שמסיקה את כל המאפיינים התלת-ממדיים המרכזיים של סצנה מתצוגה אחת, ממספר תצוגות בודדות או ממאות תצוגות, בתוך שניות. הרעיון המרכזי הוא אומדן משותף: במקום להריץ מודל עומק לכל פריים ואז לפתור תנוחות מצלמה בשלב נפרד של structure-from-motion, VGGT מפיקה תנוחות, פרמטרים פנימיים, עומק ומסלולי נקודות במעבר אחד, כאשר התצוגות מפעילות קשב זו על זו. לכן הטענה בדבר "מאות תצוגות" חשובה — היא מהווה תחליף לצינור פוטוגרמטריה, ולא תוספת לו.

{{1}}Depth Pro 2{{/1}} הוא אומד עומק מטרי חד-עיני, והמילה שעושה את העבודה היא {{2}}מטרי{{/2}}. הפלט שלו הוא מפת עומק במטרים לאורך כיוון הצפייה של המצלמה, המחושבת מתמונה בודדת, ללא צורך במטא-נתוני מצלמה — המודל יכול לקרוא אורך מוקד מ-EXIF, לקבל אורך מוקד שתספקו בפיקסלים, או לחזות אותו באמצעות אומדן נפרד בעל 23.5 מיליון פרמטרים שמגיע כמאגר משל עצמו. הוא מטפל גם בווידאו, ומכאן ה־"2": שנסאי רב-מבטי מעבד פריימים יחד, ומחליף קשב בתוך כל פריים ובין פריימים לאחר השליש הראשון של הבלוקים שלו, ומפענח DPT פולט מפת עומק הפוכה לכל פריים.

A screenshot of the Hugging Face model card for facebookresearch/vggt, captured November 20 2026, showing the VGGT-1B checkpoint, its download count and the licence line.

• יחידת עבודה — VGGT מקבל סט של נקודות מבט; Depth Pro 2 מקבל תמונה, סרטון או שידור חי.

• פלט ראשי — VGGT מספק פרמטרי מצלמה, מפות נקודות, מפות עומק ומסלולי נקודות תלת-ממדיים; Depth Pro 2 מספק עומק מטרי וכן את אורך המוקד שבו השתמש.

• פענוח מצלמה — VGGT מעריך אותו כחלק מהבעיה המשותפת; Depth Pro 2 קורא, מקבל או חוזה אורך מוקד, ללא פרמטרים חיצוניים.

• קנה מידה — הפלט העיקרי של Depth Pro 2 הוא במטרים; כרטיס המודל של VGGT מתאר פרמטרי מצלמה, מפות נקודות, עומק ומסלולים ואינו מתיימר לקנה מידה מטרי.

• פרסום — VGGT פורסם ב-CVPR 2025 (arXiv 2503.11651); המאגרים של Depth Pro 2 נוצרו בנובמבר 2026, ודוח טכני עדיין ממתין.

שאלת ההיקף מכריעה את רוב הפריסות

אם אתה צריך לדעת שהשולחן נמצא במרחק 0.74 מטר, VGGT לא אומר לך זאת ישירות, ו-Depth Pro 2 כן. זה כל הטיעון במשפט אחד, וכדאי להיות מדויקים לגבי הסיבה.

הטענה המטרית של Depth Pro 2 היא ארכיטקטונית, לא מקרית. Depth Pro המקורי נבנה כמודל יסוד לעומק מטרי ב-zero-shot, והמאגר מפורש לגבי המוסכמות: העומק הוא קואורדינטת ה-z לאורך כיוון הצפייה ולא מרחק רדיאלי, עומק הופכי מנורמל לפי אורך מוקד, ואורך מוקד ארוך ב-10 אחוז מציב הכול רחוק ב-10 אחוז. אלו הן המוסכמות של מודל שהפלט שלו אמור להיקרא כמדידה, ו-Depth Pro 2 יורש אותן ללא שינוי בכל ארבעת הגדלים.

הפלט של VGGT הוא גאומטרי. הפרמטרים החיצוניים והפנימיים של המצלמה, מפות נקודות ומסלולי נקודות עקביים פנימית — השחזור נכון עד כדי טרנספורמציית דמיון גלובלית — ושחזור קנה המידה המוחלט ממנו הוא שלב נפרד, שלרוב כולל נקודת ייחוס ידועה בסצנה. עבור סינתזה של נקודות מבט חדשות, עבור נכס תלת-ממדי, ועבור כל דבר שבו תשנה את קנה המידה של הסצנה כך שתתאים לצופה, זה בסדר ולעיתים קרובות עדיף. עבור רובוט שצריך לדעת אם מכשול נמצא במרחק מטר אחד או שלושה מטרים, זו בעיה שעליך לפתור מחוץ למודל.

ל-Depth Pro 2 יש כאן בעיות כנות משל עצמו. פיקסלים של שמיים מתקבלים כעומק אינסופי, או, במיוחד במודלים הקטנים יותר, כעומק סופי של כמה קילומטרים, כך שענן נקודות נאיבי שנבנה מהפלט שלו יכיל קיר של גאומטריה רחוקה שגויה במקום שבו נמצאים השמיים. ה-README אומר לך לקצץ את טווח העומק לפני יצירת ענן נקודות או תמונת צבע, וזה מסוג ההוראות שמופיעות רק אחרי שמישהו כבר נכווה מהן.

עקביות הווידאו היא התרומה האמיתית

Depth Pro 2 אינו כל כך Depth Pro טוב יותר אלא גרסה מיוצבת בזמן שלו, והמנגנון כולו נמצא בתבנית הקשב. אחרי השליש הראשון של הבלוקים שלו, הטרנספורמר מחליף בין קשב בתוך כל פריים לבין קשב בין פריימים, וה-decoder של DPT מרכיב טוקנים מכמה בלוקים למפות מאפיינים ברזולוציה של בין 1/32 ל-1/4 מרזולוציית הקלט. מטרת ההחלפה הזו היא Jitter — מדד העקביות הזמנית — ועמוד הפרויקט מדווח עליו לצד Boundary F1, בממוצע על פני מערכי הנתונים Sintel ו-Spring, עם הטענה ש-Depth Pro 2 עולה על עבודות קודמות שפועלות על פריים יחיד או על מספר פריימים, בשני המדדים.

אין ערכים שמלווים את הטענה הזו, ולא מצוינים קווי בסיס. העמוד מתייחס רק ל"עבודות קודמות הפועלות על פריים בודד או על מספר פריימים" ול"קווי בסיס בהגדרות ברירת המחדל שלהם", ובלוק הציטוט מציין arXiv:261X.XXXXX — מציין מקום, לא מאמר. כל מי שמצטט מספר Boundary F1 או Jitter עבור Depth Pro 2 קורא אותו מתוך תרשים.

A screenshot of the Apple Depth Pro 2 project page, captured November 20 2026, showing the video results and the Boundary F1 and Jitter panels with no values printed.

מעטפת הפעולה של Depth Pro 2 צרה יותר מכפי שמסגור הווידאו שלה מרמז, והצרות הזו מתועדת. מצב ברירת המחדל שלה צורך קליפים של 16 פריימים עם חפיפה של ארבעה פריימים, והמסלול החי מריץ כל פריים מול חמישה עשר הפריימים שקדמו לו, כלומר השנייה הראשונה בכל זרם היא השנייה הרעועה ביותר שתקבלו. אורך מוקד אחד משרת וידאו שלם, ונבחר כחציון על פני חלון הפתיחה — כך שקודקוד? קליפ שמבצע זום יקבל אומדן אורך מוקד בשווי פריים אחד שמוחל על כל הפריימים. הזיכרון משתנה בהתאם לגודל הפריים ולחלון, ולא למשך, והפתרון של Apple לוידאו שנגמר לו הזיכרון הוא לקצר את החלון לפני הקטנת המודל.

ל-VGGT אין מצב שקול, כי הוא אינו זקוק לו. הוא כבר מטפל בכל מערך התצוגות באופן משותף, וזו צורה חזקה יותר של אותה הבטחה — בתנאי שתוכל להרשות לעצמך את הקשב על פני מאות תצוגות, ובתנאי שהיישום שלך מעוניין בשחזור ולא בקריאת עומק לכל פריים.

גדלים, ייצוא ומה שאתה בעצם מריץ

Depth Pro 2 מספק ארבעה גדלים עם נתונים שפורסמו: S עם 24M פרמטרים ו-97 MB, ‏B עם 97M ו-386 MB, ‏L עם 334M ו-1.3 GB, ו-H+ עם 872M ו-3.5 GB, כאשר H+ הוא ברירת המחדל ו-S מומלץ למחשבים ניידים. קובצי התצורה מציגים את מבנה המשפחה — עמודי השדרה DINOv3 ViT-S ו-ViT-B בזוג הקטן מפעילים קשב בבלוקים 5, 7, 9 ו-11, ‏ViT-L מפעיל קשב בבלוקים 9 עד 23, ‏ViT-H+ בבלוקים 11 עד 31, עם ממדי מפענח של 64, 128, 256 ו-256. ייצוא Core ML עבור Apple silicon מסופק כמאגר נפרד, ומאגר הקוד כולל אפליקציית הדגמה ל-Mac לעומק חי מהמצלמה.

VGGT-1B הוא צ'קפוינט יחיד בעל מיליארד פרמטרים, והמשפחה מאז כבר התקדמה הלאה. VGGT-Omega שוחרר ב-18 במאי 2026 כ"הצעד הבא של VGGT", וצ'קפוינט מסחרי, VGGT-1B-Commercial, קיים לצד המקורי עם AUC@30 של 90.37 ב-Co3D לעומת 89.98 במקורי — מספר הבנצ'מרק היחיד בכרטיס המודל, וגם הוא שולי. ל-VGGT-1B יש 748,148 הורדות נכון לכתיבת שורות אלה, מה שמעיד משהו על עד כמה קהילת המחקר אימצה אותו כבסיס.

A screenshot of the GitHub repository page for facebookresearch/vggt, captured November 20 2026, showing the README, the checkpoint listing and the CC BY-NC 4.0 licence notice.

Depth Pro 2 הוא הסיפור ההפוך. לארבעת הצ'קפוינטים שלו יש הורדות בעשרות בודדות, המאגרים נוצרו בתחילת נובמבר 2026, והיחידים שאוהבים את מאגר הכרטיס הם קומץ בודד. זהו מודל שפורסם ועדיין לא זכה לתשומת לב. כדאי לדעת זאת לפני שאתם מתחייבים: אם תיתקלו בבאג, אתם תהיו אלה שיגישו את הדיווח.

רישוי ונקודת הביקורת המסחרית

VGGT-1B הוא CC BY-NC 4.0, לא מסחרי. קיומו של VGGT-1B-Commercial הוא הפרט המעניין — Meta סיפקה גרסה הניתנת לרישוי מסחרי, מה שאומר שהמסלול ממחקר למוצר קיים בלי משא ומתן על רישיון. המשקלים של Depth Pro 2 נמצאים תחת רישיון Apple Machine Learning Research Model, לשימוש מחקרי בלבד, כפי שהמאגר מגדיר: פעילויות מחקר מדעי ופיתוח אקדמי שאינן מסחריות.

אף אחד מהרישיונות אינו רישיון מוצר על ה-checkpoint הפתוח. ההבדל הוא שמשפחת VGGT כוללת אפשרות מסחרית וזו של Depth Pro 2 לא, כך שאם אתם בונים למטרות רווח, לאחד מהם יש דלת ולשני יש קיר.

זהו אותו חישוב שמופיע שכבה אחת למעלה בכל צינור ייצור. מודל שחזור הוא קריאה אחת; סביבו יושב החלק שקורא סצנה, מחליט מה לעשות וכותב אותה — עבודה של מודל שפה, שבה הספק מפרט מחיר ואגרגטור או מעביר אותו הלאה או לא. ההצעה של OrcaRouter היא 0% תוספת מחיר על 217 מודלים עם מעבר אוטומטי בין ספקים במקרה תקלה, וזה חשוב ביותר דווקא כאן: כאשר שלב הגאומטריה הוא צ'קפוינט מחקרי עם קומץ הורדות ואין קצב שחרורים, רוצים ששאר הצינור יהיה החלק המשעמם ובעל היתירות.

מי צריך להתחיל עם מה

התחל עם VGGT אם אתה משחזר סצנה מתצוגות רבות ואתה תטפל בקנה המידה בהמשך — סינתזת תצוגות חדשות, נכס תלת-ממדי, מערך נתונים שנבנה מווידאו שבו הגאומטריה היא התוצר. הפתרון המשותף של מצלמה וגאומטריה הוא מה שהופך אותו לשווה את מיליארד הפרמטרים, ו-VGGT-Omega הוא הדור הנוכחי אם אתה מתחיל מאפס.

התחילו עם Depth Pro 2 אם אתם צריכים מטרים מפריים בודד, או אם אתם צריכים שהעומק יישאר יציב מפריים לפריים בשידור חי. חוגת הגודל אמיתית ותהליך העבודה על המחשב הנייד מתועד. היכנסו לזה בציפייה לחתוך עומק שמיים, צפו להיות הראשונים לדווח על רוב הבאגים, וצפו להמתין לדוח הטכני לפני שתוכלו לצטט מספר Boundary F1 למישהו.

מה שאסור לך לעשות הוא להתייחס לזה כאל השוואה ראש בראש. VGGT משחזר, Depth Pro 2 מודד, וההשוואה ההוגנת היחידה היא איזה מהם קוד ה-downstream שלך יכול לצרוך. ברוב צינורות ה-3D התשובה היא VGGT ושלב שחזור קנה מידה; ברוב צינורות הרובוטיקה וה-AR היא Depth Pro 2 ותקציב עמידות ל-smoke.