PAN 2 לעומת Cari4D: צפייה באינטראקציה, וניבוי של אחת

Cari4D יודע מה יד עשתה לחפץ. PAN 2 יכול להראות לך מה יד תעשה לחפץ אם תבקש ממנו. אלה כיווני תנועה מנוגדים לאורך אותו ציר, ועד שתאמר באיזה כיוון הבעיה שלך נעה, השוואה ביניהם היא הטלת מטבע מחופשת לניתוח. Cari4D הוא קו השחזור ה-4D של NVIDIA שאינו תלוי קטגוריה — מודל CoCoNet שצופה בווידאו RGB מונוקולרי של אדם אחד המטפל בחפץ קשיח אחד ומשחזר את תנוחותיהם בקנה מידה מטרי, פריים אחר פריים, עם צ'קפוינט בעל 231 מיליון פרמטרים ברישיון מסחרי ב-Hugging Face מאז 30 באוגוסט 2026. PAN 2 הוא מודל עולם במשקלים פתוחים של IFM, בעל 29 מיליארד פרמטרים, ששוחרר כצ'קפוינט Apache-2.0 ב-7 באוקטובר 2026, והולך בכיוון ההפוך: תן לו פריים ופעולה מתוארת והוא מרנדר עד עשרים שניות של וידאו ב-704×1248 שמנבא מה הפעולה עושה. אחד קורא. אחד כותב. הסיבה ששווה להעמיד אותם זה לצד זה היא שהארטיפקט שמחבר ביניהם — תיאור מובנה של מי עשה מה לאיזה חפץ — הוא בדיוק מה שכל אחד מהם מייצר או צורך.

שני צינורות שנראים דומים ואין להם דבר במשותף

Cari4D אינו רשת אחת שמגיבה לווידאו. זוהי שרשרת של מודלי יסוד עם שלב תיקון נלמד באמצע: UniDepth לעומק מטרי, NLF ו-GENMO לתנוחת אדם, Hunyuan3D לרשתות אובייקטים מתמונה בודדת, FoundationPose למעקב, VolumetricSMPL למודל גוף של מרחק מסומן. CoCoNet — החלק ש-NVIDIA משחררת — מרנדר את האומדן הנוכחי של האדם והאובייקט ל-RGB, עומק ומסכות, משווה את הרינדור הזה לתצפית האמיתית דרך מקודד RGB מסוג DINOv2 ViT-B/14 ומקודד שישה ערוצים מסוג ViT-S/14, מריץ שני בלוקי קשב מרחבי-זמני ומבצע רגרסיה של תיקונים לכל פריים דרך ראשי MLP.

השרשרת של PAN 2 פועלת בכיוון ההפוך ויש בה מודל שפה. מנוע הסקה קונספטואלי — כל מודל שפועל לפי הוראות — קורא את התבוננות ואת הפעולות המבוקשות וכותב את מצב העולם הבא ככיתוב מובנה ומעוגן בזמן: אירועים לפי הסדר, פעולות הקשורות לפעילים, תנועת מצלמה. מקודד טקסט קפוא של Qwen3.5-9B ממפה את הכיתוב הזה למאפייני התניה. טרנספורמר דיפוזיה מולטי-מודאלי בגודל 29B חוזה את הלטנטים של הווידאו שהכיתוב משאיר פתוחים, בהתניה עליו ועל הלטנט של ה-VAE מפריים ההתחלה, ומפענח של Wan 2.2 מרנדר אותם.

אז הדמיון שגורם לאנשים לחבר ביניהם הוא אמיתי — שניהם עוסקים בבני אדם, בידיים, בחפצים ובפיזיקה של מגע — והמנגנון שמתחת אינו קשור כלל.

• כיוון — Cari4D משחזר פרמטרים מפיקסלים; PAN 2 מייצר פיקסלים מפרמטרים.

• פלט — Cari4D מחזיר תנוחת גוף וצורה אנושית לכל פריים על ריג MHR, תנוחת אובייקט לכל פריים, ושני לוגיטים של מגע יד; PAN 2 מחזיר MP4.

• קלט — Cari4D מקבל וידאו RGB מונוקולרי אחד; PAN 2 מקבל פריים ראשון אופציונלי בתוספת כיתוב פעולה מובנה.

• גודל — Cari4D CoCoNet הוא בעל 231M פרמטרים, מאומן עד לצעד 200,000; עמוד השדרה של הדיפוזיה של PAN 2 הוא 29B, עם מקודד טקסט קפוא נפרד של 9B ו-VAE מסוג Wan 2.2.

• קנה מידה מטרי — הטענה המרכזית של Cari4D היא שחזור מטרי ממצלמה בודדת ללא חיישן עומק; ל-PAN 2 אין כלל טענה מטרית, והפלט שלו הוא תחזית ולא מדידה.

• הערכה — המספרים של Cari4D מגיעים ממאמר CVPR 2026 ובנוסף מכרטיס ספק שמודה שלמודל המסחרי אין סט מבחן נפרד; אלה של PAN 2 מגיעים ממערך הבדיקות של IFM עצמה, ללא שחזור בידי צד שלישי.

ההבדל ברישיון הוא ההבדל המעשי

שני המודלים ניתנים להורדה, מה שכבר ממקם אותם בקבוצה קטנה. מה שמותר לך לעשות איתם שונה יותר מכפי שמספרי הפרמטרים שלהם מרמזים.

PAN 2's own code and weights are Apache-2.0, ungated, sixty files and 86.17 gigabytes, with third-party components — Wan 2.2, Qwen3.5-9B, Diffusers — under their own terms and not redistributed by MBZUAI. You download it, you run it, you ship what you build, subject to the usual Apache obligations. The `pan2-guardrail` repository ships separately with a request screener and a frame classifier; IFM reports that it cut harmful text-to-video requests producing unsafe output from 33.9% to 1.5% while stopping 11.5% of benign text-to-video requests and 3.3% of benign image-to-video requests, which is the kind of number you want before deploying anything that generates realistic footage.

המצב של Cari4D מפוצל יותר, וזה מכשיל צוותי רכש. מאגר המחקר, nvidia/CARI4D, נושא את רישיון NVIDIA עם ההגבלה "למחקר ופיתוח בלבד" על גבי הכרטיס. הצ'קפוינט המסחרי, nvidia/cari4d_commercial, נמצא תחת הסכם המודל הפתוח של NVIDIA ומתיר שימוש מסחרי — אך הגישה אליו מותנית: יש לקבל תנאים ולמסור פרטי קשר לפני שהקבצים מופיעים, וה-CoCoNet שפורסם אינו פועל לבדו. הצינור הרחב עדיין מושך משקולות TorchScript של NLF, משקולות FoundationPose, נכסי SMPL-H ומשי Hunyuan3D, שלכל אחד מהם רישיון משלו. הרישיון המסחרי מכסה את החלק ש-NVIDIA משחררת ולא דבר סביבו.

יש גם הגירת ריג שצריך לתכנן. קו המחקר מבצע רגרסיה של תנוחה וצורה של SMPL; הצ'ק פוינט המסחרי מפיק פרמטרים של Native Momentum Human Rig. אם כתבת קוד אינטגרציה מול הטנסורים של המחקר, צורת הפלט של הכרטיס המסחרי אינה תחליף ישיר.

היכן ששני אלה משתלבים, ולמה זה החלק המעניין

הנה החיבור שאף אחד מהספקים לא מפרסם, וכל מי שבונה צינורות נתונים של בינה מלאכותית פיזית יזהה מיד.

הממשק של PAN 2 הוא כיתוב מובנה: אירועים לפי הסדר, פעולות המשויכות לשחקנים, תנועת מצלמה, בתוך תקציב של 1,480 טוקנים רכים ו-1,536 קשיחים. הפקת הכיתוב הזה ביד היא החלק המייגע ביותר בשימוש במודל, ומאגר הקוד כולל סקיל של משכתב פרומפטים בדיוק משום שטקסט חופשי לא שורד את הממשק. כעת שקלו מה Cari4D פולט מווידאו רגיל: תנוחת אדם לכל פריים, תנוחת אובייקט לכל פריים, ושני לוגיטים של מגע יד — תיעוד מטרי, צפוף ועקבי בזמן של בדיוק הדבר שכיתוב מצב-עולם אמור לתאר.

זהו מחולל כיתובים. השחזור נותן לכם את אמת הנתונים של אינטראקציה במרחב הפרמטרים; מודל שפה הופך את הפרמטרים האלה לתיאור המובנה שבו תלוי PAN 2; לאחר מכן הסימולטור מרנדר וריאציות של אותה אינטראקציה. הפעילו זאת בלולאה וקיבלתם מנוע נתונים: תעדו מניפולציה אמיתית אחת, שחזרו אותה עם Cari4D, הוסיפו לה כיתוב, והפיקו את הקונטרפקטואלים — אובייקט אחר, אחיזה אחרת, משטח אחר — שאי אפשר היה להרשות לעצמכם לצלם. אותה לולאה פועלת בכיוון ההפוך לצורכי הערכה, ומשווה קליפ מדומה לקליפ אמיתי משוחזר באותו מערך.

אף אחד משני החצאים של הלולאה הזו אינו מוכן לשימוש מיידי. הכרטיס המסחרי של Cari4D מציין שהוא אומן על 2,126 רצפי FORM-HOI פנימיים, וכי אין מערך נתוני בדיקה נפרד — ההערכה היא סט הדגמה איכותני — וקורפוס "Daniel" הפנימי אינו מופץ. נתוני הדיוק המרכזיים שלו — שגיאת שחזור נמוכה ב-38% מאשר בעבודות קודמות בהתפלגות וב-36% במערכי נתונים שלא נראו — מגיעים ממאמר CVPR ולא שוחזרו באופן עצמאי. PAN 2, מצדו, מודה שכשני שלישים מהתוכניות המדומות מכילות לפחות שלב אחד שאינו מבוצע, שפעולות טקסט מפרטות מגע מיומן רק באופן גס, ושמידת הנאמנות שבה הוא מדמה תוכניות שאמורות להיכשל אינה נמדדת.

קראו את שתי ההודאות האלה יחד, וההרכב הוא כן ולא פרסומי: אינטראקציה משוחזרת היא מדידה עם התפלגות אימון ידועה, ואילו מדומה היא תחזית עם קצב ירידת שלבים ידוע. אף אחת מהן אינה אמת מוחלטת על העולם. שתיהן שימושיות יותר מאשר כל אחת לבדה.

חשב: תחנת עבודה לעומת צומת

Cari4D פועל על GPU יחיד ואומת על חומרה בדרגת Ampere לפי הכרטיס שלו; המודל הפרוס מכיל 231M פרמטרים, ומודלי הבסיס הסובבים מהווים את עיקר הזיכרון. זהו סוג של צינור עיבוד שצוות מחקר מריץ על תחנת עבודה בין לילה על תיקיית קטעים.

PAN 2 אינו מתאים לתיאור הזה. הכותרת של המתכון של vLLM היא שלוש־עשרה שניות של וידאו ברזולוציית 704×1248 בתוך כ־119 שניות על ארבעה כרטיסי B300, עם פרלליזציה של classifier-free guidance על פני שני ranks ופרלליזציה של Ulysses sequence parallelism על פני שניים; ברירת המחדל המתועדת היא שמונה כרטיסי H200 ב־BF16 עם פרלליזציה של VAE patch על פני ארבעה tiles. חמישים צעדי sampler עם guidance בכל צעד משמעותם מאה forward passes דרך טרנספורמר 29B לכל קליפ, ולכן הפרלליזציה אינה אופציונלית. אם אתם מייצרים counterfactuals בלולאה, עלות הלולאה היא מכפלת מספר הקליפים בעלות לכל קליפ, והיא מגמדת את צד השחזור בסדרי גודל.

אי-הסימטריה הזו היא עובדת התכנון המעשית של כל מערכת היברידית. שחזור זול מספיק כדי להריץ אותו על כל מה שיש לך; סימולציה יקרה מספיק כדי להריץ אותה רק במקום שבו תרחיש נגדי משנה החלטה.

שוב משבצת המתכנן

בשני צינורות העיבוד יש מודל שפה, ורק אחד מהמשבצות האלה הוא מצרך שאפשר לנתב.

מנוע החשיבה המושגית של PAN 2 ניתן להחלפה באופן מפורש — IFM העריכה ארבעה ודירגה אותם לפי השלמת תוכנית מלאה: Claude Opus 5.5, GPT-6 Astra ברמת מאמץ בינונית, Kimi K3, Qwen3.8-Flash. כל הארבעה נמצאים בקטלוג של OrcaRouter, כך ששלב הכיתוב יכול לפעול דרך נקודת קצה אחת עם מעבר אוטומטי לגיבוי, ומחיר המחירון של כל ספק מועבר עם תוספת של 0%, ואתה יכול להשוות ביצועים של מתכננים מול הכיתובים שלך במקום לסמוך על דירוג שנמדד על המשימות של IFM. לשלב התיקון של Cari4D אין חריץ כזה: CoCoNet היא רשת קבועה בת 231M, והחלפתה משמעה אימון מחדש, לא ניתוב מחדש. OrcaRouter אינו מארח את PAN 2 או Cari4D ואינו יכול לנתב אף אחד מהם — גם המרנדר וגם המשחזר נשארים על החומרה שלך.

הניסוח הכנה לגבי הראוטר כאן הוא צר: שלב אחד מתוך צינור דו-שלבי הוא קריאת API בתשלום לפי שימוש, והשאר לא. עדיין שווה להחזיק אותו, כי שלב הכיתוב הוא המקום שבו הרגישות לפרומפט מכה, ושבו ניסיון של מודל שני עולה בקשה אחת ולא ריצת אימון.

איזה מהם הבעיה שלך צריכה?

אם יש לכם וידאו ואתם צריכים פרמטרים — לכידת תנועה לאנימציה, תיוג מגע עבור מערך נתונים, תנוחה מטרית ללמידת חיקוי רובוטית, בדיקת בקרת איכות על מניפולציה מוקלטת — Cari4D הוא הכלי ול-PAN 2 אין מה להציע. התחילו עם נקודת הביקורת המחקרית כדי להעריך, תקצבו את שינוי המערך ואת הרישיונות של צד שלישי לפני שאתם מתחייבים לגרסה המסחרית, והתייחסו לנתוני הדיוק כטענות ספק שנבדקו עמיתים ולא ככאלה ששוחזרו.

אם יש לך פרמטרים או תיאור ואתה צריך לראות מה קורה — הערכת תוכניות, יצירת נתונים קונטרה-פקטואליים, מחקר הסקה פיזיקלית, סוכן שמציג תצוגה מקדימה של פעולותיו — PAN 2 הוא המודל, והמחיר הוא צומת מרובה-GPU לכל קליפ. קרא את המגבלות שלו לפני שאתה מתכנן סביבו: שלב נשמט ברוב התוכניות, קליפים ארוכים סוטים במראה כי כל אחד מדומה החל מפריים התחלתי אחד לכל היותר, והטקסט מפרט מגע מיומן רק באופן גס.

אם יש לך את שתי הבעיות, התשובה היא הלולאה, והחוליה החלשה של הלולאה היא חוזה הכיתוב. Cari4D נותן לך את המדידה; מודל שפה הופך אותה לתיאור מובנה; PAN 2 מרנדר את האלטרנטיבה. שלושה רכיבים, שלושה רישיונות, שאלת מחקר אחת — פחות או יותר כך נראית בנייה על מודלי העולם של 2026, ולכן ההשוואה בין כל שניים מהם פחות שימושית מתרשים של האופן שבו הם מתחברים.