כרטיס כותרת ראשי עם הכיתוב 'יצירת וידאו FastFrames', כתובית משנה 'יצירת וידאו בהשהיה אינטראקטיבית', עם שלושה תגים: '36 מ"ש לפריים', 'שני גדלים: 1.3B ו-14B' ו'480p, משקלים פתוחים', ולוגו OrcaRouter בפינה הימנית התחתונה.
Engineering & Research

ה-FastFrames של אפל מייצר וידאו מהר יותר מכפי שאפשר לצפות בו

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

שלושים ושישה מילישניות לפריים. זה המספר בראש FastFrames Video Generation, ההפצה שאפל פרסמה עם Cornell ב-16 בנובמבר 2026 — משקלים ב-Hugging Face בשם FastFrames-S עם 1.3 מיליארד פרמטרים ו־FastFrames-L עם 14 מיליארד פרמטרים, ומאמר שכותרתו "FastFrames: Video Generation at Interactive Latency" למחרת. עשו את החשבון לפני כל דבר אחר: קליפ הוא 81 פריימים ברזולוציית 832×480 ובקצב של 16 פריימים לשנייה, שהם 5.06 שניות של וידאו. ב-36 מילישניות לפריים על B200 בודד, המודל הקטן מפיק את הקליפ הזה ב-2.9 שניות. לא מהר יותר מהחלופות — מהר יותר מההפעלה. השאלה המעניינת אינה אם המספר אמיתי. היא מה אפל ויתרה עליו כדי להשיג אותו, ואם הוויתור הזה הוא כזה שאתם יכולים לחיות איתו.

מה בעצם שוחרר, ומתי

שני צ'קפוינטים, שניהם טקסט לווידאו, שניהם ללא הגבלת גישה וזמינים להורדה נכון לשבוע זה. מאגרי Hugging Face נוצרו ב-16 בנובמבר 2026 ועדיין נערכו בהם שינויים בבוקר ה-18 בנובמבר; כתב היד המוקדם ב-arXiv (2611.23226) מתוארך ל-17 בנובמבר. כלומר מדובר בשחרור בן יומיים, לא במודל בעל רקורד מוכח, ושום דבר כאן לא הוערך באופן עצמאי. כל מה שלהלן הוא либо מדידה של המחברים עצמם, либо מאפיין של המשקלים שפורסמו.

• גדלים — FastFrames-S עם 1.3B פרמטרים, FastFrames-L עם 14B (14.3B כשסופרים את הראשים הנוספים).

• מודלים בסיסיים — מזוקקים מ-Wan2.1-T2V-1.3B ומ-Wan2.1-T2V-14B בהתאמה, באמצעות מתכון שהמחברים מכנים Causal Forcing++.

• פלט — 832×480 ב-16 fps, 81 פריימים לכל יצירה, אוטורגרסיבי כך שאפשר לשרשר קליפים.

• משקלות — פתוחים ב-Hugging Face, מתויגים ברישיון AMLR של Apple; קוד ההדגמה של LingBot-World v2 הוא CC BY-NC-SA 4.0, שאינו מסחרי, ושאר המאגר נמצא תחת רישיון ה-Sample Code של Apple.

• תמחור — אין. אין נקודת קצה מתארחת של FastFrames מטעם Apple; אתה מריץ אותו על ה-GPUs שלך.

השורה האחרונה היא זו שצריך להפנים. FastFrames הוא מהדורת מחקר עם משקלים להורדה, וזה אובייקט שונה ממוצר. אין תעריף לפי שנייה, אין תור, אין SLA, ואין דרך לקרוא לו בלי NVIDIA GPU ו-CUDA 12.8.

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

לאן נעלמו המילישניות

הרעיון הארכיטקטוני צר יותר מ"מודל מהיר יותר" ומעניין יותר. FastFrames הוא מודל דיפוזיה לווידאו אוטורגרסיבי, כלומר הוא מייצר בלוק של פריימים בהתניה על מה שקדם לו. במודל הבסיס שעליו הוא נבנה, Causal Forcing++, יצירת בלוק אחד של 81 פריימים עולה 271.8 אלפיות שנייה לפריים, וחלק ניכר מזה אינו הטרנספורמר כלל — זה האוטואנקודר הווריאציוני שמפענח לטנטים חזרה לפיקסלים, בתוספת השלב שמעדכן את מטמון ה-KV כך שהבלוק הבא יידע מה קרה בבלוק הזה.

הצוות של אפל החליף את שני הקצוות של אותה לולאה ברשתות נלמדות קטנות והשאיר את טרנספורמר הדיפוזיה ללא שינוי.

• מפענח ה-VAE נעלם. מפענח פיקסלים בעל 63.87 מיליון פרמטרים — שלושה בלוקי ConvNeXt סיבתיים ושכבה לינארית סופית שפולטת ערכי RGB בגודל 4×16×16 לכל טוקן — מייצר פריימים ישירות. זמן הפענוח יורד מכ-147 מילישניות לכ-1 מילישנייה.

• עדכון מטמון ה-KV הוא כעת רשת קטנה. גזע משותף, ארבעה בלוקי קשב עצמי עם 8 ראשים, וראש תיקון שיורי אחד לכל שכבת DiT — בעלות של 2 אלפיות השנייה במודל הקטן ו-6 במודל הגדול.

• השנאי עצמו כמעט לא השתנה, והוא מוקפא במהלך השלב האחרון. במודל 1.3B, זמן DiT עובר מ-41.6 ל-16.4 אלפיות השנייה; במודל 14B, מ-89.2 ל-75.6.

חברו את אלה במודל 1.3B ו-271.8 אלפיות השנייה הופכות ל-35.8. זה כל הטריק, והוא טריק טוב: המחברים לא הפכו שנאי דיפוזיה למהיר יותר, הם הסירו את החלקים שסביבו שלא היו העיקר. מפענח הפיקסלים אומן על 32 מעבדי B200 במשך כשבוע על פני 150,000 רולאאוטים, עם שלב יריבי על 8 מעבדי B200 תוך שימוש במבחין DINOv3 ViT-S/16 קפוא כדי למנוע ממנו לייצר פריימים רכים.

טענת האיכות, ומי בדק אותה

הנה החלק שצריך תווית. מספרי VBench שלהלן הם של המחברים עצמם, שהורצו על אותם פרומפטים ואותם זרעים ב-480p, ודווחו בטבלה 1 של המאמר. אף גורם בלתי תלוי לא שחזר אותם, ו-VBench הוא בנצ'מרק שמתגמל את סוג החלקות הזמנית שמודלים אוטורגרסיביים טובים בה. התייחסו אליהם כאל טענה בדבר שקילות, לא כאל מדידה שלה.

• FastFrames-S — 84.23 סה״כ VBench, 85.30 איכות, 79.92 סמנטי, ב-36 מ״ש לפריים.

• FastFrames-L — סה״כ 84.44, איכות 85.48, סמנטי 80.29, ב-45 מ״ש לפריים על שמונה B200.

• Causal Forcing++, קו הבסיס שממנו זוקק — 84.11 בסך הכול ב-272 אלפיות שנייה לתמונה, כלומר איטי יותר פי 7.6 בקירוב תמורת 0.1 עד 0.3 נקודות פחות.

• Krea-Realtime — 84.42 בסך הכול ב-1,675 ms לפריים; המאמר טוען לריאליזם, עמידה בהנחיות, קומפוזיציה ורינדור טקסט דומים, במהירות של יותר מפי עשרה.

• Self-Forcing — 84.10 ב־717 ms; CausVid 83.18 ב־662 ms; LongLive2.0 83.65 ב־505 ms.

• Wan2.1 1.3B, מודל הבסיס — 83.80 ב-30,444 אלפיות שנייה לפריים.

• Wan2.2 14.3B — 84.65 ב-117,734 מילישניות לפריים. זה המספר ששווה להתעכב עליו: התוצאה הכוללת הטובה ביותר על השולחן, בערך פי 2,600 מהעלות לפריים של FastFrames-L.

• MiniMax-H3 33.1B — 84.43 ב־38,454 ms; HunyuanVideo1.5 8.3B — 83.18 ב־1,555,508 ms.

התבנית היא רמת איכות שטוחה מ-83 עד 85.5 בכל מודל ברשימה, ופיזור השהיה של ארבעה סדרי גודל. יהיה אשר יהיה מה שמודד ציון VBench הכולל, הוא חדל להבחין בין המערכות האלה לפני זמן מה. מה שמבדיל ביניהן כעת הוא כמה מהר הן פועלות ואיזו רזולוציה ואודיו הן יכולות להפיק — ו-FastFrames מנצחת בעמודה הראשונה בפער עצום בעוד שהיא מפסידה בעמודה השנייה לחלוטין.

מה באמת נותנות 36 אלפיות שנייה לפריים

המר ליחידות שאיש מוצר באמת מתעניין בהן. המחברים מדווחים גם על תפוקה וגם על השהיה, ושתי המדדים מספרים סיפורים שונים בהתאם לכמה מעבדי GPU יש לך.

• FastFrames-S, ‏B200 אחד — 36 אלפיות השנייה לפריים, כ-28 בקשות בשנייה. קליפ בן 5 שניות ב-2.9 שניות, או מהיר פי 1.7 מקצב הצפייה בו.

• FastFrames-L, שמונה B200s — 45 מ״ש לכל פריים, כ-22 בקשות בשנייה. קליפ של 5 שניות ב-3.6 שניות.

• FastFrames-L, GPU אחד — 158 מ"ש לכל פריים, כ-6.3 בקשות בשנייה. אותו קליפ ב-12.8 שניות, וזה איטי יותר מניגון. המודל הגדול הופך לאינטראקטיבי רק כשמפזרים אותו על פני צומת.

• ב-720p — 127 ms לכל פריים עבור המודל הקטן ו-116 ms עבור הגדול על שמונה כרטיסי GPU, וזו הנקודה שבה "אינטראקטיבי" מפסיק להיות נכון עבור סשן חד-זרמי.

• על H100 ולא על B200 — המאמר מציין שהקנס הוא בין 25 ל־50 אחוז, כך שהמודל הקטן מגיע לשהות של בערך 45 עד 54 מ״ש לכל פריים.

הטענה ששורדת היא זו לגבי המודל הקטן על חומרה נוכחית. FastFrames-S על B200 אחד מהיר באמת מקצב זמן אמת, וזה מה שהופך לולאת תצוגה מקדימה חיה, אווטאר בזרימה או מודל עולם נשלט לאפשריים ללא חוות רינדור. ה-14B הוא אינטראקטיבי רק במובן של תפוקת אצוות.

להריץ את זה בעצמך

המאגר מספק מסלול אינפרנס עובד, לא רק משקלים. יש צורך ב-Linux x86-64, ב-GPU של NVIDIA וב-CUDA 12.8; לאחר מכן מריצים uv sync, ואז uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4. קיים סקריפט benchmark של latency שמקבל מספר GPU-ים, תהליך הערכת VBench, ואפליקציית דמו תחת apps/lingbot שמגישה על פורט 8000. Apple גם פרסמה כל checkpoint של שלב אימון עבור המודל הגדול — ה-teacher הסיבתי, השלב שעבר זיקוק consistency, השלב שעבר זיקוק DMD, והגנרטור הסופי עם מפענח הפיקסלים ורשת שיפור ה-KV שלו — וזה יוצא דופן והופך את השחרור לרפורדוקציבילי באופן שרוב הפצות ה-"open weights" אינן מאפשרות.

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

אם אין לכם GPUs, ההצהרה הכנה היא ש-OrcaRouter אינו משרת את FastFrames, וגם שום דבר אחר לא — אין נקודת קצה מתארחת שאליה אפשר לנתב. מה שמפתח OrcaRouter אחד כן מכסה הוא מודלי הווידאו המתארחים שכבר עובדים כיום, כולל Kling 3.0 ו-Kling 3 Turbo, Kling Video O1 ו-MiniMax H3, לפימחירון הספקים המועבר כמו שהוא עם 0% תוספת, כך ששינוי מחיר מצד הספק מגיע אליכם באותו יום ולא במחזור החיוב הבא. הדפוס ההגיוני עבור צוות שסקרן לגבי FastFrames הוא לבנות אב-טיפוס של רעיון המוצר מול מודל מתארח שאת השהיה שלו אפשר למדוד, ורק לרכוש זמן GPU לאחר שיודעים שהלופ שווה את זה.

מה זה לא יכול לעשות

שלושה גבולות, ואף אחד מהם לא יתוקן בשבוע הבא.

• רזולוציה — 480p, נקודה. אפל מדווחת על נתוני השהיה של 720p, אך התצורה ששוחררה היא 832×480. כל מתחרה בטווח המחירים הזה מציע לפחות 1080p.

• שמע — אין. ‏FastFrames אילמת. ‏Veo, Kling, Grok Imagine ו-HiDream מייצרים כולם שמע מסונכרן באותה קריאה.

• משך ושליטה — 81 פריימים לכל יצירה עם שרשור אוטורגרסיבי, הנחיות טקסט בלבד. ללא התניה על תמונה, ללא נכסי ייחוס, ללא פריימי מפתח, ללא שליטה במצלמה, ללא API להרחבה.

• רישיון — משקלי המודל כפופים לתנאי AMLR של Apple, ורכיבי LingBot-World v2 הם CC BY-NC-SA 4.0. קראו זאת לפני שאתם בונים מוצר מסחרי על אפליקציית הדמו; "משקלים פתוחים" ו"חופשי למסחור" אינם מילים נרדפות, והמהדורה הזו מקפידה בכוונה על ההבחנה ביניהם.

הדבר שכדאי לשים לב אליו

את FastFrames הכי טוב להבין כהדגמה לכך שהעלות של יצירת וידאו אוטורגרסיבית מעולם לא הייתה בעיקרה המודל. היא הייתה הפענוח ועדכון ה-cache, ו-Apple מחקה את שניהם תמורת בערך שתי אלפיות השנייה ומגה-בייט של פרמטרים. התוצאה הזו עוברת הלאה: מפענח הפיקסלים מאומן לכל מודל בסיס בנפרד, אבל העיקרון — להקפיא את ה-transformer, ללמוד את הצנרת — חל על כל מחסנית דיפוזיה לסרטונים סיבתית, והמאמר כבר מראה אותו מועבר לשני מערכות של צד שלישי, כשהוא מביא את LingBot-World מ-1,085 ל-52 אלפיות השנייה לפריים בגרסת ה-1.3B ומ-3,862 ל-233 בגרסת ה-14B.

מה זה אומר עבור קונה: אם המוצר שלך זקוק למודל וידאו בלופ בזמן אמת, דרישת החומרה זה עתה ירדה בסדר גודל, ונראה שהפגיעה באיכות קטנה. אם המוצר שלך זקוק לקליפ מוגמר ב־1080p עם סאונד, אין במהדורה הזו שום דבר שמכוון אליך, והמודלים המתארחים נשארים התשובה. הפער בין שני תרחישי השימוש האלה הוא המקום שבו יילחמו ההשקות של מודלי וידאו בשנים עשר החודשים הקרובים.

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.