การ์ดชื่อเรื่องหลักที่ระบุว่า 'FastFrames Video Generation' พร้อมคำบรรยายใต้ชื่อว่า 'การสร้างวิดีโอที่ความหน่วงระดับโต้ตอบ' และมีป้ายสามป้ายที่ระบุว่า '36 ms ต่อเฟรม', 'สองขนาด: 1.3B และ 14B' และ '480p, น้ำหนักแบบเปิด' พร้อมโลโก้ OrcaRouter ที่มุมขวาล่าง
Engineering & Research

FastFrames ของ Apple สร้างวิดีโอได้เร็วกว่าที่คุณจะดูทัน

ผู้เขียน

jinhao.song

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

สามสิบหกมิลลิวินาทีต่อเฟรม นั่นคือตัวเลขที่อยู่ด้านบนของ FastFrames Video Generation ซึ่งเป็นรีลีสที่ Apple เผยแพร่ร่วมกับ Cornell เมื่อวันที่ 16 พฤศจิกายน 2026 — น้ำหนักบน Hugging Face ในชื่อ FastFrames-S ที่ 1.3 พันล้านพารามิเตอร์ และ FastFrames-L ที่ 14 พันล้านพารามิเตอร์ พร้อมเปเปอร์ชื่อ "FastFrames: Video Generation at Interactive Latency" ในวันถัดมา ลองคำนวณก่อนอ่านอย่างอื่น: คลิปหนึ่งคือ 81 เฟรมที่ 832×480 และ 16 เฟรมต่อวินาที ซึ่งเท่ากับวิดีโอ 5.06 วินาที ที่ 36 มิลลิวินาทีต่อเฟรมบน B200 ตัวเดียว โมเดลขนาดเล็กสร้างคลิปนั้นใน 2.9 วินาที ไม่ใช่เร็วกว่าทางเลือกอื่น — แต่เร็วกว่าการเล่นกลับ คำถามที่น่าสนใจไม่ใช่ว่าตัวเลขนั้นเป็นจริงหรือไม่ แต่คือสิ่งที่ Apple แลกไปเพื่อให้ได้มา และการแลกเปลี่ยนนั้นเป็นสิ่งที่คุณอยู่ด้วยได้หรือไม่

อะไรที่ปล่อยออกมาจริง และเมื่อไหร่

เช็กพอยต์สองตัว ทั้งคู่เป็นแบบข้อความเป็นวิดีโอ ทั้งคู่ไม่มีการจำกัดการเข้าถึงและดาวน์โหลดได้ ณ สัปดาห์นี้ รีโพซิทอรีบน Hugging Face ถูกสร้างเมื่อวันที่ 16 พฤศจิกายน 2026 และยังมีการแก้ไขอยู่จนถึงเช้าวันที่ 18 พฤศจิกายน ส่วน arXiv preprint (2611.23226) ลงวันที่ 17 พฤศจิกายน ดังนั้นนี่คือรีลีสที่ออกมาได้สองวัน ไม่ใช่โมเดลที่มีผลงานเป็นที่ประจักษ์ และไม่มีสิ่งใดในนี้ที่ถูกประเมินอย่างอิสระ ทุกอย่างที่ตามมาคือการวัดของผู้เขียนเองหรือคุณลักษณะของเวตที่เผยแพร่

• ขนาด — FastFrames-S ที่ 1.3B พารามิเตอร์, FastFrames-L ที่ 14B (14.3B เมื่อนับรวมหัวที่เพิ่มเข้ามา)

• โมเดลพื้นฐาน — กลั่นมาจาก Wan2.1-T2V-1.3B และ Wan2.1-T2V-14B ตามลำดับ โดยใช้สูตรที่ผู้เขียนเรียกว่า Causal Forcing++

• เอาต์พุต — 832×480 ที่ 16 fps, 81 เฟรมต่อการสร้าง, เป็นแบบ autoregressive จึงสามารถเชื่อมคลิปต่อกันได้

• เวต — เปิดบน Hugging Face พร้อมติดแท็กสัญญาอนุญาต AMLR ของ Apple; โค้ดเดโม LingBot-World v2 อยู่ภายใต้ CC BY-NC-SA 4.0 ซึ่งเป็นแบบไม่ใช้เชิงพาณิชย์ และส่วนที่เหลือของรีโพซิทอรีอยู่ภายใต้ Apple's Sample Code Licence

• การกำหนดราคา — ไม่มี ไม่มีเอนด์พอยต์ FastFrames ที่โฮสต์โดย Apple; คุณรันมันบน GPU ของคุณเอง

บรรทัดสุดท้ายคือบรรทัดที่ต้องซึมซับให้ขึ้นใจ FastFrames เป็นการเผยแพร่ผลงานวิจัยพร้อมน้ำหนักที่ดาวน์โหลดได้ ซึ่งเป็นสิ่งที่แตกต่างจากผลิตภัณฑ์ ไม่มีอัตราค่าบริการต่อวินาที ไม่มีคิว ไม่มี SLA และไม่มีวิธีเรียกใช้งานได้หากไม่มี NVIDIA GPU และ CUDA 12.8

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

มิลลิวินาทีหายไปไหน

แนวคิดทางสถาปัตยกรรมนี้เจาะจงแคบกว่า "โมเดลที่เร็วกว่า" และน่าสนใจกว่า FastFrames เป็นโมเดลการแพร่กระจายวิดีโอแบบ autoregressive ซึ่งหมายความว่ามันสร้างบล็อกของเฟรมโดยมีเงื่อนไขจากสิ่งที่เกิดขึ้นก่อนหน้า ในฐานไลน์ที่มันสร้างขึ้นมา Causal Forcing++ การสร้างบล็อก 81 เฟรมหนึ่งบล็อกมีต้นทุน 271.8 มิลลิวินาทีต่อเฟรม และส่วนแบ่งจำนวนมากของต้นทุนนั้นไม่ใช่ทรานส์ฟอร์เมอร์เลย — แต่เป็นการถอดรหัสเลเทนต์กลับเป็นพิกเซลด้วย variational autoencoder บวกกับขั้นตอนที่อัปเดต KV cache เพื่อให้บล็อกถัดไปรู้ว่าเกิดอะไรขึ้นในบล็อกนี้

ทีมของ Apple แทนที่ปลายทั้งสองข้างของลูปนั้นด้วยเครือข่ายขนาดเล็กที่ผ่านการเรียนรู้ และปล่อย diffusion transformer ไว้เหมือนเดิม

• VAE decoder หายไปแล้ว — pixel decoder ที่มีพารามิเตอร์ 63.87 ล้านตัว ซึ่งประกอบด้วยบล็อก ConvNeXt แบบ causal สามบล็อกและเลเยอร์เชิงเส้นสุดท้ายที่ส่งออกค่า RGB ขนาด 4×16×16 ต่อโทเค็น จะสร้างเฟรมโดยตรง การถอดรหัสลดลงจากประมาณ 147 มิลลิวินาทีเหลือราว 1 มิลลิวินาที

• การอัปเดต KV cache ตอนนี้เป็นเครือข่ายขนาดเล็ก ประกอบด้วย shared stem, บล็อก self-attention แบบ 8 หัว จำนวนสี่บล็อก และ residual repair head หนึ่งตัวต่อเลเยอร์ DiT โดยใช้เวลา 2 มิลลิวินาทีบนโมเดลขนาดเล็ก และ 6 มิลลิวินาทีบนโมเดลขนาดใหญ่

• ตัว transformer เองแทบไม่เปลี่ยนแปลง และถูกแช่แข็ง (frozen) ไว้ในช่วงขั้นตอนสุดท้าย บนโมเดล 1.3B เวลา DiT ลดลงจาก 41.6 เหลือ 16.4 มิลลิวินาที ส่วนบนโมเดล 14B ลดลงจาก 89.2 เหลือ 75.6

พอรวมตัวเลขเหล่านั้นบนโมเดล 1.3B แล้ว 271.8 มิลลิวินาทีก็กลายเป็น 35.8 นั่นคือกลเม็ดทั้งหมด และเป็นกลเม็ดที่ดีด้วย: ผู้เขียนไม่ได้ทำให้ diffusion transformer เร็วขึ้น แต่พวกเขาเอาส่วนต่างๆ รอบๆ มันออกไปซึ่งไม่เคยเป็นประเด็นสำคัญเลย ตัวถอดรหัสพิกเซลถูกฝึกบน B200 จำนวน 32 ตัวเป็นเวลาประมาณหนึ่งสัปดาห์ด้วย rollout 150,000 ครั้ง โดยมีขั้นตอนแบบ adversarial บน B200 จำนวน 8 ตัวโดยใช้ discriminator DINOv3 ViT-S/16 แบบ frozen เพื่อป้องกันไม่ให้มันสร้างเฟรมที่ดูนุ่มนวล

ข้อกล่าวอ้างด้านคุณภาพ และผู้ที่ตรวจสอบข้อกล่าวอ้างนั้น

นี่คือส่วนที่ต้องมีป้ายกำกับ ตัวเลข VBench ด้านล่างเป็นตัวเลขของผู้เขียนเอง รันบนพรอมป์และซีดเดียวกันที่ 480p และรายงานไว้ใน Table 1 ของ論文 ยังไม่มีใครที่เป็นอิสระทำซ้ำตัวเลขเหล่านี้ได้ และ VBench เป็นเบนช์มาร์กที่ให้รางวัลกับความเนียนเชิงเวลาชนิดที่โมเดล autoregressive เก่ง มองตัวเลขเหล่านี้เป็นข้ออ้างเรื่องความเท่าเทียม ไม่ใช่การวัดความเท่าเทียมนั้น

• FastFrames-S — คะแนน VBench รวม 84.23, คุณภาพ 85.30, เชิงความหมาย 79.92 ที่ 36 ms ต่อเฟรม

• FastFrames-L — คะแนนรวม 84.44, คุณภาพ 85.48, เชิงความหมาย 80.29 ใช้เวลา 45 มิลลิวินาทีต่อเฟรมบน B200s จำนวนแปดตัว

• Causal Forcing++ ซึ่งเป็น baseline ที่ถูก distill มา — ได้ 84.11 คะแนนรวมที่ 272 ms ต่อเฟรม ช้ากว่าประมาณ 7.6 เท่า โดยได้คะแนนน้อยกว่า 0.1 ถึง 0.3 คะแนน

• Krea-Realtime — คะแนนรวม 84.42 ที่ 1,675 มิลลิวินาทีต่อเฟรม; บทความอ้างว่ามีความสมจริง การปฏิบัติตามพรอมต์ องค์ประกอบภาพ และการเรนเดอร์ข้อความที่เทียบเคียงได้ ด้วยความเร็วมากกว่าสิบเท่า

• Self-Forcing — 84.10 ที่ 717 มิลลิวินาที; CausVid 83.18 ที่ 662 มิลลิวินาที; LongLive2.0 83.65 ที่ 505 มิลลิวินาที

• Wan2.1 1.3B ซึ่งเป็นโมเดลพื้นฐาน — 83.80 ที่ 30,444 มิลลิวินาทีต่อเฟรม

• Wan2.2 14.3B — 84.65 ที่ 117,734 ms ต่อเฟรม นั่นคือตัวเลขที่ควรหยุดคิดดู: เป็นยอดรวมที่ดีที่สุดบนโต๊ะ โดยมีต้นทุนต่อเฟรมสูงกว่า FastFrames-L ประมาณ 2,600 เท่า

• MiniMax-H3 33.1B — 84.43 ที่ 38,454 ms; HunyuanVideo1.5 8.3B — 83.18 ที่ 1,555,508 ms

รูปแบบคือจุดอิ่มตัวของคุณภาพที่แบนราบตั้งแต่ 83 ถึง 85.5 ในทุกโมเดลในรายการ และการกระจายของ latency ที่กว้างถึงสี่ลำดับขนาด ไม่ว่า VBench total จะวัดอะไร มันหยุดแยกความแตกต่างระหว่างระบบเหล่านี้ไปสักพักแล้ว สิ่งที่แยกพวกมันตอนนี้คือความเร็วในการทำงาน และความละเอียดกับเสียงที่พวกมันผลิตได้ — และ FastFrames ชนะคอลัมน์แรกแบบทิ้งห่าง ขณะที่แพ้คอลัมน์ที่สองแบบขาดลอย

36 มิลลิวินาทีต่อเฟรมให้อะไรได้จริงบ้าง

แปลงให้เป็นหน่วยที่คนสายผลิตภัณฑ์สนใจ ผู้เขียนรายงานทั้งทรูพุตและความหน่วง ซึ่งสองสิ่งนี้เล่าเรื่องที่แตกต่างกัน ขึ้นอยู่กับว่าคุณมี GPU จำนวนเท่าใด

• FastFrames-S บน B200 หนึ่งเครื่อง — 36 มิลลิวินาทีต่อเฟรม ประมาณ 28 คำขอต่อวินาที คลิปความยาว 5 วินาทีใช้เวลา 2.9 วินาที หรือเร็วกว่าความเร็วที่คุณรับชมได้ 1.7 เท่า

• FastFrames-L พร้อม B200 จำนวนแปดตัว — 45 มิลลิวินาทีต่อเฟรม ประมาณ 22 คำขอต่อวินาที คลิป 5 วินาทีใช้เวลา 3.6 วินาที

• FastFrames-L บน GPU หนึ่งตัว — 158 ms ต่อเฟรม ประมาณ 6.3 คำขอต่อวินาที คลิปเดียวกันใช้เวลา 12.8 วินาที ซึ่งช้ากว่าการเล่นแบบเรียลไทม์ โมเดลขนาดใหญ่จะใช้งานแบบอินเทอร์แอกทีฟได้ก็ต่อเมื่อกระจายโมเดลไปทั่วทั้งโหนด

• ที่ 720p — 127 ms ต่อเฟรมสำหรับโมเดลขนาดเล็ก และ 116 ms สำหรับโมเดลขนาดใหญ่บน GPU จำนวนแปดตัว ซึ่งเป็นจุดที่คำว่า “อินเทอร์แอกทีฟ” ไม่เป็นจริงอีกต่อไปสำหรับเซสชันแบบสตรีมเดียว

• บน H100 แทนที่จะเป็น B200 — เปเปอร์ระบุว่าค่าปรับอยู่ที่ 25 ถึง 50 เปอร์เซ็นต์ ดังนั้นโมเดลเล็กจึงอยู่ที่ประมาณ 45 ถึง 54 มิลลิวินาทีต่อเฟรม

ข้อกล่าวอ้างที่ยังคงอยู่คือข้อกล่าวอ้างเกี่ยวกับโมเดลขนาดเล็กบนฮาร์ดแวร์ปัจจุบัน FastFrames-S บน B200 หนึ่งตัวเร็วกว่าเวลาจริงอย่างแท้จริง ซึ่งเป็นสิ่งที่ทำให้ลูปพรีวิวสด อวตารแบบสตรีมมิ่ง หรือเวิลด์โมเดลที่ควบคุมได้เป็นไปได้โดยไม่ต้องมีฟาร์มเรนเดอร์ ส่วน 14B เป็นแบบโต้ตอบได้เฉพาะในความหมายของทรูพุตแบบแบตช์เท่านั้น

การรันด้วยตนเอง

รีโพซิทอรีนี้มาพร้อมเส้นทางการอนุมานที่ใช้งานได้จริง ไม่ใช่แค่น้ำหนักโมเดล คุณต้องใช้ Linux x86-64, GPU NVIDIA และ CUDA 12.8 จากนั้นรัน uv sync และ uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4 มีสคริปต์วัดประสิทธิภาพด้าน latency ที่รับจำนวน GPU, เวิร์กโฟลว์การประเมิน VBench และแอปเดโมภายใต้ apps/lingbot ที่ให้บริการบนพอร์ต 8000 Apple ยังเผยแพร่เช็กพอยต์ของทุกขั้นตอนการฝึกสำหรับโมเดลขนาดใหญ่ — ได้แก่ teacher แบบ causal, ขั้นตอนที่กลั่นด้วย consistency distillation, ขั้นตอนที่กลั่นด้วย DMD และตัวสร้างขั้นสุดท้ายพร้อมตัวถอดรหัสพิกเซลและเครือข่ายปรับแต่ง KV — ซึ่งเป็นเรื่องผิดปกติและทำให้การเปิดตัวนี้สามารถทำซ้ำได้ในแบบที่การปล่อย "open weights" ส่วนใหญ่ทำไม่ได้

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

หากคุณไม่มี GPU คำตอบตามตรงคือ OrcaRouter ไม่ได้ให้บริการ FastFrames และก็ไม่มีใครอื่นให้บริการเช่นกัน — ไม่มีปลายทางแบบโฮสต์ให้ส่งต่อไป สิ่งที่คีย์ OrcaRouter หนึ่งคีย์ครอบคลุมได้คือโมเดลวิดีโอแบบโฮสต์ที่ใช้งานได้จริงในวันนี้ รวมถึง Kling 3.0 และ Kling 3 Turbo, Kling Video O1 และ MiniMax H3 ในราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยไม่บวกราคาเพิ่ม 0% ดังนั้นการเปลี่ยนแปลงราคาจากผู้ขายจะถึงคุณภายในวันเดียวกัน ไม่ใช่รอบบิลถัดไป รูปแบบที่สมเหตุสมผลสำหรับทีมที่สนใจ FastFrames คือการสร้างต้นแบบไอเดียผลิตภัณฑ์กับโมเดลแบบโฮสต์ที่คุณวัดเวลาตอบสนองได้ และซื้อเวลา GPU ก็ต่อเมื่อคุณรู้ว่าลูปนั้นคุ้มค่าแล้ว

สิ่งที่มันทำไม่ได้

ข้อจำกัดสามข้อ และไม่มีข้อไหนที่จะถูกแพตช์ในสัปดาห์หน้า

• ความละเอียด — 480p เท่านั้น Apple รายงานตัวเลขความหน่วงที่ 720p แต่การกำหนดค่าที่วางจำหน่ายจริงคือ 832×480 คู่แข่งทุกรายในระดับราคานี้เสนออย่างน้อย 1080p

• เสียง — ไม่มี FastFrames เป็นแบบไม่มีเสียง ส่วน Veo, Kling, Grok Imagine และ HiDream ต่างสร้างเสียงที่ซิงโครไนซ์กันในคำขอเดียวกัน

• ระยะเวลาและการควบคุม — 81 เฟรมต่อการสร้างหนึ่งครั้ง พร้อมการเชื่อมโยงแบบออโตเรเกรสซีฟ ใช้เพียงพรอมต์ข้อความเท่านั้น ไม่มีการกำหนดเงื่อนไขด้วยภาพ ไม่มีแอสเซ็ตอ้างอิง ไม่มีคีย์เฟรม ไม่มีการควบคุมกล้อง ไม่มี API สำหรับส่วนขยาย

• สัญญาอนุญาต — น้ำหนักของโมเดลอยู่ภายใต้ข้อกำหนด AMLR ของ Apple และคอมโพเนนต์ของ LingBot-World v2 อยู่ภายใต้สัญญาอนุญาต CC BY-NC-SA 4.0 โปรดอ่านข้อกำหนดเหล่านี้ก่อนที่คุณจะสร้างผลิตภัณฑ์เชิงพาณิชย์บนแอปตัวอย่าง; "open weights" กับ "free to commercialise" ไม่ใช่คำที่มีความหมายเหมือนกัน และการเผยแพร่นี้จงใจให้ความสำคัญกับความแตกต่างนั้นอย่างระมัดระวัง

สิ่งที่ต้องจับตา

วิธีที่ดีที่สุดในการทำความเข้าใจ FastFrames คือมองว่าเป็นสาธิตที่แสดงให้เห็นว่าต้นทุนของการสร้างวิดีโอแบบ autoregressive ไม่เคยได้อยู่ที่ตัวโมเดลเป็นส่วนใหญ่เลย แต่คือการ decode และการอัปเดตแคช และ Apple ได้กำจัดทั้งสองออกไปโดยแลกกับเวลาประมาณสองมิลลิวินาทีและพารามิเตอร์หนึ่งเมกะไบต์ ผลลัพธ์นั้นถ่ายทอดได้: pixel decoder ถูกฝึกแยกตาม base model แต่หลักการ — แช่แข็ง transformer ไว้ แล้วเรียนรู้ระบบเชื่อมต่อ — ใช้ได้กับ causal video diffusion stack ใดก็ตาม และบทความได้แสดงแล้วว่ามันถูกพอร์ตไปยังระบบของบุคคลที่สามสองระบบ โดยทำให้ LingBot-World ลดจาก 1,085 เหลือ 52 มิลลิวินาทีต่อเฟรมในรุ่น 1.3B และจาก 3,862 เหลือ 233 ในรุ่น 14B

สำหรับผู้ซื้อ นั่นหมายความว่า: หากผลิตภัณฑ์ของคุณต้องใช้โมเดลวิดีโอในลูปแบบเรียลไทม์ ข้อกำหนดด้านฮาร์ดแวร์เพิ่งลดลงถึงหนึ่งลำดับขนาด และดูเหมือนว่าต้องแลกด้วยคุณภาพเพียงเล็กน้อย หากผลิตภัณฑ์ของคุณต้องการคลิปที่เสร็จสมบูรณ์ที่ความละเอียด 1080p พร้อมเสียง ไม่มีสิ่งใดในรีลีสนี้ที่มุ่งเป้ามาที่คุณ และโมเดลแบบโฮสต์ยังคงเป็นคำตอบ ช่องว่างระหว่างกรณีการใช้งานทั้งสองนี้คือจุดที่การเปิดตัวโมเดลวิดีโอในอีกสิบสองเดือนข้างหน้าจะถูกช่วงชิงกัน

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.
© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube