PAN 2 khiến “What If” trở nên đáng xem — và thẳng thắn thừa nhận ở những điểm nó thất bại

Thả một quả dâu tây vào bát và bạn đã biết, không cần nghĩ ngợi, đại khái chất lỏng sẽ bắn lên thế nào. PAN 2 là mô hình thế giới của Viện Mô hình Nền tảng tại MBZUAI, được xây dựng để biết điều tương tự và thể hiện điều đó. Đưa cho nó một khung hình khởi đầu, mô tả một hành động bằng văn bản, và nó trả về tối đa hai mươi giây video 704×1248 ở 24 khung hình/giây, cho thấy hành động đó tác động đến cảnh như thế nào. Đoạn minh họa lan truyền ngày 11 tháng 11 năm 2026 là lời giải thích rõ ràng nhất về ý tưởng này mà bất kỳ ai từng đưa ra: đổi quả dâu tây thành một con vịt cao su, hoặc thay đổi chất lỏng, và tia bắn sẽ thay đổi theo, bởi vì mô hình đang dự đoán một hệ quả vật lý chứ không phải truy xuất một đoạn clip. Thông báo của chính IFM, được đăng vào buổi tối hôm trước, đã tóm gọn lời giới thiệu trong một câu — "Một mô hình ngôn ngữ dự đoán từ tiếp theo. PAN 2 dự đoán thế giới tiếp theo: điều gì xảy ra sau mỗi hành động, được neo vào thời gian, vật lý và không gian."

Điều khiến câu nói đó vượt ra ngoài một khẩu hiệu chính là gói phát hành đi kèm. Các trọng số được cấp phép Apache-2.0 và đã có trên Hugging Face từ ngày 7 tháng 10 năm 2026: 86,17 gigabyte trải trên sáu mươi tệp, cùng với mã suy luận theo sau trên GitHub vào ngày 5 tháng 11 và hỗ trợ phục vụ Day-0 được hợp nhất vào vLLM-Omni vào ngày 10 tháng 11. Vậy nên câu hỏi đáng để trả lời không còn là liệu PAN 2 có tồn tại hay ai có thể có được nó. Mà là một trình mô phỏng 29 tỷ tham số có thể tải xuống làm tốt đến mức nào để bạn sẵn sàng lập kế hoạch dựa trên đầu ra của nó, và ở đâu thì chính tài liệu của nhóm lại bảo bạn đừng làm vậy.

Bản demo là một quy trình hai giai đoạn nhưng lại mang tên của một mô hình duy nhất.

Đoạn clip dâu tây trông giống như được tạo video từ văn bản. Thực tế không phải vậy, và chính sự khác biệt này là toàn bộ thiết kế. PAN 2 triển khai mẫu Generative Latent Prediction được nêu trong Phê bình các Mô hình Thế giới (arXiv 2507.05169), mẫu này chia dự đoán thành một nửa suy luận và một nửa kết xuất.

Phần lập luận là một mô hình ngôn ngữ — bất kỳ mô hình nào tuân theo chỉ dẫn — đọc quan sát cùng các hành động được yêu cầu và viết trạng thái thế giới tiếp theo dưới dạng chú thích có cấu trúc, gắn với thời gian: các sự kiện theo thứ tự, mỗi hành động gắn với tác nhân thực hiện nó, cộng với chuyển động camera. Chú thích đó không phải để trang trí. Nó chính là giao diện thực sự. Một bộ mã hóa văn bản Qwen3.5-9B đóng băng ánh xạ nó thành các đặc trưng điều kiện, và một transformer khuếch tán đa phương thức 29B được huấn luyện từ đầu trên hàng trăm triệu video được chú thích theo cùng định dạng sẽ điền vào chi tiết tri giác mà chú thích để ngỏ. Một VAE Wan 2.2 giải mã các latent thành khung hình.

Điều đó có nghĩa là tuyên bố thực sự của demo hoàn toàn không nói về điểm ảnh. Mà là: một mô tả có cấu trúc về một hành động là tín hiệu điều khiển đủ để một trình mô phỏng tạo ra một hệ quả mạch lạc về mặt vật lý — và do đó một agent có thể mô phỏng nhiều kế hoạch ứng viên, so sánh chúng và hành động theo kế hoạch tốt nhất. Đó là ý nghĩa của suy luận mô phỏng theo IFM, và đó là lý do quả dâu, con vịt và chất lỏng bị hoán đổi là ba lần chạy của cùng một câu hỏi chứ không phải ba đoạn cảnh quay.

Hệ quả thực tế thì không thân thiện. Bạn không thể gõ một điều ước vào PAN 2 rồi nhận được video. Kho lưu trữ cung cấp một kỹ năng prompt-rewriter — gồm system prompt, negative prompt cố định và một validator đối chiếu caption với ngân sách của text encoder là 1.480 token mềm và 1.536 token cứng — và thẻ mô hình nói rõ rằng các nghiên cứu điển hình về agent dựa vào những prompt được tinh chỉnh thủ công. Văn bản tự do được viết lại trước khi được sử dụng. Đó là một mô hình có hợp đồng giao diện, không phải một hộp chat.

Báo cáo đã đo lường những gì và những từ ngữ mà nó sử dụng

IFM đã công bố nhiều nội dung đánh giá hơn so với phần lớn các bản phát hành mô hình video, và ghi nhãn các điều kiện chính xác hơn phần lớn. Tất cả đều là công việc của chính nhóm trên harness của chính nhóm, và thẻ mô hình nói rõ điều đó ở phần quan trọng.

• Hành động đơn lẻ — 300 trường hợp kiểm thử thuộc sáu nhóm năng lực, 201 video từ hình ảnh và 99 video từ văn bản, độ chính xác được báo cáo dưới dạng phần trăm.

• Kế hoạch nhiều bước — 100 tác vụ thường ngày theo góc nhìn thứ nhất được đặt theo cả hai cách, 200 lời nhắc và 456 bước, được chấm điểm dựa trên mức độ hoàn thành từng bước và hoàn thành toàn bộ kế hoạch, lấy trung bình trên ba seed.

• Các benchmark công khai — Physics-IQ Verified trên thiết lập image-to-video, được chuẩn hoá sao cho phương sai giữa hai lần quay thực tế bằng 100; PhyGround trên thang năm điểm do Qwen3.8-27B đánh giá; RBench là trung bình không trọng số trên năm hạng mục nhiệm vụ và bốn hạng mục hiện thân, nhân với 100.

• Mức độ ưa thích của con người — so sánh cặp mù trên 140 lời nhắc, gồm 90 văn bản sang video và 50 hình ảnh sang video, được 13 người đánh giá chấm về độ tuân thủ hành động, tính vật lý và tính nhất quán của thế giới qua 1.400 lượt so sánh, với Elo được khớp bằng Bradley–Terry và lấy 1500 làm trung tâm.

Mười ba người đánh giá là một hội đồng nhỏ, và họ đang đánh giá mô hình của các tác giả so với các baseline của chính các tác giả. Dù vậy, đây vẫn là lượng bằng chứng nhiều hơn mức hầu hết các bản phát hành trong lĩnh vực này công bố, và cách trình bày khung đánh giá cẩn thận một cách bất thường: các mô hình kín trong phần so sánh được tạo một lần thông qua API suy luận của bên thứ ba, và thẻ mô hình đánh dấu những hàng nào là single-seed. Không điều nào trong số đó khiến các con số trở nên độc lập. Nó khiến chúng dễ hiểu, và đó là điều tốt gần nhất có thể.

Hai phút GPU cho mỗi mười ba giây video

Con số quyết định liệu bạn có thể dùng PAN 2 không phải là điểm benchmark. Đó là con số trong công thức vLLM, trong đó nêu rằng mười ba giây video 704×1248 mất khoảng 119 giây trên bốn GPU B300, với classifier-free guidance được chia trên hai rank và song song chuỗi Ulysses trên hai rank nữa. Mặc định được ghi trong tài liệu là tám H200 ở BF16, với song song patch VAE trên bốn tile, vì giải mã một clip 704×1248 dài hai mươi giây là một bài toán bộ nhớ riêng.

Chạy các cài đặt bộ lấy mẫu với con số đó và chi phí trở thành mang tính cấu trúc chứ không còn ngẫu nhiên. Năm mươi bước ở flow shift bằng 9, với guidance 2.5 được áp dụng ở mọi bước, nghĩa là một trăm lượt forward pass qua một transformer 29B cho mỗi clip. Đó là lý do guidance phải được song song hóa thay vì chạy tuần tự, và lý do câu hỏi trung thực về PAN 2 không phải là “nó tốt đến đâu” mà là “một mô phỏng tốn của tôi bao nhiêu, và một kế hoạch cần bao nhiêu mô phỏng”. Một planner đánh giá năm hành động ứng viên mỗi bước, trong một tác vụ mười bước, là đang yêu cầu năm mươi clip. Với cấu hình do chính nhà cung cấp công bố, đó là một node bốn GPU bận rộn gần hai giờ đồng hồ, trước khi bất cứ điều gì được học từ đầu ra.

Phần lập kế hoạch là nửa rẻ hơn, và IFM đã để nó có thể hoán đổi được.

Có một phần của quy trình này không cần cụm GPU, và báo cáo nói rõ rằng phần đó có thể hoán đổi. Bộ suy luận khái niệm được định nghĩa là bất kỳ mô hình ngôn ngữ tuân theo chỉ dẫn nào, và IFM đã xếp hạng bốn mô hình trong số đó theo tần suất một kế hoạch mô phỏng được hoàn thành từ đầu đến cuối: Claude Opus 5.5 đứng đầu, rồi GPT-6 Astra ở mức nỗ lực trung bình, rồi Kimi K3, rồi Qwen3.8-Flash.

Cả bốn mô hình đó đều có trong danh mục OrcaRouter, khiến vị trí reasoner trở thành phần duy nhất của một ngăn xếp PAN 2 mà bạn có thể đo hiệu năng mà không cần thuê bất cứ thứ gì. Hãy trỏ prompt-rewriter vào từng mô hình trong số đó qua một API key, giữ nửa diffusion được ghim vào phần cứng của riêng bạn, và để cơ chế chuyển đổi dự phòng tự động hấp thụ một trục trặc từ nhà cung cấp giữa thử nghiệm thay vì hủy lượt chạy; giá được tính là mức giá niêm yết của từng nhà cung cấp được chuyển thẳng qua với mức markup 0%, nên thay đổi giá của nhà cung cấp sẽ xuất hiện tại endpoint ngay trong ngày xảy ra thay vì sau một chu kỳ định giá lại. OrcaRouter không host PAN 2 và không thể định tuyến nó — renderer vẫn thuộc về bạn — nhưng nửa pipeline quyết định cần mô phỏng điều gì là công việc văn bản tính phí thông thường, và đó chính là nửa mà chất lượng thực sự thay đổi giữa các lần chạy.

Cần nói thẳng: bảng xếp hạng ở trên là của IFM, được đo trên các tác vụ của IFM bằng harness của IFM. Đó là một điểm khởi đầu hợp lý để lập danh sách rút gọn. Nó không thay thế cho việc chạy lời nhắc của chính bạn qua bốn ứng viên và đếm xem kế hoạch của bạn trụ được bao nhiêu lần.

Phần giới hạn là trang hữu ích nhất trong bản phát hành

Hầu hết thẻ mô hình đặt những điều thừa nhận của mình vào một đoạn mà không ai đọc. Còn của PAN 2 đưa con số lên ngay đầu: khoảng hai trong ba kế hoạch mô phỏng chứa ít nhất một bước không được thực hiện. Chỉ một câu đó đã định khung lại mọi thứ ở phía trên nó. Một trình mô phỏng bỏ sót một bước trong hai trên ba kế hoạch vẫn chưa phải là thứ bạn giao cho robot rồi bỏ đi — mà là thứ bạn dùng để xếp hạng các kế hoạch ứng viên mà bạn có thể chịu được những kiểu thất bại của chúng, với một bộ kiểm tra nằm trong vòng lặp.

Phần còn lại của danh sách cũng cụ thể không kém, và cũng đáng được tiếp nhận đúng như những gì nó nói.

• Tính nhất quán dài hạn — mỗi clip được mô phỏng chỉ từ tối đa một khung hình khởi đầu cộng với văn bản, nên ngoại hình bị trôi dạt giữa các clip trong các tương tác dài; thẻ này nêu bộ nhớ tri giác là mảnh ghép còn thiếu thay vì tuyên bố rằng vấn đề đã được giải quyết.

• Độ nhạy của lời nhắc — cách diễn đạt phần quan sát và hành động làm thay đổi kết quả, và các ví dụ nằm ngoài phân phối huấn luyện cần được tinh chỉnh lời nhắc thủ công.

• Hành động văn bản thô — văn bản diễn đạt tốt “mở ngăn kéo” và kém “đặt từng ngón tay ở đây”, điều này giới hạn thao tác khéo léo.

• Đường tắt — một mô phỏng có thể tiến triển trong khi vi phạm vật lý, ví dụ của chính thẻ là mì xuất hiện trong rổ lọc trước khi được xả nước.

Thất bại trung thực vẫn chưa được đo lường — nghiên cứu định lượng bao gồm các kế hoạch vòng hở được thiết kế để thành công; mức độ PAN 2 mô phỏng các kế hoạch lẽ ra phải thất bại, theo lời trong thẻ, vẫn chưa được đo lường. Đó là lỗ hổng quan trọng nhất đối với việc lập kế hoạch, bởi một trình mô phỏng không thể cho bạn thấy một kết cục xấu thì vẫn chưa phải là một bộ lọc.

Guardrails được phát hành dưới dạng một kho lưu trữ riêng, kèm theo các con số.

Điều khác mà IFM đã làm mà hầu hết các bản phát hành video trọng số mở đều bỏ qua: họ công bố một cơ chế bảo vệ đi kèm mô hình thay vì chỉ một đoạn văn khuyến nghị dùng một cơ chế như vậy. pan2-guardrail sàng lọc yêu cầu bằng Qwen3Guard-Gen-4B trước khi tạo và sàng lọc video được tạo bằng một bộ phân loại khung hình Q16 sau đó, và thẻ báo cáo cho biết cái giá phải trả theo cả hai hướng — các yêu cầu chuyển văn bản thành video có hại tạo ra đầu ra không an toàn giảm từ 33,9% xuống 1,5%, không quan sát thấy đầu ra chuyển hình ảnh thành video không an toàn nào, và 11,5% yêu cầu chuyển văn bản thành video lành tính cùng 3,3% yêu cầu chuyển hình ảnh thành video lành tính đã bị chặn trong quá trình xử lý.

Đó là các số đo nội bộ của nhóm, không phải một cuộc kiểm toán, và tỷ lệ dương tính giả là con số bạn nên nhìn kỹ nếu định vận hành thứ này ở quy mô lớn: một rào chắn từ chối một trong chín yêu cầu vô hại là một ràng buộc thiết kế đối với sản phẩm của bạn, chứ không phải một chú thích nhỏ. Công bằng mà nói, đây cũng là kiểu công bố thông tin cho phép bạn đưa ra quyết định đó ngay từ đầu.

Điều gì sẽ khiến thứ này trở thành hơn cả một bản demo ấn tượng?

Ba điều, theo thứ tự độ khó tăng dần. Một nghiên cứu về thất bại: thẻ mô hình thừa nhận rằng việc mô phỏng những kế hoạch đáng lẽ phải thất bại là chưa được đo lường, và cho đến khi ai đó công bố điều đó, PAN 2 là một bộ tạo ra các thành công có vẻ hợp lý chứ không phải là bộ dự đoán hậu quả. Một đánh giá độc lập: mọi con số năng lực trong bài viết này đều bắt nguồn từ IFM, trên bộ khung của IFM, với một hội đồng mười ba người cho nghiên cứu con người, và chưa có bên thứ ba nào tái lập bất kỳ phần nào trong đó. Và một đường phục vụ rẻ hơn: cấu hình được công bố là một nút bốn GPU với hai phút cho mỗi mười ba giây, điều này ổn cho nghiên cứu và rất khắc nghiệt đối với vòng lặp mà lập luận mô phỏng thực sự hàm ý.

Dù vậy, PAN 2 vẫn là bản phát hành mô hình thế giới mở hoàn chỉnh nhất trong năm, và chính sự hoàn chỉnh mới là điểm mấu chốt. Trọng số, mã nguồn, một công thức triển khai phục vụ, một hợp đồng prompt với ngân sách token, một rào chắn bảo vệ kèm các con số dương tính giả, và một phần hạn chế mở đầu bằng tỷ lệ thất bại. Bạn có thể không đồng ý với mức độ sẵn sàng của nó cho một robot mà vẫn dùng nó ngay tuần này để hỏi điều gì xảy ra nếu bạn thay đổi chất lỏng — điều mà, với một mô hình có toàn bộ tiền đề là các hệ quả có thể được xem trước, là một phép thử đầu tiên công bằng.