一張生成的標題卡,標題為「PAN 2 — 假如,變得可觀看」,副標題為「來自 MBZUAI 基礎模型研究所(IFM)的 29B 開放權重世界模型」,並附有三站時間軸,寫著「權重 2026 年 10 月 7 日」、「程式碼 2026 年 11 月 5 日」與「vLLM-Omni 支援 2026 年 11 月 10 日」,還有一幅碗裡有草莓與水花的扁平線條畫。OrcaRouter 標誌合成在圖稿下方的白色條帶中。
Engineering & Research

PAN 2 讓「假如」變得可看——也直說它在哪裡失敗

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把一顆草莓丟進碗裡,你已經不用多想,就大致知道液體會怎麼濺起來。PAN 2 是 MBZUAI 基礎模型研究所(Institute of Foundation Models)的世界模型,打造它的目的,就是要懂得同一件事,並把它展現出來。給它一個起始影格,用文字描述一個動作,它就會回傳最長二十秒、704×1248、每秒 24 影格的影片,顯示該動作對場景造成了什麼影響。2026 年 11 月 11 日廣為流傳的那段示範,是任何人對這個概念所做過最清楚的說明:把草莓換成橡皮鴨,或改變液體,濺起的水花也會跟著改變,因為模型是在預測物理後果,而不是在檢索一段影片。IFM 自己在前一晚發布的公告,用一句話說明了這個賣點——「語言模型預測下一個詞。PAN 2 預測下一個世界:每個動作之後會發生什麼,並以時間、物理與空間為基礎。」

讓那句話不只是口號的,是圍繞著它的發布內容。權重採用 Apache-2.0 授權,自 2026 年 10 月 7 日起就已放在 Hugging Face 上:共 86.17 GB、分散於六十個檔案;推論程式碼隨後於 11 月 5 日在 GitHub 發布,Day-0 服務支援則於 11 月 10 日合併進 vLLM-Omni。因此,值得回答的問題不再是 PAN 2 是否存在,或誰能取得它,而是:一個可下載的 290 億參數模擬器,究竟在哪些方面做得夠好,好到你會依據它的輸出來做規劃;又在哪些地方,團隊自己的文件會告訴你不要這麼做。

這個示範是打著單一模型名號的兩階段管線。

這段草莓短片看起來像是文字轉影片生成。其實並非如此,而這個區別正是整個設計的核心。PAN 2 實作了 《世界模型批判》(arXiv 2507.05169)中所提出的生成式潛在預測(Generative Latent Prediction)模式,該模式將預測拆分為推理與渲染兩半。

推理的那一半是一個語言模型——任何能遵循指令的模型皆可——它會讀取觀察內容與所要求的動作,並把下一個世界狀態寫成結構化、具時間依據的說明文字:依序描述事件,將每個動作綁定到執行該動作的行動者,再加上攝影機運動。那段說明文字不是裝飾。它就是實際的介面。一個凍結的 Qwen3.5-9B 文字編碼器會將其映射為條件特徵,而一個從頭訓練、基於數億支以相同格式標註的影片的 29B 多模態擴散 Transformer,會補上說明文字未交代的感知細節。Wan 2.2 VAE 會將潛在表徵解碼成影格。

這意味著,這個示範真正的主張根本無關乎像素。它的主張是:對一個動作的結構化描述,就足以作為模擬器的控制訊號,使其產生在物理上連貫的結果——因此,一個代理能夠模擬數個候選計畫、加以比較,並依最佳者行動。這就是 IFM 所謂的模擬式推理,也是為什麼草莓、鴨子和被調換的液體是同一個問題的三次執行,而不是三段影片素材。

實際後果並不友善。你不能在 PAN 2 中輸入一個願望就得到一段影片。該儲存庫隨附一項提示改寫技能——一個系統提示、一個固定的負向提示,以及一個驗證器,會依據文字編碼器 1,480 個權杖的軟性上限與 1,536 個權杖的硬性上限來檢查說明文字——而模型卡明言,代理案例研究仰賴的是手工精煉的提示。自由文字在被使用之前會先被改寫。那是一個帶有介面契約的模型,不是聊天框。

A headless capture of the IFM/PAN2 model page on Hugging Face, showing the Institute of Foundation Models at MBZUAI as author, the Image-Text-to-Video pipeline tag, tags for diffusers, safetensors, English, world-model, world-simulation, text-to-video, image-to-video, diffusion-transformer and arXiv 2507.05169, an Apache-2.0 licence badge, a note that downloads are not tracked for this model, 29B parameters in F32-BF16, and the model-card overview describing a general-purpose world model that simulates how the world changes in response to actions and returns up to 20 seconds of video.

報告衡量了什麼,以及它使用的措辭

IFM 發佈的評估內容比大多數影片模型發佈時更多,也比大多數更精確地標註了條件。這一切全都是團隊在自家評測框架上完成的自家工作,而模型卡也在真正重要的章節中如此註明。

• 單一動作 — 六個能力類別共 300 個測試案例,其中 201 個影像轉影片、99 個文字轉影片,準確率以百分比表示。

• 多步驟計畫 — 100 個第一人稱日常任務,以兩種方式表述,共 200 個提示與 456 個步驟,依步驟完成度與完整計畫完成度評分,並對三個隨機種子取平均。

• 公開基準測試——Physics-IQ Verified 在圖像轉影片設定上,經標準化使兩次真實拍攝之間的變異數等於 100;PhyGround 由 Qwen3.8-27B 依五分量表評判;RBench 則取五個任務類別與四個具身類別的未加權平均,再乘以 100。

• 人類偏好 — 以 140 個提示進行盲測成對比較,其中 90 個為文字轉影片、50 個為圖像轉影片,由 13 位評審在 1,400 次比較中依據動作遵循、物理與世界一致性進行評判,Elo 以 Bradley–Terry 擬合,並以 1500 為中心。

十三位審查者是個小型小組,而他們是拿作者自己的模型去對照作者自己的基準線。這仍比這個類別中多數發布所公開的證據還多,而且其框架異常謹慎:比較中的封閉模型是透過第三方推論 API 一次性生成的,而模型卡也標示了哪些列屬於單一隨機種子。這些都不會讓數字變得獨立。它讓這些數字變得可讀,而這已是次佳的情況。

每十三秒影片需要兩分鐘的 GPU

決定你能否使用 PAN 2 的數字不是基準測試分數。而是 vLLM 配方中的那個數字:它指出,一段十三秒的 704×1248 影片在四張 B300 GPU 上大約需要 119 秒,其中無分類器引導拆分到兩個 rank,Ulysses 序列平行化再拆分到另外兩個 rank。文件記載的預設配置是八張 H200,採 BF16,再加上跨四個圖塊的 VAE 補丁平行化,因為解碼一段二十秒的 704×1248 影片本身就是一個記憶體問題。

用那個數字套用採樣器設定,成本就會變成結構性的,而不是偶發性的。以流偏移 9 跑五十步,並且每一步都套用 2.5 的引導,意味著每個片段都要讓 29B Transformer 進行一百次前向傳遞。這就是為什麼引導必須平行化,而不是循序執行;也是為什麼對 PAN 2 而言,誠實的問題不是「它有多好」,而是「一次模擬要花我多少成本,而一個計畫需要多少次模擬」。一個在十步任務中、每一步評估五個候選動作的規劃器,等於要求五十個片段。依照廠商自己公布的配置,那會讓一個四 GPU 節點忙上將近兩小時,而且這還是在從輸出學到任何東西之前。

規劃器是較便宜的那一半,而 IFM 讓它保持可互換。

這條流程中有一個部分不需要 GPU 叢集,而報告明確指出它是可替換的。概念推理器被定義為任何指令遵循的語言模型,而 IFM 依據模擬計畫端到端完成的頻率,對其中四個進行了排名:Claude Opus 5.5 第一,接著是中等努力程度的 GPT-6 Astra,然後是 Kimi K3,最後是 Qwen3.8-Flash。

這四個模型全都在 OrcaRouter 目錄中,因此推理器這個位置,是 PAN 2 堆疊中唯一不必租用任何資源就能進行基準測試的一環。只要用一組 API 金鑰,就能讓提示改寫器分別指向它們;把擴散模型那一半固定在你自己的硬體上,並讓自動容錯移轉在實驗中途吸收供應商的突發狀況,而不是中止整次執行;價格則是各供應商的牌價以 0% 加價原樣轉嫁,因此供應商一旦調整價格,當天就會反映在端點上,而不是等到重新定價週期之後。OrcaRouter 不託管 PAN 2,也無法路由它——渲染器仍由你負責——但整條流程中決定要模擬什麼的那一半,是普通的計量文字工作,而且正是每次執行之間品質真正會有變化的那一半。

值得直說:上述排名是 IFM 的,是在 IFM 的任務上、以 IFM 的測試框架測量出來的。這是開始擬定候選清單的合理起點。但它不能取代你用自己的提示詞跑過四個候選項目,並計算你的計畫有多少次能撐下來。

A generated scoreboard card titled 'PAN 2 — the scoreboard' with six rows: Parameters 29B diffusion transformer plus a frozen 9B text encoder; Output up to 20 s at 704x1248 and 24 fps; Weights 86.17 GB in 60 files under Apache-2.0; Sampler 50 steps at guidance 2.5; Serving 13 s of video in 119 s on 4x B300; and Plan reliability a dropped step in about 2 of 3 plans. A footer reads 'Figures from IFM's model card, report and vLLM recipe; no independent benchmark yet.' The OrcaRouter logo is composited in the white strip beneath the artwork.

「限制」章節是本次發行中最有用的一頁。

大多數模型卡都把自己的坦白話放在沒人會讀的段落裡。PAN 2 的模型卡則把數字擺在最前面:大約每三個模擬計畫中,就有兩個包含至少一個未實際執行的步驟。光是這一句,就重新定義了它上方的一切。一個在每三個計畫中就會漏掉一個步驟的模擬器,還不是你交給機器人之後就能撒手不管的東西——它是你拿來排序候選計畫的工具,從中挑出失敗模式是你承受得起的那些,而且迴路中要有一個檢查器。

清單上其餘的項目也同樣具體,也同樣值得照字面探信。

• 長時程一致性 — 每個片段最多只從一個起始影格加上文字模擬而來,因此在長互動中,外觀會在不同片段之間漂移;卡片將感知記憶列為缺失的一環,而非宣稱已解決。

• 提示敏感度 — 觀察與動作的措辭會改變結果,而超出訓練分佈的範例則需要人工精修的提示詞。

• 粗略的文字動作——文字能妥善表達「打開抽屜」,卻拙於表達「將每根手指放在這裡」,這限制了靈巧操作。

• 捷徑 — 模擬可以在違反物理定律的情況下繼續進行,卡片本身的例子就是義大利麵在瀝乾之前就出現在濾盆裡。

• 對失敗的忠實模擬尚未被量測——該量化研究涵蓋的是設計上要成功的開迴路計畫;至於 PAN 2 模擬那些理應失敗的計畫有多好,用卡片的話來說,尚未量測。這正是對規劃而言最重要的缺口,因為一個無法讓你看到糟糕結果的模擬器,還算不上是過濾器。

Guardrails 以獨立儲存庫的形式提供,並附有編號。

IFM 做的另一件事,是大多數開放權重影片發布都會略過的事:它隨模型一併發布了護欄,而不是只用一段文字建議應該要有護欄。pan2-guardrail 會在生成前用 Qwen3Guard-Gen-4B 篩選請求,並在生成後用 Q16 幀分類器篩選生成的影片;而模型卡報告了這麼做在兩個方向上的代價——有害的文字轉影片請求產生不安全輸出的比例從 33.9% 降至 1.5%,未觀察到不安全的圖像轉影片輸出,且有 11.5% 的良性文字轉影片請求加上 3.3% 的良性圖像轉影片請求在流程中被攔下。

那些是團隊的內部量測,不是稽核;如果你打算大規模運行這套東西,該盯著的數字就是偽陽性率:一道每九個無害請求就拒絕一個的護欄,是你產品上的設計限制,不是可有可無的註腳。公平地說,這也正是那種讓你能做出這個決定的揭露資訊。

A headless capture of the OrcaRouter models catalogue in its English locale, headed '228 models - 17 providers - one API key, one bill', with a filter sidebar for input modalities, context length, input price, status, access tier, series, supported parameters and privacy, a card for Google Gemini 4 Carbon at $2.00 input and $10.00 output per million tokens with a 1,048,576-token context, a card for Anthropic Claude Fable 5.2 at $8.00 input and $48.00 output with a 4M context, and the API call snippet for the OpenAI-compatible endpoint.

要怎樣才能讓這不只是個令人印象深刻的示範?

三件事,按難度由低到高排列。一項失敗研究:模型卡承認,模擬本應失敗的計畫這件事並未被衡量;而在有人發表那項結果之前,PAN 2 只是合理成功的生成器,而非後果的預測器。一項獨立評估:本文中的每一項能力數據都源自 IFM,使用 IFM 的測試框架,人類研究由十三人小組進行,且沒有任何第三方重現其中任何一項。以及一條更便宜的服務路徑:公布的配置是一台四 GPU 節點,每十三秒需要兩分鐘,這對研究來說尚可,但對模擬推理實際隱含的迴圈而言則極為嚴苛。

PAN 2 仍是今年最完整的開放世界模型發布,而完整性正是重點。權重、程式碼、服務配方、帶 token 預算的提示契約、附誤報數字的護欄,以及開頭就列出失敗率的限制章節。你可以不同意它已準備好用於機器人,仍可在本週用它來問:如果改變液體會怎樣——對一個整個前提是後果可預覽的模型而言,這是合理的首次測試。