PAN 2 macht „What If“ sehenswert – und sagt, wo es scheitert.

Lassen Sie eine Erdbeere in eine Schüssel fallen, und Sie wissen bereits, ohne darüber nachzudenken, ungefähr, wie die Flüssigkeit spritzt. PAN 2 ist das Weltmodell vom Institute of Foundation Models an der MBZUAI, das gebaut wurde, um dasselbe zu wissen und es zu zeigen. Geben Sie ihm ein Startbild, beschreiben Sie eine Aktion in Text, und es liefert bis zu zwanzig Sekunden Video mit 704×1248 bei 24 Bildern pro Sekunde, das zeigt, was diese Aktion mit der Szene macht. Die Demonstration, die am 11. November 2026 die Runde machte, ist die klarste Erklärung der Idee, die jemand hervorgebracht hat: Ersetzen Sie die Erdbeere durch eine Gummiente oder ändern Sie die Flüssigkeit, und der Spritzer ändert sich mit, weil das Modell eine physikalische Folge vorhersagt, statt einen Clip abzurufen. IFMs eigene Ankündigung, die am Abend zuvor veröffentlicht wurde, brachte den Kern in einem Satz auf den Punkt – „Ein Sprachmodell sagt das nächste Wort voraus. PAN 2 sagt die nächste Welt voraus: was nach jeder Aktion passiert, verankert in Zeit, Physik und Raum.“

Was das über einen Slogan hinaus zu etwas mehr macht, ist die Veröffentlichung, die darum herum gebaut wurde. Die Gewichte stehen unter Apache-2.0 und sind seit dem 7. Oktober 2026 auf Hugging Face verfügbar: 86,17 Gigabyte verteilt auf sechzig Dateien, wobei der Inferenzcode am 5. November auf GitHub folgte und Day-0-Serving-Support am 10. November in vLLM-Omni eingeflossen ist. Die Frage, die es also wert ist, beantwortet zu werden, ist nicht länger, ob PAN 2 existiert oder wer es bekommen kann. Sondern was ein herunterladbarer Simulator mit 29 Milliarden Parametern so gut kann, dass man seine Ausgabe zur Grundlage seiner Planung machen würde – und wo die eigene Dokumentation des Teams einem sagt, dass man das besser nicht tun sollte.

Die Demo ist eine zweistufige Pipeline, die den Namen eines einzigen Modells trägt.

Der Erdbeer-Clip sieht nach einer Text-zu-Video-Generierung aus. Das ist er nicht, und genau dieser Unterschied macht das gesamte Design aus. PAN 2 setzt das Muster der Generativen Latenten Prädiktion um, das in Critique of World Models (arXiv 2507.05169) beschrieben wird und die Prädiktion in eine Schlussfolgerungshälfte und eine Renderhälfte aufteilt.

Die Reasoning-Hälfte ist ein Sprachmodell – eines, das Instruktionen befolgt –, das die Beobachtung plus die angeforderten Aktionen liest und den nächsten Weltzustand als strukturierte, zeitlich verankerte Beschreibung schreibt: die Ereignisse in Reihenfolge, jede Aktion an den sie ausführenden Akteur gebunden, plus Kamerabewegung. Diese Beschreibung ist keine Dekoration. Sie ist die eigentliche Schnittstelle. Ein eingefrorener Qwen3.5-9B-Textencoder bildet sie auf Konditionierungsmerkmale ab, und ein 29B-Multimodal-Diffusionstransformer, von Grund auf auf Hunderten Millionen im selben Format annotierter Videos trainiert, füllt das wahrnehmungsbezogene Detail aus, das die Beschreibung offenlässt. Ein Wan-2.2-VAE dekodiert die Latenten in Frames.

Das bedeutet, dass die eigentliche Behauptung der Demo überhaupt nichts mit Pixeln zu tun hat. Sie besagt, dass eine strukturierte Beschreibung einer Aktion ein ausreichendes Steuersignal für einen Simulator ist, um eine physisch kohärente Konsequenz zu erzeugen — und dass ein Agent daher mehrere Kandidatenpläne simulieren, sie vergleichen und nach dem besten handeln kann. Das meint IFM mit simulativem Schlussfolgern, und deshalb sind die Erdbeere, die Ente und die vertauschte Flüssigkeit drei Durchläufe derselben Frage und nicht drei Filmaufnahmen.

Die praktische Konsequenz ist wenig benutzerfreundlich. Man kann keinen Wunsch in PAN 2 eintippen und ein Video erhalten. Das Repository enthält einen Prompt-Rewriter-Skill – einen System-Prompt, einen festen Negative-Prompt und einen Validator, der Bildunterschriften gegen das Budget des Text-Encoders von 1.480 Tokens soft und 1.536 hart prüft –, und die Model Card sagt klar, dass die Agent-Fallstudien auf handverfeinerten Prompts beruhten. Freitext wird umgeschrieben, bevor er verwendet wird. Das ist ein Modell mit einem Interface-Vertrag, keine Chat-Box.

Was der Bericht gemessen hat und welche Worte er verwendete

IFM hat mehr Evaluationen veröffentlicht, als die meisten Veröffentlichungen von Videomodellen dies tun, und die Bedingungen präziser gekennzeichnet als die meisten. All dies ist die eigene Arbeit des Teams auf dem eigenen Harness des Teams, und die Model Card sagt dies in dem Abschnitt, in dem es zählt.

• Einzelaktionen — 300 Testfälle in sechs Fähigkeitskategorien, 201 Bild-zu-Video und 99 Text-zu-Video, Genauigkeit als Prozentsatz angegeben.

• Mehrstufige Pläne — 100 egozentrische Alltagsaufgaben, in beide Richtungen gestellt, 200 Prompts und 456 Schritte, bewertet nach Schritt-Abschluss und Vollplan-Abschluss, gemittelt über drei Seeds.

• Öffentliche Benchmarks — Physics-IQ Verified in der Bild-zu-Video-Einstellung, normalisiert, sodass die Varianz zwischen zwei realen Aufnahmen 100 entspricht; PhyGround auf einer Fünf-Punkte-Skala, bewertet von Qwen3.8-27B; RBench als ungewichteter Mittelwert über fünf Aufgaben- und vier Embodiment-Kategorien, multipliziert mit 100.

• Menschliche Präferenz – blinder Paarvergleich anhand von 140 Prompts, 90 Text-zu-Video- und 50 Bild-zu-Video-Prompts, bewertet von 13 Prüfern über 1.400 Vergleiche hinweg hinsichtlich Handlungstreue, Physik und Weltkonsistenz, mit einem Elo-Wert, der mittels Bradley–Terry angepasst und bei 1500 zentriert wurde.

Dreizehn Reviewer sind ein kleines Panel, und sie bewerteten das Modell der Autor:innen gegen deren Baselines. Es ist trotzdem mehr Evidenz, als die meisten Veröffentlichungen in dieser Kategorie publizieren, und die Rahmung ist ungewöhnlich sorgfältig: Die geschlossenen Modelle im Vergleich wurden einmalig über eine Inference-API eines Drittanbieters generiert, und die Karte kennzeichnet, welche Zeilen Single-Seed sind. Nichts davon macht die Zahlen unabhängig. Es macht sie lesbar, was das Nächstbeste ist.

Zwei Minuten GPU pro dreizehn Sekunden Video

Die Zahl, die entscheidet, ob Sie PAN 2 verwenden können, ist kein Benchmark-Wert. Es ist die in der vLLM-Rezeptur, die besagt, dass dreizehn Sekunden 704×1248-Video auf vier B300-GPUs ungefähr 119 Sekunden dauern, wobei Classifier-Free Guidance auf zwei Ranks aufgeteilt ist und Ulysses-Sequenzparallelität auf zwei weitere. Der dokumentierte Standard sind acht H200 in BF16, zusätzlich mit VAE-Patch-Parallelität über vier Kacheln, weil das Dekodieren eines zwanzigsekündigen 704×1248-Clips ein eigenes Speicherproblem ist.

Wendet man die Sampler-Einstellungen auf diese Zahl an, werden die Kosten strukturell statt beiläufig. Fünfzig Schritte bei einem Flow-Shift von 9, mit Guidance von 2,5, die bei jedem Schritt angewendet wird, bedeuten hundert Forward-Passes durch einen 29B-Transformer pro Clip. Deshalb muss Guidance parallelisiert statt sequenziell ausgeführt werden, und deshalb lautet die ehrliche Frage zu PAN 2 nicht „wie gut ist es“, sondern „was kostet mich eine Simulation, und wie viele Simulationen braucht ein Plan“. Ein Planer, der bei einer zehnstufigen Aufgabe pro Schritt fünf Kandidatenaktionen bewertet, verlangt nach fünfzig Clips. In der vom Hersteller selbst veröffentlichten Konfiguration ist das ein Vier-GPU-Knoten, der den größten Teil von zwei Stunden beschäftigt ist, bevor irgendetwas aus der Ausgabe gelernt wurde.

Der Planer ist die günstige Hälfte, und IFM hat ihn austauschbar gelassen.

Es gibt einen Teil dieser Pipeline, der keinen GPU-Cluster benötigt, und der Bericht sagt explizit, dass er austauschbar ist. Der konzeptionelle Reasoner ist als jedes instruktionsfolgende Sprachmodell definiert, und IFM hat vier davon danach eingestuft, wie oft ein simulierter Plan von Anfang bis Ende abgeschlossen wird: Claude Opus 5.5 zuerst, dann GPT-6 Astra mit mittlerem Aufwand, dann Kimi K3, dann Qwen3.8-Flash.

Alle vier dieser Modelle sind im OrcaRouter-Katalog enthalten, wodurch der Reasoner-Slot der einzige Baustein eines PAN 2-Stacks ist, den Sie benchmarken können, ohne irgendetwas mieten zu müssen. Richten Sie den Prompt-Rewriter über einen einzigen API-Schlüssel auf jedes von ihnen aus, halten Sie die Diffusionshälfte an Ihre eigene Hardware gebunden und lassen Sie automatisches Failover einen Anbieter-Aussetzer mitten im Experiment auffangen, statt den Lauf abzubrechen; die Preisgestaltung ist der Listenpreis jedes Anbieters, durchgereicht mit 0 % Aufschlag, sodass eine Preisänderung eines Anbieters am Endpoint an dem Tag sichtbar wird, an dem sie erfolgt, und nicht erst nach einem Repricing-Zyklus. OrcaRouter hostet PAN 2 nicht und kann es nicht routen – der Renderer bleibt in Ihrer Hand –, aber die Hälfte der Pipeline, die entscheidet, was simuliert werden soll, ist gewöhnliche, abgerechnete Textarbeit, und sie ist die Hälfte, in der die Qualität zwischen den Läufen tatsächlich schwankt.

Um es klar zu sagen: Das obige Ranking stammt von IFM und wurde anhand von IFMs Aufgaben mit IFMs Harness gemessen. Es ist ein sinnvoller Ausgangspunkt für eine Auswahlliste. Es ist kein Ersatz dafür, Ihre eigenen Prompts durch die vier Kandidaten laufen zu lassen und zu zählen, wie oft Ihre Pläne Bestand haben.

Der Abschnitt zu den Einschränkungen ist die nützlichste Seite in der Veröffentlichung

Die meisten Modellkarten packen ihre Eingeständnisse in einen Absatz, den niemand liest. Die von PAN 2 stellt die Zahl voran: Etwa zwei von drei simulierten Plänen enthalten mindestens einen Schritt, der nicht ausgeführt wird. Dieser eine Satz gibt allem darüber einen neuen Rahmen. Ein Simulator, der in zwei von drei Plänen einen Schritt auslässt, ist noch nichts, das man einem Roboter in die Hand drückt und dann weggeht – er ist etwas, mit dem man Kandidatenpläne nach überlebbaren Fehlermodi ordnet, mit einer Prüfinstanz im Regelkreis.

Der Rest der Liste ist ebenso konkret und ebenso wert, für bare Münze genommen zu werden.

• Langfristige Konsistenz — jeder Clip wird aus höchstens einem Startbild plus Text simuliert, daher driftet das Erscheinungsbild über Clips hinweg bei langen Interaktionen; die Karte benennt perzeptuelles Gedächtnis als das fehlende Puzzleteil, statt zu behaupten, es sei gelöst.

• Prompt-Empfindlichkeit — die Formulierung der Beobachtung und der Aktion verändert das Ergebnis, und die Beispiele außerhalb der Trainingsverteilung benötigten manuell verfeinerte Prompts.

• Grobe Textaktionen – Text eignet sich gut für „eine Schublade öffnen" und schlecht für „jeden Finger hier platzieren", was geschickte Manipulation einschränkt.

• Abkürzungen — eine Simulation kann fortschreiten, während sie die Physik verletzt; das eigene Beispiel der Karte ist, dass Nudeln im Sieb erscheinen, bevor sie abgegossen werden.

{{1}}Getreues Scheitern ist ungemessen{{/1}} — die quantitative Studie deckt Open-Loop-Pläne ab, die auf Erfolg ausgelegt sind; wie gut PAN 2 Pläne simuliert, die scheitern sollten, ist, in den Worten der Karte, noch nicht gemessen. Das ist die Lücke, die für die Planung am wichtigsten ist, denn ein Simulator, der Ihnen kein schlechtes Ergebnis zeigen kann, ist noch kein Filter.

Guardrails werden als separates Repository ausgeliefert, mit angehängten Nummern.

Das andere, was IFM tat und die meisten Open-Weight-Video-Veröffentlichungen auslassen: Es veröffentlichte einen Guardrail zusammen mit dem Modell statt eines Absatzes, der einen solchen empfiehlt. pan2-guardrail prüft die Anfrage vor der Generierung mit Qwen3Guard-Gen-4B und das generierte Video danach mit einem Q16-Frame-Klassifikator, und die Model Card gibt an, was das in beide Richtungen kostet – schädliche Text-zu-Video-Anfragen, die unsichere Ausgaben erzeugten, fielen von 33,9 % auf 1,5 %, bei Bild-zu-Video wurden keine unsicheren Ausgaben beobachtet, und 11,5 % der harmlosen Text-zu-Video-Anfragen sowie 3,3 % der harmlosen Bild-zu-Video-Anfragen wurden auf dem Weg durch das System gestoppt.

Das sind die internen Messungen des Teams, kein Audit, und die False-Positive-Rate ist die Zahl, auf die man starren sollte, wenn Sie das in großem Umfang betreiben wollen: Ein Guardrail, der eine von neun harmlosen Anfragen ablehnt, ist eine Design-Einschränkung für Ihr Produkt, keine Fußnote. Es ist, fairerweise gesagt, auch die Art von Offenlegung, die es Ihnen überhaupt erst ermöglicht, diese Entscheidung zu treffen.

Was würde daraus mehr als nur eine beeindruckende Demo machen?

Drei Dinge, in aufsteigender Reihenfolge der Schwierigkeit. Eine Fehlerstudie: Die Modellkarte räumt ein, dass das Simulieren von Plänen, die scheitern sollten, ungemessen ist, und bis jemand das veröffentlicht, ist PAN 2 ein Generator plausibler Erfolge statt ein Prädiktor für Konsequenzen. Eine unabhängige Evaluierung: Jede Fähigkeitskennzahl in diesem Artikel stammt von IFM, auf IFMs Prüfstand, mit einem dreizehnköpfigen Panel für die Humanstudie, und keine dritte Partei hat irgendetwas davon reproduziert. Und ein kostengünstigerer Serving-Pfad: Die veröffentlichte Konfiguration ist ein Vier-GPU-Knoten für zwei Minuten pro dreizehn Sekunden, was für die Forschung in Ordnung ist und brutal für die Schleife, die simulatives Denken tatsächlich impliziert.

PAN 2 ist trotzdem die vollständigste Veröffentlichung eines Open-World-Modells in diesem Jahr, und genau auf diese Vollständigkeit kommt es an. Gewichte, Code, eine Serving-Anleitung, ein Prompt-Vertrag mit einem Token-Budget, eine Guardrail mit Falsch-Positiv-Zahlen und ein Abschnitt zu Einschränkungen, der mit der Fehlerrate beginnt. Man kann die Frage, ob es für einen Roboter bereit ist, anders sehen und es trotzdem diese Woche nutzen, um zu fragen, was passiert, wenn man die Flüssigkeit ändert – was für ein Modell, dessen gesamte Prämisse darin besteht, dass Folgen vorab überprüfbar sind, ein fairer erster Test ist.