Eine generierte Titelcard mit der Überschrift „PAN 2 – ausgeliefert, bevor es angekündigt wurde“, dem Untertitel „ein 29B-Weltmodell mit offenen Gewichten von IFM, MBZUAI“ und einer Zeitleiste in der Fußzeile: „Gewichte 7. Okt. 2026 · Code 5. Nov. 2026 · vLLM-Omni-Unterstützung 10. Nov. 2026“. Das OrcaRouter-Logo ist in den weißen Streifen unter der Grafik eingefügt.
Engineering & Research

PAN 2 bekam einen Serving-Pfad, bevor es angekündigt wurde.

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Am 10. November 2026 um 16:03 UTC wurde ein Pull Request, der Day-0-Unterstützung für die Text-zu-Video- und Bild-zu-Video-Generierung von PAN 2 hinzufügt, in vLLM-Omni gemergt. Am selben Tag um 20:55 UTC fügte ein zweiter Pull Request die Recipe-Seite hinzu, die erklärt, wie man es bereitstellt. PAN 2 ist ein Video-Diffusions-Transformer mit 29 Milliarden Parametern vom Institute of Foundation Models an der MBZUAI, und der Grund, warum diese beiden Merges die eigentliche Geschichte sind, ist die Reihenfolge, in der sie eingingen. Das Repository auf Hugging Face datiert vom 7. Oktober 2026 und das auf GitHub vom 5. November, sodass fünf Wochen lang die einzige öffentliche Spur des Modells Repository-Metadaten waren. Die erste offizielle Stellungnahme, die ich finden kann, ist ein einzelner Post vom eigenen X-Konto des Labors, @IFM_AI, mit Zeitstempel 10. November, 17:00 UTC – sechsundfünfzig Minuten nach dem vLLM-Omni-Merge und fast vier Stunden vor der Recipe-Seite. Dort heißt es: „Wir stellen PAN 2 vor: ein offenes Foundation-World-Model für physische Intelligenz“, der Post enthält ein Video und verlinkt auf nichts außer sich selbst. Kein Blogbeitrag, keine Paper-URL, kein gehosteter Endpoint, keine Preisseite, keine Pressemitteilung. Der Serving-Pfad kam also tatsächlich vor der Ankündigung, und die Ankündigung, als sie dann kam, war kleiner als der Merge: ein paar hundert Likes und zwei Absätze. Was existiert, ist ein 86,17 GB großer Apache-2.0-Checkpoint, eine Framework-Integration und ein Tweet.

Was tatsächlich gelandet ist und in welcher Reihenfolge

Vier verschiedene Dinge sind passiert, und sie zu vermengen führt dazu, dass eine stille Veröffentlichung für eine Markteinführung gehalten wird.

• Die Gewichte — IFM/PAN2 auf Hugging Face, Repository erstellt am 7. Oktober 2026 um 23:42 UTC, zuletzt geändert am 9. November 2026 um 21:52 UTC mit einem Commit, der Unterstützung für den Safety-Checker als modulare Diffusers-Pipeline-Komponente hinzufügt. Sechzig Dateien, 86,17 GB, ohne Zugangsbeschränkung, Apache-2.0.

• Der Code — github.com/ifm-ai/PAN2, erstellt am 5. November 2026, mit einem einzigen Commit, der an diesem Tag um 20:13 UTC gepusht wurde. Kein Forschungs-Dump mit einer toten README: Es gibt Inferenzskripte, festgeschriebene Umgebungsversionen, Trainingskonfigurationen, einen Prompt-Rewriter-Skill und Dokumentation für Deployment, Training und Inferenz.

• Der Serving-Pfad — vLLM-Omni PR #8602 für Day-0-Unterstützung für Text-zu-Video und Bild-zu-Video, zusammengeführt am 10. November um 16:03 UTC, und der vLLM-Recipe-PR #10126, zusammengeführt am selben Abend um 20:55 UTC.

Die Aussage – @IFM_AI auf X, 10. November um 17:00 UTC: „Vorstellung von PAN 2: ein offenes Foundation-Weltmodell für physische Intelligenz.“ Zwei Absätze, ein Video, kein Link zu einem Beitrag, einem Paper oder einer Seite.

Diese Reihenfolge ist ungewöhnlich, und die Ankündigung ist das Element, das sie seltsamer statt normaler macht. Normalerweise kündigt ein Labor an, veröffentlicht Gewichte, und Framework-Unterstützung tröpfelt in den folgenden Wochen herein, während Nutzer Issues einreichen. Hier kam der Framework-Merge zuerst, die Ankündigung folgte sechsundfünfzig Minuten später, und das Rezept kam vier Stunden danach. Das substanziellste öffentliche Artefakt im kurzen Leben des Modells ist weiterhin ein Pull Request, was etwas darüber sagt, wie dieses Release abgezogen wurde: als Artefakt-Veröffentlichung für Leute, die Repositories lesen, mit einem Social-Media-Beitrag, der fast beiläufig angehängt wurde.

A screenshot of the PAN2 model page on Hugging Face showing the Institute of Foundation Models at MBZUAI as author, 24 likes and 4 followers, an Image-Text-to-Video pipeline tag, tags for diffusers, safetensors, English, world-model, world-simulation, text-to-video, image-to-video, diffusion-transformer and arXiv 2507.05169, an Apache-2.0 licence badge, a note that downloads are not tracked for this model, a safetensors size of 29B parameters in BF16, the model-card overview describing PAN 2 as a general-purpose world model that simulates how the world changes in response to actions and returns video of up to 20 seconds, and a paragraph naming the Generative Latent Prediction architecture and the frozen text encoder.

Was das Repository Ihnen verraten wird

Mehr als die meisten Release-Posts. PAN 2 ist ein Weltmodell, kein Videogenerator mit cineastischer Ausrichtung – der Unterschied ist architektonisch, nicht rhetorisch. Es implementiert das Generative-Latent-Prediction-Muster, das in Kritik der Weltmodelle (arXiv 2507.05169) beschrieben wird, und teilt die Aufgabe in zwei Teile. Ein konzeptueller Reasoner, also jedes instruktionsbefolgende Sprachmodell, liest die Beobachtung und die angeforderten Aktionen und schreibt den nächsten Weltzustand als strukturierte, zeitlich verankerte Bildbeschreibung: Ereignisse in der Reihenfolge, Aktionen an Akteure gebunden, Kamerabewegung. Ein eingefrorener Textencoder bildet diese Bildbeschreibung auf Konditionierungsmerkmale ab. Dann sagt ein 29B-Multimodal-Diffusionstransformer, der von Grund auf auf Hunderten Millionen im selben Format annotierten Videos trainiert wurde, die perzeptuellen Details voraus, die die Bildbeschreibung offenlässt. Ein Wan-2.2-VAE dekodiert die Latents, und heraus kommt ein Video von bis zu 20 Sekunden bei 704×1248 und 24 Bildern pro Sekunde.

Die veröffentlichte Konfiguration ist konkret genug, um die Kosten zu beziffern. Die Transformer-Konfiguration gibt 44 Schichten, 32 Attention-Heads mit je 128 Dimensionen, eine Patch-Größe von 1×2×2, 97 Eingangskanäle und 48 Ausgangskanäle an. Der Standard-Sampler verwendet 50 Schritte bei einer Flow-Shift von 9 mit Classifier-Free Guidance von 2,5 bei jedem Schritt. Die Standardlänge beträgt 241 Frames, etwa zehn Sekunden; die Obergrenze liegt bei 481 Frames. Der Text-Encoder ist Qwen3.5-9B, eingefroren und unverändert, und beim VAE handelt es sich um den von Wan 2.2. Beide werden aus ihren eigenen Repositories heruntergeladen – MBZUAI gibt sie nicht weiter, und die Model Card betont dies ausdrücklich.

Außerdem gibt es eine prompt-rewriter-Skill, die im Repository mitgeliefert wird, mit einem System-Prompt, einem festen Negativ-Prompt und einem Validator, der Captions gegen das Token-Budget des Text-Encoders prüft: eine weiche Grenze von 1.480 Tokens und eine harte Kapazität von 1.536. Das ist das nützlichste einzelne Artefakt in diesem Release. Es zeigt, dass das Modell Freitext nicht wirklich gut verarbeitet und dass das Team das weiß.

Was es Ihnen nicht sagen wird

Fast alles, was ein Käufer fragen würde. Es gibt keinen Preis, denn es gibt keine API. Es gibt keinen gehosteten Endpunkt von MBZUAI. Es gibt keinen unabhängigen Benchmark: Die Zahlen in der Modellkarte stammen vom Team selbst und wurden mit dessen eigener Testumgebung gemessen, und die Karte ist ungewöhnlich offen in Bezug auf die Bedingungen — Physics-IQ Verified so normalisiert, dass die Varianz zwischen zwei echten Aufnahmen 100 entspricht, PhyGround von Qwen3.8-27B auf einer Fünf-Punkte-Skala bewertet, RBench als ungewichtetes Mittel über fünf Aufgaben- und vier Embodiment-Kategorien. Das sind verteidbare Entscheidungen, und keine davon ist eine Verifizierung durch Dritte.

Die menschliche Evaluation ist der stärkste Beleg in diesem Release und zugleich der am stärksten begrenzte. Blindes paarweises Präferenzurteil über 140 Prompts – 90 Text-to-Video, 50 Image-to-Video – bewertet nach Handlungstreue, Physik und Weltkonsistenz von 13 Gutachtern über 1.400 Vergleiche hinweg, mit einem nach Bradley–Terry angepassten Elo und zentriert bei 1500. Dreizehn Gutachter sind ein kleines Panel, und sie beurteilten das eigene Modell des Teams gegen Baselines. Das ist mehr, als die meisten Labore veröffentlichen. Es ist kein Leaderboard.

Und der Abschnitt zu den Einschränkungen ist unverblümter als in diesem Genre üblich: Etwa zwei von drei simulierten Plänen enthalten mindestens einen Schritt, der nicht ausgeführt wird. Dieser eine Satz ist die wichtigste Zahl in der Veröffentlichung, und er ist derjenige, den ein Launch-Post verschwiegen hätte.

Die Durchsatzzahl im Rezept ist das eigentlich Entscheidende.

Framework-Support ist wichtig wegen dessen, was das Rezept behauptet, nicht weil ein Logo hinzugefügt wurde. Die vLLM-Rezeptseite besagt, dass PAN 2 auf vier B300-GPUs in rund 119 Sekunden ein 13-sekündiges 704×1248-Video erzeugt, unter Nutzung von Classifier-Free-Guidance-Parallelität über zwei Ranks und Ulysses-Sequenzparallelität über zwei. Die Standardkonfiguration besteht aus acht H200 in BF16, und der dokumentierte Serve-Befehl ergänzt VAE-Patch-Parallelität über vier Ranks im Tile-Modus — ein Detail, das nur deshalb relevant ist, weil das Dekodieren eines 20-Sekunden-Clips in 704×1248 ein eigenes Speicherproblem ist.

Lies diese Zahlen im Verhältnis zu den Sampler-Einstellungen. Fünfzig Schritte mit Guidance bei jedem Schritt bedeuten hundert Forward-Passes durch einen 29B-Transformer pro Clip. Deshalb führt der Guide die Guidance parallel statt sequenziell aus. Das ist auch der Grund, warum die praktische Frage zu PAN 2 nicht lautet „Wie gut ist es?“, sondern „Was kostet mich ein Clip?“ – und die Antwort nach dem eigenen Rezept des Anbieters lautet: ein Vier-GPU-Knoten für zwei Minuten pro dreizehn Sekunden Video. Niemand hat eine günstigere Konfiguration veröffentlicht, und die Acht-H200-Standardkonfiguration des Rezepts legt nahe, dass das Vier-B300-Setup eher eine knappe Angelegenheit als eine komfortable Untergrenze ist.

A generated scoreboard card titled 'PAN 2 — the scoreboard' with six rows: Parameters 29B diffusion transformer, Files 60 totalling 86.17 GB, Video up to 20 s at 704×1248 and 24 fps, Sampler 50 steps with CFG 2.5, Licence Apache-2.0, and Serving 13 s of video in 119 s on 4×B300. A footer reads 'Figures from IFM's model card and the vLLM recipe; no independent benchmark yet.' The OrcaRouter logo is composited in the white strip below the artwork.

Wenn Sie es ausprobieren möchten, ist der Planer der Teil, den Sie mieten können.

Das zweistufige Design von PAN 2 hat eine merkwürdige praktische Konsequenz. Die teure Hälfte – das 29B-Diffusions-Backbone – ist die Hälfte, die man selbst hosten muss, weil niemand sie als Dienst anbietet und MBZUAI keinen solchen gebaut hat. Die günstige Hälfte, der konzeptuelle Reasoner, der die strukturierte Weltzustands-Caption schreibt, ist ein gewöhnliches Textmodell und kann jedes beliebige Modell sein, das Anweisungen folgt.

Dort spielt ein Router seine Stärke aus. Der PAN-2-Bericht bewertet vier Reasoner und ordnet sie nach der Vollständigkeit der Planausführung: Claude Opus 5.5 zuerst, dann GPT-6 Astra bei mittlerem Aufwand, dann Kimi K3, dann Qwen3.8-Flash. Qwen3.8-Flash läuft auf OrcaRouter, sodass du die Caption-Stufe von PAN 2 über einen einzigen API-Schlüssel mit automatischem Failover steuern kannst, statt ein zweites lokales Modell neben dem Diffusions-Stack aufzusetzen, und dabei den Listenpreis des Anbieters mit 0 % Aufschlag weitergegeben zahlst. Der Renderer bleibt auf deinen GPUs; der Planner muss es nicht.

Sei klar darüber, was das ist und was nicht. OrcaRouter hostet PAN 2 nicht und kann es nicht routen – es gibt nirgends ein gehostetes PAN 2, zu dem man routen könnte. Was es kann, ist, die Sprachhälfte einer Weltmodell-Pipeline auf einer nutzungsabhängig abgerechneten API zu halten, während du die Videohälfte an deiner eigenen Hardware dimensionierst. Wenn du beide Stufen lieber lokal ausführen möchtest, unterstützt das Repository das ebenfalls, und das Prompt-Rewriter-Skript ist genau für diesen Fall enthalten.

A screenshot of the vLLM recipes site entry for IFM/PAN2, showing a provider sidebar listing IFM alongside other labs, the description '29B foundation world model for text-to-video and image-to-video: a dual-stream diffusion transformer that simulates how a scene evolves under a time-grounded plan', a nightly vLLM-Omni install block with an extra-index CUDA option and a copy button, and the recipe page's models-and-providers search bar.

Was würde als Ankündigung gelten?

Drei Dinge, in aufsteigender Reihenfolge ihrer Bedeutung. Ein Beitrag, ein Paper oder eine Seite von IFM oder MBZUAI, die PAN 2 nennt und ein Veröffentlichungsdatum oder eine Version angibt – der Tweet vom 10. November hat die erste Hälfte davon erfüllt und nicht die zweite. Ein gehosteter Inferenz-Endpunkt, der einen Kostenvergleich mit geschlossenen Videomodellen statt mit GPU-Miete ermöglichen würde. Und ein unabhängiger Benchmark, durchgeführt von jemandem, der nicht der Autor des Modells ist – Physics-IQ, PhyGround oder RBench, bewertet von einem Dritten, mit Prompts, die das Team nicht ausgewählt hat.

Bis mindestens das erste davon vollständig vorliegt, lautet die ehrliche Beschreibung von PAN 2 so: ein Forschungsartefakt unter Apache-2.0 mit einem funktionierenden Serving-Pfad, einem dokumentierten Prompt-Format, einem freimütigen Abschnitt zu Einschränkungen, einem Social-Media-Post und keinem kommerziellen Angebot dahinter. Das ist mehr als ein Preprint und weniger als ein Produkt. Die Framework-Unterstützung, die am 10. November kam, machte daraus keinen Launch. Sie machte es für Leute lauffähig, die kein Repository patchen möchten, nur um ein erstes Frame zu bekommen.

Fazit

PAN 2 ist der seltene Fall, in dem die Technik der Papierarbeit voraus ist. Wenn Sie Agentensimulation, Robotik-Evaluierung oder Forschung zum physikalischen Schlussfolgern betreiben und einen Knoten mit vier GPUs haben, sind die Gewichte da, das Rezept ist da, und das zweistufige Design ist gut genug dokumentiert, um es nachzubauen. Wenn Sie einen Preis pro Clip, eine Service-Level-Vereinbarung oder einen Anbieter brauchen, den Sie anrufen können: Nichts davon gibt es bisher, und die Merges vom 10. November haben daran nichts geändert. Das Modell wurde still veröffentlicht – falls „veröffentlicht“ überhaupt das richtige Wort für ein Repository, einen Merge und einen Beitrag von zwei Absätzen ist. Ob es jemals in einem Sinne angekündigt wird, den ein Käufer wiedererkennen würde, ist eine andere Frage als die, ob es funktioniert – und nur eine der beiden hat heute eine Antwort.