PAN 2 maakt "What If" kijkbaar — en zegt waar het faalt

Laat een aardbei in een kom vallen en je weet al, zonder erbij na te denken, ongeveer hoe de vloeistof opspat. PAN 2 is het wereldmodel van het Institute of Foundation Models aan MBZUAI, gebouwd om hetzelfde te weten en het te laten zien. Geef het een startframe, beschrijf een actie in tekst, en het levert tot twintig seconden video van 704×1248 op bij 24 beelden per seconde, die laat zien wat die actie met de scène doet. De demonstratie die op 11 november 2026 de ronde deed, is de duidelijkste uitleg van het idee die iemand heeft gemaakt: vervang de aardbei door een rubberen eend, of verander de vloeistof, en de spatten veranderen mee, omdat het model een fysiek gevolg voorspelt in plaats van een clip op te zoeken. De eigen aankondiging van IFM, de avond daarvoor gepost, vatte de pitch in één zin samen: "Een taalmodel voorspelt het volgende woord. PAN 2 voorspelt de volgende wereld: wat er na elke actie gebeurt, verankerd in tijd, natuurkunde en ruimte."

Wat dat meer dan een leus maakt, is de release eromheen. De weights zijn Apache-2.0 en staan sinds 7 oktober 2026 op Hugging Face: 86,17 gigabyte verdeeld over zestig bestanden, met inferentiecode die op 5 november op GitHub volgt en Day-0-servingondersteuning die op 10 november in vLLM-Omni wordt samengevoegd. De vraag die het antwoord waard is, is dus niet langer of PAN 2 bestaat of wie er toegang toe kan krijgen. Het is wat een downloadbare simulator met 29 miljard parameters goed genoeg doet om je planning op zijn output te baseren, en waar de eigen documentatie van het team zegt dat je dat niet moet doen.

De demo is een tweetraps-pipeline die de naam van één model draagt.

De aardbeienclip ziet eruit als een tekst-naar-videogeneratie. Dat is het niet, en dat onderscheid is het hele ontwerp. PAN 2 implementeert het Generative Latent Prediction-patroon zoals uiteengezet in Kritiek op wereldmodellen (arXiv 2507.05169), dat voorspelling opsplitst in een redeneerhelft en een renderinghelft.

De redeneerhelft is een taalmodel — elk model dat instructies kan volgen — dat de observatie plus de gevraagde acties leest en de volgende wereldtoestand schrijft als een gestructureerd, tijdsgebonden onderschrift: de gebeurtenissen in volgorde, elke actie gekoppeld aan de actor die haar uitvoert, plus camerabeweging. Dat onderschrift is geen versiering. Het is de eigenlijke interface. Een bevroren Qwen3.5-9B-tekstencoder zet het om in conditioneringskenmerken, en een 29B multimodaal diffusietransformer die vanaf nul is getraind op honderden miljoenen video's die in hetzelfde formaat zijn geannoteerd, vult de perceptuele details in die het onderschrift openlaat. Een Wan 2.2 VAE decodeert de latents naar frames.

Wat betekent dat de echte claim van de demo helemaal niet over pixels gaat. Het is dat een gestructureerde beschrijving van een actie een voldoende controlesignaal is voor een simulator om een fysiek coherent gevolg te produceren — en dat een agent daardoor meerdere kandidaatplannen kan simuleren, ze kan vergelijken en op het beste kan handelen. Dat is wat IFM bedoelt met simulatieve redenering, en daarom zijn de aardbei, de eend en de verwisselde vloeistof drie uitvoeringen van dezelfde vraag in plaats van drie stukken beeldmateriaal.

De praktische consequentie is onvriendelijk. Je kunt geen wens in PAN 2 typen en een video krijgen. De repository wordt geleverd met een prompt-rewriter-skill — een systeemprompt, een vaste negatieve prompt en een validator die bijschriften controleert tegen het budget van de tekstencoder van 1.480 tokens soft en 1.536 hard — en de modelkaart zegt duidelijk dat de agent-case studies vertrouwden op handmatig verfijnde prompts. Vrije tekst wordt herschreven voordat deze wordt gebruikt. Dat is een model met een interfacecontract, geen chatbox.

Wat het rapport heeft gemeten, en de woorden die het gebruikte

IFM publiceerde meer evaluatie dan de meeste releases van videomodellen doen, en benoemde de omstandigheden nauwkeuriger dan de meeste. Het is allemaal het eigen werk van het team op de eigen harness van het team, en de modelkaart zegt dat in de sectie waar het ertoe doet.

• Afzonderlijke acties — 300 testgevallen verdeeld over zes vaardigheidscategorieën, 201 afbeelding-naar-video en 99 tekst-naar-video, nauwkeurigheid gerapporteerd als een percentage.

• Plannen met meerdere stappen — 100 egocentrische alledaagse taken, op beide manieren aangeboden, 200 prompts en 456 stappen, beoordeeld op voltooiing per stap en voltooiing van het volledige plan, gemiddeld over drie seeds.

• Openbare benchmarks — Physics-IQ Verified op de image-to-video-instelling, genormaliseerd zodat de variantie tussen twee echte opnames gelijk is aan 100; PhyGround op een vijfpuntschaal beoordeeld door Qwen3.8-27B; RBench als een ongewogen gemiddelde over vijf taak- en vier embodiment-categorieën, vermenigvuldigd met 100.

• Menselijke voorkeur — blinde paarsgewijze vergelijking op 140 prompts, 90 tekst-naar-video en 50 afbeelding-naar-video, beoordeeld op naleving van acties, natuurkunde en wereldconsistentie door 13 beoordelaars over 1.400 vergelijkingen, met Elo aangepast volgens Bradley–Terry en gecentreerd op 1500.

Dertien reviewers is een klein panel, en ze beoordeelden het model van de auteurs tegen de baselines van de auteurs. Het is nog steeds meer bewijs dan de meeste releases in deze categorie publiceren, en de inkadering is ongewoon zorgvuldig: de gesloten modellen in de vergelijking zijn één keer gegenereerd via een inference-API van een derde partij, en de kaart markeert welke rijen single-seed zijn. Niets daarvan maakt de cijfers onafhankelijk. Het maakt ze leesbaar, en dat is het op een na beste.

Twee minuten GPU per dertien seconden video

Het getal dat bepaalt of je PAN 2 kunt gebruiken, is geen benchmarkscore. Het staat in het vLLM-recept, dat aangeeft dat dertien seconden 704×1248-video op vier B300-GPU's ongeveer 119 seconden duurt, waarbij classifier-free guidance over twee ranks is verdeeld en Ulysses-sequence-parallellisme over nog twee. De gedocumenteerde standaard is acht H200's in BF16, met daarbovenop VAE-patchparallellisme over vier tiles, omdat het decoderen van een clip van twintig seconden in 704×1248 een eigen geheugenprobleem is.

Met die samplerinstellingen op dat getal worden de kosten structureel in plaats van incidenteel. Vijftig stappen bij een flow shift van 9, met guidance van 2,5 toegepast op elke stap, betekent honderd forward passes door een 29B-transformer per clip. Daarom moet guidance geparallelliseerd worden in plaats van sequentieel te worden uitgevoerd, en daarom is de eerlijke vraag over PAN 2 niet "hoe goed is het" maar "wat kost één simulatie me, en hoeveel simulaties heeft een plan nodig". Een planner die vijf kandidaatacties per stap evalueert, over een taak van tien stappen, vraagt om vijftig clips. Bij de door de leverancier zelf gepubliceerde configuratie is dat een node met vier GPU's die het grootste deel van twee uur bezet is, voordat er iets uit de output is geleerd.

De planner is de goedkope helft, en IFM heeft hem uitwisselbaar gelaten.

Er is één onderdeel van deze pipeline dat geen GPU-cluster nodig heeft, en het rapport zegt expliciet dat het uitwisselbaar is. De conceptuele reasoner is gedefinieerd als elk instructievolgend taalmodel, en IFM rangschikte vier ervan op basis van hoe vaak een gesimuleerd plan end-to-end wordt voltooid: Claude Opus 5.5 als eerste, dan GPT-6 Astra bij gemiddelde inspanning, dan Kimi K3, en dan Qwen3.8-Flash.

Al die vier modellen staan in de OrcaRouter-catalogus, waardoor de reasoner-slot het enige onderdeel van een PAN 2-stack is dat je kunt benchmarken zonder iets te huren. Richt de prompt-rewriter via één API-sleutel op elk van hen, houd de diffusiehelft vastgepind op je eigen hardware, en laat automatische failover een hapering bij een provider midden in een experiment opvangen in plaats van de run af te breken; de prijs is de lijstprijs van elke provider, doorgegeven met 0% marge, zodat een prijswijziging van een leverancier dezelfde dag nog aan het endpoint zichtbaar is in plaats van pas na een herprijzingscyclus. OrcaRouter host PAN 2 niet en kan het niet routeren — de renderer blijft van jou — maar de helft van de pipeline die beslist wat er gesimuleerd wordt, is gewoon gemeten tekstwerk, en dat is precies de helft waar de kwaliteit tussen runs echt varieert.

Om het maar ronduit te zeggen: de bovenstaande ranglijst is van IFM, gemeten op de taken van IFM met de harness van IFM. Het is een verstandig startpunt voor een shortlist. Het is geen vervanging voor het door de vier kandidaten halen van je eigen prompts en het tellen hoe vaak je plannen standhouden.

Het gedeelte over beperkingen is de nuttigste pagina in de release.

De meeste modelkaarten stoppen hun bekentenissen in een alinea die niemand leest. Die van PAN 2 zet het getal vooraan: ongeveer twee op de drie gesimuleerde plannen bevatten minstens één stap die niet wordt uitgevoerd. Die ene zin herkadert alles wat erboven staat. Een simulator die in twee op de drie plannen een stap laat vallen, is nog niet iets wat je een robot geeft en dan wegloopt — het is iets waarmee je kandidaatplannen rangschikt waarvan je de faalmodi kunt overleven, met een checker in de lus.

De rest van de lijst is even specifiek en evenzeer de moeite waard om letterlijk te nemen.

• Consistentie over lange horizon — elke clip wordt gesimuleerd vanuit hoogstens één startframe plus tekst, waardoor het uiterlijk tussen clips in lange interacties gaat afwijken; de kaart noemt perceptueel geheugen als het ontbrekende stuk in plaats van te beweren dat het is opgelost.

Promptgevoeligheid — de formulering van de observatie en de actie verandert de uitkomst, en de voorbeelden buiten de trainingsdistributie hadden handmatig verfijnde prompts nodig.

• Grove tekstacties — tekst drukt "een lade openen" goed uit en "plaats elke vinger hier" slecht, wat behendige manipulatie beperkt.

• Snelkoppelingen — een simulatie kan vorderen terwijl deze de natuurkunde schendt; het eigen voorbeeld van de kaart is pasta die in de vergiet verschijnt voordat het is afgegoten.

• Getrouw falen is ongemeten — de kwantitatieve studie behandelt open-loop-plannen die ontworpen zijn om te slagen; hoe goed PAN 2 plannen simuleert die zouden moeten falen, is volgens de kaart nog niet gemeten. Dat is de kloof die het meest van belang is voor planning, omdat een simulator die je geen slechte uitkomst kan tonen, nog geen filter is.

Guardrails worden geleverd als een aparte repository, met nummers eraan gekoppeld.

Het andere dat IFM deed en wat de meeste open-weight videoreleases overslaan: het publiceerde een guardrail samen met het model in plaats van een alinea waarin er een wordt aanbevolen. pan2-guardrail screent het verzoek met Qwen3Guard-Gen-4B vóór generatie en de gegenereerde video achteraf met een Q16-frameklassifier, en de kaart rapporteert wat dat in beide richtingen kost — schadelijke tekst-naar-videoverzoeken die onveilige output opleveren daalden van 33,9% naar 1,5%, er werden geen onveilige afbeelding-naar-video-outputs waargenomen, en 11,5% van de onschuldige tekst-naar-videoverzoeken plus 3,3% van de onschuldige afbeelding-naar-videoverzoeken werden onderweg tegengehouden.

Dat zijn de interne metingen van het team, geen audit, en het percentage valse positieven is het getal waar je naar moet staren als je dit op volume wilt draaien: een guardrail die één op de negen goedaardige verzoeken afwijst, is een ontwerpbeperking van je product, geen voetnoot. Het is, eerlijk is eerlijk, ook het soort openbaarmaking dat je in staat stelt die beslissing überhaupt te nemen.

Wat zou dit meer dan een indrukwekkende demo maken?

Drie dingen, in oplopende volgorde van moeilijkheid. Een falingsstudie: de modelkaart geeft toe dat {{1}}het simuleren van plannen die zouden moeten falen{{/1}} niet wordt gemeten, en totdat iemand dat publiceert, is PAN 2 een generator van plausibele successen in plaats van een voorspeller van gevolgen. Een onafhankelijke evaluatie: elk capaciteitscijfer in dit artikel is afkomstig van {{2}}IFM{{/2}}, op de testomgeving van {{3}}IFM{{/3}}, met een {{4}}dertienkoppig panel{{/4}} voor de menselijke studie, en geen enkele derde partij heeft er iets van gereproduceerd. En een goedkoper serverpad: de gepubliceerde configuratie is {{5}}een node met vier GPU's voor twee minuten per dertien seconden{{/5}}, wat prima is voor onderzoek en meedogenloos voor de lus die simulatief redeneren feitelijk impliceert.

PAN 2 is niettemin de meest complete open wereldmodel-release van het jaar, en die volledigheid is juist het punt. Gewichten, code, een serveerrecept, een promptcontract met een tokenbudget, een guardrail met valspositieve cijfers, en een sectie over beperkingen die begint met het faalpercentage. Je kunt het oneens zijn met de gereedheid ervan voor een robot en het deze week nog steeds gebruiken om te vragen wat er gebeurt als je de vloeistof verandert — wat, voor een model waarvan het hele uitgangspunt is dat gevolgen vooraf kunnen worden bekeken, een redelijke eerste test is.