PAN 2 rend « Et si » regardable — et le dit là où ça échoue

Lâchez une fraise dans un bol et vous savez déjà, sans y penser, à peu près comment le liquide rejaillit. PAN 2 est le modèle du monde de l’Institute of Foundation Models de MBZUAI, conçu pour savoir la même chose et pour le montrer. Donnez-lui une image de départ, décrivez une action en texte, et il renvoie jusqu’à vingt secondes de vidéo en 704×1248 à 24 images par seconde montrant ce que cette action fait à la scène. La démonstration qui a circulé le 11 novembre 2026 est l’explication la plus claire de l’idée jamais produite : remplacez la fraise par un canard en caoutchouc, ou changez le liquide, et l’éclaboussure change avec, parce que le modèle prédit une conséquence physique plutôt que de récupérer un clip. L’annonce d’IFM elle-même, publiée la veille au soir, résumait le pitch en une phrase — « Un modèle de langage prédit le mot suivant. PAN 2 prédit le monde suivant : ce qui se produit après chaque action, ancré dans le temps, la physique et l’espace. »

Ce qui en fait plus qu’un slogan, c’est la publication qui l’accompagne. Les poids sont sous Apache-2.0 et sont disponibles sur Hugging Face depuis le 7 octobre 2026 : 86,17 gigaoctets répartis sur soixante fichiers, le code d’inférence ayant suivi sur GitHub le 5 novembre et la prise en charge du serving dès le jour J ayant été intégrée à vLLM-Omni le 10 novembre. La question à laquelle il vaut donc la peine de répondre n’est plus de savoir si PAN 2 existe ni qui peut y accéder. C’est de savoir ce qu’un simulateur téléchargeable de 29 milliards de paramètres fait assez bien pour que l’on planifie à partir de ses résultats, et où la documentation de l’équipe elle-même indique de ne pas le faire.

La démo est un pipeline en deux étapes qui se présente sous le nom d’un seul modèle

Le clip de la fraise ressemble à une génération texte-vidéo. Ce n’est pas le cas, et toute la conception repose sur cette distinction. PAN 2 met en œuvre le motif Generative Latent Prediction défini dans Critique des modèles du monde (arXiv 2507.05169), qui divise la prédiction en une partie raisonnement et une partie rendu.

La moitié dédiée au raisonnement est un modèle de langage — n’importe lequel capable de suivre des instructions — qui lit l’observation ainsi que les actions demandées et écrit l’état suivant du monde sous forme de légende structurée et ancrée dans le temps : les événements dans l’ordre, chaque action liée à l’acteur qui l’exécute, plus le mouvement de caméra. Cette légende n’est pas décorative. C’est l’interface réelle. Un encodeur de texte Qwen3.5-9B figé la transforme en caractéristiques de conditionnement, et un transformer de diffusion multimodal de 29B entraîné à partir de zéro sur des centaines de millions de vidéos annotées dans le même format complète les détails perceptifs que la légende laisse ouverts. Un VAE Wan 2.2 décode les latents en images.

Ce qui signifie que la véritable affirmation de la démo ne porte pas du tout sur les pixels. C’est qu’une description structurée d’une action constitue un signal de contrôle suffisant pour qu’un simulateur produise une conséquence physiquement cohérente — et qu’un agent peut donc simuler plusieurs plans candidats, les comparer et agir selon le meilleur. C’est ce que IFM entend par raisonnement par simulation, et c’est pourquoi la fraise, le canard et le liquide échangé sont trois exécutions de la même question plutôt que trois séquences vidéo.

La conséquence pratique est peu engageante. Vous ne pouvez pas saisir un souhait dans PAN 2 et obtenir une vidéo. Le dépôt fournit une compétence de réécriture de prompts — un prompt système, un prompt négatif fixe et un validateur qui vérifie les légendes par rapport au budget de l’encodeur de texte de 1 480 jetons en limite souple et 1 536 en limite stricte — et la fiche modèle indique sans détour que les études de cas d’agents s’appuyaient sur des prompts affinés à la main. Le texte libre est réécrit avant d’être utilisé. C’est un modèle doté d’un contrat d’interface, pas une zone de discussion.

Ce que le rapport a mesuré, et les mots qu'il a employés

IFM a publié davantage d'évaluations que ne le font la plupart des sorties de modèles vidéo, et a précisé les conditions plus rigoureusement que la plupart. Tout cela est le travail de l'équipe, réalisé sur son propre banc d'essai, et la fiche du modèle le précise dans la section où cela compte.

• Actions simples — 300 cas de test répartis dans six catégories de capacités, 201 image-vers-vidéo et 99 texte-vers-vidéo, précision indiquée en pourcentage.

• Plans à plusieurs étapes — 100 tâches quotidiennes égocentriques formulées de deux manières, 200 invites et 456 étapes, évalués sur l’achèvement des étapes et l’achèvement du plan complet, avec une moyenne sur trois graines.

• Benchmarks publics — Physics-IQ Verified sur la configuration image-vers-vidéo, normalisé de sorte que la variance entre deux prises réelles soit égale à 100 ; PhyGround sur une échelle en cinq points évaluée par Qwen3.8-27B ; RBench comme moyenne non pondérée sur cinq catégories de tâches et quatre catégories d’incarnation, multipliée par 100.

• Préférence humaine — comparaison par paires à l’aveugle sur {{1}}140 prompts{{/1}}, dont {{2}}90 en texte-vers-vidéo{{/2}} et {{3}}50 en image-vers-vidéo{{/3}}, évalués sur le respect des actions, la physique et la cohérence du monde par {{4}}13 évaluateurs{{/4}} sur {{5}}1 400 comparaisons{{/5}}, avec {{6}}un score Elo ajusté selon Bradley–Terry et centré sur 1500.{{/6}}

Treize évaluateurs, c'est un petit comité, et ils jugeaient le modèle des auteurs par rapport aux baselines des auteurs. Cela reste néanmoins plus de preuves que n'en publient la plupart des sorties de cette catégorie, et le cadrage est d'une prudence inhabituelle : les modèles fermés de la comparaison ont été générés une seule fois via une API d'inférence tierce, et la fiche signale quelles lignes sont issues d'une seule graine. Rien de tout cela ne rend les chiffres indépendants. Cela les rend lisibles, ce qui est la deuxième meilleure chose.

Deux minutes de GPU pour treize secondes de vidéo

Le nombre qui détermine si vous pouvez utiliser PAN 2 n’est pas un score de benchmark. C’est celui de la recette vLLM, qui indique que treize secondes de vidéo en 704×1248 prennent environ 119 secondes sur quatre GPU B300, avec le classifier-free guidance réparti sur deux rangs et le parallélisme de séquence Ulysses sur deux autres. La configuration par défaut documentée utilise huit H200 en BF16, avec en plus le parallélisme des patchs VAE sur quatre tuiles, car le décodage d’un clip de vingt secondes en 704×1248 est un problème de mémoire à part entière.

Appliquez les réglages de l’échantillonneur à ce chiffre, et le coût devient structurel plutôt qu’accessoire. Cinquante étapes avec un décalage de flux de 9, avec un guidage de 2,5 appliqué à chaque étape, cela signifie cent passes avant à travers un transformateur de 29 B pour chaque clip. C’est pourquoi le guidage doit être parallélisé plutôt qu’exécuté séquentiellement, et pourquoi la question honnête à propos de PAN 2 n’est pas « quel est son niveau de qualité » mais « combien me coûte une simulation, et de combien de simulations un plan a-t-il besoin ». Un planificateur qui évalue cinq actions candidates par étape, sur une tâche de dix étapes, demande cinquante clips. Dans la configuration publiée par le fournisseur lui-même, cela occupe un nœud à quatre GPU pendant la majeure partie de deux heures, avant même que quoi que ce soit ait été appris de la sortie.

Le planificateur est la moitié bon marché, et IFM l’a laissé interchangeable

Il y a une partie de ce pipeline qui n’a pas besoin d’un cluster GPU, et le rapport indique explicitement qu’elle est interchangeable. Le raisonneur conceptuel est défini comme tout modèle de langage capable de suivre des instructions, et IFM a classé quatre d’entre eux selon la fréquence à laquelle un plan simulé se déroule de bout en bout : Claude Opus 5.5 en premier, puis GPT-6 Astra avec un effort moyen, puis Kimi K3, puis Qwen3.8-Flash.

Ces quatre modèles figurent tous dans le catalogue OrcaRouter, ce qui fait de l’emplacement du raisonneur la seule pièce d’une pile PAN 2 que vous pouvez évaluer sans louer quoi que ce soit. Faites pointer le réécrivain de prompt vers chacun d’eux via une seule clé API, gardez la moitié diffusion épinglée sur votre propre matériel et laissez le basculement automatique absorber un hoquet d’un fournisseur en cours d’expérience au lieu d’interrompre l’exécution ; la tarification correspond à le tarif catalogue de chaque fournisseur, répercuté avec 0 % de marge, de sorte qu’un changement de prix d’un fournisseur apparaît au niveau du point de terminaison le jour même, plutôt qu’après un cycle de réévaluation des prix. OrcaRouter n’héberge pas PAN 2 et ne peut pas le router — le moteur de rendu reste le vôtre — mais la moitié du pipeline qui décide quoi simuler est un travail de texte facturé à l’usage classique, et c’est la moitié où la qualité varie réellement d’une exécution à l’autre.

Il faut le dire clairement : le classement ci-dessus est celui d’IFM, mesuré sur les tâches d’IFM avec le harnais d’IFM. C’est un point de départ raisonnable pour établir une présélection. Cela ne remplace pas le fait de soumettre vos propres prompts aux quatre candidats et de compter la fréquence à laquelle vos plans tiennent.

La section des limitations est la page la plus utile de la version.

La plupart des fiches de modèle relèguent leurs aveux dans un paragraphe que personne ne lit. Celle de PAN 2 met le chiffre d’emblée : environ deux plans simulés sur trois contiennent au moins une étape qui n’est pas exécutée. Cette seule phrase recadre tout ce qui précède. Un simulateur qui omet une étape dans deux plans sur trois n’est pas encore quelque chose que l’on confie à un robot pour ensuite vaquer à ses occupations — c’est quelque chose qui sert à classer des plans candidats dont les modes de défaillance sont survivables, avec un vérificateur dans la boucle.

Le reste de la liste est tout aussi précis, et tout aussi digne d’être pris au pied de la lettre.

• Cohérence sur un horizon long — chaque clip est simulé à partir d’au plus une image de départ plus du texte, de sorte que l’apparence dérive d’un clip à l’autre dans les interactions longues ; la fiche identifie la mémoire perceptuelle comme la pièce manquante plutôt que de prétendre qu’elle est résolue.

• Sensibilité aux prompts — la formulation de l’observation et de l’action modifie le résultat, et les exemples hors de la distribution d’entraînement ont nécessité des prompts affinés manuellement.

• Actions textuelles grossières — le texte exprime bien « ouvrir un tiroir » et mal « placer chaque doigt ici », ce qui borne la manipulation dextre.

• Raccourcis — une simulation peut progresser tout en violant les lois de la physique, l’exemple donné par la carte elle-même étant des pâtes qui apparaissent dans la passoire avant d’être égouttées.

• L'échec fidèle n'est pas mesuré — l'étude quantitative couvre des plans en boucle ouverte conçus pour réussir ; la qualité avec laquelle PAN 2 simule des plans censés échouer n'est, selon les termes de la fiche, pas encore mesurée. C'est l'écart qui compte le plus pour la planification, car un simulateur qui ne peut pas vous montrer un mauvais résultat n'est pas encore un filtre.

Guardrails est livré dans un dépôt séparé, avec les numéros joints.

L'autre chose que IFM a faite et que la plupart des publications de vidéo à poids ouverts omettent : elle a publié un garde-fou avec le modèle plutôt qu'un paragraphe recommandant d'en utiliser un. pan2-guardrail filtre la requête avec Qwen3Guard-Gen-4B avant la génération, puis la vidéo générée avec un classificateur de trames Q16 après coup, et la fiche indique ce que cela coûte dans les deux sens — les requêtes texte-vers-vidéo nuisibles produisant une sortie non sûre sont passées de 33,9 % à 1,5 %, aucune sortie image-vers-vidéo non sûre n'a été observée, et 11,5 % des requêtes texte-vers-vidéo bénignes ainsi que 3,3 % des requêtes image-vers-vidéo bénignes ont été bloquées en cours de route.

Ce sont les mesures internes de l’équipe, pas un audit, et le taux de faux positifs est le chiffre qu’il faut regarder en face si vous comptez l’exploiter à grande échelle : un garde-fou qui rejette une requête légitime sur neuf constitue une contrainte de conception pour votre produit, pas une note de bas de page. C’est aussi, pour être juste, le genre de divulgation qui vous permet de prendre cette décision tout court.

Qu’est-ce qui en ferait plus qu’une démo impressionnante ?

Trois choses, par ordre croissant de difficulté. Une étude d’échec : la fiche de modèle admet que la simulation de plans censés échouer n’est pas mesurée, et tant que cela n’aura pas été publié, PAN 2 est un générateur de réussites plausibles plutôt qu’un prédicteur de conséquences. Une évaluation indépendante : chaque chiffre de capacité dans cet article provient d’IFM, sur le banc d’essai d’IFM, avec un panel de treize personnes pour l’étude humaine, et aucun tiers n’en a reproduit le moindre élément. Et une voie de service moins coûteuse : la configuration publiée est un nœud à quatre GPU à raison de deux minutes pour treize secondes, ce qui convient à la recherche mais est brutal pour la boucle que le raisonnement par simulation implique en réalité.

PAN 2 reste néanmoins la publication ouverte de modèle du monde la plus complète de l’année, et c’est précisément l’exhaustivité qui compte. Des poids, du code, une recette de déploiement, un contrat de prompt avec un budget de tokens, un garde-fou avec des chiffres de faux positifs, et une section sur les limites qui commence par le taux d’échec. Vous pouvez douter de sa maturité pour un robot et malgré tout l’utiliser cette semaine pour demander ce qui se passe si vous changez le liquide — ce qui, pour un modèle dont toute la prémisse est que les conséquences peuvent être prévisualisées, constitue un premier test raisonnable.