Une carte de titre générée intitulée « PAN 2 vs Gemma 4 12B » avec le sous-titre « Un simulateur et un raisonneur ne sont pas rivaux », deux panneaux étiquetés « PAN 2 » et « Gemma 4 12B », et une ligne de pied de page indiquant « PAN 2 est sous Apache-2.0 et n'a jamais été lancé ; Gemma 4 12B est sous Apache-2.0 et a été publié ». Le logo OrcaRouter est intégré dans la bande blanche sous l'illustration.
Guides & Insights

PAN 2 vs Gemma 4 12B : un simulateur et un raisonneur ne sont pas rivaux

Auteur

Rowan Sterling

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Toutes les pages de comparaison sur Internet veulent un gagnant, et celle-ci ne peut honnêtement pas en avoir, car PAN 2 et Gemma 4 12B n’effectuent pas la même tâche. PAN 2 est un transformer de diffusion vidéo de 29 milliards de paramètres de l’Institute of Foundation Models de MBZUAI qui prend une image et une description d’actions et renvoie jusqu’à vingt secondes de vidéo en 704×1248 montrant ce qui se passe ensuite. Gemma 4 12B Unified est un modèle de langage multimodal sans encodeur de 11,95 milliards de paramètres de Google DeepMind qui prend du texte, des images et de l’audio et renvoie du texte. L’un restitue les conséquences ; l’autre en parle. Si vous êtes arrivé en cherchant un tableau de benchmarks qui les classe l’un par rapport à l’autre, il n’en existe aucun et aucun ne pourrait exister — ils ne partagent aucune évaluation. Ce qui existe, en revanche, c’est une vraie décision, car les deux sont de plus en plus déployés dans le même pipeline : le raisonneur écrit le plan, le simulateur vous montre ce que le plan fait. La question utile n’est donc pas de savoir lequel est meilleur, mais lequel votre problème nécessite réellement, et ce que chacun vous coûte à conserver.

{{something}}Le décalage,{{/something}}

Gemma 4 12B dispose d’un tableau d’évaluation public et PAN 2 non, et cette asymétrie n’est pas un signal de qualité — c’est un signal de catégorie. Google publie MMLU Pro, GPQA Diamond, AIME, LiveCodeBench et une douzaine d’autres benchmarks textuels et visuels parce que les modèles de langage sont mesurés à l’aune d’un étalon commun qui existe depuis des années. La fiche de PAN 2 publie Physics-IQ Verified, PhyGround, RBench et une étude de préférence humaine parce que les modèles de monde vidéo sont mesurés avec des instruments inventés récemment, principalement par les laboratoires qui construisent les modèles.

• Paramètres — PAN 2 : 29B dans un unique transformer de diffusion multimodal, avec un encodeur de texte Qwen3.5-9B gelé et un VAE Wan 2.2 chargé en parallèle. Gemma 4 12B : 11,95B, 48 couches, sans encodeur, avec des patches d’image bruts et des formes d’onde audio projetés directement dans l’espace d’embedding du décodeur.

• Entrées et sorties — {{1}}PAN 2 : une première image facultative, plus une description structurée de l’état du monde, et en sortie un MP4{{/1}}. {{2}}Gemma 4 12B : entrées texte, image, audio et vidéo, sortie texte, avec un contexte de 256K tokens et une prise en charge native des prompts système.{{/2}}

• Licence — PAN 2 : Apache-2.0 sur son propre code et ses propres poids, les composants tiers étant soumis à leurs propres conditions. G​emma 4 12B : Apache-2.0 selon les conditions de la licence G​emma 4.

• {{1}}Poids sur disque{{/1}} — {{2}}PAN 2 : 86,17 Go répartis sur soixante fichiers dans le dépôt IFM/PAN2, dont 67,37 Go pour le transformateur lui-même et 15,87 Go pour l'encodeur de texte.{{/2}} {{3}}Gemma 4 12B : environ 12 milliards de paramètres en BF16, soit environ un quart du transformateur à lui seul.{{/3}}

Ce en quoi chacun est réellement bon, selon ses propres preuves

Les chiffres de G​emma 4 12B sont les plus lisibles des deux, et ils sont respectables pour cette taille. Les scores rapportés par le fournisseur — MMLU Pro à 77,2 %, GPQA Diamond à 78,8 %, AIME 2026 sans outils à 77,5 %, LiveCodeBench v6 à 72,0 % et une note Codeforces de 1659 — le placent nettement devant la génération précédente : G​emma 3 27B obtient 67,6 %, 42,4 %, 20,8 %, 29,1 % et 110 sur les mêmes lignes. En vision, il affiche MMMU Pro à 69,1 % et MATH-Vision à 79,7 %. Sur le contexte long, MRCR v2 avec huit aiguilles à 128K atteint 43,4 %. Il s’agit des propres évaluations de G​oogle sur son propre modèle, et la fiche le précise ; considérez-les comme une affirmation du fournisseur bien documentée plutôt que comme un verdict indépendant.

PAN 2 n’a rien de comparable et ne prétend pas le contraire. Son affirmation est plus restrictive et plus étrange : qu’un modèle de diffusion conditionné sur une description structurée et ancrée dans le temps simule les conséquences physiques et causales d’une action assez bien pour qu’un agent compare des plans candidats avant de s’engager sur l’un d’eux. Ce qui étaye cette affirmation, c’est une étude de 300 cas sur une action unique couvrant six catégories de capacités, une étude de 200 invites à étapes multiples comportant 456 étapes, et un test de préférence humaine en aveugle portant sur 1 400 comparaisons. Les trois proviennent de l’équipe elle-même. Aucun d’eux ne s’applique à quoi que ce soit sur quoi G​emma 4 12B est évalué.

A screenshot of the gemma-4-12B-it model card on Hugging Face showing 173k likes, an Any-to-Any pipeline tag with gemma4_unified, an Apache 2.0 licence, a downloads-last-month figure of 1,804,152, a 12B parameter BF16 model size, model-card text describing the Gemma 4 12B Unified model as encoder-free with native audio and vision understanding, a 256K-token context window and support for over 140 languages, the five family sizes E2B, E4B, 12B, 26B A4B and 31B, and a model tree showing 159 adapters, 304 finetunes, 11 merges and 401 quantizations.

C’est sur la question du déploiement que la comparaison fait mal.

Ici, les deux modèles ne sont plus incomparables, car tous deux doivent tourner sur du matériel que vous payez.

G​emma 4 12B fonctionne sur un seul GPU grand public ou de station de travail en BF16, et sur beaucoup moins avec quantification. Il est pris en charge dès le premier jour dans les piles d’inférence standard, dispose d’un vocabulaire de 262 K et d’un ensemble documenté de paramètres par défaut pour l’échantillonnage et le mode réflexion. Si votre charge de travail porte sur la compréhension de documents, l’appel d’outils ou le raisonnement sur un long contexte, il s’agit d’un déploiement ordinaire et bien balisé, et les décisions intéressantes concernent toutes la rédaction des prompts.

Le déploiement de PAN 2 n’a rien d’ennuyeux. L’argument principal de la recette vLLM est que treize secondes de vidéo en 704×1248 prennent environ 119 secondes sur quatre GPU B300, avec le guidage sans classifieur parallélisé sur deux rangs et le parallélisme de séquence Ulysses sur deux. La configuration par défaut est de huit H200 en BF16. L’échantillonneur exécute cinquante étapes avec guidage à chaque étape — cent passes avant dans un transformeur 29B par clip —, c’est pourquoi le parallélisme n’est pas optionnel. Et le format de condition n’est pas du texte libre : le modèle attend une légende structurée d’état du monde, et le dépôt fournit une compétence de réécriture de prompt avec un validateur qui applique une limite souple de 1 480 jetons et une capacité stricte de 1 536 par rapport au budget de l’encodeur de texte.

Ce dernier détail est celui qui décide de la plupart des évaluations. On ne peut pas saisir un vœu dans PAN 2 et obtenir une vidéo. Il faut décrire les événements dans l’ordre, lier les actions aux acteurs et préciser le mouvement de caméra, et la fiche du modèle indique explicitement que les études de cas d’agents reposaient sur des prompts affinés à la main. G​emma 4 12B prendra volontiers un paragraphe de prose et vous renverra quelque chose d’utile dès le premier essai. Si vous voulez savoir ce que donne PAN 2 en pratique, la réponse honnête est qu’il se comporte comme un modèle doté d’un contrat d’interface, pas comme une boîte de dialogue.

A screenshot of the PAN2 model page on Hugging Face showing the Institute of Foundation Models at MBZUAI as author, 24 likes, an Image-Text-to-Video pipeline tag, Apache-2.0 licence, a note that downloads are not tracked, a 29B safetensors size in BF16, the overview text describing a general-purpose world model that simulates how the world changes in response to actions and returns video of up to 20 seconds, and the Generative Latent Prediction architecture paragraph naming the frozen text encoder.

Là où les deux ont leur place dans le même système

La raison pour laquelle cette comparaison revient sans cesse, c'est que le travail des agents a désormais besoin des deux moitiés. Un agent qui planifie en texte et agit dans un environnement réel a besoin d'un raisonneur pour décider quoi faire et, de plus en plus, d'un simulateur pour prévisualiser à quoi ressemblerait l'exécution. G​emma 4 12B peut être le raisonneur — il est assez petit pour être co-localisé avec le reste d'une pile, il traite les images et l'audio comme entrées, et ses scores de suivi d'instructions et d'utilisation d'outils constituent l'intérêt même du modèle. PAN 2 peut être le simulateur, et sa propre architecture présuppose qu'un modèle comme G​emma est déjà dans la boucle : le raisonneur conceptuel est défini comme tout modèle de langage capable de suivre des instructions, et le rapport classe quatre d'entre eux selon la fréquence à laquelle un plan simulé est mené de bout en bout — Claude Opus 5.5 en premier, puis GPT-6 Astra avec un effort moyen, puis Kimi K3, puis Qwen3.8-Flash.

Si telle est la configuration de votre système, le couplage n’est pas du tout PAN 2 contre G​emma 4 12B. C’est PAN 2 plus un raisonneur, et c’est dans le choix du raisonneur que se trouvent réellement le coût et la variance de qualité.

C’est là qu’un routeur fait un vrai travail, et non du marketing. La moitié simulation doit tourner sur vos propres GPU — personne n’héberge PAN 2, y compris MBZUAI —, mais la moitié raisonnement peut être un appel d’API facturé au compteur, et passer de Claude Opus 5.5 à GPT-6 Astra ou Qwen3.8-Flash pour trouver celui qui mène le plus souvent vos plans à terme relève du routage, pas de l’achat.Qwen3.8-Flash est disponible sur OrcaRouter, vous pouvez donc évaluer trois planificateurs face à votre propre déploiement PAN 2 via une seule clé API avec basculement automatique, au prix catalogue du fournisseur avec 0 % de majoration répercutée. OrcaRouter n’héberge pas PAN 2 et ne peut pas le router. Il peut maintenir la moitié bon marché du pipeline élastique tandis que la moitié coûteuse reste fixée au matériel.

A generated two-column scoreboard card titled 'PAN 2 vs Gemma 4 12B — the scoreboard', with six matching rows: Output MP4 video versus text; Parameters 29B plus a frozen 9B encoder versus 11.95B; Context a 1,536-token caption versus 256K tokens; Licence Apache-2.0 on both; Hardware 8×H200 default versus one GPU; Downloads not listed versus 1.8M monthly. A footer reads 'Vendor-reported figures; PAN 2 has no independent evaluation.' The OrcaRouter logo is composited in the white strip below the artwork.

Qu'est-ce qui changerait cette comparaison

Deux choses, dont aucune n’existe le 11 novembre 2026. Premièrement, une évaluation indépendante de PAN 2 par quelqu’un qui n’en est pas l’auteur — d’ici là, ses affirmations sur ses capacités proviennent du fournisseur et doivent être lues comme telles. Deuxièmement, un point de terminaison hébergé ou une véritable note de version pour PAN 2 — l’unique publication sur le compte X du laboratoire ne l’est pas — ce qui transformerait une décision d’auto-hébergement en comparaison de prix et rendrait la section déploiement de cette page obsolète du jour au lendemain.

G​emma 4 12B n’a besoin ni de l’un ni de l’autre. C’est un modèle livré, documenté et largement déployé, avec plus de 1,8 million de téléchargements mensuels sur Hugging Face, et son tableau d’évaluation a bénéficié de mois d’utilisation par la communauté pour repérer les points faibles. Le profil de risque lié à son adoption est proche de zéro. Le profil de risque lié à l’adoption de PAN 2, c’est que vous passez une semaine sur l’infrastructure pour un modèle dont la section sur les limites indique qu’environ deux plans simulés sur trois contiennent au moins une étape qui n’est pas exécutée. Cette phrase n’est pas une raison pour l’écarter. C’est une raison de savoir ce que vous achetez avant de louer les GPU.

Comment choisir

Si vous avez besoin que du texte, des images ou de l’audio soient compris et qu’il y soit répondu, PAN 2 n’est pas un candidat et aucun budget GPU, aussi important soit-il, n’en fera un. Prenez G​emma 4 12B, ou l’une des variantes plus grandes de G​emma 4 si les chiffres du 12B ne suffisent pas. Si vous avez besoin de voir à quoi ressemblerait une action avant de l’entreprendre — manipulation robotique, simulation de tâches égocentriques, évaluation du raisonnement physique — G​emma 4 12B ne peut pas le faire non plus, et PAN 2 est l’un des rares modèles à poids ouverts qui essaie. Si vous avez besoin d’un agent qui fasse les deux, la réponse est une pile, pas un modèle, et l’ingénierie intéressante se trouve dans l’interface entre les deux : le format de légende structuré qu’exige PAN 2 est exactement l’artefact qu’il faudrait apprendre à produire à un raisonneur comme G​emma 4 12B.