Eine generierte Titelkarte mit der Überschrift „PAN 2 vs Gemma 4 12B“ und dem Untertitel „Ein Simulator und ein Reasoner sind keine Rivalen“, zwei beschrifteten Panels für „PAN 2“ und „Gemma 4 12B“ sowie einer Fußzeile mit dem Text „PAN 2 ist Apache-2.0 und wurde nie veröffentlicht; Gemma 4 12B ist Apache-2.0 und wurde ausgeliefert“. Das OrcaRouter-Logo ist in den weißen Streifen unter der Grafik eingebettet.
Guides & Insights

PAN 2 vs. Gemma 4 12B: Ein Simulator und ein Reasoner sind keine Rivalen

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Jede Vergleichsseite im Internet will einen Sieger, und diese hier kann ehrlicherweise keinen haben, weil PAN 2 und Gemma 4 12B nicht dieselbe Aufgabe erfüllen. PAN 2 ist ein Video-Diffusions-Transformer mit 29 Milliarden Parametern vom Institute of Foundation Models der MBZUAI, der ein Bild und eine Beschreibung von Aktionen entgegennimmt und bis zu zwanzig Sekunden Video in 704×1248 zurückgibt, das zeigt, was als Nächstes passiert. Gemma 4 12B Unified ist ein encoderfreies multimodales Sprachmodell mit 11,95 Milliarden Parametern von Google DeepMind, das Text, Bilder und Audio entgegennimmt und Text zurückgibt. Das eine stellt Konsequenzen dar; das andere spricht über sie. Wenn Sie hierhergekommen sind, um eine Benchmark-Tabelle zu finden, die die beiden gegeneinander einordnet: Die gibt es nicht, und die könnte es nicht geben – sie haben keine gemeinsame Evaluation. Was es gibt, ist eine echte Entscheidung, denn die beiden werden zunehmend in derselben Pipeline eingesetzt: Der Reasoner schreibt den Plan, der Simulator zeigt Ihnen, was der Plan bewirkt. Die nützliche Frage ist also nicht, welches besser ist, sondern welches Ihr Problem tatsächlich braucht und was es Sie kostet, das jeweilige Modell vorzuhalten.

Die Diskrepanz, klar ausgedrückt

Gemma 4 12B hat eine öffentliche Bewertungstabelle und PAN 2 nicht, und diese Asymmetrie ist kein Qualitätssignal – sie ist ein Kategoriensignal. Google veröffentlicht MMLU Pro, GPQA Diamond, AIME, LiveCodeBench und ein Dutzend weitere Text- und Vision-Benchmarks, weil Sprachmodelle an einem gemeinsamen Maßstab gemessen werden, den es seit Jahren gibt. Die Karte von PAN 2 veröffentlicht Physics-IQ Verified, PhyGround, RBench und eine Studie zur menschlichen Präferenz, weil Video-Weltmodelle mit Instrumenten gemessen werden, die erst vor kurzem erfunden wurden – größtenteils von den Laboren, die die Modelle bauen.

• Parameter — PAN 2: 29B in einem einzigen multimodalen Diffusionstransformer, mit einem eingefrorenen Qwen3.5-9B-Textencoder und einem zusätzlich geladenen Wan 2.2 VAE. G​emma 4 12B: 11,95B, 48 Schichten, ohne Encoder, wobei rohe Bild-Patches und Audio-Wellenformen direkt in den Einbettungsraum des Decoders projiziert werden.

• Eingaben und Ausgaben — PAN 2: ein optionales Startbild plus eine strukturierte Beschreibung des Weltzustands, heraus kommt eine MP4-Datei. G​emma 4 12B: Text, Bild, Audio und Video rein, Text raus, mit einem Kontext von 256K Token und nativer Unterstützung für System-Prompts.

• Lizenz — PAN 2: Apache-2.0 für den eigenen Code und die eigenen Gewichte, wobei Drittanbieterkomponenten ihren eigenen Bedingungen unterliegen. G​emma 4 12B: Apache-2.0 unter den Lizenzbedingungen von G​emma 4.

• Gewichte auf der Festplatte — PAN 2: 86,17 GB verteilt auf sechzig Dateien im IFM/PAN2-Repository, davon entfallen 67,37 GB auf den Transformer selbst und 15,87 GB auf den Text-Encoder. Gemma 4 12B: etwa 12 Milliarden Parameter in BF16, rund ein Viertel allein des Transformers.

Worin jedes Einzelne tatsächlich gut ist – nach seinen eigenen Belegen

Die Zahlen von G​emma 4 12B sind die besser lesbaren der beiden und für diese Größe respektabel. Die vom Anbieter gemeldeten Werte – MMLU Pro 77,2 %, GPQA Diamond 78,8 %, AIME 2026 ohne Werkzeuge 77,5 %, LiveCodeBench v6 72,0 % und ein Codeforces-Rating von 1659 – setzen es deutlich von der vorherigen Generation ab; G​emma 3 27B erreicht in denselben Zeilen 67,6 %, 42,4 %, 20,8 %, 29,1 % und 110. Bei Vision erzielt es MMMU Pro 69,1 % und MATH-Vision 79,7 %. Bei langem Kontext kommt MRCR v2 mit acht Nadeln bei 128K auf 43,4 %. Das sind G​oogles eigene Evaluierungen von G​oogles eigenem Modell, und die Modellkarte sagt das auch; behandeln Sie sie als gut dokumentierte Anbieterangabe und nicht als unabhängiges Urteil.

PAN 2 hat nichts Vergleichbares und behauptet es auch nicht. Sein Anspruch ist enger und seltsamer: dass ein Diffusionsmodell, das auf eine strukturierte, zeitlich verankerte Beschreibung konditioniert ist, die physischen und kausalen Folgen einer Handlung gut genug simuliert, damit ein Agent Kandidatenpläne vergleichen kann, bevor er sich für einen entscheidet. Belegt wird dieser Anspruch durch eine Einzelaktionsstudie mit 300 Fällen über sechs Fähigkeitskategorien, eine Mehrschrittstudie mit 200 Prompts und 456 Schritten sowie einen blinden menschlichen Präferenztest mit 1.400 Vergleichen. Alle drei stammen vom Team selbst. Keine davon lässt sich auf irgendetwas übertragen, worauf G​emma 4 12B gemessen wird.

A screenshot of the gemma-4-12B-it model card on Hugging Face showing 173k likes, an Any-to-Any pipeline tag with gemma4_unified, an Apache 2.0 licence, a downloads-last-month figure of 1,804,152, a 12B parameter BF16 model size, model-card text describing the Gemma 4 12B Unified model as encoder-free with native audio and vision understanding, a 256K-token context window and support for over 140 languages, the five family sizes E2B, E4B, 12B, 26B A4B and 31B, and a model tree showing 159 adapters, 304 finetunes, 11 merges and 401 quantizations.

Die Frage des Deployments ist der Punkt, an dem der Vergleich schmerzhaft wird.

Hier hören die beiden Modelle auf, unvergleichbar zu sein, denn beide müssen auf Hardware laufen, für die Sie bezahlen.

G​emma 4 12B läuft bei BF16 auf einer einzelnen Consumer- oder Workstation-GPU und mit Quantisierung auf deutlich weniger. Es wird ab dem ersten Tag in den Standard-Inferenz-Stacks unterstützt, hat ein Vokabular von 262K und einen dokumentierten Satz von Standardwerten für Sampling und Denkmodus. Wenn Ihre Workload Dokumentverständnis, Tool-Aufrufe oder Reasoning über einen langen Kontext umfasst, ist dies eine langweilige, gut erprobte Bereitstellung, und die interessanten Entscheidungen drehen sich alle ums Prompting.

Das Deployment von PAN 2 ist alles andere als langweilig. Die eigene Schlagzeile des vLLM-Rezepts lautet, dass ein dreizehnsekündiges 704×1248-Video auf vier B300-GPUs etwa 119 Sekunden benötigt, wobei Classifier-Free-Guidance über zwei Ranks und Ulysses-Sequenzparallelität über zwei Ranks parallelisiert sind. Die Standardkonfiguration sind acht H200 in BF16. Der Sampler führt fünfzig Schritte mit Guidance bei jedem Schritt aus — hundert Forward-Passes durch einen 29B-Transformer pro Clip —, weshalb die Parallelisierung nicht optional ist. Und das Konditionierungsformat ist kein Freitext: Das Modell erwartet eine strukturierte Weltzustands-Caption, und das Repository liefert einen Prompt-Rewriter-Skill mit einem Validator, der gegenüber dem Budget des Text-Encoders eine weiche Grenze von 1.480 Tokens und eine harte Kapazität von 1.536 durchsetzt.

Dieses letzte Detail ist dasjenige, das die meisten Bewertungen entscheidet. Man kann keinen Wunsch in PAN 2 eintippen und ein Video erhalten. Man muss Ereignisse in der richtigen Reihenfolge beschreiben, Aktionen an Akteure binden und die Kamerabewegung angeben, und die Modellkarte stellt ausdrücklich klar, dass die Agenten-Fallstudien auf von Hand verfeinerten Prompts beruhten. G​emma 4 12B nimmt ohne Weiteres einen Absatz Prosa und liefert Ihnen beim ersten Versuch etwas Nützliches zurück. Wenn Sie wissen möchten, wie sich PAN 2 in der Praxis anfühlt, lautet die ehrliche Antwort, dass es sich wie ein Modell mit einem Schnittstellenvertrag anfühlt, nicht wie eine Chat-Box.

A screenshot of the PAN2 model page on Hugging Face showing the Institute of Foundation Models at MBZUAI as author, 24 likes, an Image-Text-to-Video pipeline tag, Apache-2.0 licence, a note that downloads are not tracked, a 29B safetensors size in BF16, the overview text describing a general-purpose world model that simulates how the world changes in response to actions and returns video of up to 20 seconds, and the Generative Latent Prediction architecture paragraph naming the frozen text encoder.

Wo die beiden in dasselbe System gehören

Der Grund, warum dieser Vergleich immer wieder aufkommt, ist, dass Agentenarbeit inzwischen beide Hälften braucht. Ein Agent, der in Text plant und in einer realen Umgebung handelt, braucht einen Reasoner, der entscheidet, was zu tun ist, und zunehmend einen Simulator, der vorab zeigt, wie die Ausführung aussehen würde. G​emma 4 12B kann der Reasoner sein – es ist klein genug, um zusammen mit dem Rest eines Stacks betrieben zu werden, es verarbeitet Bilder und Audio als Eingaben, und seine Werte für Instruktionsbefolgung und Tool-Nutzung sind das Entscheidende am Modell. PAN 2 kann der Simulator sein, und seine eigene Architektur setzt voraus, dass so etwas wie G​emma bereits im Loop ist: Der konzeptionelle Reasoner ist als jedes instruktionsbefolgende Sprachmodell definiert, und der Bericht ordnet vier davon danach ein, wie oft ein simulierter Plan von Anfang bis Ende abgeschlossen wird – Claude Opus 5.5 zuerst, dann GPT-6 Astra bei mittlerem Aufwand, dann Kimi K3, dann Qwen3.8-Flash.

Wenn das die Form Ihres Systems ist, dann ist die Paarung überhaupt nicht PAN 2 gegen G​emma 4 12B. Es ist PAN 2 plus ein Reasoner, und die Wahl des Reasoners ist genau der Punkt, an dem die Kosten und die Qualitätsvarianz tatsächlich liegen.

Das ist ein Ort, an dem ein Router echte Arbeit leistet statt Marketingarbeit. Die Simulationshälfte muss auf deinen eigenen GPUs laufen – niemand hostet PAN 2, MBZUAI eingeschlossen –, aber die Reasoning-Hälfte kann ein abgerechneter API-Aufruf sein, und zwischen Claude Opus 5.5, GPT-6 Astra und Qwen3.8-Flash zu wechseln, um herauszufinden, welches davon deine Pläne am häufigsten vervollständigt, ist eine Routing-Frage, keine Beschaffungsfrage. Qwen3.8-Flash ist auf OrcaRouter verfügbar, sodass du drei Planer gegen dein eigenes Deployment von PAN 2 über einen einzigen API-Schlüssel mit automatischem Failover benchmarken kannst – zum Listenpreis des Anbieters mit 0 % Aufschlag durchgereicht. OrcaRouter hostet PAN 2 nicht und kann es nicht routen. Es kann die günstige Hälfte der Pipeline elastisch halten, während die teure Hälfte an die Hardware gebunden bleibt.

A generated two-column scoreboard card titled 'PAN 2 vs Gemma 4 12B — the scoreboard', with six matching rows: Output MP4 video versus text; Parameters 29B plus a frozen 9B encoder versus 11.95B; Context a 1,536-token caption versus 256K tokens; Licence Apache-2.0 on both; Hardware 8×H200 default versus one GPU; Downloads not listed versus 1.8M monthly. A footer reads 'Vendor-reported figures; PAN 2 has no independent evaluation.' The OrcaRouter logo is composited in the white strip below the artwork.

Was würde diesen Vergleich verändern?

Zwei Dinge, die es am 11. November 2026 beide nicht gibt. Erstens: eine unabhängige Bewertung von PAN 2 durch jemanden, der nicht sein Autor ist — bis dahin sind seine Leistungsangaben Herstellerangaben und sollten auch so gelesen werden. Zweitens: ein gehosteter Endpunkt oder ein echter Release-Hinweis für PAN 2 — der eine Beitrag auf dem X-Konto des Labors ist das nicht —, was eine Self-Hosting-Entscheidung in einen Preisvergleich verwandeln und den Deployment-Abschnitt dieser Seite über Nacht obsolet machen würde.

Gemma 4 12B braucht beides nicht. Es ist ein ausgeliefertes, dokumentiertes und breit eingesetztes Modell mit über 1,8 Millionen monatlichen Downloads auf Hugging Face, und seine Evaluierungstabelle wurde monatelang von der Community genutzt, um die Schwachstellen zu finden. Das Risikoprofil einer Einführung ist nahezu null. Das Risikoprofil einer Einführung von PAN 2 besteht darin, dass man eine Woche für die Infrastruktur eines Modells aufwendet, dessen Abschnitt zu Einschränkungen sagt, dass etwa zwei von drei simulierten Plänen mindestens einen Schritt enthalten, der nicht ausgeführt wird. Dieser Satz ist kein Grund, es zu überspringen. Er ist ein Grund, zu wissen, was man kauft, bevor man die GPUs mietet.

Wie man wählt

Wenn Sie Text, Bilder oder Audio verstehen und beantworten lassen müssen, ist PAN 2 kein Kandidat, und kein noch so großes GPU-Budget macht es zu einem. Nehmen Sie G​emma 4 12B oder eine der größeren G​emma 4-Varianten, falls die Zahlen des 12B nicht ausreichen. Wenn Sie sehen müssen, wie eine Aktion aussehen würde, bevor Sie sie ausführen — robotische Manipulation, egozentrische Aufgabensimulation, Evaluation physikalischen Schlussfolgerns —, kann G​emma 4 12B das ebenfalls nicht, und PAN 2 ist eines der wenigen Open-Weight-Modelle, das es versucht. Wenn Sie einen Agenten benötigen, der beides kann, ist die Antwort ein Stack, kein Modell, und die interessante Ingenieursarbeit liegt in der Schnittstelle zwischen beiden: Das strukturierte Beschriftungsformat, das PAN 2 verlangt, ist genau das Artefakt, das ein Reasoner wie G​emma 4 12B erst lernen müsste zu erzeugen.