PAN 2 vs. Cari4D: Eine Interaktion beobachten und eine vorhersagen

Cari4D weiß, was eine Hand mit einem Objekt gemacht hat. PAN 2 kann Ihnen zeigen, was eine Hand mit einem Objekt tun würde, wenn Sie es darum bitten. Das sind entgegengesetzte Bewegungsrichtungen entlang derselben Achse, und solange Sie nicht sagen, in welche Richtung Ihr Problem läuft, ist ein Vergleich zwischen ihnen ein Münzwurf, der sich als Analyse ausgibt. Cari4D ist die kategorienunabhängige 4D-Rekonstruktionslinie von NVIDIA – das CoCoNet-Modell, das ein monokulares RGB-Video einer Person ansieht, die ein starres Objekt handhabt, und deren Posen im metrischen Maßstab Bild für Bild rekonstruiert, mit einem kommerziell lizenzierten Checkpoint mit 231 Millionen Parametern auf Hugging Face seit dem 30. August 2026. PAN 2 ist das 29 Milliarden Parameter große Weltenmodell mit offenen Gewichten von IFM, das am 7. Oktober 2026 als Apache-2.0-Checkpoint veröffentlicht wurde und den umgekehrten Weg geht: Geben Sie ihm ein Einzelbild und eine beschriebene Aktion, und es rendert bis zu zwanzig Sekunden 704×1248-Video, das vorhersagt, was die Aktion bewirkt. Das eine liest. Das andere schreibt. Der Grund, sie auf derselben Seite zu behandeln, ist, dass das Artefakt, das sie verbindet – eine strukturierte Beschreibung davon, wer was mit welchem Objekt gemacht hat –, genau das ist, was jedes von ihnen erzeugt oder verbraucht.

Zwei Pipelines, die gleich aussehen und nichts gemeinsam haben

Cari4D ist nicht ein einziges Netzwerk, das auf Video reagiert. Es ist eine Kette von Foundation-Modellen mit einer erlernten Korrekturstufe in der Mitte: UniDepth für metrische Tiefe, NLF und GENMO für menschliche Pose, Hunyuan3D für Objekt-Meshes aus einem einzigen Bild, FoundationPose für Tracking, VolumetricSMPL für ein Signed-Distance-Körpermodell. CoCoNet — der Teil, den NVIDIA veröffentlicht — rendert die aktuelle Schätzung von Mensch und Objekt in RGB, Tiefe und Masken, vergleicht dieses Rendering mit der realen Beobachtung über einen DINOv2 ViT-B/14 RGB-Encoder und einen ViT-S/14 Sechs-Kanal-Encoder, führt zwei räumlich-zeitliche Attention-Blöcke aus und regressiert Korrekturen pro Frame über MLP-Heads.

Die Kette von PAN 2 läuft in die andere Richtung und enthält ein Sprachmodell. Ein konzeptueller Reasoner – jedes instruktionsfolgende Modell – liest die Beobachtung und die angeforderten Aktionen und schreibt den nächsten Weltzustand als strukturierte, zeitlich verankerte Beschreibung: Ereignisse in Reihenfolge, Aktionen an Akteure gebunden, Kamerabewegung. Ein eingefrorener Qwen3.5-9B-Textencoder bildet diese Beschreibung auf Konditionierungsmerkmale ab. Ein multimodaler 29B-Diffusionstransformer sagt die Videolatenten voraus, die die Beschreibung offen lässt, konditioniert auf diese und auf das VAE-Latent des Startframes, und ein Wan 2.2-Decoder rendert sie.

Die Ähnlichkeit, die Menschen dazu bringt, sie zusammenzudenken, ist also durchaus real – bei beiden geht es um Menschen, Hände, Gegenstände und die Physik des Kontakts –, und die Maschinerie darunter ist überhaupt nicht verwandt.

• Richtung — Cari4D gewinnt Parameter aus Pixeln zurück; PAN 2 erzeugt Pixel aus Parametern.

• Ausgabe — Cari4D liefert pro Frame menschliche Pose und Form auf dem MHR-Rig, Objektpose pro Frame sowie zwei Handkontakt-Logits; PAN 2 liefert ein MP4.

• Eingabe — Cari4D verarbeitet ein monokulares RGB-Video; PAN 2 benötigt ein optionales erstes Einzelbild plus eine strukturierte Aktionsbeschreibung.

• Größe — Cari4D CoCoNet hat 231 Mio. Parameter und wurde bis Schritt 200.000 trainiert; das Diffusions-Backbone von PAN 2 umfasst 29B, mit einem separaten eingefrorenen 9B-Textencoder und einem Wan-2.2-VAE.

• Metrischer Maßstab — Cari4Ds zentrale Aussage ist die metrische Rekonstruktion aus einer einzelnen Kamera ohne Tiefensensor; PAN 2 erhebt keinerlei metrischen Anspruch, und seine Ausgabe ist eine Vorhersage statt einer Messung.

• Bewertung — Cari4Ds Zahlen stammen aus einem CVPR-2026-Paper sowie einer Anbieterkarte, die einräumt, dass das kommerzielle Modell keinen separaten Testsatz besitzt; die Zahlen von PAN 2 stammen aus IFMs eigenem Harness ohne Reproduktion durch Dritte.

Der Lizenzunterschied ist der praktisch relevante Punkt.

Beide Modelle sind herunterladbar, was sie bereits in einen kleinen exklusiven Kreis bringt. Was Sie mit ihnen tun dürfen, unterscheidet sich stärker, als ihre Parameterzahlen vermuten lassen.

Der eigene Code und die Gewichte von PAN 2 stehen unter Apache-2.0, ohne Zugangsbeschränkung, sechzig Dateien und 86,17 Gigabyte, wobei Drittanbieterkomponenten – Wan 2.2, Qwen3.5-9B, Diffusers – unter deren eigenen Bedingungen stehen und nicht von MBZUAI weitervertrieben werden. Sie laden es herunter, führen es aus und liefern aus, was Sie bauen – vorbehaltlich der üblichen Apache-Verpflichtungen. Das Repository `pan2-guardrail` wird separat mit einem Anfrage-Screener und einem Frame-Klassifikator bereitgestellt; IFM berichtet, dass es den Anteil schädlicher Text-zu-Video-Anfragen, die unsichere Ausgaben erzeugen, von 33,9 % auf 1,5 % gesenkt hat, während es 11,5 % der harmlosen Text-zu-Video-Anfragen und 3,3 % der harmlosen Bild-zu-Video-Anfragen gestoppt hat – also genau die Art von Zahl, die man kennen möchte, bevor man irgendetwas einsetzt, das realistische Aufnahmen generiert.

Cari4Ds Position ist stärker fragmentiert, was Beschaffungsteams ins Stolpern bringt. Das Forschungs-Repository, nvidia/CARI4D, trägt die NVIDIA-Lizenz mit dem Vermerk „nur für Forschung und Entwicklung“ auf der Model Card. Der kommerzielle Checkpoint, nvidia/cari4d_commercial, unterliegt der NVIDIA Open Model Agreement und erlaubt die kommerzielle Nutzung – doch er ist zugangsbeschränkt: Man akzeptiert Bedingungen und gibt Kontaktdaten an, bevor die Dateien erscheinen, und das veröffentlichte CoCoNet läuft nicht eigenständig. Die übergreifende Pipeline zieht weiterhin NLF-Torchscript-Gewichte, FoundationPose-Gewichte, SMPL-H-Assets und Hunyuan3D-Meshes heran, jeweils mit eigener Lizenz. Die kommerzielle Lizenz deckt nur den Teil ab, den NVIDIA veröffentlicht, und nichts drumherum.

Außerdem ist eine Rig-Migration einzuplanen. Die Forschungslinie regressiert SMPL-Pose und -Form; der kommerzielle Checkpoint gibt Parameter des Native Momentum Human Rig aus. Wenn Sie Integrationscode gegen die Forschungs-Tensoren geschrieben haben, ist die Ausgabeform der kommerziellen Karte kein Drop-in.

Wo die beiden zusammenwirken, und warum genau das der interessante Teil ist

Hier ist die Verbindung, die keiner der beiden Anbieter bewirbt und die jeder, der Physical-AI-Datenpipelines aufbaut, sofort wiedererkennen wird.

Die Schnittstelle von PAN 2 ist eine strukturierte Caption: Ereignisse in Reihenfolge, Aktionen an Akteure gebunden, Kamerabewegung – innerhalb eines Budgets von 1.480 Token weich und 1.536 hart. Diese Caption von Hand zu erstellen, ist der mit Abstand mühsamste Teil der Nutzung des Modells, und das Repository enthält genau deshalb einen prompt-rewriter-Skill, weil Freitext die Schnittstelle nicht übersteht. Betrachten Sie nun, was Cari4D aus einem gewöhnlichen Video ausgibt: menschliche Pose pro Frame, Objektpose pro Frame und zwei Handkontakt-Logits – eine metrische, dichte, zeitlich konsistente Aufzeichnung genau dessen, was eine Weltzustands-Caption beschreiben soll.

Das ist ein Caption-Generator. Die Rekonstruktion liefert dir die Ground Truth einer Interaktion im Parameterraum; ein Sprachmodell verwandelt diese Parameter in die strukturierte Beschreibung, auf die PAN 2 konditioniert; der Simulator rendert dann Variationen dieser Interaktion. In einer Schleife betrieben ergibt das eine Daten-Engine: eine reale Manipulation aufzeichnen, mit Cari4D rekonstruieren, mit einer Caption versehen und die kontrafaktischen Varianten generieren – anderes Objekt, anderer Griff, andere Oberfläche –, die du dir niemals leisten könntest zu filmen. Dieselbe Schleife läuft zur Evaluierung rückwärts und vergleicht einen simulierten Clip mit einer rekonstruierten realen Aufnahme auf demselben Rig.

Keine der beiden Hälften dieser Schleife ist schlüsselfertig. Cari4Ds kommerzielle Karte gibt an, dass es auf 2.126 internen FORM-HOI-Sequenzen trainiert wurde und dass es keinen separaten Testdatensatz gibt – die Evaluierung erfolgt anhand eines qualitativen Demo-Sets – und dass das interne „Daniel“-Korpus nicht verteilt wird. Seine herausgestellten Genauigkeitszahlen – 38 % geringerer Rekonstruktionsfehler als bei früheren Verfahren bei In-Distribution-Daten und 36 % bei ungesehenen Datensätzen – stammen aus dem CVPR-Papier und wurden nicht unabhängig reproduziert. PAN 2 wiederum räumt ein, dass etwa zwei von drei simulierten Plänen mindestens einen Schritt enthalten, der nicht ausgeführt wird, dass Textaktionen geschickten Kontakt nur grob spezifizieren und dass nicht gemessen ist, wie wirklichkeitsgetreu es Pläne simuliert, die scheitern müssten.

Liest man diese beiden Eingeständnisse zusammen, ist die Zusammensetzung ehrlich statt werblich: Eine rekonstruierte Interaktion ist eine Messung mit einer bekannten Trainingsverteilung, und eine simulierte ist eine Vorhersage mit einer bekannten Step-Drop-Rate. Keines von beiden ist die Ground Truth über die Welt. Beide sind nützlicher als jedes für sich allein.

Compute: eine Workstation im Vergleich zu einem Knoten

Cari4D läuft auf einer einzelnen GPU und wurde gemäß seiner Karte auf Hardware der Ampere-Klasse validiert; das eingesetzte Modell hat 231 Mio. Parameter, und die umgebenden Foundation-Modelle machen den Großteil des Speichers aus. Es ist die Art von Pipeline, die ein Forschungsteam über Nacht auf einer Workstation gegen einen Ordner mit Clips laufen lässt.

PAN 2 passt nicht zu dieser Beschreibung. Die Kernaussage des vLLM-Rezepts sind dreizehn Sekunden 704×1248-Video in ungefähr 119 Sekunden auf vier B300-GPUs, wobei classifier-free Guidance über zwei Ranks und Ulysses-Sequenzparallelismus über zwei Ranks parallelisiert werden; der dokumentierte Standard sind acht H200 mit BF16 und VAE-Patch-Parallelismus über vier Tiles. Fünfzig Sampler-Schritte mit Guidance bei jedem Schritt bedeuten hundert Forward-Pässe durch einen 29B-Transformer pro Clip – deshalb ist die Parallelisierung nicht optional. Wenn man Counterfactuals in einer Schleife generiert, sind die Kosten der Schleife das Produkt aus Clips und dieser Kosten pro Clip, und sie übersteigt die Rekonstruktionsseite um Größenordnungen.

Diese Asymmetrie ist die praktische Planungsgegebenheit jedes Hybrids. Rekonstruktion ist billig genug, um auf allem zu laufen, was Sie haben; Simulation ist teuer genug, dass Sie sie nur dort laufen lassen, wo ein kontrafaktisches Szenario eine Entscheidung ändert.

Der Planer-Slot, schon wieder

Beide Pipelines enthalten ein Sprachmodell, und nur einer dieser Plätze ist ein austauschbares Massengut, das sich routen lässt.

Der konzeptionelle Reasoner von PAN 2 ist ausdrücklich austauschbar – IFM hat vier evaluiert und sie nach der Vollplan-Abschlussrate eingestuft: Claude Opus 5.5, GPT-6 Astra bei mittlerem Aufwand, Kimi K3, Qwen3.8-Flash. Alle vier sind im OrcaRouter-Katalog enthalten, sodass die Caption-Phase über einen einzigen Endpunkt mit automatischem Failover laufen kann und der Listenpreis jedes Anbieters mit 0 % Aufschlag durchgereicht wird; außerdem können Sie Planner anhand Ihrer eigenen Captions benchmarken, statt einer Rangliste zu vertrauen, die anhand von IFM-Aufgaben gemessen wurde. Die Korrekturphase von Cari4D hat keinen solchen Slot: CoCoNet ist ein festes 231M-Netzwerk, und ein Austausch bedeutet Neutraining, nicht Umrouting. OrcaRouter hostet weder PAN 2 noch Cari4D und kann keines von beiden routen – sowohl der Renderer als auch der Rekonstruktor bleiben auf Ihrer Hardware.

Die ehrliche Einordnung für den Router ist hier eng gefasst: {{1}}Eine Stufe einer zweistufigen Pipeline ist ein abgerechneter API-Aufruf{{/1}}, und der Rest nicht. Das ist trotzdem sinnvoll, weil {{2}}die Caption-Stufe der Punkt ist, an dem Prompt-Empfindlichkeit zuschlägt{{/2}} und {{3}}das Ausprobieren eines zweiten Modells einen Request statt eines Trainingslaufs kostet{{/3}}.

Welches benötigt dein Problem?

Wenn Sie Video haben und Parameter benötigen – Motion Capture für Animation, Kontaktannotation für einen Datensatz, metrische Pose für Imitationslernen bei Robotern, einen QC-Durchlauf über aufgezeichnete Manipulation –, ist Cari4D das Werkzeug, und PAN 2 hat nichts zu bieten. Beginnen Sie mit dem Forschungs-Checkpoint zur Evaluierung, planen Sie das Budget für den Rig-Wechsel und die Drittanbieter-Lizenzen ein, bevor Sie sich für die kommerzielle Version entscheiden, und behandeln Sie die Genauigkeitsangaben als peer-reviewte Herstellerangaben und nicht als reproduzierte Werte.

Wenn du Parameter oder eine Beschreibung hast und sehen musst, was passiert – Planauswertung, kontrafaktische Datengenerierung, Forschung zum physikalischen Schlussfolgern, ein Agent, der seine Aktionen in der Vorschau zeigt –, dann ist PAN 2 das Modell, und die Rechnung ist ein Multi-GPU-Knoten pro Clip. Lies die Einschränkungen, bevor du darauf aufbaust: Bei den meisten Plänen entfällt ein Schritt, lange Clips driften im Aussehen, weil jeder aus höchstens einem Startframe simuliert wird, und Text legt geschickten Kontakt nur grob fest.

Wenn Sie beide Probleme haben, ist die Antwort die Schleife, und das schwächste Glied der Schleife ist der Caption-Vertrag. Cari4D liefert Ihnen die Messung; ein Sprachmodell verwandelt sie in die strukturierte Beschreibung; PAN 2 rendert die Alternative. Drei Komponenten, drei Lizenzen, eine Forschungsfrage – ungefähr so sieht es aus, auf den Weltmodellen von 2026 aufzubauen, und deshalb ist der Vergleich zwischen zwei beliebigen von ihnen weniger nützlich als ein Diagramm davon, wie sie miteinander verbunden sind.