Сгенерированная титульная карточка с заголовком «PAN 2 — что если, сделанное смотрибельным», подзаголовком «29B-модель мира с открытыми весами от Institute of Foundation Models (IFM) при MBZUAI», временной шкалой из трёх отметок: «Веса — 7 окт. 2026», «Код — 5 нояб. 2026» и «Поддержка vLLM-Omni — 10 нояб. 2026», а также плоским линейным рисунком миски с клубникой и брызгами. Логотип OrcaRouter наложен на белую полосу под изображением.
Engineering & Research

PAN 2 делает «Что если» смотрибельным — и признаёт, где это не срабатывает.

Автор

Rowan Sterling

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

{{1}}Бросьте клубнику в миску, и вы уже знаете, не задумываясь, примерно как поведёт себя жидкость.{{/1}} PAN 2 — это модель мира от Института фундаментальных моделей при MBZUAI, созданная, чтобы знать то же самое и показывать это. Дайте ей начальный кадр, опишите действие текстом — и она вернёт до двадцати секунд видео 704×1248 с частотой 24 кадра в секунду, показывающего, что это действие делает со сценой. Демонстрация, облетевшая сеть 11 ноября 2026 года, — самое ясное объяснение этой идеи, которое кто-либо создал: замените клубнику на резиновую уточку или измените жидкость — и брызги меняются вместе с этим, потому что модель предсказывает физическое следствие, а не извлекает клип. {{2}}Собственное объявление IFM, опубликованное накануне вечером, изложило суть в одном предложении — «Языковая модель предсказывает следующее слово. PAN 2 предсказывает следующий мир: что происходит после каждого действия, с опорой на время, физику и пространство».{{/2}}

Больше чем лозунгом это делает сопутствующий релиз. Веса лицензированы под Apache-2.0 и доступны на Hugging Face с 7 октября 2026 года: 86,17 гигабайта в шестидесяти файлах; код инференса появился на GitHub 5 ноября, а поддержка Day-0 serving была включена в vLLM-Omni 10 ноября. Поэтому вопрос, на который стоит отвечать, уже не в том, существует ли PAN 2 и кто может его получить. Он в том, что загружаемый симулятор на 29 миллиардов параметров делает достаточно хорошо, чтобы вы строили планы на основе его выходных данных, и где собственная документация команды говорит вам этого не делать.

Демо — это двухступенчатый пайплайн, выдающий себя за одну модель.

Клип с клубникой выглядит как генерация видео по тексту. Но это не так, и в этом различии — весь замысел. PAN 2 реализует паттерн Generative Latent Prediction, описанный в «Критике моделей мира» (arXiv 2507.05169), который делит предсказание на половину рассуждений и половину рендеринга.

Рассуждающая половина — это языковая модель, любая модель, следующая инструкциям, которая читает наблюдение вместе с запрошенными действиями и записывает следующее состояние мира в виде структурированной подписи с временной привязкой: события по порядку, каждое действие сопоставлено с исполнителем, который его совершает, плюс движение камеры. Эта подпись — не украшение. Это фактический интерфейс. Замороженный текстовый энкодер Qwen3.5-9B отображает её в признаки условия, а 29B многомодальный диффузионный трансформер, обученный с нуля на сотнях миллионов видео, размеченных в том же формате, заполняет перцептивные детали, которые подпись оставляет неопределёнными. VAE Wan 2.2 декодирует латентные представления в кадры.

А значит, настоящее утверждение демо вовсе не о пикселях. Оно в том, что структурированное описание действия — это достаточный управляющий сигнал для симулятора, чтобы тот выдал физически согласованный результат, и что агент поэтому может симулировать несколько планов-кандидатов, сравнить их и действовать на основе лучшего. Именно это IFM подразумевает под симулятивным рассуждением, и именно поэтому клубника, утка и подменённая жидкость — это три прогона одного и того же вопроса, а не три фрагмента видеозаписи.

Практическое следствие неудобно. Нельзя просто ввести желание в PAN 2 и получить видео. В репозитории поставляется навык переписывания промптов — системный промпт, фиксированный негативный промпт и валидатор, который проверяет подписи на соответствие бюджету текстового энкодера: 1 480 токенов мягкий лимит и 1 536 жёсткий, — а карточка модели прямо говорит, что в разборах случаев с агентом опирались на вручную доработанные промпты. Свободный текст переписывается перед использованием. Это модель с интерфейсным контрактом, а не чат-бокс.

A headless capture of the IFM/PAN2 model page on Hugging Face, showing the Institute of Foundation Models at MBZUAI as author, the Image-Text-to-Video pipeline tag, tags for diffusers, safetensors, English, world-model, world-simulation, text-to-video, image-to-video, diffusion-transformer and arXiv 2507.05169, an Apache-2.0 licence badge, a note that downloads are not tracked for this model, 29B parameters in F32-BF16, and the model-card overview describing a general-purpose world model that simulates how the world changes in response to actions and returns up to 20 seconds of video.

Что измерял отчёт и какие слова в нём использовались

IFM опубликовала больше результатов оценки, чем большинство выпусков видеомоделей, и точнее большинства обозначила условия. Всё это — собственная работа команды на собственном стенде команды, и карточка модели говорит об этом в разделе, где это важно.

• Одиночные действия — 300 тестовых примеров по шести категориям возможностей: 201 — «изображение в видео» и 99 — «текст в видео»; точность указывается в процентах.

• Многошаговые планы — 100 эгоцентрических повседневных задач, сформулированных двумя способами, 200 запросов и 456 шагов; оценка по завершению шагов и завершению полного плана, усреднённая по трём сидам.

Публичные бенчмарки — Physics-IQ Verified в режиме «изображение-в-видео», нормированный так, что разброс между двумя реальными дублями равен 100; PhyGround по пятибалльной шкале с оценкой Qwen3.8-27B; RBench как невзвешенное среднее по пяти категориям задач и четырём категориям воплощения, умноженное на 100.

• Предпочтения людей — слепое попарное сравнение на 140 промптах, 90 «текст-в-видео» и 50 «изображение-в-видео», с оценкой соблюдения действий, физики и согласованности мира 13 рецензентами в ходе 1 400 сравнений, с рейтингом Elo, подогнанным по модели Брэдли–Терри и центрированным на 1500.

Тринадцать рецензентов — это небольшая комиссия, и они оценивали модель авторов в сравнении с их же базовыми моделями. Это всё же больше доказательств, чем публикует большинство релизов в этой категории, а подача на редкость аккуратна: закрытые модели в сравнении были сгенерированы однократно через сторонний инференс-API, и в карточке отмечено, какие строки относятся к одному сиду. Ничто из этого не делает цифры независимыми. Зато они становятся читаемыми — а это следующее лучшее.

Две минуты GPU на каждые тринадцать секунд видео

Число, которое решает, можно ли использовать PAN 2, — это не показатель бенчмарка. Это число из рецепта vLLM: там сказано, что тринадцать секунд видео 704×1248 занимают примерно 119 секунд на четырёх GPU B300, при этом classifier-free guidance разделён между двумя рангами, а параллелизм последовательностей Ulysses — ещё между двумя. Документированное значение по умолчанию — восемь H200 в BF16, вдобавок с параллелизмом по патчам VAE с разбиением на четыре тайла, потому что декодирование двадцатисекундного клипа 704×1248 — это отдельная проблема с памятью.

Прогоните настройки сэмплера по этой цифре — и затраты становятся структурными, а не побочными. Пятьдесят шагов при сдвиге потока 9 с guidance 2.5, применяемым на каждом шаге, означают сто прямых проходов через 29B-трансформер на каждый клип. Вот почему guidance приходится распараллеливать, а не запускать последовательно, и почему честный вопрос о PAN 2 — не «насколько он хорош», а «во сколько мне обходится одна симуляция и сколько симуляций нужно плану». Планировщик, который оценивает пять кандидатных действий на шаге в задаче из десяти шагов, запрашивает пятьдесят клипов. При собственной опубликованной конфигурации поставщика это узел с четырьмя GPU, занятый большую часть двух часов, ещё до того, как из выходных данных будет хоть что-то извлечено.

Планировщик — это дешёвая половина, и IFM оставил его взаимозаменяемым.

Есть одна часть этого конвейера, которой не нужен кластер GPU, и в отчёте прямо сказано, что её можно заменить. Концептуальный модуль рассуждения определён как любая языковая модель, следующая инструкциям, и IFM ранжировал четыре из них по тому, как часто смоделированный план выполняется от начала до конца: Claude Opus 5.5 — первое место, затем GPT-6 Astra при среднем уровне усилий, затем Kimi K3, затем Qwen3.8-Flash.

Все четыре эти модели есть в каталоге OrcaRouter, поэтому слот рассуждающей модели — единственная часть стека PAN 2, которую можно протестировать без аренды чего-либо. Направьте переписчик промптов на каждую из них через один API-ключ, закрепите диффузионную половину на собственном оборудовании и позвольте автоматическому переключению при сбое поглотить сбой провайдера посреди эксперимента, а не прерывать запуск; цены — это тариф из прайс-листа каждого провайдера, переданный с наценкой 0%, поэтому изменение цены поставщика отображается на эндпоинте в тот же день, когда происходит, а не после цикла пересмотра цен. OrcaRouter не размещает PAN 2 и не может маршрутизировать её — рендерер остаётся вашим — но та половина конвейера, которая решает, что симулировать, — это обычная тарифицируемая текстовая работа, и именно та половина, где качество действительно меняется от запуска к запуску.

Стоит сказать прямо: рейтинг выше — это рейтинг IFM, измеренный на задачах IFM с помощью инструментария IFM. Это разумная отправная точка для формирования шорт-листа. Это не замена тому, чтобы прогнать собственные промпты через четыре кандидата и подсчитать, как часто ваши планы выживают.

A generated scoreboard card titled 'PAN 2 — the scoreboard' with six rows: Parameters 29B diffusion transformer plus a frozen 9B text encoder; Output up to 20 s at 704x1248 and 24 fps; Weights 86.17 GB in 60 files under Apache-2.0; Sampler 50 steps at guidance 2.5; Serving 13 s of video in 119 s on 4x B300; and Plan reliability a dropped step in about 2 of 3 plans. A footer reads 'Figures from IFM's model card, report and vLLM recipe; no independent benchmark yet.' The OrcaRouter logo is composited in the white strip beneath the artwork.

Раздел ограничений — самая полезная страница в релизе.

Большинство карточек моделей прячут свои оговорки в абзаце, который никто не читает. В карточке PAN 2 число вынесено в начало: примерно в двух из трёх смоделированных планов есть хотя бы один шаг, который не выполняется. Одно это предложение переосмысливает всё, что выше. Симулятор, который пропускает шаг в двух из трёх планов, — это ещё не то, что можно отдать роботу и уйти; это инструмент, который вы используете для ранжирования планов-кандидатов, чьи режимы отказа вы можете пережить, с проверяющим в контуре.

Остальная часть списка столь же конкретна и столь же заслуживает того, чтобы её воспринимали буквально.

• Долгосрочная согласованность — каждый клип симулируется на основе не более чем одного начального кадра и текста, поэтому в длительных взаимодействиях внешний вид дрейфует от клипа к клипу; карточка называет перцептивную память недостающим элементом, а не утверждает, что проблема решена.

• Чувствительность к промпту — формулировка наблюдения и действия меняет результат, а примеры за пределами обучающего распределения требовали вручную доработанных промптов.

• Грубые текстовые действия — текст хорошо выражает «открыть ящик» и плохо — «помести каждый палец сюда», что ограничивает ловкие манипуляции.

• Упрощения — симуляция может продвигаться, нарушая законы физики; пример из самой карточки: макароны появляются в дуршлаге раньше, чем с них сливают воду.

• Достоверный провал остаётся неизмеренным — количественное исследование охватывает разомкнутые планы, рассчитанные на успех; то, насколько хорошо PAN 2 моделирует планы, которые должны провалиться, по словам карточки, ещё не измерено. Именно этот пробел важнее всего для планирования, потому что симулятор, который не может показать вам плохой исход, пока не является фильтром.

Guardrails поставляются как отдельный репозиторий с прикреплёнными номерами.

Ещё одна вещь, которую сделала IFM и которую пропускает большинство релизов видео с открытыми весами: она опубликовала guardrail вместе с моделью, а не абзац с рекомендацией о нём. pan2-guardrail проверяет запрос с помощью Qwen3Guard-Gen-4B перед генерацией, а сгенерированное видео — с помощью классификатора кадров Q16 после неё, и карточка сообщает, чего это стоит в обе стороны — доля вредоносных запросов text-to-video, приводивших к небезопасному результату, упала с 33.9% до 1.5%, небезопасных результатов image-to-video не наблюдалось, а 11.5% безвредных запросов text-to-video и 3.3% безвредных запросов image-to-video были остановлены по пути.

Это внутренние измерения команды, а не аудит, и если вы собираетесь запускать это при больших объёмах, именно на долю ложных срабатываний и стоит смотреть: ограничитель, который отклоняет один безобидный запрос из девяти, — это ограничение дизайна вашего продукта, а не сноска. Справедливости ради, это ещё и тот вид раскрытия информации, который вообще позволяет вам принять такое решение.

A headless capture of the OrcaRouter models catalogue in its English locale, headed '228 models - 17 providers - one API key, one bill', with a filter sidebar for input modalities, context length, input price, status, access tier, series, supported parameters and privacy, a card for Google Gemini 4 Carbon at $2.00 input and $10.00 output per million tokens with a 1,048,576-token context, a card for Anthropic Claude Fable 5.2 at $8.00 input and $48.00 output with a 4M context, and the API call snippet for the OpenAI-compatible endpoint.

Что сделало бы это чем-то большим, чем впечатляющей демонстрацией?

Три вещи в порядке возрастания сложности. Исследование отказов: в карточке модели признаётся, что моделирование планов, которые должны провалиться, не измерено, и пока кто-нибудь это не опубликует, PAN 2 — генератор правдоподобных успехов, а не предсказатель последствий. Независимая оценка: каждый показатель возможностей в этой статье исходит от IFM, получен на стенде IFM, с панелью из тринадцати человек для исследования с людьми, и ни одна третья сторона не воспроизвела ничего из этого. И более дешёвый путь обслуживания: опубликованная конфигурация — это узел с четырьмя GPU, две минуты на каждые тринадцать секунд, что нормально для исследований и жестоко для цикла, который фактически подразумевает симулятивное рассуждение.

PAN 2 тем не менее — самый полный открытый релиз модели мира в этом году, и вся суть именно в полноте. Веса, код, рецепт инференса, контракт промпта с бюджетом токенов, гардрейл с показателями ложноположительных срабатываний и раздел ограничений, который начинается с частоты отказов. Можно не соглашаться с его готовностью для робота и всё равно уже на этой неделе использовать его, чтобы спросить, что произойдёт, если изменить жидкость, — и для модели, вся посылка которой состоит в том, что последствия можно предварительно просматривать, это честный первый тест.