Um cartão de título gerado, encabeçado por 'PAN 2 — e se, feito para ser assistido', com o subtítulo 'um modelo de mundo de pesos abertos de 29B do Institute of Foundation Models (IFM) da MBZUAI', e uma linha do tempo de três etapas com os dizeres 'Pesos 7 de out. de 2026', 'Código 5 de nov. de 2026' e 'suporte ao vLLM-Omni 10 de nov. de 2026', além de um desenho linear simples de uma tigela com um morango e um respingo. O logotipo da OrcaRouter está composto na faixa branca abaixo da ilustração.
Engineering & Research

PAN 2 torna “E se” assistível — e diz isso onde falha

Autor

Rowan Sterling

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Jogue um morango numa tigela e você já sabe, sem pensar, mais ou menos como o líquido salta. O PAN 2 é o modelo de mundo do Instituto de Modelos de Fundação da MBZUAI, criado para saber o mesmo e demonstrá-lo. Dê-lhe um quadro inicial, descreva uma ação em texto, e ele devolve até vinte segundos de vídeo 704×1248 a 24 quadros por segundo mostrando o que essa ação faz à cena. A demonstração que circulou em 11 de novembro de 2026 é a explicação mais clara da ideia que alguém já produziu: troque o morango por um patinho de borracha, ou mude o líquido, e o salpico muda com ele, porque o modelo está a prever uma consequência física em vez de recuperar um clipe. O próprio anúncio da IFM, publicado na noite anterior, resumiu a proposta numa frase — "Um modelo de linguagem prevê a próxima palavra. O PAN 2 prevê o próximo mundo: o que acontece depois de cada ação, ancorado no tempo, na física e no espaço."

O que faz disso mais do que um slogan é o lançamento que o acompanha. Os pesos são Apache-2.0 e estão no Hugging Face desde 7 de outubro de 2026: 86,17 gigabytes em sessenta arquivos, com o código de inferência chegando ao GitHub em 5 de novembro e o suporte de serving Day-0 sendo integrado ao vLLM-Omni em 10 de novembro. Então, a pergunta que vale a pena responder não é mais se o PAN 2 existe ou quem pode obtê-lo. É o que um simulador de 29 bilhões de parâmetros disponível para download faz bem o suficiente para que você planeje com base na saída dele, e onde a própria documentação da equipe diz para você não fazer isso.

A demo é um pipeline de dois estágios vestindo o nome de um único modelo

O clipe de morango parece uma geração de texto para vídeo. Não é, e a distinção é todo o design. O PAN 2 implementa o padrão Generative Latent Prediction apresentado em Critique of World Models (arXiv 2507.05169), que divide a predição em uma metade de raciocínio e uma metade de renderização.

A metade de raciocínio é um modelo de linguagem — qualquer um que siga instruções — que lê a observação mais as ações solicitadas e escreve o próximo estado do mundo como uma legenda estruturada e ancorada no tempo: os eventos em ordem, cada ação vinculada ao ator que a executa, além do movimento de câmera. Essa legenda não é decoração. É a interface real. Um codificador de texto Qwen3.5-9B congelado a mapeia para features de condicionamento, e um transformer de difusão multimodal de 29B treinado do zero em centenas de milhões de vídeos anotados no mesmo formato preenche o detalhe perceptivo que a legenda deixa em aberto. Um VAE Wan 2.2 decodifica os latentes em quadros.

O que significa que a verdadeira alegação da demo não é sobre pixels de forma alguma. É que uma descrição estruturada de uma ação é um sinal de controle suficiente para um simulador produzir uma consequência fisicamente coerente — e que um agente pode, portanto, simular vários planos candidatos, compará-los e agir com base no melhor deles. É isso que a IFM entende por raciocínio simulativo, e é por isso que o morango, o pato e o líquido trocado são três execuções da mesma pergunta, e não três trechos de filmagem.

A consequência prática é pouco amigável. Você não pode digitar um desejo no PAN 2 e receber um vídeo. O repositório inclui uma habilidade prompt-rewriter — um prompt de sistema, um prompt negativo fixo e um validador que verifica as legendas em relação ao orçamento do codificador de texto de 1.480 tokens no limite flexível e 1.536 no limite rígido — e o card do modelo diz claramente que os estudos de caso do agente dependiam de prompts refinados manualmente. O texto livre é reescrito antes de ser usado. Isso é um modelo com um contrato de interface, não uma caixa de chat.

A headless capture of the IFM/PAN2 model page on Hugging Face, showing the Institute of Foundation Models at MBZUAI as author, the Image-Text-to-Video pipeline tag, tags for diffusers, safetensors, English, world-model, world-simulation, text-to-video, image-to-video, diffusion-transformer and arXiv 2507.05169, an Apache-2.0 licence badge, a note that downloads are not tracked for this model, 29B parameters in F32-BF16, and the model-card overview describing a general-purpose world model that simulates how the world changes in response to actions and returns up to 20 seconds of video.

O que o relatório mediu e as palavras que utilizou

A IFM publicou mais avaliações do que a maioria dos lançamentos de modelos de vídeo, e rotulou as condições com mais precisão do que a maioria. Tudo isso é trabalho da própria equipe, no próprio harness da equipe, e a ficha do modelo diz isso na seção em que isso importa.

• Ações individuais — 300 casos de teste em seis categorias de capacidade, 201 de imagem para vídeo e 99 de texto para vídeo, com precisão relatada em porcentagem.

• Planos com múltiplas etapas — 100 tarefas cotidianas egocêntricas apresentadas de ambas as formas, 200 prompts e 456 etapas, avaliados quanto à conclusão de etapas e à conclusão do plano completo, com média ao longo de três seeds.

• Benchmarks públicos — Physics-IQ Verified na configuração imagem para vídeo, normalizado para que a variância entre duas tomadas reais seja igual a 100; PhyGround em uma escala de cinco pontos avaliada pelo Qwen3.8-27B; RBench como uma média não ponderada sobre cinco categorias de tarefas e quatro categorias de corporificação, multiplicada por 100.

• Preferência humana — comparação cega aos pares em 140 prompts, 90 de texto para vídeo e 50 de imagem para vídeo, julgada quanto à aderência à ação, à física e à consistência do mundo por 13 avaliadores em 1.400 comparações, com Elo ajustado por Bradley–Terry e centrado em 1500.

Treze revisores formam um painel pequeno, e eles estavam avaliando o modelo dos autores em comparação com as linhas de base dos próprios autores. Ainda assim, é mais evidência do que a maioria dos lançamentos desta categoria publica, e o enquadramento é incomumente cuidadoso: os modelos fechados na comparação foram gerados uma única vez por meio de uma API de inferência de terceiros, e o cartão sinaliza quais linhas têm semente única. Nada disso torna os números independentes. Torna-os legíveis, o que é a melhor alternativa seguinte.

Dois minutos de GPU por treze segundos de vídeo

O número que decide se você pode usar o PAN 2 não é uma pontuação de benchmark. É o número na receita do vLLM, que afirma que treze segundos de vídeo 704×1248 levam aproximadamente 119 segundos em quatro GPUs B300, com classifier-free guidance dividido entre duas ranks e paralelismo de sequência Ulysses entre mais duas. O padrão documentado é oito H200 em BF16, com paralelismo de patches de VAE em quatro tiles por cima, porque decodificar um clipe de vinte segundos em 704×1248 é um problema de memória à parte.

Aplique as configurações do amostrador a esse número e o custo passa a ser estrutural, e não incidental. Cinquenta passos com um deslocamento de fluxo de 9, com orientação de 2,5 aplicada em cada passo, significam cem passagens diretas por um transformer de 29B para cada clipe. É por isso que a orientação precisa ser paralelizada em vez de executada sequencialmente, e por que a pergunta honesta sobre o PAN 2 não é "quão bom ele é", mas "quanto me custa uma simulação, e quantas simulações um plano precisa". Um planejador que avalia cinco ações candidatas por passo, em uma tarefa de dez passos, está pedindo cinquenta clipes. Na configuração publicada pelo próprio fornecedor, isso é um nó de quatro GPUs ocupado por boa parte de duas horas, antes que qualquer coisa tenha sido aprendida com a saída.

O planner é a metade barata, e a IFM o deixou intercambiável

Há uma parte deste pipeline que não precisa de um cluster de GPUs, e o relatório é explícito ao afirmar que ela é substituível. O raciocinador conceitual é definido como qualquer modelo de linguagem capaz de seguir instruções, e a IFM classificou quatro deles pela frequência com que um plano simulado é concluído de ponta a ponta: Claude Opus 5.5 em primeiro, depois GPT-6 Astra com esforço médio, depois Kimi K3, depois Qwen3.8-Flash.

Todos esses quatro modelos estão no catálogo do OrcaRouter, o que faz do slot do raciocinador a única peça de uma stack PAN 2 que você pode avaliar por benchmark sem alugar nada. Aponte o reescritor de prompts para cada um deles por meio de uma única chave de API, mantenha a metade de difusão fixada no seu próprio hardware e deixe o failover automático absorver uma instabilidade do provedor no meio do experimento em vez de abortar a execução; o preço é a tarifa de lista de cada provedor repassada com 0% de markup, assim, uma mudança de preço do fornecedor aparece no endpoint no dia em que acontece, em vez de depois de um ciclo de reprecificação. O OrcaRouter não hospeda o PAN 2 e não consegue roteá-lo — o renderizador continua sendo seu —, mas a metade do pipeline que decide o que simular é trabalho de texto comum cobrado por uso, e é a metade em que a qualidade realmente varia entre execuções.

Vale dizer com clareza: o ranking acima é do IFM, medido nas tarefas do IFM com a estrutura de avaliação do IFM. É um ponto de partida sensato para montar uma lista curta. Não substitui rodar seus próprios prompts pelos quatro candidatos e contar com que frequência seus planos sobrevivem.

A generated scoreboard card titled 'PAN 2 — the scoreboard' with six rows: Parameters 29B diffusion transformer plus a frozen 9B text encoder; Output up to 20 s at 704x1248 and 24 fps; Weights 86.17 GB in 60 files under Apache-2.0; Sampler 50 steps at guidance 2.5; Serving 13 s of video in 119 s on 4x B300; and Plan reliability a dropped step in about 2 of 3 plans. A footer reads 'Figures from IFM's model card, report and vLLM recipe; no independent benchmark yet.' The OrcaRouter logo is composited in the white strip beneath the artwork.

A seção de limitações é a página mais útil da versão.

A maioria dos cartões de modelo coloca suas ressalvas em um parágrafo que ninguém lê. O do PAN 2 coloca o número logo de cara: cerca de dois em cada três planos simulados contêm pelo menos uma etapa que não é executada. Essa única frase reformula tudo o que está acima dela. Um simulador que deixa de fora uma etapa em dois de cada três planos ainda não é algo que você entrega a um robô e sai andando — é algo que você usa para classificar planos candidatos cujos modos de falha você consegue suportar, com um verificador no circuito.

O restante da lista é igualmente específico e igualmente digno de ser levado ao pé da letra.

• Consistência de longo horizonte — cada clipe é simulado a partir de no máximo um quadro inicial mais texto, então a aparência varia entre clipes em interações longas; o card aponta a memória perceptual como a peça ausente, em vez de afirmar que o problema está resolvido.

• Sensibilidade ao prompt — a formulação da observação e da ação altera o resultado, e os exemplos fora da distribuição de treinamento precisaram de prompts refinados manualmente.

• Ações textuais grosseiras — o texto expressa bem “abrir uma gaveta” e mal “colocar cada dedo aqui”, o que limita a manipulação hábil.

• Atalhos — uma simulação pode progredir violando as leis da física, sendo o exemplo do próprio cartão a massa aparecendo no escorredor antes de ser escorrida.

• A falha fiel não é medida — o estudo quantitativo abrange planos em malha aberta concebidos para ter sucesso; até que ponto o PAN 2 simula planos que deveriam falhar é, nas palavras do card, algo ainda não medido. Essa é a lacuna que mais importa para o planejamento, porque um simulador que não consegue mostrar um resultado ruim ainda não é um filtro.

O Guardrails é distribuído como um repositório separado, com números anexados.

A outra coisa que a IFM fez e que a maioria dos lançamentos de vídeo com pesos abertos deixa de fora: publicou uma salvaguarda junto com o modelo, em vez de um parágrafo recomendando uma. O pan2-guardrail filtra a solicitação com o Qwen3Guard-Gen-4B antes da geração e o vídeo gerado com um classificador de quadros Q16 depois, e a ficha informa o custo disso em ambas as direções — solicitações prejudiciais de texto para vídeo que produziam saídas inseguras caíram de 33,9% para 1,5%, nenhuma saída insegura de imagem para vídeo foi observada, e 11,5% das solicitações benignas de texto para vídeo mais 3,3% das solicitações benignas de imagem para vídeo foram bloqueadas durante o processo.

Essas são as medições internas da equipe, não uma auditoria, e a taxa de falsos positivos é o número em que você deve se fixar se pretende operar isso em escala: um guardrail que rejeita uma solicitação benigna em cada nove é uma restrição de projeto para o seu produto, não uma nota de rodapé. Também é, para ser justo, o tipo de divulgação que permite que você tome essa decisão.

A headless capture of the OrcaRouter models catalogue in its English locale, headed '228 models - 17 providers - one API key, one bill', with a filter sidebar for input modalities, context length, input price, status, access tier, series, supported parameters and privacy, a card for Google Gemini 4 Carbon at $2.00 input and $10.00 output per million tokens with a 1,048,576-token context, a card for Anthropic Claude Fable 5.2 at $8.00 input and $48.00 output with a 4M context, and the API call snippet for the OpenAI-compatible endpoint.

O que tornaria isto mais do que uma demonstração impressionante?

Três coisas, por ordem crescente de dificuldade. Um estudo de falha: a ficha de modelo admite que a simulação de planos que deveriam falhar não é medida e, até que alguém publique isso, o PAN 2 é um gerador de sucessos plausíveis, e não um preditor de consequências. Uma avaliação independente: todos os números de capacidade neste artigo provêm da IFM, no harness da IFM, com um painel de treze pessoas para o estudo humano, e nenhuma terceira parte reproduziu nada disso. E uma via de serviço mais barata: a configuração publicada é um nó de quatro GPUs por dois minutos a cada treze segundos, o que é aceitável para pesquisa e brutal para o ciclo que o raciocínio simulativo realmente implica.

PAN 2 é, ainda assim, o lançamento de modelo de mundo aberto mais completo do ano, e a completude é o ponto central. Pesos, código, uma receita de serving, um contrato de prompt com um orçamento de tokens, uma guardrail com números de falsos positivos e uma seção de limitações que começa pela taxa de falha. Você pode discordar de sua prontidão para um robô e ainda usá-lo nesta semana para perguntar o que acontece se você mudar o líquido — o que, para um modelo cuja premissa inteira é que consequências podem ser pré-visualizadas, é um primeiro teste justo.