PAN 2는 ‘만약’을 볼 만하게 만들고, 실패하는 지점도 말해준다

딸기를 그릇에 떨어뜨리면, 생각하지 않고도 액체가 대략 어떻게 튀는지 이미 알 수 있다. PAN 2는 MBZUAI의 파운데이션 모델 연구소(Institute of Foundation Models)가 같은 것을 알고 보여주기 위해 만든 월드 모델이다. 시작 프레임을 주고 동작을 텍스트로 설명하면, 최대 20초 분량의 704×1248 비디오를 초당 24프레임으로 반환하며 그 동작이 장면에 어떤 영향을 미치는지 보여준다. 2026년 11월 11일에 화제가 된 시연은 이 아이디어를 누구보다 명확하게 설명해 준 사례다. 딸기를 고무 오리로 바꾸거나 액체를 바꾸면 물보라도 그에 맞게 달라지는데, 이는 모델이 클립을 검색하는 것이 아니라 물리적 결과를 예측하기 때문이다. 전날 저녁에 올라온 IFM 자체 발표는 이 제안을 한 문장으로 요약했다. "언어 모델은 다음 단어를 예측한다. PAN 2는 다음 세계를 예측한다. 각 동작 후에 무슨 일이 일어나는지를, 시간과 물리, 공간에 근거해 예측한다."

그것을 단순한 구호 이상으로 만드는 것은 이를 둘러싼 공개입니다. 가중치는 Apache-2.0이며 2026년 10월 7일부터 Hugging Face에 공개되어 있습니다. 60개 파일에 걸쳐 86.17GB이고, 추론 코드는 11월 5일 GitHub에 뒤이어 공개되었으며, Day-0 서빙 지원은 11월 10일 vLLM-Omni에 병합되었습니다. 따라서 이제 답할 가치가 있는 질문은 PAN 2가 존재하는지 또는 누가 그것을 구할 수 있는지가 아닙니다. 다운로드 가능한 290억 매개변수 시뮬레이터가 그 출력을 기준으로 계획을 세울 만큼 무엇을 잘하며, 팀 자체 문서가 어디에서 그렇게 하지 말라고 하는지가 질문입니다.

이 데모는 하나의 모델 이름을 달고 있는 2단계 파이프라인입니다.

딸기 클립은 텍스트-투-비디오 생성처럼 보입니다. 하지만 그렇지 않으며, 이 구분이 설계의 전부입니다. PAN 2는 Critique of World Models(arXiv 2507.05169)에서 제시된 Generative Latent Prediction 패턴을 구현하며, 이 패턴은 예측을 추론 절반과 렌더링 절반으로 나눕니다.

추론을 담당하는 절반은 언어 모델, 즉 명령을 따르는 어떤 모델이든 관찰과 요청된 행동을 읽고 다음 세계 상태를 구조화되고 시간에 근거한 캡션으로 작성합니다. 이벤트는 순서대로, 각 행동은 이를 수행하는 행위자에 연결되며 카메라 움직임도 포함됩니다. 그 캡션은 장식이 아닙니다. 그것이 실제 인터페이스입니다. 고정된 Qwen3.5-9B 텍스트 인코더가 이를 조건화 특징으로 매핑하고, 동일한 형식으로 주석이 달린 수억 개의 비디오로 처음부터 학습된 29B 멀티모달 확산 트랜스포머가 캡션이 열어 둔 지각적 세부 사항을 채웁니다. Wan 2.2 VAE가 잠재 표현을 프레임으로 디코딩합니다.

즉, 이 데모의 진짜 주장은 픽셀에 관한 것이 전혀 아니다. 그것은 행동에 대한 구조화된 설명이 시뮬레이터가 물리적으로 일관된 결과를 생성하기에 충분한 제어 신호라는 것 — 그리고 따라서 에이전트가 여러 후보 계획을 시뮬레이션하고, 비교한 뒤, 가장 좋은 계획에 따라 행동할 수 있다는 것이다. 이것이 IFM이 말하는 시뮬레이션 추론이며, 딸기, 오리, 그리고 액체가 바뀐 장면이 세 개의 영상 소재가 아니라 같은 질문을 세 번 실행한 것인 이유다.

실질적인 결과는 불친절하다. PAN 2에 원하는 내용을 입력한다고 해서 영상을 얻을 수는 없다. 저장소에는 prompt-rewriter 스킬이 포함되어 있다 — 시스템 프롬프트, 고정된 부정 프롬프트, 그리고 캡션이 텍스트 인코더의 예산인 소프트 1,480 토큰과 하드 1,536 토큰을 준수하는지 검사하는 검증기 — 이며, 모델 카드에는 에이전트 사례 연구가 수작업으로 다듬은 프롬프트에 의존했다고 분명히 적혀 있다. 자유 텍스트는 사용되기 전에 재작성된다. 그것은 챗 상자가 아니라 인터페이스 계약을 지닌 모델이다.

보고서가 측정한 내용과 보고서가 사용한 표현

IFM은 대부분의 비디오 모델 공개 사례보다 더 많은 평가를 공개했고, 조건 또한 대부분보다 더 정밀하게 표기했다. 그 모든 것은 팀이 자체 하네스에서 수행한 팀 자체의 작업이며, 모델 카드도 중요한 바로 그 섹션에서 그렇게 밝히고 있다.

• 단일 동작 — 6개 기능 범주에 걸친 300개 테스트 사례, 이미지-투-비디오 201개 및 텍스트-투-비디오 99개, 정확도는 백분율로 보고됨.

• 다단계 계획 — 100개의 자기중심적 일상 과제를 양방향으로 제시한 200개의 프롬프트와 456개의 단계로 구성되며, 단계 완료와 전체 계획 완료를 기준으로 채점하고 세 개의 시드에 걸쳐 평균을 냅니다.

• 공개 벤치마크 — Physics-IQ Verified는 이미지-투-비디오 설정에서 평가하며, 두 실제 촬영본 간 분산이 100이 되도록 정규화했습니다. PhyGround는 Qwen3.8-27B가 판정한 5점 척도로 평가합니다. RBench는 5개 과업 및 4개 구현 범주에 대한 비가중 평균에 100을 곱한 값으로 평가합니다.

• 인간 선호도 — 140개의 프롬프트(텍스트-투-비디오 90개, 이미지-투-비디오 50개)에 대한 블라인드 쌍별 비교로, 13명의 평가자가 1,400회의 비교를 통해 동작 준수, 물리 법칙 및 세계 일관성을 판정했으며, Elo는 Bradley–Terry로 적합하여 1500을 중심으로 함.

리뷰어 13명은 작은 패널이며, 그들은 저자들의 모델을 저자들의 베이스라인과 비교해 평가하고 있었다. 그래도 이는 이 범주에서 대부분의 공개 자료가 공개하는 것보다 더 많은 증거이며, 프레이밍은 유난히 신중하다. 비교에 포함된 클로즈드 모델들은 타사 추론 API를 통해 한 번 생성되었고, 모델 카드는 어떤 행이 단일 시드인지 표시한다. 그렇다고 해서 숫자가 독립적이 되는 것은 아니다. 다만 숫자를 읽을 수 있게 해주며, 그것이 차선책이다.

동영상 13초당 GPU 2분

PAN 2를 사용할 수 있는지 결정하는 숫자는 벤치마크 점수가 아니다. 그것은 vLLM 레시피에 있는 숫자로, 704×1248 영상 13초가 네 개의 B300 GPU에서 대략 119초 걸린다고 명시하며, classifier-free guidance는 두 랭크에 나눠 배치하고 Ulysses 시퀀스 병렬화는 추가 두 랭크에 배치한다. 문서화된 기본값은 BF16의 H200 8대이며, 여기에 네 개 타일에 걸친 VAE 패치 병렬화까지 더해지는데, 20초짜리 704×1248 클립을 디코딩하는 것 자체가 별도의 메모리 문제이기 때문이다.

그 수치에 샘플러 설정을 적용하면 비용은 부수적인 것이 아니라 구조적인 것이 된다. flow shift 9에서 50스텝, 매 스텝마다 guidance 2.5를 적용한다는 것은 클립마다 29B 트랜스포머를 100번 순전파한다는 뜻이다. 그래서 guidance는 순차적으로 실행하는 것이 아니라 병렬화해야 하며, PAN 2에 대해 정직하게 물어야 할 것은 "얼마나 좋은가"가 아니라 "시뮬레이션 한 번에 비용이 얼마이고, 계획 하나에 시뮬레이션이 몇 번 필요한가"이다. 스텝마다 후보 행동 다섯 개를 평가하는 플래너가 10스텝 작업에서 요구하는 것은 클립 50개다. 공급업체가 공개한 구성에서는 4-GPU 노드가 거의 두 시간 내내 바쁘게 돌아가며, 그마저도 출력에서 무엇인가를 배우기도 전의 일이다.

플래너는 저렴한 쪽이며, IFM은 이를 교체 가능하도록 남겼다

이 파이프라인에는 GPU 클러스터가 필요 없는 부분이 하나 있으며, 보고서는 이 부분이 교체 가능하다고 분명히 밝히고 있습니다. 개념적 추론기는 지시를 따르는 모든 언어 모델로 정의되며, IFM은 시뮬레이션된 계획이 처음부터 끝까지 완료되는 빈도를 기준으로 네 모델의 순위를 매겼습니다. Claude Opus 5.5가 1위, 그다음은 중간 노력도로 설정된 GPT-6 Astra, 그다음은 Kimi K3, 그다음은 Qwen3.8-Flash입니다.

그 모델 네 개는 모두 OrcaRouter 카탈로그에 있으므로, 추론기 슬롯은 PAN 2 스택에서 아무것도 임대하지 않고 벤치마크할 수 있는 단 하나의 구성 요소가 됩니다. 프롬프트 재작성기를 하나의 API 키로 각 모델에 연결하고, diffusion 쪽 절반은 자체 하드웨어에 고정해 두며, 실행을 중단하는 대신 자동 장애 조치가 실험 도중 공급자의 일시적 불안정을 흡수하게 하세요. 가격은 각 공급자의 정가를 0% 마크업으로 그대로 전달한 것이므로, 공급업체 가격 변경은 재가격 책정 주기가 지난 뒤가 아니라 발생 당일 엔드포인트에 반영됩니다. OrcaRouter는 PAN 2를 호스팅하지 않으며 라우팅할 수도 없습니다 — 렌더러는 계속 사용자의 것이지만 — 시뮬레이션할 항목을 결정하는 파이프라인의 절반은 일반적인 종량제 텍스트 작업이며, 실행마다 품질이 실제로 달라지는 절반이기도 합니다.

분명히 말해두면, 위 순위는 IFM의 것이며, IFM의 작업과 IFM의 하네스로 측정한 것입니다. 후보 목록을 시작하기에는 합리적인 출발점입니다. 하지만 네 가지 후보에 직접 프롬프트를 넣어 실행하고, 당신의 계획이 얼마나 자주 살아남는지 세어보는 일을 대신하지는 않습니다.

릴리스에서 가장 유용한 페이지는 제한 사항 섹션입니다

대부분의 모델 카드는 인정할 만한 내용을 아무도 읽지 않는 문단에 넣는다. PAN 2는 그 수치를 맨 앞에 내세운다. 시뮬레이션된 계획 세 개 중 약 두 개에는 실행되지 않는 단계가 적어도 하나 포함된다. 그 한 문장이 그 위의 모든 내용을 새롭게 규정한다. 세 계획 중 두 개에서 단계를 빠뜨리는 시뮬레이터는 아직 로봇에 맡기고 떠날 수 있는 물건이 아니다. 그것은 실패 모드를 감당할 수 있는 후보 계획의 순위를 매기는 데 쓰는 도구이며, 검사기를 루프 안에 두고 사용하는 것이다.

목록의 나머지도 똑같이 구체적이며, 똑같이 액면 그대로 받아들일 만하다.

• 장기 일관성 — 각 클립은 많아야 하나의 시작 프레임과 텍스트로부터 시뮬레이션되므로 긴 상호작용에서 클립 간에 외형이 달라진다. 이 카드는 그것이 해결되었다고 주장하기보다 지각적 기억을 빠진 요소로 지목한다.

• 프롬프트 민감도 — 관찰과 행동의 문구가 결과를 바꾸며, 학습 분포를 벗어난 예시들은 수작업으로 다듬은 프롬프트가 필요했습니다.

• 거친 텍스트 동작 — 텍스트는 "서랍을 연다"는 잘 표현하지만 "각 손가락을 여기에 놓는다"는 잘 표현하지 못하며, 이는 정교한 조작을 제한합니다.

• 지름길 — 시뮬레이션은 물리 법칙을 위반하면서도 진행될 수 있으며, 카드 자체의 예시는 파스타가 물을 빼기 전에 체에 나타나는 것입니다.

• 실패를 충실히 재현하는 것은 측정되지 않았다 — 정량적 연구는 성공하도록 설계된 개루프 계획을 다룬다. 실패해야 할 계획을 PAN 2가 얼마나 잘 시뮬레이션하는지는, 카드의 표현대로, 아직 측정되지 않았다. 그것이 계획 수립에서 가장 중요한 격차다. 왜냐하면 나쁜 결과를 보여주지 못하는 시뮬레이터는 아직 필터가 아니기 때문이다.

Guardrails는 번호가 첨부된 별도 저장소로 제공됩니다.

IFM이 대부분의 오픈 가중치 비디오 공개에서 생략하는 또 다른 일은, 가드레일을 권장하는 문단 대신 모델과 함께 가드레일을 공개했다는 점입니다. pan2-guardrail은 생성 전에 Qwen3Guard-Gen-4B로 요청을 검사하고, 생성 후에는 Q16 프레임 분류기로 생성된 비디오를 검사합니다. 모델 카드에는 이로 인해 양방향에서 발생하는 비용이 보고됩니다 — 유해한 텍스트-투-비디오 요청이 안전하지 않은 출력을 생성하는 비율은 33.9%에서 1.5%로 감소했고, 안전하지 않은 이미지-투-비디오 출력은 관찰되지 않았으며, 무해한 텍스트-투-비디오 요청의 11.5%와 무해한 이미지-투-비디오 요청의 3.3%가 처리 과정에서 중단되었습니다.

그것은 팀의 내부 측정치일 뿐 감사 결과가 아니며, 이 기능을 대규모로 운영할 생각이라면 주목해야 할 수치는 바로 오탐률입니다. 정상 요청 9건 중 1건을 거부하는 가드레일은 제품의 설계상 제약이지 각주가 아닙니다. 공정하게 말해, 그것은 그런 결정을 내릴 수 있게 해주는 종류의 공개이기도 합니다.

이것이 인상적인 데모 그 이상이 되게 하려면 무엇이 필요할까요?

난이도가 높아지는 순서로 세 가지. 실패 연구: 모델 카드는 실패해야 마땅한 계획을 시뮬레이션하는 것이 측정되지 않았다고 인정하며, 누군가 그것을 발표하기 전까지 PAN 2는 결과 예측기가 아니라 그럴듯한 성공의 생성기다. 독립 평가: 이 글의 모든 능력 수치는 IFM에서 IFM의 하네스로 산출되었고, 인간 연구에는 13명 패널이 사용되었으며, 제3자가 그것을 재현한 적이 없다. 그리고 더 저렴한 서빙 경로: 공개된 구성은 4-GPU 노드에서 13초당 2분이 걸리는 것으로, 연구에는 괜찮지만 시뮬레이션적 추론이 실제로 함의하는 루프에는 가혹하다.

PAN 2는 그럼에도 올해 가장 완성도 높은 오픈 월드 모델 공개물이며, 완성도가 핵심이다. 가중치, 코드, 서빙 레시피, 토큰 예산이 명시된 프롬프트 계약, 오탐 수치가 포함된 가드레일, 그리고 실패율을 맨 앞에 내세운 한계 섹션이 있다. 로봇에 대한 준비성에 동의하지 않더라도, 이번 주에 액체를 바꾸면 어떻게 되는지 물어보는 데는 여전히 쓸 수 있다. 결과를 미리 볼 수 있다는 것이 전체 전제인 모델에게는 그것이 공정한 첫 시험이다.