PAN 2 대 Gemma 4 12B: 시뮬레이터와 추론기는 경쟁 상대가 아니다

인터넷의 모든 비교 페이지는 승자를 원하지만, 이 페이지는 정직하게 승자를 낼 수 없습니다. PAN 2와 Gemma 4 12B는 같은 작업을 수행하지 않기 때문입니다. PAN 2는 MBZUAI의 Institute of Foundation Models에서 만든 290억 개 매개변수 비디오 확산 트랜스포머로, 이미지와 행동 설명을 입력받아 다음에 어떤 일이 일어나는지를 보여주는 최대 20초 분량의 704×1248 비디오를 반환합니다. Gemma 4 12B Unified는 Google DeepMind의 119억 5,000만 개 매개변수 인코더 없는 멀티모달 언어 모델로, 텍스트, 이미지, 오디오를 입력받아 텍스트를 반환합니다. 하나는 결과를 렌더링하고, 다른 하나는 그 결과에 대해 이야기합니다. 서로를 비교해 순위를 매기는 벤치마크 표를 찾아 오셨다면, 그런 것은 존재하지 않으며 존재할 수도 없습니다. 둘은 공유하는 평가가 없습니다. 하지만 실제 선택은 존재합니다. 두 모델이 점점 같은 파이프라인에 배치되고 있기 때문입니다. 추론기가 계획을 작성하면, 시뮬레이터가 그 계획이 어떤 결과를 낳는지 보여줍니다. 따라서 유용한 질문은 어느 쪽이 더 나은가가 아니라, 여러분의 문제에 실제로 필요한 쪽은 어느 것인지, 그리고 각각을 보유하는 데 어떤 비용이 드는지입니다.

불일치, 간단히 말하면

G​emma 4 12B에는 공개 평가 표가 있지만 PAN 2에는 없습니다. 그리고 그 비대칭은 품질 신호가 아니라 범주 신호입니다. Google은 MMLU Pro, GPQA Diamond, AIME, LiveCodeBench 및 그 외 십여 개의 텍스트·비전 벤치마크를 공개합니다. 언어 모델은 수년째 존재해 온 공통 척도로 측정되기 때문입니다. PAN 2의 카드는 Physics-IQ Verified, PhyGround, RBench 및 인간 선호도 연구를 공개합니다. 비디오 세계 모델은 최근에 발명된 측정 도구, 대부분 모델을 만드는 연구소들이 개발한 도구로 측정되기 때문입니다.

• 파라미터 — PAN 2: 단일 멀티모달 확산 트랜스포머로 구성된 29B 모델이며, 고정된 Qwen3.5-9B 텍스트 인코더와 Wan 2.2 VAE가 함께 로드됩니다. G​emma 4 12B: 11.95B, 48개 레이어, 인코더 프리 방식으로, 원시 이미지 패치와 오디오 파형이 디코더의 임베딩 공간으로 곧바로 투영됩니다.

• 입력과 출력 — PAN 2: 선택적 첫 프레임과 구조화된 월드 상태 캡션을 입력하면 MP4가 출력됩니다. G​emma 4 12B: 텍스트, 이미지, 오디오, 비디오를 입력받아 텍스트를 출력하며, 256K 토큰 컨텍스트와 네이티브 시스템 프롬프트 지원을 갖춥니다.

• 라이선스 — PAN 2: 자체 코드와 가중치에는 Apache-2.0이 적용되며, 서드파티 구성 요소에는 각자의 조건이 적용됩니다. Gemma 4 12B: Gemma 4 라이선스 조건에 따라 Apache-2.0이 적용됩니다.

• 디스크상의 가중치 — PAN 2: IFM/PAN2 저장소의 60개 파일에 걸쳐 86.17GB이며, 이 중 67.37GB는 트랜스포머 자체이고 15.87GB는 텍스트 인코더입니다. Gemma 4 12B: BF16 약 120억 개 파라미터로, 대략 트랜스포머 단독의 4분의 1입니다.

각각이 실제로 무엇을 잘하는지, 그 자체의 증거에 비추어

Gemma 4 12B의 수치는 두 모델 중 더 읽기 쉬운 편이며, 크기에 비해 상당히 준수합니다. 벤더가 보고한 MMLU Pro 77.2%, GPQA Diamond 78.8%, 도구 없이 AIME 2026 77.5%, LiveCodeBench v6 72.0%, Codeforces 레이팅 1659는 이전 세대를 충분히 앞서게 합니다 — Gemma 3 27B는 같은 항목에서 67.6%, 42.4%, 20.8%, 29.1%, 110점을 기록합니다. 비전에서는 MMMU Pro 69.1%, MATH-Vision 79.7%를 기록합니다. 긴 컨텍스트에서는 128K에서 8개의 니들을 사용한 MRCR v2가 43.4%에 도달합니다. 이는 Google이 자사 모델을 자체 평가한 결과이며, 모델 카드에도 그렇게 명시되어 있습니다. 독립적인 판정이 아니라 잘 문서화된 벤더의 주장으로 받아들이십시오.

PAN 2에는 그에 비견할 만한 것이 없으며, 그런 척하지도 않는다. 그 주장은 더 좁고 더 기이하다. 즉, 구조화되고 시간에 근거한 설명을 조건으로 하는 확산 모델이 어떤 행동의 물리적·인과적 결과를, 에이전트가 하나를 확정하기 전에 후보 계획들을 비교할 수 있을 만큼 충분히 잘 시뮬레이션한다는 것이다. 그 주장을 뒷받침하는 근거는 여섯 가지 역량 범주에 걸친 300개 사례의 단일 행동 연구, 456개 단계가 포함된 200개 프롬프트의 다단계 연구, 그리고 1,400회 비교의 블라인드 인간 선호도 테스트다. 세 가지 모두 팀 자체의 것이다. 그중 어느 것도 G​emma 4 12B가 측정되는 어떤 항목에도 전이되지 않는다.

배포 문제가 바로 비교가 실질적인 의미를 갖는 지점이다.

여기서 두 모델은 더 이상 비교할 수 없는 대상이 아닙니다. 둘 다 당신이 비용을 지불하는 하드웨어 위에서 돌아가야 하기 때문입니다.

G​emma 4 12B는 단일 소비자용 또는 워크스테이션 GPU에서 BF16으로 실행되며, 양자화하면 훨씬 적은 자원으로도 실행됩니다. 표준 추론 스택에서 출시 첫날부터 지원되고, 262K 어휘를 갖추고 있으며, 샘플링 및 사고 모드 기본값이 문서화되어 있습니다. 워크로드가 문서 이해, 도구 호출 또는 긴 컨텍스트에 대한 추론이라면, 이는 지루하고 이미 잘 다져진 배포이며 흥미로운 결정은 모두 프롬프팅에 관한 것입니다.

PAN 2의 배포는 지루하지 않습니다. vLLM 레시피의 대표 문구는 704×1248 영상 13초가 B300 GPU 4개에서 약 119초 걸린다는 것이며, classifier-free guidance는 두 개의 rank에, Ulysses 시퀀스 병렬화는 두 개에 걸쳐 병렬화됩니다. 기본 구성은 BF16의 H200 8개입니다. 샘플러는 매 단계 guidance를 켜고 50단계를 실행합니다. 즉 클립당 29B 트랜스포머를 100번 순전파하는 것이므로 병렬화가 선택 사항이 아닙니다. 또한 조건 형식은 자유 텍스트가 아닙니다. 모델은 구조화된 세계 상태 캡션을 기대하며, 저장소는 텍스트 인코더의 예산에 맞서 1,480토큰의 소프트 제한과 1,536의 하드 용량을 강제하는 검증기를 갖춘 프롬프트 재작성 스킬을 제공합니다.

그 마지막 세부 사항이 대부분의 평가를 좌우한다. PAN 2에 소원을 입력한다고 해서 영상이 나오는 것은 아니다. 사건을 순서대로 설명하고, 행동을 행위자에 묶고, 카메라 움직임을 지정해야 하며, 모델 카드에는 에이전트 사례 연구가 손수 다듬은 프롬프트에 의존했다고 명시되어 있다. G​emma 4 12B는 산문 한 단락을 기꺼이 받아들이고 첫 시도에 유용한 결과를 돌려줄 것이다. PAN 2가 실제로 어떤 느낌인지 알고 싶다면, 솔직한 답은 채팅 상자가 아니라 인터페이스 계약을 가진 모델처럼 느껴진다는 것이다.

두 가지가 같은 시스템에 속하는 위치

이 비교가 계속 등장하는 이유는 이제 에이전트 작업에 양쪽 절반이 모두 필요하기 때문입니다. 텍스트로 계획하고 실제 환경에서 행동하는 에이전트에는 무엇을 할지 결정하는 추론기가 필요하고, 점점 더 무엇을 하면 어떤 모습일지 미리 보여 주는 시뮬레이터도 필요합니다. G​emma 4 12B가 추론기가 될 수 있습니다. 스택의 나머지와 함께 배치할 수 있을 만큼 작고, 이미지와 오디오를 입력으로 처리하며, 지시 따르기와 도구 사용 점수가 바로 이 모델의 핵심입니다. PAN 2는 시뮬레이터가 될 수 있으며, 그 자체의 아키텍처는 G​emma 같은 것이 이미 루프 안에 있다고 가정합니다. 개념적 추론기는 지시를 따르는 모든 언어 모델로 정의되며, 보고서는 시뮬레이션된 계획이 끝에서 끝까지 완료되는 빈도에 따라 네 가지를 순위로 매깁니다. Claude Opus 5.5가 1위, 그다음이 중간 노력도의 GPT-6 Astra, 그다음이 Kimi K3, 그다음이 Qwen3.8-Flash입니다.

시스템이 그러한 형태라면, 이 조합은 전혀 PAN 2 대 Gemma 4 12B의 구도가 아닙니다. 그것은 PAN 2에 추론기를 더한 것이며, 비용과 품질 편차가 실제로 발생하는 지점은 바로 추론기를 선택하는 데 있습니다.

그곳은 라우터가 마케팅 작업이 아니라 실제 작업을 수행하는 곳입니다. 시뮬레이션 절반은 자체 GPU에서 실행해야 합니다 — MBZUAI를 포함해 누구도 PAN 2를 호스팅하지 않습니다 — 하지만 추론 절반은 종량제 API 호출이 될 수 있으며, Claude Opus 5.5, GPT-6 Astra, Qwen3.8-Flash 사이를 전환해 어느 것이 귀하의 계획을 가장 자주 완성하는지 찾는 것은 조달 질문이 아니라 라우팅 질문입니다. Qwen3.8-Flash는 OrcaRouter에 있습니다, 따라서 자동 장애 조치가 있는 하나의 API 키를 통해 자체 PAN 2 배포에 대해 세 가지 플래너를 벤치마크할 수 있으며, 공급자 정가에 0% 마크업이 그대로 전달됩니다. OrcaRouter는 PAN 2를 호스팅하지 않으며 라우팅할 수 없습니다. 파이프라인의 저렴한 절반은 탄력적으로 유지하면서 비싼 절반은 하드웨어에 고정할 수 있습니다.

이 비교를 바꾸는 것은 무엇일까?

두 가지가 있는데, 둘 다 2026년 11월 11일에는 존재하지 않습니다. 첫째, PAN 2의 작성자가 아닌 누군가에 의한 PAN 2의 독립적인 평가입니다. 그때까지 PAN 2의 기능 주장은 공급업체가 보고한 것이므로 그렇게 읽어야 합니다. 둘째, PAN 2의 호스팅 엔드포인트 또는 실제 릴리스 노트입니다. 연구소의 X 계정에 있는 한 게시물은 그런 것이 아닙니다. 그런 것이 있다면 자체 호스팅 결정을 가격 비교로 바꾸고 이 페이지의 배포 섹션을 하룻밤 사이에 무용지물로 만들 것입니다.

Gemma 4 12B는 둘 다 필요하지 않습니다. 이미 출시되어 문서화되었고 폭넓게 배포된 모델로, Hugging Face에서 월간 다운로드 수가 180만 회를 넘으며, 그 평가표는 커뮤니티가 수개월간 사용하며 약점을 찾아온 기록이 있습니다. 이를 도입할 때의 위험 프로필은 거의 0에 가깝습니다. PAN 2를 도입할 때의 위험 프로필은, 한계 섹션에 시뮬레이션된 계획 세 개 중 약 두 개에 실행되지 않는 단계가 최소 하나 포함된다고 적힌 모델을 위해 인프라에 일주일을 쏟는 것입니다. 그 문장은 PAN 2를 건너뛸 이유가 아닙니다. GPU를 임대하기 전에 자신이 무엇을 사는지 알아야 하는 이유입니다.

선택하는 방법

텍스트, 이미지 또는 오디오를 이해하고 답변해야 한다면 PAN 2는 후보가 아니며, GPU 예산을 아무리 쏟아부어도 후보가 되지 않습니다. G​emma 4 12B를 선택하거나, 더 큰 G​emma 4 변형 중12B의 수치가 충분하지 않다면 하나를 선택하세요. 어떤 행동이 실행되기 전에 어떻게 보일지 — 로봇 조작, 자기중심적 과제 시뮬레이션, 물리적 추론 평가 — 확인해야 한다면, G​emma 4 12B도 그렇게 할 수 없으며, PAN 2는 이를 시도하는 몇 안 되는 오픈 웨이트 모델 중 하나입니다. 두 가지를 모두 수행하는 에이전트가 필요하다면, 답은 모델이 아니라 스택이며, 흥미로운 엔지니어링은 둘 사이의 인터페이스에 있습니다. PAN 2가 요구하는 구조화된 캡션 형식은 바로 G​emma 4 12B 같은 추론기가 생성하도록 학습받아야 할 산출물입니다.