MiniCPM-V 4.7 vs Gemma 4 12B: 한쪽은 벤치마크를 공개하고, 다른 쪽은 그 벤치마크 사진을 공개한다

MiniCPM-V 4.7의 모델 카드를 열고 평가 섹션으로 스크롤하세요. 세 개의 이미지가 있습니다: 성능 대 추론 시간 프런티어 플롯, 전체 비전-언어 비교, 전체 언어 비교. 표는 없습니다. 이제 Gemma 4 12B의 카드를 열고 같은 위치로 스크롤하세요. MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision 및 문서 파싱 오류율이 있으며, 각각 스프레드시트에 복사할 수 있는 숫자가 함께 표시됩니다. 두 모델 모두 오픈 웨이트이고, 둘 다 Apache 2.0이며, 둘 다 사용자가 보유한 하드웨어에서 실행되는 멀티모달 모델로 포지셔닝되어 있습니다. 그리고 그중 하나만 자신의 작업을 검증할 수 있게 해줍니다.이와 같은 릴리스 뒤에 있는 문서화된 AI 실패 및 에이전트 사건은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 있습니다.

그 비대칭성이 바로 실제 비교입니다. 2026년 10월 12일 OpenBMB가 공개한 MiniCPM-V 4.7과 2026년 6월 3일 G​oogle DeepMind가 공개한 Gemma 4 12B는 같은 종류의 대상이 아니며, 그 차이는 크기가 아닙니다. 그것은 각 벤더가 자신들의 주장 중 얼마나 많은 부분을 텍스트로 내놓을 의향이 있는가입니다.

각 공급업체가 숫자로 알려주는 내용

Gemma 4 12B의 카드는 다섯 개의 형제 모델과 한 개의 전임 모델을 상대로 한 자사 점수를 공개하며, 평가 하네스는 벤치마크별로 명시되어 있습니다. 특히 12B Unified 변형의 경우, 벤더는 MMLU Pro에서 77.2, 도구 없이 AIME 2026에서 77.5, LiveCodeBench v6에서 72.0, GPQA Diamond에서 78.8, Codeforces ELO 1659, 세 번의 실행 평균으로 Tau2에서 69.0, MMMLU에서 83.4, 그리고 — 12B 모델이 무엇인지를 가장 정직하게 규정하는 수치인 — 도구 없이 Humanity's Last Exam에서 5.2를 보고합니다. 비전 부문에서는 MMMU Pro에서 69.1, MATH-Vision에서 79.7, OmniDocBench 1.5에서 평균 편집 거리 0.164를 보고하며, 여기서는 낮을수록 좋습니다.

그것들은 벤더가 제시한 수치다. 독립적인 누구도 그에 동의할 필요는 없고, 이렇게 널리 배포된 모델에서는 그중 일부는 다른 하네스와 맞부딪히면 살아남지 못할 것이다. 하지만 그것들은 반증 가능하며, 바로 그 점이 중요한 속성이다. 자체 평가에서 MMLU Pro에서 62점을 받는다면, 설정이나 카드에 문제가 있다는 것을 아는 것이다.

MiniCPM-V 4.7의 카드는 산문으로 네 가지 수치적 주장을 제시하며 벤치마크 표는 전혀 없습니다. 35B-A3B 변형은 iPhone 17 Pro Max에서 약 3GB의 메모리를 사용하여 초당 13개 이상의 토큰을 디코딩합니다. Lookahead Expert Scheduling은 실제 기기에서 5배 속도 향상을 제공합니다. 1B 변형은 종합 점수와 추론 효율성에서 Qwen3.5 0.8B를 앞섭니다. 그리고 Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 적은 추론 시간으로 더 높은 종합 점수에 도달합니다. 그 외의 모든 것, 즉 비교의 모든 축은 플롯 이미지 안에 있습니다.

그것은 부정직이 아니다. 차트는 정보를 담고 있으며, 프런티어 플롯은 서로 다른 배치 크기에서 측정된 여러 벤치마크의 점수표보다 속도-품질 트레이드오프를 요약하는 더 나은 방법이라고 할 수 있다. 하지만 차트는 인용할 수 없고, 다시 도출할 수도 없으며, 누군가가 픽셀 위치를 읽지 않고서는 다른 공급업체의 차트와 비교할 수도 없다. 모델에 대한 유일한 공개 평가가 그림뿐일 때, 올바른 태도는 누군가가 그것을 측정할 때까지 그 모델을 측정되지 않은 것으로 취급하는 것이다.

두 아키텍처는 서로 다른 문제를 해결하고 있습니다

평가 섹션들을 지나쳐 읽어보면 설계가 확연히 갈라지는데, 이것이 어떤 단일 점수보다 더 유용한 신호다.

Gemma 4 12B에는 인코더가 없습니다. 별도의 비전 타워도, 별도의 오디오 인코더도 없습니다. 원시 이미지 패치와 오디오 파형은 경량 선형 계층을 통해 언어 모델의 임베딩 공간으로 곧바로 투영됩니다. Google이 밝힌 이유는 지연 시간과 단일 패스 파인튜닝입니다. 하나의 모델, 한 번의 학습 실행, 모든 모달리티. 그 대가는 회사가 전용 시각 프런트 엔드 없이도 디코더 전용 트랜스포머가 충분히 잘 볼 수 있다고 베팅하는 것입니다. 약 550M 파라미터의 비전 인코더를 실제로 갖춘 31B 형제 모델의 76.9에 비해, 자사 MMMU Pro 점수 69.1은 이 베팅이 세밀한 시각 추론에서 어느 정도 비용을 치르게 함을 시사합니다.

MiniCPM-V 4.7은 다른 방향으로 나아갑니다. 전용 비전 타워를 유지하며 — 1152 hidden width, 27개 레이어, 980픽셀 타일 — 그 타워를 저렴하게 만드는 데 엔지니어링을 집중합니다. LLaVA-UHD v4에서 차용한 ViT 내부 초기 압축은 시각 토큰을 인코더 이후가 아니라 인코더 내부에서 줄이며, 혼합 4×/16× 다운샘플링 스위치를 통해 호출자는 요청별로 세부 정보와 비용 중에서 선택할 수 있습니다. 언어 쪽에서 35B-A3B는 토큰당 8개 전문가를 활성화하는 256전문가 혼합 모델이며, 40개 레이어에 걸쳐 선형 어텐션 대 전체 어텐션의 3:1 패턴으로 배치되어 있습니다.

그 설계의 실질적인 결과는 MiniCPM의 비디오 경로가 유난히 명시적이라는 점입니다. 모델 카드에서는 max_num_frames를 128로 노출하고, 메인 프레임 사이의 하위 프레임을 그리드로 합성하는 stack_frames 매개변수를 제공하며, 이미지(36)와 비디오(1)에 대해 별도의 슬라이스 개수 지침을 둡니다. 화면 녹화나 강의 비디오를 읽는 무언가를 만들고 있다면, 무엇이 샘플링되는지에 대한 그 수준의 제어가 바로 핵심 기능입니다. Gemma 4 12B도 프레임 시퀀스 형태로 비디오를 처리하지만, 해당 모델 카드는 샘플링의 경제성보다는 형식을 문서화합니다.

실제로 판가름하는 행들

• 매개변수 — 총 35.21B, 256개 전문가 중 8개 활성, 게다가 11.95B dense 대비 1.55B dense 형제 모델

• 입력 모달리티 — 텍스트, 이미지, 비디오(OCR 및 PDF 파싱 별도 명시) vs 텍스트, 이미지, 비디오 및 네이티브 오디오

• 컨텍스트 — 262,144 토큰 대 12B에서의 262,144 토큰, E-series 형제 모델에서는 128K

• 라이선스 — Apache 2.0, 가중치 다운로드 가능 대 Apache 2.0, 가중치 다운로드 가능

• 공개된 평가 — 프론티어 및 비교 차트, 8개 형제 모델 전반의 전체 수치 표와 대조되는 네 가지 서술형 주장

• 독립적 평가 — 이 글을 작성하는 시점 기준으로 4.7 변형 두 가지 모두 Artificial Analysis에 등재된 항목이 없음 vs 지능 순위와 처리량이 포함된 Artificial Analysis 페이지

• BF16 기준 메모리 — 35B-A3B의 경우 가중치 약 70GB, 1B는 약 3.1GB vs 약 24GB

• 제공되는 양자화 형식 — 업스트림 체크포인트 대비 GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4와 G​oogle 및 제3자의 커뮤니티 GGUF 및 QAT 빌드

• 벤더가 지정한 서빙 경로 — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, 그리고 더 넓은 생태계는 커뮤니티가 제공

• 온디바이스 지원 — iOS, Android, HarmonyOS 앱과 Rockchip, Houmo, Intel, AMD, Arm의 Day-0 지원 대 노트북 및 소비자용 GPU에 최적화된 설계

세 가지 워크로드, 세 가지 해답

대규모 화면 및 문서 이해. 이는 MiniCPM-V 4.7의 설계가 겨냥하는 지점이자 해당 문서가 가장 강력한 부분입니다. 4× 다운샘플 모드, 36-슬라이스 설정, OCR 및 PDF 파싱 쿡북 항목, 비디오에 대한 명시적 프레임 샘플링 제어는 모두 렌더링된 콘텐츠를 구조화된 텍스트로 바꾸는 파이프라인을 설명합니다. Gemma 4 12B도 이 부분에서 신뢰할 만합니다 — OmniDocBench 편집 거리 0.164는 실제 문서 파싱 수치입니다 — 하지만 벤더의 카드는 문서 파싱을 중심 구성 원칙이라기보다 여러 기능 중 하나로 다룹니다.

무엇이든 들어야 하는 것. Gemma 4 12B는 오디오를 네이티브로 처리하며, 카드에는 CoVoST 38.5, FLEURS 0.069가 기재되어 있습니다. MiniCPM-V 4.7은 그렇지 않습니다. OpenBMB의 오디오 작업은 별도의 MiniCPM-o 라인에 속해 있으며, 4.7 카드에는 오디오 모달리티가 전혀 나열되어 있지 않습니다. 입력에 음성이 포함된다면 비교는 시작하기도 전에 끝납니다 — 한 모델은 앞에 전사 단계가 필요하고 다른 모델은 그렇지 않습니다.

정해진 예산으로 소비자용 GPU 한 장. 4비트 Gemma 4 12B는 8GB 미만에 들어가고 컨텍스트를 위한 여유도 남깁니다. 4비트 35B-A3B는 소비자용 카드 한 장에는 들어가지 않으며, 해당 모델 카드의 성능 설명은 3GB를 상주시키는 휴대폰에 관한 것이지 70GB의 전문가 가중치를 페이징할 GPU에 관한 것이 아닙니다. 제약이 "이미 보유한 카드 한 장"이라면 12B가 답이고, 1B 변형이 해당되는 유일한 MiniCPM입니다.

구매자가 가격에 반영해야 하는 격차

두 모델 모두 무료로 다운로드할 수 있으므로 라이선스 조항은 무승부이고, 실제 비용은 그 이후의 모든 것입니다. Gemma 4 12B의 경우 생태계가 따라잡을 시간이 4개월 반 있었습니다. Google 자체의 양자화 빌드, 커뮤니티 GGUF 변환, QAT 체크포인트, 그리고 동일한 척도로 100개의 다른 모델과 비교할 수 있게 해주는 독립적 인덱싱이 있습니다. MiniCPM-V 4.7의 경우, 새로운 아키텍처가 나온 지 8일째입니다. 새로운 model_type, 새로운 어텐션 레이아웃, 최소 Transformers 버전이 필요하며, 벤더 자체 카드도 torchcodec을 통한 비디오 디코딩이 깨지는 CUDA 버전 불일치에 대한 주의로 시작합니다.

그것은 모델에 대한 비판이 아닙니다. 그것은 무언가를 도입한 첫 2주 동안 치르는 표준적인 비용이며, 차트만으로 평가하는 조용한 릴리스가 프로덕션 경로로는 나쁜 후보이고 나란히 비교하는 테스트로는 좋은 후보인 이유입니다. 그 테스트를 저렴하게 만드는 방법은 새 모델을 평가하는 동안 기존 모델을 계속 서비스하게 두는 것이며, 이는 모델링 문제라기보다 라우팅 문제입니다.

OrcaRouter는 200개 이상의 호스팅 모델을 0% 마크업으로 하나의 OpenAI 호환 엔드포인트 뒤에서 실행하며, 공급자 정가가 그대로 전달되므로, 두 번째 모델을 시험하는 비용은 두 번째 계약이 아니라 설정 변경입니다. 라우팅 DSL은 단일 호출에 기본 경로와 폴백을 담을 수 있으며, 자동 페일오버는 공급자가 문제를 겪는 시간에도 기본 경로를 살아 있게 유지합니다. 여기서 중요한 부분은 커버리지 관련 설명입니다: 우리 카탈로그에는 Gemma 4 26B-A4B와 Gemma 4 31B가 포함되어 있으며, 이 12B는 포함되어 있지 않고, MiniCPM-V 4.7은 전혀 포함되어 있지 않습니다. 이 글에서 다루는 두 모델은 모두 직접 실행하는 체크포인트입니다 — 라우터는 그 주변에 위치하는 것이지, 그들을 호출하는 방법이 아닙니다.

무엇이 그것을 해결할까요?

현재 비교는 말하기도 쉽고 고치기도 쉬운 방식으로 한쪽으로 치우쳐 있다. Gemma 4 12B에는 반박할 수 있는 숫자가 있다. MiniCPM-V 4.7에는 받아들이거나 거부할 수밖에 없는 주장만 있다: 초당 13토큰, 3GB, 5배 속도 향상, 이름이 밝혀지지 않은 종합 점수에서 이름이 밝혀진 경쟁사보다 우수하다는 것. 이런 항목은 하나하나가 표의 한 행으로 제시될 때 훨씬 유용할 텐데, OpenBMB는 그럴 능력이 분명히 있다 — 이 제품군의 이전 카드들에는 표준 벤치마크 표가 실려 있었다.

그래서 유용한 자세는 의도적으로 비대칭적입니다. 이번 주에 결정을 내려야 한다면, Gemma 4 12B는 공개된 수치로 동작을 예측할 수 있는 모델이며, 오디오 지원은 아무리 기다려도 MiniCPM-V 4.7에 추가되지 않을 기능입니다. 휴대폰, HarmonyOS, Rockchip 보드용으로 구축하거나, 4× 다운샘플 경로가 정확히 맞는 화면과 문서 판독용으로 구축한다면, MiniCPM-V 4.7의 엔지니어링은 이 규모에서 G​oogle이 출시한 그 어떤 것보다 여러분의 문제에 더 특화되어 있습니다 — 그리고 빠진 표는 그것을 일축할 이유가 아니라 직접 측정할 이유입니다.

마지막으로 분명히 말해둘 만한 것이 하나 있다. 그것은 어느 벤더의 프레이밍에도 들어맞지 않는 부분이다. 이 두 모델 중 어느 것도 프런티어 API와 같은 구매자를 두고 경쟁하지 않는다. 두 모델은 모델을 아예 로컬에서 실행하지 않기로 하는 결정과 경쟁한다. Gemma 4 12B의 가장 강력한 논거는 4개월간 쌓인 생태계 덕분에 지루한 경로도 통한다는 것이고, MiniCPM-V 4.7의 가장 강력한 논거는 3 GB의 1B 모델이 12B가 갈 수 없는 곳에서 실행된다는 것이다. 제약 조건을 먼저 고르고, 그다음 모델을 고르라. 벤치마크 표는 나중에 나오더라도 이미 선택한 범주 안에서 모델을 재배치할 뿐이다.