MiniCPM-V 4.7, 모델 카드 공개: OpenBMB, 벤치마크·라이선스·온디바이스 주장 발표

탄생 후 첫 6일 동안 MiniCPM-V 4.7은 README도 없는 70GB bfloat16 텐서 폴더였습니다 — 모델 카드도, 라이선스 태그도, 벤치마크 표도, 그것이 무엇을 위한 것인지 알려 주는 어떤 것도 없었습니다. 2026년 10월 12일, OpenBMB가 전체 모델 카드를 openbmb/MiniCPM-V-4.7-35B-A3B에 커밋하고, Apache-2.0 라이선스를 선언하고, MiniCPM-o 저장소의 README를 새 시리즈를 앞세우도록 다시 작성하고, iOS, Android, HarmonyOS 기기를 겨냥한 오픈소스 MLLM 릴리스로 발표하면서 상황이 바뀌었습니다. 같은 문서 작업은 1B 형제 모델에도 적용되어, 이제 동일한 카드 구조를 갖추고 있습니다. 이 글은 그 차이 — 카드가 실제로 주장하는 내용, 그중 어떤 주장을 스스로 확인할 수 있는지, 그리고 그중 어떤 주장이 오늘날 공급업체 제공 PNG의 픽셀으로만 존재하는지 — 에 관한 것입니다.

10월 12일에 무엇이 도착했고, 무엇이 이미 그곳에 있었는가

가중치는 움직이지 않았다. openbmb/MiniCPM-V-4.7-1B은 2026년 10월 6일 17:40 UTC에 만들어졌고 openbmb/MiniCPM-V-4.7-35B-A3B은 10월 7일 07:07 UTC에 만들어졌다. 둘 다 여전히 최종 수정 타임스탬프를 10월 12일로 보고하는데, 마지막 날은 파라미터가 아니라 문서 작업에 쓰였기 때문이다. 35B 저장소의 10월 12일 커밋 로그는 문서화 집중 작업이다: 모델 카드 추가 16:08, 모델 카드 업데이트 16:15, 35BA3B 이름 변경 16:23, 메타데이터 추가 16:26, 에셋 절대 URL 16:50, 17:07까지 이어진 시작하기 추가 커밋 네 개, 그리고 LES 문서 링크 17:09. 히스토리에서 그 줄 아래에 있는 것은 모두 init이다. 저장소는 파일 18개에 모델 카드도 없던 상태에서 이미지, 평가 차트, 배포 지침, 라이선스를 갖춘 문서화된 릴리스로 약 한 시간 만에 바뀌었다.

그건 이 발표를 어떻게 해석해야 하는지에 중요합니다. 출시 게시물은 출시 자체와 같은 것이 아니니까요. 10월 12일에 체크포인트에 대해 달라진 것은 아무것도 없습니다. 달라진 것은 MiniCPM-V 4.7이 설명 없는 업로드로만 남지 않고, 서류상으로 평가할 수 있는 제품이 되었다는 점입니다.

두 가지 변형과 그것들이 동일한 릴리스가 아닌 이유

해당 발표는 두 가지 모델을 설명하며, 이들은 비전 타워 아래에서 아키텍처적으로 서로 무관합니다. 하나는 희소 전문가 혼합 모델이고, 다른 하나는 소형 덴스 모델입니다.

• MiniCPM-V 4.7 35B-A3B — 희소 MoE 방식으로 총 파라미터 352억 개, 전문가 256개 중 토큰당 8개 활성, 텍스트 레이어 40개, 히든 크기 2,048, 쿼리 헤드 16개 대 키/값 헤드 2개, 최대 위치 262,144 토큰, 어휘 248,144개.

• MiniCPM-V 4.7 1B — 덴스 qwen3_5_text 백본, 히든 크기 1,024의 24개 레이어, 2개의 키/값 헤드에 대한 8개의 쿼리 헤드, 동일한 262,144-토큰 컨텍스트, 어휘 248,094, 단일 3.1 GB safetensors 파일.

• 공유 비전 타워 — minicpmv4_7_vision, 은닉 크기 1,152에서 27개 레이어, 패치 크기 14, 이미지 크기 980, 텍스트 스택의 6번째 레이어에 삽입됩니다.

• 압축 — 4배 및 16배가 혼합된 비주얼 토큰 다운샘플링으로, OpenBMB가 LLaVA-UHD v4에서 비롯된 것으로 언급하는 ViT 내부 조기 압축 기법을 사용합니다. 기본값은 16배이며, 4배는 더 세밀한 디테일을 위한 설정입니다.

• 어텐션 구조 — 두 변형 모두에서 3:1 반복 패턴: 세 개의 linear_attention 레이어 뒤에 하나의 full_attention 레이어가 오며, 35B 모델의 40개 텍스트 레이어에 걸쳐 열 번 반복됩니다.

• 라이선스 — 둘 다 Apache-2.0이며, 카드 앞부분(front matter)에 명시되어 있는데, 두 저장소 중 어느 쪽이든 라이선스 조건을 밝힌 것은 이번이 처음입니다.

35B-A3B는 이번 발표에서 가장 앞세우는 모델이며, 흥미로운 엔지니어링 스토리를 가진 모델이기도 하다. 전체적인 주장은 350억 개의 저장 파라미터를 가진 희소 MoE를 휴대폰에서 매끄럽게 실행되도록 만들 수 있다는 것이다.

진짜 참신한 점은 온디바이스라는 주장이며, 이는 스케줄링 문제다.

휴대폰에서 MoE를 실행해 본 사람이라면 누구나 그 실패 양상을 압니다. 전체 파라미터는 저장소에 존재하고, 토큰당 극소수만 활성화되며, 모든 전문가를 담아 둘 RAM이나 대역폭이 없는 기기에서는 가중치가 페이지 인/아웃됩니다. 그 결과 디코딩 속도는 대화가 불가능할 정도가 됩니다. 뻔한 우회책 — 전체 프롬프트에 대해 라우터를 고정된 전문가 하위 집합에 묶어 두는 것 — 은 속도를 빠르게 만들어 주지만, 모델이 원래라면 선택했을 전문가에게 토큰이 더 이상 도달할 수 없기 때문에 조용히 능력을 깎아냅니다.

OpenBMB의 해답은 세 가지 기법을 함께 쌓아 올린 것이며, 이 카드는 각 기법이 하는 일에 대해 이례적으로 구체적입니다:

• 룩어헤드 전문가 스케줄링(LES) — 교차 계층 라우팅 예측기가 다음 계층에서 필요할 가능성이 높은 전문가를 미리 로드하고, 실제 라우터가 실제로 선택한 전문가들 중에서 우선순위를 정하며, 그들의 연산을 아직 필요한 다른 모든 것의 로드와 겹칩니다. 이 카드는 예측이 프리페치와 스케줄링만 구동한다는 점을 분명히 합니다. 연산은 여전히 모델 자체의 토큰 수준 라우팅을 따르며, 예측이 놓친 전문가들은 정상적으로 로드되고 평가됩니다.

• 세밀한 계층별 양자화 — 전문가 가중치 풋프린트와 메모리 트래픽을 줄여 로드 패턴이 온디바이스 메모리와 대역폭에 맞도록 합니다.

• DSpark 추측 샘플링 — 드래프트 모델 경로를 스케줄링 및 양자화와 함께 디바이스 추론 루프에 통합합니다.

헤드라인 숫자는 35B-A3B의 경우 iPhone 17 Pro Max에서 초당 13+ 토큰입니다. 이는 우리가 본 적 없는 기기에서, 우리가 실행해 본 적 없는 앱을 사용한 공급업체 측정값이며, 이번 릴리스에서 연구소 밖의 누군가가 재현할 때까지 가장 유보적으로 받아들여야 할 단일 수치입니다. 또한 이는 "성능을 희생하지 않고 온디바이스에서 원활하게 실행되는 최초의 오픈소스 MoE"라는 전체 프레이밍이 의존하는 주장이기도 합니다. 이 주장은 정의상 반증하기 어렵습니다. 왜냐하면 "성능을 희생하지 않고"는 공급업체가 선택한 기준선과 비교하여 측정되기 때문입니다.

카드에서 진정으로 새로운 정보인 부분: 생태계 목록

10월 12일 이전에는 공개된 서빙 레시피가 전혀 없었다. 이제 카드에는 모델이 함께 작동할 것으로 예상되는 프레임워크들이 명시되어 있으며, 그 목록은 벤치마크 결과가 어떻게 나오든 유용할 만큼 충분히 포괄적이다:

• 추론 — SGLang, vLLM, llama.cpp 및 Ollama를 지원하며, transformers serve 경로(OpenAI 호환 로컬 엔드포인트용)와 Intel CPU, GPU, NPU용 OpenVINO 경로를 제공합니다.

• 파인튜닝 — SWIFT와 LLaMA-Factory, 그리고 OpenBMB가 Self-Replay Fine-Tuning이라고 부르는 훈련 레시피로, 기능을 확장하면서 망각을 제한하는 저비용 방법으로 포지셔닝되었습니다.

• 양자화 — GGUF, BNB, AWQ, GPTQ, FP8을 지원하며, 35B 모델의 AWQ, GPTQ, int4, FP8 및 GGUF 변형을 위해 별도의 저장소가 공개되어 있습니다.

• 하드웨어 — Rockchip, Houmo, Intel, AMD 및 Arm 칩 플랫폼에 대한 day-0 지원이 제공된다고 주장하며, iOS, Android, HarmonyOS 배포도 함께 지원합니다.

• 툴링 — 단일 이미지 채팅, 다중 이미지 채팅, 비디오, OCR, PDF 파싱, 시각적 그라운딩을 위한 작업 가이드가 담긴 쿡북과, 휴대폰 앱을 수록한 엣지 배포 저장소.

• 추측 디코딩 — 35B 및 1B 타깃 모두를 위한 별도의 DSpark 드래프트 체크포인트.

실질적인 결과는 MiniCPM-V 4.7이 "로더를 직접 작성해야 한다"에서 "적어도 네 가지 서빙 스택에 문서화된 경로가 있다"로 바뀌었다는 점입니다. 로컬 체험에 시간을 쓰기 전에 카드를 기다리고 있었다면, 그 기다림은 끝났습니다. 온디바이스 수치가 실제라는 독립적인 증거를 기다리고 있었다면, 그 기다림은 끝나지 않았습니다.

벤치마크가 입증하는 것과 입증하지 않는 것

카드의 평가 섹션은 그것이 무엇인지에 대해 솔직합니다: 공급업체가 보고한 것이며, 독립적으로 재현된 것이 아닙니다. 두 가지 비교 주장이 명시적으로 제시되며, 둘 다 절대 점수가 아니라 비교로 서술됩니다. Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 적은 추론 시간에 더 높은 종합 점수에 도달한다고 주장됩니다 — 이는 원시 품질 주장이 아니라 성능 대 지연 시간 주장입니다. 1B 변형은 MiniCPM-V 4.6의 핵심 역량을 능가하고, 종합 점수와 추론 효율성 모두에서 Qwen3.5 0.8B를 상당히 능가한다고 주장됩니다.

다음은 짚고 넘어갈 만한 부분입니다. 실제 수치는 텍스트에 없습니다. 평가 섹션은 다섯 개의 링크된 이미지로 구성되어 있습니다 — 35B 모델의 비전-언어 작업에 대한 종합 성능 차트, 언어 차트, 1B 차트, 성능-효율 프런티어 플롯, 그리고 온디바이스 속도 비교 GIF — 그리고 그 주변의 텍스트는 수치가 아니라 서사를 전달합니다. README에는 벤치마크별 표가 없으므로 인용할 수 있는 기계 판독 가능한 점수가 없고, 따라서 이 기사가 숫자로 인용할 만한 것도 없습니다. "Qwen3.6 35B-A3B보다 높은 종합 점수"가 현재 공개된 기록이 제공하는 가장 정확한 표현입니다.

두 가지 결과가 따른다. 첫째, MiniCPM-V 4.7은 우리가 감사된 비교를 위해 보통 찾아가는 중립적인 제3자 리더보드에 항목이 없다 — 추론 지수도, 에이전틱 지수도, 독립적으로 채점된 멀티모달 점수도 없다. 둘째, OpenBMB가 제시하려는 집계는 자사가 선택한 벤치마크 그룹 전반에 걸친 벤더 자체의 종합 지표이며, 이는 "더 높은 종합 점수"라는 주장이 그 뒤에 있는 가중치만큼만 의미가 있다는 뜻이고, 그 가중치 역시 공개되지 않는다. 이 중 어느 것도 수치가 틀렸다는 뜻은 아니다. 그것은 그 수치가 감사되지 않았음을 뜻하며, 이는 별개의 문제다. 그리고 그 구분은 수치가 가장 강력한 바로 그 지점에서 가장 중요하다.

오늘, 스스로 확인할 수 있는 것

마케팅을 걷어내면 견고하고 검증 가능한 핵심이 있으며, 그 전부는 누구도 믿지 않고도 리포지토리에서 읽을 수 있다:

• 가중치 바이트 — 35B 모델의 safetensors 샤드 16개, 총 70,425,903,448바이트로 BF16 35.2B 체크포인트와 일치합니다. 1B 모델은 단일 3.1 GB 파일입니다.

• 아키텍처 — 위의 모든 구조적 수치는 config.json에 있으며, 공개적으로 게시되어 있고, 카드의 설명과 일치합니다.

• Licence — Apache-2.0, 카드 프런트 매터에 명시되어 있으며 이제 모호하지 않습니다. 상업적 사용을 위해, 이것은 이번 릴리스에서 가장 중요한 한 줄이며, 새로 추가된 내용입니다.

• 양자화 변형 — AWQ, GPTQ, int4, FP8 및 GGUF 리포지토리가 존재하고 다운로드할 수 있으므로, 배포 스토리는 가중치 수준에서 이론에 그치지 않습니다.

• 채택 신호 — 35B 리포지토리는 10월 13일 기준 다운로드 약 166회, 좋아요 38개로, 설명이 없던 업로드였을 당시 기록했던 거의 0에 가까운 수치에서 한 단계 올라섰지만, 파레토 프런티어라고 주장하는 릴리스치고는 여전히 작은 숫자입니다.

당신이 검증할 수 없는 것은 이번 릴리스의 핵심을 이루는 주장입니다. 바로 이것이 아무것도 포기하지 않고 초당 13개 이상의 토큰으로 휴대폰에서 실행되는 최초의 오픈소스 MoE라는 주장입니다. 이는 iPhone과 스톱워치를 가진 제3자에게 달려 있습니다.

라우터가 적합한 경우와 그렇지 않은 경우

MiniCPM-V 4.7은 OrcaRouter가 서비스하지 않습니다. 이것은 오픈 웨이트 체크포인트로, 모델 자체는 직접 호스팅하는 것입니다 — 워크스테이션에서, GPU 박스에서, 또는 이 카드가 겨냥한 휴대폰에서 말이죠. 라우팅 레이어가 제값을 하는 지점은 그 구도의 반대편입니다: 자체 호스팅 비전 모델이 자신의 역량 밖이라고 판단하고 어려운 프레임을 더 큰 무언가에 넘기는 순간이죠. OrcaRouter 200개 이상의 호스팅 모델을 하나의 키 뒤에 두고, 각 제공업체의 정가를 0% 마크업으로 그대로 전달하며 제공업체 가격 변경이 같은 날 바로 반영되고, 제공업체가 성능 저하를 보이면 자동으로 페일오버합니다 — 이는 하이브리드 구성에 필요한 형태로, 저렴한 로컬 모델이 일상적인 작업을 처리하고 호스팅 모델이 감당할 수 없는 사례를 흡수합니다.

다음에 볼 콘텐츠

세 가지가 이번 릴리스를 문서화된 주장에서 확정된 사실로 만들어 줄 것이다. 35B 모델에 대한 독립적인 온디바이스 측정, 즉 iPhone 17 Pro Max와 공개된 앱을 가지고 직접 시간을 재는 사람이 수행하는 측정은 전체 피치가 기대는 수치를 확정해 줄 것이다. 차트가 아니라 실제 점수를 담은 벤치마크별 표가 있다면, Pareto 주장을 그것이 명시한 베이스라인과 대조해 확인할 수 있을 것이다. 그리고 중립적인 리더보드에서의 실행은 MiniCPM-V 4.7을 자신이 선택하지 않은 조건에서 평가된 모델들 옆에 나란히 놓을 것이다. 그때까지는, OpenBMB가 실제로 Apache-2.0 라이선스의, 잘 문서화된 모델을 출시했고, 그 효율성 이야기는 그럴듯하지만 입증되지 않았다는 것이 정직한 요약이다. 그리고 그 두 가지의 차이는 정확히 카드와 벤치마크의 차이다.