MiniCPM-V 4.7: OpenBMB가 모델 카드도, 라이선스도, 벤치마크도 없이 35B-A3B 비전-언어 모델을 업로드했다

MiniCPM-V 4.7은 2026년 10월 6일 저녁에 openbmb/MiniCPM-V-4.7-35B-A3B라는 저장소로 허깅 페이스에 등장했습니다. 그리고 이것은 MiniCPM 시리즈가 지금까지 내놓은 것 중 가장 기이한 물건 중 하나인데, 그와 함께 제공된 것이 거의 없기 때문입니다. 모델 카드도 없습니다. README도 없습니다. 명시된 라이선스도 없습니다. 벤치마크 표도, 출시 게시물도, 기술 보고서도 없으며, OpenBMB 자체 GitHub 문서에도 항목이 없습니다. 그 문서는 이번 주 기준으로도 여전히 MiniCPM-V 4.6을 "MiniCPM-V 시리즈에서 가장 최신이자 가장 효율적인 모델"이라고 부르고 있습니다. 존재하는 것은 bfloat16 가중치 16개 샤드, 총 70.4GB뿐이며, 이는 35.2억... 아니 352억 개 파라미터의 전문가 혼합(mixture-of-experts) 비전-언어 모델로, 256K 컨텍스트 창과 유난히 공격적인 하이브리드 어텐션 설계를 가진 모델을 설명합니다. 그것만으로도 이 모델이 무엇인지 말하기에는 충분합니다. 하지만 그것이 무엇을 잘하는지 말하기에는 아직 충분하지 않으며, 이 글은 그 두 가지를 엄격하게 분리해 둡니다.

실제로 반영된 것, 바이트 하나까지 그대로

저장소는 2026년 10월 6일 18:36 UTC에 생성되었고, 마지막 커밋은 12분 후인 18:48 UTC에 있었습니다. 그 사이에 업로더는 가중치 파일과 Transformers 로더가 필요로 하는 설정을 푸시했고, 거기서 멈췄습니다. 전체 파일 목록은 18개 항목으로 되어 있습니다:

• 가중치 — 16개의 safetensors 샤드로, 이름은 model-00001-of-00016부터 model-00016-of-00016이며, 인덱스 파일 model.safetensors.index.json에는 총 텐서 크기가 70,425,751,648바이트라고 나와 있습니다.

• 파라미터 수 — Hugging Face API는 35,212,875,824개의 파라미터를 읽으며, 모두 BF16입니다. 참고로 이는 총 개수이며, 희소 MoE의 경우 특정 토큰에서 활성화되는 파라미터 수와는 다릅니다.

• 구성 — config.json (2,984바이트), generation_config.json (186바이트), preprocessor_config.json, processor_config.json.

• 토크나이저 — tokenizer.json (20 MB), tokenizer_config.json, 그리고 chat_template.jinja (7,250 바이트).

• 누락됨 — README.md. 원본 파일을 직접 가져오면 HTTP 404가 반환됩니다. Hugging Face에서 README가 없다는 것은 모델 카드가 없다는 뜻이고, 이는 라이선스 필드가 없다는 뜻이며, 결과적으로 해당 리포지토리에 license: 태그가 전혀 포함되지 않는다는 의미입니다.

저장소에는 좋아요가 세 개, 다운로드가 0회, 그리고 비어 있는 토론 탭이 있습니다. 70 GB 체크포인트의 커뮤니티 업로드는 보통 몇 시간 안에 댓글을 불러모읍니다 — 퀀트에 관한 질문, 서빙에 관한 질문, 라이선스가 무엇인지에 관한 질문이죠. 이번 것은 그렇지 않은데, 이는 openbmb 조직을 지켜보던 소수의 사람들이 발견한 것이지 누군가에게 공지된 것이 아니라는 점과 일치합니다.

config.json에서 그대로 읽어낸 아키텍처

요약할 카드가 없기 때문에 구성 파일이 주된 출처이며, 이는 유난히 정보가 풍부합니다. 클래스는 MiniCPMV4_7ForConditionalGeneration이고, 모델 유형은 minicpmv4_7이며, Transformers 5.2.0으로 저장되었습니다 — 이 모든 것은 이것이 이름만 내세운 커뮤니티 파인튜닝이 아니라, 메인라인 MiniCPM-V 계보에 속한 OpenBMB 자체 체크포인트임을 말해줍니다.

• 언어 백본 — model_type: qwen3_5_moe_text. Qwen3.5에서 파생된 희소 MoE로, MiniCPM-V 4.5와 4.6을 구동했던 소형 dense Qwen 변형들이 아닌 Qwen-MoE 텍스트 스택을 MiniCPM-V 계열이 사용한 것은 이번이 처음입니다.

• 희소성 — 256개의 전문가, 토큰당 8개 선택, 전문가 중간 크기는 512이며, 같은 크기의 공유 전문가가 있습니다. 8-of-256 라우팅 패턴을 사용하는 35B 총 체크포인트는 순전파마다 그중 작은 일부만 활성화합니다. 이것이 바로 A3B라는 이름의 핵심입니다. 가중치는 크지만 연산량은 그렇지 않습니다.

• 깊이와 너비 — 40개의 은닉층, 은닉 크기 2048, 2개의 키/값 헤드를 가진 16개의 어텐션 헤드, 헤드 차원 256.

• 하이브리드 어텐션 — layer_types 배열은 길이가 40개 항목이고, 세 개의 linear_attention 레이어를 full_attention 레이어 하나마다 고정 간격 4로 실행합니다. 40개 레이어 중 10개는 일반 어텐션을 수행하고, 나머지 30개는 커널 크기가 4인 컨볼루션을 사용하는 Mamba 스타일 선형 경로를 사용합니다. 이는 이 파일에서 단연 가장 중대한 설계 선택이며, 더 넓은 분야가 2026년까지 나아간 방향과 같습니다.

• 위치 인코딩 — theta가 10,000,000인 RoPE와 partial_rotary_factor: 0.25, 즉 각 헤드 차원의 4분의 1만 회전됩니다. 멀티모달 RoPE가 활성화되어 있으며 mrope_interleaved: true, 섹션 분할은 [11, 11, 10]이고 mrope_mode: canvas입니다.

• 컨텍스트 — max_position_embeddings: 262144, 그리고 토크나이저의 model_max_length가 일치합니다. 256K 토큰.

• 다중 토큰 예측 — mtp_num_hidden_layers: 1, 단일 추측 디코딩 헤드, MiniCPM-V 4.6이 사용한 것과 동일한 트릭.

• 비전 타워 — minicpmv4_7_vision, 히든 크기 1152, 27개 레이어, GELU-tanh 활성화, 패치 크기 14에 image_size가 980이고, insert_layer_id는 6이며, 여기서 시각 임베딩이 언어 스택에 접속됩니다. 이 타워의 형태는 MiniCPM-V 4.6의 것과 가까워서, 비전 쪽은 재구축이라기보다 진화입니다.

• 비전 압축 — downsample_mode: "16x" 및 max_slice_nums: 9 이미지 프로세서 설정. MiniCPM-V 4.6은 전환 가능한 4x/16x 토큰 압축 방식을 도입했습니다. 4.7 구성에서는 16x 설정이 기본값으로 명시되어 있으며, 슬라이서는 고해상도 입력에 대해 최대 9개의 하위 이미지를 허용합니다.

• 어휘 — 248,144개 토큰이며, <|image_pad|>는 248,056번 id에, <|video_pad|>는 248,057번에 있습니다. 비디오는 MiniCPM-V 4.5 이후로 그래왔던 것처럼 일급 입력입니다.

• 흥미로운 잔재 — 토크나이저 설정은 여전히 <|audio_start|>, <|audio_end|> 및 <|audio_pad|>를 선언합니다. 이는 거의 확실히 어휘가 MiniCPM-V 4.7이 오디오를 말한다기보다 omni MiniCPM-o 브랜치와 공유된다는 뜻입니다. 이를 오디오 기능으로 해석하는 것은 설정만으로는 배제할 수 없는 실수가 될 것입니다.

가족이 우리에게 알려주지만 이 저장소는 알려주지 않는 것

4.6 세대가 기준점이고, 그 대비가 이야기의 핵심이다. MiniCPM-V 4.6은 2026년 5월 11일에 SigLIP2-400M 비전 인코더와 Qwen3.5-0.8B 언어 모델을 기반으로 구축된 13억 개 매개변수 모델로 Apache-2.0 하에 출시되었으며, 분명한 홍보 문구를 내세웠다: Artificial Analysis Intelligence Index에서 13점을 기록하고 — 이는 벤더가 보고한 수치다 — 비슷한 소형 모델보다 훨씬 적은 토큰을 사용하며, iOS, Android, HarmonyOS에서 실행되고 엣지 적응 코드는 오픈소스로 공개되었다. 그 정체성 전체가 '작고, 효율적이며, 온디바이스'였다.

MiniCPM-V 4.7은 1.3B에 대략 27을 곱한 값이다. 35B-A3B라는 이름은 이를 휴대폰이 아니라 희소 플래그십이 차지하는 부류에 놓는다. OpenBMB가 이를 엣지 라인의 서버 측 동반자로 의도하는지, 미래의 소형 모델을 위한 교사로 의도하는지, 아니면 역량 상한 테스트로 의도하는지는 어디에도 명시되어 있지 않으며, 저장소에도 어느 쪽인지에 대한 단서가 전혀 없다.

정말로 새로운 점이고, 이 시리즈를 지켜보는 사람이라면 누구나 짚어 둘 만한 것은 Qwen-MoE 백본과 3:1 선형 대 전체 어텐션 비율이다. 둘 다 기존과 다른 이례적 선택이다. OpenBMB가 이 제품군에 대해 공개하는 모든 내용은 여전히 4.6을 기준으로 쓰이고 있어서, 이 체크포인트는 자체 문서보다 앞서 나가고 있다.

아직 알 수 없는 것 — 그리고 그 목록이 중요한 이유

여기서 이 구멍의 크기에 대해 노골적으로 말할 가치가 있습니다. 70 GB 체크포인트를 다룰 때는 그것을 그럴듯한 추론으로 메워 넣고 싶은 유혹이 생기기 때문입니다.

• 라이선스 없음. 이는 형식적인 문제가 아닙니다. MiniCPM-V 4.6은 Apache-2.0이며, 커뮤니티는 이 계열에서 그것을 당연하게 여겨 왔습니다. license: 태그가 없는 저장소는 대부분의 관할권에서 기본적으로 모든 권리가 유보됩니다 — 해당 태그가 나타나기 전까지는 그 위에 안전하게 무언가를 구축할 수 없습니다. 그 단 하나의 누락된 파일이 이 저장소에서 가장 중대한 부재입니다.

• 벤치마크는 없습니다. 벤더가 보고한 것이든 아니든 말이죠. 논쟁할 만한 숫자가 단 하나도 없습니다. 오늘 MiniCPM-V 4.7에 대한 MMMU나 OCRBench 점수를 인용하는 사람은 누구든, 소스에 존재하지 않는 무언가를 인용하고 있는 것입니다.

• 독립적인 평가 없음. Artificial Analysis 및 유사한 추적기는 모델을 이름으로 색인화하며, 카드도 공지도 없는 체크포인트는 일반적으로 한동안 측정되지 않은 채로 남는다.

• 서빙 레시피 없음. 공개된 가중치가 vLLM, SGLang 또는 llama.cpp에서 기본으로 실행되는지는 OpenBMB 외부의 누구도 테스트하지 않았다. 사용자 정의 코드 경로(MiniCPMV4_7ForConditionalGeneration, MiniCPMV4_7Processor, MiniCPMV4_7ImageProcessor, MiniCPMV4_7VideoProcessor)는 모두 trust_remote_code를 필요로 하며, MoE와 선형 어텐션의 조합은 모든 추론 엔진이 커널을 갖추고 있는 형태가 아니다.

• 양자화 버전이 없습니다. MiniCPM-V 4.6은 GGUF, AWQ, GPTQ, BNB 변형을 출시했고 2026년 6월에 Ollama 라이브러리에 등록되었습니다. 4.7용으로는 아무것도 존재하지 않습니다. 35B 모델에서 이는 노트북과 클러스터의 차이입니다.

• 4.6과의 관계는 언급되지 않았습니다. OpenBMB가 엣지 라인을 대체하는 것일 수도, 확장하는 것일 수도, 또는 이와 직교하는 무언가를 테스트하는 것일 수도 있습니다. 저장소에서는 언급하지 않으며, 2026년 9월 8일 커밋 기준으로 4.6을 여전히 현재 릴리스로 표시하고 있는 GitHub README에서도 마찬가지입니다.

타임라인에는 그럴듯하지만 확인되지 않은 해석도 하나 있다: 레포 생성과 마지막 커밋 사이의 12분 간격, 카드의 부재, 그리고 어떤 게시물도 없다는 점은 체크포인트가 출시 이후가 아니라 출시를 위해 준비되었을 때 보이는 모습이다. 그것은 의도에 관한 가설이지 아티팩트에 관한 사실이 아니며, 그렇게 취급되어야 한다.

실행할 것이 있을 때, 실제로 그것을 어떻게 실행할지

여기에서 아직 지원되는 경로라고 인용할 만한 것은 없지만, 구성이 선택지를 제약하기는 한다. 35B 매개변수 BF16 체크포인트는 KV 캐시를 제외하고도 약 70GB의 가속기 메모리가 필요하므로, 양자화가 출시되기 전까지는 단일 GPU 취미용 배포는 불가능하다. 256K 컨텍스트와 3:1 선형 어텐션 비율은 KV 캐시가 같은 깊이의 기존 트랜스포머보다 훨씬 느리게 증가한다는 것을 의미하며, 바로 이것이 그 아키텍처가 복잡성을 감수할 가치가 있는 이유다 — 긴 컨텍스트 멀티모달 작업에서야 이 설계가 제값을 한다. 카드가 등장하면 가장 먼저 확인할 것은 라이선스, 공식 vLLM 또는 SGLang 레시피가 공개되었는지 여부, 그리고 4.6에서 공개한 4x 설정으로 16x 다운샘플 기본값을 맞바꿀 수 있는지 여부다.

이런 모델이 사용 가능해지는 즉시 평가하려는 팀에게 실질적인 문제는 가중치가 아니라 그 주변을 둘러싼 배관입니다. 자체 GPU에서 돌아가는 모델이라도 주변의 모든 것이 필요합니다 — 200개 이상의 호스팅 모델을 하나의 키 뒤에 배치하고, 각 제공업체의 정가로—우리 마진을 그 위에 전혀 얹지 않고—제공하며, 제공업체가 성능 저하를 겪으면 자동으로 페일오버하는 라우터. 바로 그것을 위한 것이 OrcaRouter이며, MiniCPM-V 4.7 자체는 호스팅 모델이 아니라는 점—직접 서빙하는 오픈 가중치 체크포인트라는 점—을 분명히 말할 가치가 있습니다. 여기서 라우터는 아키텍처의 나머지 절반으로서 중요합니다. 즉 4.7 박스가 어려운 사례를 넘겨주는 프런티어 모델이며, 이미 작성해 둔 동일한 클라이언트를 통해 접근할 수 있습니다.

현재 상황, 그리고 새로 고쳐야 할 단 하나의 파일

MiniCPM-V 4.7은 존재합니다. 그 가중치는 오늘 다운로드할 수 있고, 가중치 수는 정확하며, 훈련 당시의 설계 선택 — 희소 MoE, 3:1 선형 어텐션, 256K 컨텍스트, 16배 시각 압축 — 은 모두 구성 파일에서 확인할 수 있습니다. 존재하지 않는 것은 모델이 무엇을 하는지, 실제로 실행하는 데 비용이 얼마인지, 또는 이 모델로 무엇을 해도 되는지에 관한 OpenBMB의 어떤 성명입니다. 마지막 비전 모델이 전체 비교 표를 갖춘 1.3B Apache-2.0 엣지 릴리스였던 연구소라면, 이는 충격적인 공백이며, 현명한 태도는 담론보다 저장소를 지켜보는 것입니다. 계속 새로 고쳐 봐야 할 단 하나의 파일은 README.md: 그것이 등장하는 순간, 라이선스와 벤치마크, 그리고 아마도 작은 모델을 기반으로 한 시리즈에서 35B MiniCPM-V가 무슨 일을 하고 있는지에 대한 설명까지 담길 것입니다.

그때까지는, 솔직한 요약이란 시시한 것입니다. 이것은 실제 연구실에서 나온 진짜 체크포인트이며, 조용히 업로드되었고, 흥미로운 질문 — 과연 좋은가 — 에는 공개된 답이 없습니다.

OrcaRouter는 하나의 키로 200개 이상의 호스팅 모델에 도달할 수 있으며, 각 제공업체의 정가는 0% 마크업으로 그대로 전달되고 제공업체 간 자동 장애 조치가 이루어집니다. 제공업체 정가를 0% 마크업으로 그대로 전달 MiniCPM-V 4.7은 그중 하나가 아닙니다. 그것은 사용자가 직접 서빙하는 오픈 웨이트 체크포인트이며, 라우터는 그 핸드오프의 반대편에 위치하는 것입니다.