MiniCPM-V-4.7-1B-DSpark: 아무런 발표 없이 출시된 213M 드래프트 모델

MiniCPM-V-4.7-1B-DSpark는 213,547,777개 매개변수 체크포인트로, 질문에 답할 수 없습니다. 이미지를 읽지도 않고, 대화를 나누지도 않으며, 단독으로 서비스해도 읽을 가치가 있는 결과물을 만들어내지 않습니다. 이 모델의 전체 임무는 한 모델 — MiniCPM-V-4.7-1B — 앞에 앉아 다음 15개 토큰을 추측하는 것입니다. 그래야 작은 스마트폰급 비전-언어 모델이 토큰을 하나씩 생성하는 대신 단일 순전파에서 그 블록을 검증할 수 있습니다.

이 파일은 Apache-2.0 라이선스로 0.85 GB이며, 2026년 10월 8일 04:26 UTC에 더 큰 35B-A3B 형제 모델용 드래프트와 같은 배치로 Hugging Face에 나타났다. 나흘 뒤에도 부모 카드에서는 여전히 이를 각주로 취급한다: 드래프트는 가중치 표의 한 행으로, 그리고 접혀 있는 "추측 디코딩 (DSpark)" 토글 뒤에 한 번만 나타난다. 이에 대한 OpenBMB 블로그 게시물도, 기술 보고서도, 프로젝트 자체 GitHub 문서의 항목도 없다.

그 침묵이 흥미로운 부분인 이유는 이 특정 파일이 무엇을 가능하게 하는지에 있다. 이것은 MiniCPM-V 4.7 패밀리에서 핵심 주장, 즉 1B 비전 모델이 휴대폰에서 용인할 만하게 실행된다는 주장을 OpenBMB 외부의 누군가가 검증할 수 있는 첫 번째 산출물이다. 아래의 모든 내용은 두 더미를 분리해 둔다: 디스크에서 열어볼 수 있는 파일인 것과, 벤더가 그 옆에 인쇄한 숫자인 것.

저장소에 실제로 무엇이 들어 있나요?

파일 네 개. 그게 전부입니다: .gitattributes, README.md, config.json, 그리고 단 하나의 model.safetensors에는 854,204,052바이트의 BF16 가중치가 들어 있습니다. 저장소에 토크나이저는 없습니다. 있을 필요가 없기 때문입니다 — 드래프트는 대상 모델의 것을 빌려오며, 그 config에 있는 어휘는 정확히 부모의 248,094개 토큰입니다. 토큰이 대상의 토큰과 일대일로 매핑되지 않는 드래프터는 대상이 받아들일 만한 것을 제안할 수 없으므로, 어휘를 공유하는 것은 편의가 아니라 필수 조건입니다.

Hub API는 해당 리포지토리를 2026-10-08T04:26:19Z에 생성되고 2026-10-12T14:29:57Z에 마지막으로 수정된 것으로 기록하며, 영어와 중국어로 태그되었고 Apache-2.0 라이선스가 적용되며, 이 글을 쓰는 시점에 좋아요 3개와 다운로드 1회를 기록했습니다. 마지막 숫자를 기억해야 합니다. 다운로드 1회, 시작한 지 나흘 만에, 휴대폰 연결로도 가져올 수 있을 만큼 작은 파일에서요.

아키텍처 필드에는 Qwen3DSparkModel이(가) 표시되고 model_type은(는) qwen3인데, 이는 이상하기보다는 일관된 결과입니다. MiniCPM-V 4.7의 언어 백본은 Qwen3 계열에서 파생되었으므로, 같은 계열에서 잘라낸 5개 레이어 스텁은 예상할 수 있는 것입니다. 부모의 축소판이 아닌 부분은 그 스텁이 부모와 소통하는 방식입니다. 설정은 dflash_config에 projector_type: "dspark", enable_confidence_head: true, confidence_head_alpha: 1.0, confidence_head_with_markov: true, markov_head_type: "vanilla" 및 markov_rank: 256을(를) 갖춥니다. 그 confidence head는 DSpark 방법에서 가져온 부분입니다. 즉, 제안된 블록 중 얼마나 많은 부분을 검증할 가치가 있는지 추정하기 위한 기계이며, 바로 이것이 서빙 설정에서 적응형 검증을 끄는 스위치를 노출하는 이유 전체입니다.

사양서, 그리고 각 숫자가 거기 있는 이유

드래프트 측면에서, 카드와 설정 모두에서 — 둘 다 일치합니다:

• 드래프트 파라미터 — 213,547,777개, 전부 BF16, 0.85 GB 단일 파일 체크포인트

• 드래프트 깊이 — 5개 레이어, 모두 전체 어텐션, 히든 크기 1,024, 중간 크기 3,584, SiLU 활성화

• 어텐션 구조 — 8개의 쿼리 헤드 대 2개의 키/값 헤드, 헤드 차원 256, 그룹화된 쿼리 어텐션

• 순방향 패스당 토큰 — 15, config에 다음과 같이 지정됨: block_size: 15

• 위치 범위 — 256차원 로터리 임베딩을 사용하는 RoPE theta 10,000,000, 그리고 max_position_embeddings가 262,144로 설정되어 상위 모델의 256K 윈도우와 일치

• 탭 레이어 — [3, 7, 11, 15, 19], 상위의 24개 중 (num_target_layers: 24)

• 어휘 — 248,094, 타깃의 토크나이저에 연결되어 있으며, 준자기회귀 드래프팅 단계를 위한 전용 마스크 토큰이 248,076번에 있습니다

그중 두 줄은 그냥 흘려볼 만한 내용이 아니다. 첫 번째는 탭 레이어다. 드래프트는 부모의 최종 레이어를 읽지 않고, 부모의 깊이 곳곳에 흩어진 다섯 개 레이어에서 은닉 상태를 읽어 dspark 프로젝터를 통해 투영한다. 중간 네트워크 상태는 정렬하기가 더 저렴하고, 마지막 레이어가 이미 다음 토큰 로짓으로 붕괴시켜 버린 정보를 여전히 담고 있다. 두 번째는 1,024의 은닉 크기에 대한 256의 헤드 차원이다. 이는 좁은 모델에 일부러 넓게 잡은 헤드이며, 설정은 tie_word_embeddings: false로 토글한다 — 임베딩 행렬은 출력 투영과 공유되지 않고 별도로 유지되므로 파라미터 수에 둘 다 포함된다.

결국 요점은, 타깃 크기의 약 5분의 1에 불과하면서 완전히 다른 형태를 지닌 드래프터라는 것입니다. 비교하자면, 35B-A3B 형제 모델의 드래프트는 40개 레이어 중 [3, 11, 19, 27, 35] 레이어를 사용하는 389,223,169개 파라미터입니다. 드래프트는 타깃마다 하나씩, 총 두 개입니다. 왜냐하면 드래프트는 자신이 학습된 어휘와 중간 표현에 대해서만 유효하기 때문입니다.

승인 표는 측정이 아니라 모델 카드다

다음은 이 쌍의 성능이 얼마나 좋은지에 대해 OpenBMB가 공개한 모든 수치입니다. 검증 단계당 허용된 토큰 수로 표현되며, 측정 기준은 자연스러운 EOS 종료 및 max_new_tokens=8192:

• Vision, MMMU — 단계당 3.452개의 수락된 토큰

• Vision, MathVista — 4.333

• 비전, CharXiv 추론 (검증) — 4.452

• Vision, OCRBench — 4.752

• 텍스트, 수학 — 5.891

• 텍스트, 코드 — 5.347

• 텍스트, 일반 — 3.370

격차는 5.891에서 3.370까지이며, 가장 쉬운 범주와 가장 어려운 범주 사이에는 약 1.75배의 차이가 난다. 이 순서가 놀랍지 않다는 점은 숫자에 대해 뭔가를 알려준다: 수학은 언어 모델이 만들어 내는 가장 규칙적인 표면이고, 일반 텍스트는 가장 덜 규칙적이며, 드래프터의 성공률은 대상 출력의 품질보다 예측 가능성을 따른다.

그 표에는 세 가지 주의 사항이 붙어야 하는데, 그 카드는 그중 어느 것도 자발적으로 알려주지 않는다.

이는 자체 보고이며, 해당 리포지토리에는 다운로드가 정확히 한 건뿐입니다. OpenBMB 외부에서는 누구도 다른 사람이 확인할 수 있는 이 체크포인트의 승인 수치를 산출하지 않았습니다. 수치들은 벤더의 것이며, 벤더의 하네스에서 벤더의 태스크 세트를 대상으로 측정된 것입니다.

수용 길이는 모델의 속성이 아니라 쌍의 속성이다. 스스로를 반복하는 타깃은 드래프터에게 손쉬운 승리를 안겨주므로, 여기서 더 높은 수치는 MiniCPM-V 4.7-1B가 무엇이든 잘한다는 증거가 아니다. 그것은 그 출력이 얼마나 예측 가능한지에 대한 증거이며, 이는 다른 답을 가진 다른 질문이다.

그리고 그것은 속도 향상이 아니다. 토큰 15개를 제안하고 그중 3.4개를 검증받는 드래프터는 여전히 타깃 순전파 한 번당 여러 토큰을 진행시키지만, 15개 토큰 블록을 검증하는 비용은 토큰 하나를 생성하는 것보다 크고, 거부된 모든 제안은 비용을 치르고 버려진다. 허용 길이를 실시간(wall-clock) 수치로 변환하려면 검증 비용, 배치 크기, 하드웨어가 필요한데, 카드는 이 중 어느 것도 제공하지 않는다. 카드가 제공하는 유일한 서빙 레시피는 --max-num-seqs 1을 설정하는데, 이는 빠르도록 조정된 구성이라기보다 작동하도록 조정된 구성이다.

형제 모델과 비교해 보면, 이 표는 더 유용해진다. 35B-A3B 드래프트는 코드에서 7.387, MMMU에서 5.098을 기록한다; 이 1B 드래프트는 5.347과 3.452를 기록한다. 더 작은 드래프터를 사용하는 더 작은 타깃은 단계당 현저히 더 적은 토큰을 수용하는데, 이는 단일 카드로는 보여줄 수 없고 두 카드로는 보여줄 수 있는 종류의 교차 패밀리 세부 사항이다.

훈련, 그리고 전체 디자인을 설명해 주는 세부 사항

이 레시피는 네 줄로 되어 있습니다. 200만 개의 학습 시퀀스, 6 에포크, AdamW, 그리고 크로스 엔트로피와 L1 항, 신뢰도 손실을 결합한 목적 함수입니다. 중요한 줄은 학습 데이터가 어디에서 왔는지에 관한 줄입니다 — 응답은 MiniCPM-V-4.7-1B 자체가 비전과 텍스트 프롬프트를 혼합한 입력으로부터 생성했습니다.

이것은 자기 증류입니다. 그리고 이는 이와 같은 드래프터를 구축하는 데 드는 비용의 하한선을 정합니다. 이런 드래프터를 훈련하려면 먼저 두 모달리티 모두에서 타깃 모델을 대량으로 실행해야 하므로, 다운로드할 수 있는 0.85 GB 아티팩트는 값비싼 과정이 남긴 값싼 부산물입니다. 또한 이는 드래프터가 공유되지 않고 일대일로 짝지어지는 이유도 설명합니다. 그것이 모방하는 동작은 바로 이 모델의 동작이며, 다른 타깃 모델의 출력은 다른 드래프터를 훈련시킬 것이기 때문입니다.

이 방법 자체의 논문인 arXiv 2607.05147은 OpenBMB의 것이 아니다. 이는 2026년 7월 6일 제출된 33인 저자 논문으로, DSpark를 병렬 백본과 경량 순차 모듈을 결합하고 추정된 접두사 생존 확률로부터 검증 길이를 스케줄링하는 추측 디코딩 프레임워크로 설명한다. 이 논문은 DeepSeek-V4 서빙 시스템 내부에서의 배포를 보고하고, MTP-1이라는 프로덕션 베이스라인을 채택하며, 동일 처리량에서 사용자당 생성 속도가 60~85퍼센트 더 빠르다고 주장한다. 그 주장은 해당 논문과 그 배포에 속한다. 발표된 어떤 것도 그것들을 1B 비전 모델에 대한 5계층, 213M 드래프트와 연결하지 않으며, 위의 수용 표가 누구든 제시한 유일한 다리다.

이 파일이 크기가 시사하는 것보다 더 중요한 이유

MiniCPM-V 4.7 패밀리의 핵심 주장은 온디바이스에 관한 것입니다. 1B 카드에는 성능 대비 추론 시간 차트, 1B instruct 빌드의 전체 성능 차트, iPhone 17 Pro Max에서 촬영한 편집되지 않은 화면 녹화, 그리고 1B 변형이 전체 점수와 추론 효율성 모두에서 Qwen3.5 0.8B를 크게 능가한다는 정성적 문장이 포함되어 있습니다. 또한 int4, AWQ, GPTQ, GGUF 및 FP8 지원으로 구성된 양자화 제품군과 iOS, Android, HarmonyOS, Rockchip, Houmo, Intel, AMD, Arm에 걸친 day-0 하드웨어 타깃을 나열합니다.

그것들 각각은 외부 수치가 전혀 붙지 않은 벤더 주장이며, 그중 하나는 내부적으로 정돈되지 않았습니다. 카드 텍스트는 이를 1B 모델이라고 부르는데, Hub 사이드바는 모델 크기를 2B 파라미터로 보고합니다. DSpark 체크포인트는 그 모든 것과 종류가 다릅니다. 크기는 0.85 GB이고 Apache-2.0이며, 서빙 명령이 함께 제공됩니다 — 즉 소비자용 GPU를 갖춘 외부 주체가 이번 주에 이것을 실행해 이 제품군 최초의 외부 측정 수치를 산출할 수 있다는 뜻입니다. 벤치마크 점수는 아니지만 거의 그만큼 유용한 것, 즉 재현된 수락 길이입니다.

누군가 MMMU에서 3.45를, 일반 텍스트에서 3.37을 재현한다면, 그 모델 카드는 신뢰할 수 있고 온디바이스 스토리에는 첫 외부 데이터 포인트가 생긴다. 만약 검증 결과가 상당히 더 낮게 나온다면, 그 표는 공개된 레시피가 재현하지 못하는 조건에서 측정된 것이며, 추론 시간당 성능 차트도 그 의심을 물려받는다. 어느 결과든 또 하나의 벤더 차트보다 가치가 크고, 이 패밀리에서 그것을 저렴하게 얻을 수 있는 유일한 부분이다.

직접 실행해 보기, 그리고 시도하는 데 드는 비용

이 카드는 하나의 레시피를 제공하며, 그것은 vllm serve 호출이지, 얼렁뚱땅 넘어가는 설명이 아닙니다. 대상 openbmb/MiniCPM-V-4.7-1B를 로드하고, MiniCPM-V-4.7-1B라는 이름으로 서빙하며, --max-model-len 40960과 --max-num-batched-tokens 40960을 설정하고, --attention-backend FLASH_ATTN과 --mm-encoder-attn-backend FLASH_ATTN을 고정하며, 멀티모달 프로세서 kwarg로 {"downsample_mode": "4x"}를 전달하고, 요청별 멀티모달 kwargs를 신뢰하며, 추론 구성을 DSpark 체크포인트로 지정하면서 "method": "dspark", "num_speculative_tokens": 15를 설정하고 적응형 검증은 꺼둡니다. 기본 채팅 템플릿 kwargs는 사고를 비활성화된 상태로 둡니다.

그 줄에서 두 가지 세부 사항은 두 번 읽어볼 만하다. --max-num-seqs 1은 공개된 설정이 한 번에 하나의 시퀀스만 서빙한다는 뜻이므로, 이 레시피는 처리량 구성이 아니라 단일 스트림 지연 시간 구성을 설명한다. 그리고 4x 시각적 다운샘플 모드는 상위 카드가 광고하는 두 가지 중 더 저렴한 쪽이다 — 같은 카드는 디테일을 속도와 맞바꾸는 혼합 4x/16x 방식을 제공하는데, 이 레시피는 그 트레이드오프에서 속도를 선호하는 쪽을 선택한다.

하드웨어 요구 범위는 이 제품군의 마케팅과 정반대다. 1B 대상 모델은 BF16에서 대략 2GB에 KV 캐시가 더해지고, 드래프트가 그 위에 0.85GB를 추가하므로, 이는 단일 GPU 작업이다 — 소비자용 카드나 충분한 통합 메모리를 갖춘 워크스테이션이지, 휴대폰 작업이 아니다. 상위 문서의 온디바이스 경로는 이 레시피에 없는 양자화 빌드와 프레임워크를 거치며, 공개된 DSpark 체크포인트는 BF16 서버 측 아티팩트다.

그러면 대부분의 팀이 맞닥뜨리게 될 간극이 남습니다. MiniCPM-V 4.7-1B의 흥미로운 버전은 온디바이스용이고, 휴대폰 툴체인 없이 오늘 바로 실행할 수 있는 버전은 서버 측 버전입니다. 지금 당장 필요한 것이 소형 멀티모달 추론이라면, 가장 가까운 호스팅 대응 모델은 다른 모델입니다 — Qwen3 VL 8B Instruct는 OrcaRouter에서 백만 입력 토큰당 $0.18, 백만 출력 토큰당 $0.70에 제공되며, 128K 컨텍스트 윈도와 텍스트, 이미지, 비디오 입력을 지원하고, 로컬 가중치도, 계속 유지 관리할 서빙 레시피도 필요 없습니다. MiniCPM-V 4.7은 OrcaRouter의 호스팅 모델이 아니며, 이 글은 그 점을 다른 것인 척하지 않겠습니다. 솔직한 정리는 이것이 하나의 작업을 수행하는 두 가지 방식이라는 것이고, 오늘 오후에 카탈로그에서 측정 가능한 것은 그중 하나뿐이라는 것입니다.

DSpark 같은 것이 진가를 발휘하는 곳은 검증되지 않은 모델의 경우이며, 그것은 모델의 문제라기보다 라우팅의 문제다. 아무도 재현하지 못한 드래프터는 바로 폴백할 수 있는 엔드포인트 뒤에 두고 싶은 바로 그런 구성 요소다. 하나의 키 뒤에서 200개 이상의 모델을 실행하고, 제공업체 정가를 0% 마크업으로 그대로 전달하며, 경로가 저하될 때 자동 페일오버하는 것은, 서빙 실험이 잘못돼도 다운타임이 아니라 재시도로 끝난다는 뜻이다 — 그리고 아무것도 마크업되지 않으므로, 카탈로그에 있는 어떤 모델이든 공급업체 가격이 바뀌면 다음 청구 주기가 아니라 그날 바로 반영된다.

이것을 확인 가능하게 만들려면 무엇이 필요할까요?

세 가지가 빠져 있는데, 그중 하나만 OpenBMB가 필요합니다.

벤더는 아무것도 발표하지 않았다. 해당 저장소에는 모델 카드와 라이선스, 학습 레시피가 있지만 블로그 글도, 기술 보고서도, 프로젝트의 GitHub 문서에 한 줄도 없다 — 이 문서는 패밀리의 첫 주 기준으로도 여전히 이전 세대를 현재 세대라고 설명하고 있었다. 체크포인트가 공개된 지 나흘 뒤, 상위 1B 카드는 그것을 표의 한 행으로 링크할 뿐 그 이상은 없다.

아무도 승인 수치를 재현하지 못했고, 다운로드 수는 1입니다. 그것은 가장 저렴하게 메울 수 있는 격차이자 가장 중요한 격차입니다. 왜냐하면 외부 측정이 가족의 이야기를 의미 있게 바꿀 수 있는 유일한 지점이기 때문입니다.

그리고 품질 문제는 전혀 다루어지지 않았다. 이번 릴리스 어디에도 MiniCPM-V 4.7-1B에 대한 MMMU 점수도, OCRBench 결과도, 문서 이해 수치도, grounding 수치도 없다 — 수락 표는 디코딩에 관한 표이며, 높은 수락 길이를 품질 신호로 읽는 것은 바로 그 수치들이 유도하는 실수다.

그래서: 실제 아티팩트, 허용적 라이선스, 작동하는 서빙 명령, 그리고 증거가 전혀 없던 모델에 대한 진정으로 새로운 증거 하나. 다음으로 새로 고칠 가치가 있는 파일은 여전히 부모의 모델 카드다.