MiniCPM-V 4.7-35B-A3B-DSpark: OpenBMB의 389M 드래프트, 베이스 모델이 끝내 받지 못한 모델 카드와 함께 공개되다

MiniCPM-V-4.7-35B-A3B-DSpark는 389,223,169개 파라미터의 드래프트 모델입니다. 이 모델은 질문에 답하지 않으며, 이미지를 보지도 못하고, 그 자체로는 쓸모가 없습니다. 이 모델의 유일한 임무는 다음 열다섯 개의 토큰을 추측하여 MiniCPM-V-4.7-35B-A3B가 한 번에 하나의 토큰을 생성하는 대신 한 번의 순전파에서 전체 블록을 검증할 수 있게 하는 것입니다. 이것이 추측 디코딩(speculative decoding)이며, OpenBMB는 새로운 35B 비전-언어 모델을 위한 드래프트를 11일 전에 공개했지만 이에 대해 공개적으로 한마디도 하지 않았습니다.

이 이야기가 한 페이지를 차지할 가치가 있는 이유는 드래프트가 아니다. 그것은 함께 제공된 문서다. DSpark 체크포인트에는 모델 카드가 있다. 라이선스, 사양 표, 학습 레시피, 그리고 일곱 가지 작업 범주에 대한 수용 길이 표다. 350억 매개변수 규모의 부모 모델은 등장했을 당시 그중 어느 것도 갖추지 못했다. 그래서 처음으로 MiniCPM-V 4.7 릴리스에 실제 수치가 붙었다 — 그리고 그 수치는 더 빠르게 만들기 위한 것이라고 명시된 0.78GB 파일에 의해 간접적으로 측정된, 부모 모델에 관한 수치다.

아래의 모든 내용은 카드에 적힌 것과 카드가 입증하지 않는 것을 구분한다. 합격 수치는 OpenBMB 자체의 것이며, 연구소 밖의 누구도 이를 재현하지 못했다. 베이스 모델의 벤치마크 표는 여전히 존재하지 않는다.

DSpark 체크포인트가 실제로 무엇인지

해당 저장소 openbmb/MiniCPM-V-4.7-35B-A3B-DSpark는 2026년 10월 8일에 생성되었습니다. 이는 단일 파일 체크포인트로 — model.safetensors, 그리고 config.json과 README로 구성되어 있으며 — Apache-2.0 라이선스 하에 영어와 중국어로 태그가 지정되어 있습니다. 두 번째 초안인 openbmb/MiniCPM-V-4.7-1B-DSpark는 1초 더 이른 시각에 생성되었는데, 이는 두 모델이 하나씩 발견된 것이 아니라 같은 배치로 허브에 푸시되었음을 의미합니다.

각 드래프트는 오직 하나의 타겟 앞에만 위치합니다. 카드에 분명히 적혀 있습니다: 이 체크포인트는 "MiniCPM-V-4.7-35B-A3B 및 해당 토크나이저와의 정확한 페어링을 위해 훈련되었습니다." 어휘는 부모의 것이며, 248,144개 토큰 전부가 그렇습니다. 이는 최적화가 아닌 요구사항입니다 — 토큰이 타겟의 토큰과 일대일로 매핑되지 않는 드래프터는 타겟이 수용할 수 있는 어떤 것도 제안할 수 없습니다. 동일한 제약 때문에 하나의 드래프터가 패밀리를 담당하는 대신 형제 드래프트가 별도로 존재하는 것입니다.

아키텍처는 상위 모델의 축소판이 아니다. 5계층 어텐션 스택, 2,048 히든 너비, 2개의 키/값 헤드 대비 8개의 쿼리 헤드, 6,144 중간 크기, 그리고 세타 10,000,000의 RoPE를 사용한다. architectures 필드는 Qwen3DSparkModel을 나타낸다 — 상위 모델의 언어 스택이 유래한 동일한 Qwen3 패밀리 백본으로, 스텁으로 축소된 것이다.

흥미로운 부분은 스텁이 대상과 어떻게 통신하는가입니다. 스텁은 대상의 최종 레이어를 읽지 않습니다. 스텁은 중간 레이어 다섯 개에서 은닉 상태를 뽑습니다 — [3, 11, 19, 27, 35] (부모의 40개 중) — 그리고 dspark 유형의 프로젝터를 통해 투영합니다. 스택의 끝이 아니라 중간에서 끌어오는 것은 의도적입니다: 중간 네트워크 상태는 정렬하기 더 저렴하고, 최종 레이어가 이미 다음 토큰 로짓으로 압축해 버린 정보를 담고 있습니다. 구성은 또한 순위 256의 마르코프 구성 요소를 갖춘 신뢰도 헤드를 갖추는데, 이는 제안된 블록 중 얼마나 많은 부분을 검증할 가치가 있는지 결정하기 위한 DSpark 논문의 기계장치입니다.

승인 테이블은 측정값이 아니라 카드입니다

다음은 이 쌍이 얼마나 잘 작동하는지에 대해 OpenBMB가 공개한 모든 수치 정보를, 자연스러운 EOS 종료와 max_new_tokens=8192 조건에서 검증 단계당 허용된 토큰 수로 표현한 것입니다:

• Vision, MMMU — 스텝당 5.098개의 수용된 토큰.

• Vision, MathVista — 6.126.

• Vision, CharXiv 추론 (검증) — 5.479.

• Vision, OCRBench — 5.407.

• 텍스트, 수학 — 6.687.

• 텍스트, 코드 — 7.387.

• 텍스트, 일반 — 3.501.

그 표에 관해 세 가지는 공개적으로 말할 가치가 있다. 첫째, 이는 자기 보고식이다. OpenBMB 밖의 누구도 이 체크포인트를 실행해 수치를 공개한 적이 없고, 저장소에 다운로드가 한 건 기록된 상황에서 OpenBMB 밖의 누구도 그것을 실행조차 하지 않았다. 둘째, 수용 길이(acceptance length)는 모델의 속성이 아니라 쌍(pair)의 속성이다. 그것은 MiniCPM-V-4.7-35B-A3B의 출력이 얼마나 예측 가능한지를 측정할 뿐, 그 출력이 얼마나 좋은지를 측정하지 않는다. 스스로를 반복하는 타깃은 드래프터에게 손쉬운 승리를 안겨준다. 셋째, 편차가 핵심이다. 코드에서 7.387 대 일반 텍스트에서 3.501은 최고 범주와 최악 범주 사이에 두 배 차이가 난다는 뜻이며, 코드가 가장 쉽다는 점은 모델의 어떤 강점이라기보다 코드의 낮은 엔트로피와 고도로 반복적인 표면을 반영한다.

카드가 암시적으로 남겨 둔 단순 산술적 해석도 있습니다. 드래프터가 15개 토큰을 제안하고 그중 5~7개가 수락되더라도, 대상 모델의 순전파 1회당 여전히 여러 토큰을 진행시키고 있으므로 여기서의 상한은 큰 처리량 향상입니다. 하지만 이는 순진한 "5배 더 빠름" 주장이 아닙니다. 15개 토큰 블록을 검증하는 비용이 토큰 하나를 생성하는 비용보다 더 들고, 거부된 제안은 비용을 치르고도 버려지기 때문입니다. 이 간극이 바로 DSpark 논문이 다루는 내용이며, 설정이 적응형 검증을 끄는 스위치를 노출하는 이유이기도 합니다.

드래프트가 베이스 모델에 대해 우연히 알려주는 것

MiniCPM-V 4.7은 자사 릴리스를 조용히 출시된 것으로 표기했습니다 — 가중치만, 출시 게시물은 없었습니다. 이제 그것이 작지만 실질적인 방식으로 바뀌었습니다. 상위 저장소인 openbmb/MiniCPM-V-4.7-35B-A3B는 2026년 10월 7일에 생성되었습니다. 10월 12일까지 README가 포함된 전체 모델 카드, Hugging Face 스타일 릴리스 페이지, 주장 목록, 온디바이스 섹션, 가중치 표를 갖추고 있었습니다. 그 저장소는 이후 양자화 계열을 갖추게 되었습니다 — FP8, int4, AWQ, GPTQ 및 GGUF 빌드가 각각 자체 저장소에 있으며, 모두 10월 12일에 업데이트되었습니다 — 그리고 166회 다운로드 대비 27개의 좋아요를 기록했습니다.

그래서 정확한 상황은 조용한 공개가 아니라 2단계 릴리스다. 가중치는 10월 6일과 7일에 공개됐다. 드래프트 체크포인트는 10월 8일에 뒤따랐다. 문서와 양자화본, 온디바이스 관련 내용은 10월 12일까지 나왔다. OpenBMB는 여전히 이 모델 패밀리에 대한 블로그 글이나 기술 보고서를 내놓지 않았고, 상위 모델 카드에는 여전히 벤치마크 표도 없다. 성능 주장은 독자가 인용할 수 있는 텍스트가 아니라 링크된 차트 이미지 안에 들어 있다.

텍스트에 실제로 등장하는 주장은 대표적인 주장이다. Lookahead Expert Scheduling, 레이어별 양자화, 그리고 "DSpark speculative sampling integration"을 통해 35B-A3B 모델이 온디바이스에서 원활하게 실행되는 최초의 오픈소스 MoE 모델로 묘사되며, iPhone 17 Pro Max에서 초당 13개 이상의 토큰을 낸다는 것이다. 그 수치는 공급업체가 보고한 것으로, 재현되지 않았고, 아무런 조건 설명도 없다 — 양자화 형식도, 빌드도, 프롬프트도, 측정 방법도 없다. DSpark 체크포인트는 그 주장이 기반을 두는 세 가지 기법 중 하나이며, 따라서 이 세 가지 중 여러분이 다운로드해서 직접 검사할 수 있는 유일한 것이다. 또한 그것은 작업당 단 하나의 읽지 않은 벤치마크 행이 증거인 기법이기도 하다.

원한다면 실행할게

이 카드는 하나의 레시피를 제공하며, 이는 vLLM 명령어이지 대충 넘어가는 설명이 아니다. 이는 텐서 병렬 크기 2, 최대 모델 길이 40,960, 언어 및 멀티모달 인코더 어텐션 백엔드 모두에 FLASH_ATTN, 시각적 다운샘플 모드 4x로 타깃을 서빙한다, enable_thinking을 false로 설정하고, 추측 구성은 15개의 추측 토큰과 적응형 검증이 꺼진 상태로 DSpark 체크포인트를 가리킨다. 그 줄에서 두 가지 세부 사항은 그 자체로 주목할 만하다: --max-num-seqs 1는 게시된 설정이 한 번에 하나의 시퀀스를 서빙한다는 의미이며, --disable-custom-all-reduce와 함께 all-reduce 융합 패스가 꺼져 있다는 것은 이것이 최대한 빠르기보다는 작동하도록 조정된 구성이라는 뜻이다. 이 레시피를 OpenBMB가 작동시킨 출발점으로 취급하고, 처리량에 대한 주장으로 받아들이지 말라.

하드웨어 범위가 진짜 장벽이다. 목표는 KV 캐시 이전에 대략 70GB의 BF16 가중치이고, 드래프트는 그 위에 약 0.78GB를 더한다. 두 개의 가속기가 제시된 최소 사양인데, 이는 이 제품군의 마케팅이 기대는 휴대폰을 훨씬 벗어난다 — 35B-A3B 모델의 온디바이스 배포는 공격적인 양자화와 오프로딩을 의미하며, 이를 위한 것이 LES와 레이어별 양자화 작업이고, 위의 vLLM 레시피에는 그중 어느 것도 없다.

그 비대칭성은 대부분의 팀에게 실질적인 결정 기준이다. MiniCPM-V 4.7을 서빙하려면 직접 보유한 GPU 두 장이 들고, 이에 견줄 만한 호스팅형 멀티모달 MoE를 호출하는 데는 초기 비용이 전혀 들지 않는다. Qwen3.6 35B A3B가 가장 가까운 직접 비교 대상이다 — 동일한 35B 총 파라미터, 3B 활성화 구조, 동일한 262K 컨텍스트, 이미지 및 비디오 입력 — 그리고 OrcaRouter를 통해 공급자 경로에 따라 입력 토큰 100만 개당 $0.248, 출력 토큰 100만 개당 $1.485부터 서빙되며, 그 경로 중 하나가 성능이 저하되면 자동 페일오버가 작동한다. MiniCPM-V 4.7은 OrcaRouter의 호스팅 모델이 아니며, 이 글은 그런 척하지 않을 것이다. 솔직한 구도는 둘이 의사결정 지점에서의 대안이라는 것이고, 호스팅형 쪽은 오늘 오후에 바로 측정해 볼 수 있는 쪽이라는 것이다.

이것을 확인 가능하게 만들려면 무엇이 필요할까요?

DSpark 체크포인트는 Apache-2.0이며, 1기가바이트 미만이고, GPU 두 개를 가진 사람이 오늘 터미널에 붙여넣을 수 있는 서빙 명령을 함께 제공한다. 그 조합 덕분에 DSpark 체크포인트는 MiniCPM-V 4.7에서 독립적인 수치를 얻는 가장 저렴한 경로가 된다. 벤치마크 점수가 아니라 거의 그만큼 유용한 것, 즉 재현된 수락 길이다. 외부 주체가 MMMU에서 5.1, 일반 텍스트에서 3.5를 맞춘다면 그 카드는 신뢰할 만하고, 이 제품군의 효율성 이야기는 첫 외부 데이터 포인트를 얻게 된다. 수락 길이가 상당히 더 낮게 나온다면, 공개된 표는 이 레시피가 재현하지 못하는 조건에서 측정된 것이며, 초당 13토큰이라는 주장도 그 의심을 물려받는다.

아직 빠져 있는 것은 모델 카드가 원래 존재하는 목적에 해당하는 부분이다. MiniCPM-V 4.7 자체에 대한 MMMU 점수도, OCRBench 점수도, 문서 이해 결과도, 그라운딩 수치도, 지연 시간 수치도 없다 — 이 모델이 좋은지에 답해 주는 것은 아무것도 없다. 드래프트 모델의 표는 그 자리를 대신할 수 없으며, 높은 acceptance length를 품질 신호로 읽는 것은 바로 그 숫자들이 부추기는 실수다. ChatGPT가 낼 법한 예측은 드래프터에게는 쉽고, 그 예측이 옳았는지에 대해서는 아무것도 말해 주지 않는다.

그래서: 실제 아티팩트, 실제 라이선스, 아무것도 없던 모델에 관한 진정으로 새로운 공개 증거 하나 — 그리고 10월 7일 당시와 정확히 똑같이 넓은 평가 격차. 다음으로 갱신할 파일은 여전히 부모의 모델 카드다.