MiniCPM-V 4.7의 '3B 활성 파라미터'는 모델 카드에 없다 — 나는 가중치에서 측정했다

MiniCPM-V 4.7 35B-A3B에 대해 가장 많이 반복되는 숫자는 이 모델 자체의 문서 어디에도 적혀 있지 않다. "활성 파라미터가 겨우 3B(!) — iPhone에서도 실행된다"라는 주장은 2026년 10월 13일의 제3자 게시물에서 나왔으며, 공급업체의 모델 카드, 저장소 README, 출시 노트에는 활성 파라미터 수치가 전혀 명시되어 있지 않다. 이는 그 주장에 대한 비판이라기보다는 메울 가치가 있는 공백에 가깝다: 체크포인트가 자체 답을 인코딩하고 있다. 그래서 여기서 다른 무엇보다 먼저, 나는 openbmb/MiniCPM-V-4.7-35B-A3B의 safetensors 인덱스와 모든 샤드 헤더를 가져와 세어 보았다. 비교하자면, 같은 게시물에 나온 다른 모델 — 2026년 8월 13일 출시된 Qwen3.8-27B — 는 dense 27B이며 해결해야 할 그런 모호성이 없다: 모든 토큰에서 모든 파라미터가 활성이다. 흥미로운 질문은 "3B 활성"이 가중치와 맞닥뜨려도 살아남는지이며, 답은 이렇다: 그것은 살아남지만, "활성"이라는 단어를 공급업체의 방식으로 정의할 때만 그렇고, 피할 수 없이 실행되는 부분까지 세면 정직한 숫자는 4B에 더 가깝다.

체크포인트 자체에서 읽은 원장

인덱스 파일에는 40개의 언어 레이어와 비전 타워, 프로젝터가 나열되어 있으며, BF16 기준 총 35,212,875,824개의 파라미터 — 다운로드할 가중치 70.43GB입니다. 이는 이름에 있는 "35B"와 일치합니다. MoE에 관한 질문은 토큰당 그중 어느 정도의 비율이 사용되는지입니다:

• 총 저장량 — 35.21B 매개변수, BF16 기준 70.43GB. 모든 전문가는 사용 여부와 관계없이 디스크에 있습니다.

• 라우터 예산 — MoE 레이어마다 256개 중 토큰당 8개의 전문가가 선택됩니다. config.json에서 num_experts_per_tok: 8로 구성됩니다. 각 전문가는 작습니다: 3.15M개의 매개변수.

• 레이어당 MoE 경로 — 전문가 8개(25.17M) + 공유 전문가(3.15M) + 라우터 게이트(0.52M) ≈ 28.83M.

• 레이어별 어텐션 경로 — 아키텍처는 하이브리드입니다: 40개 레이어 중 30개는 선형 어텐션(각 33.72M)을, 10개는 전체 어텐션(각 27.26M)을 사용합니다. 어텐션과 MoE 연산을 포함해 40개 레이어 전체에 걸쳐 총 ≈ 2.44B이며, 이는 토큰마다 반복됩니다.

• 게다가 빼놓을 수 없는 것들 — 토큰 임베딩 508.2M, LM 헤드 508.2M, 비전 타워 522.3M, 프로젝터 30.7M.

• 정당화할 수 있는 두 가지 답 — 어텐션 및 MoE 경로만 기준으로 하면 활성 파라미터 약 2.44B; 임베딩, 출력 헤드, 비전 타워와 프로젝터까지 포함하면 약 4.01B이며, 비전 요청은 이들을 실제로 사용합니다.

그래서 "3B active"가 틀린 것은 아니다. 이는 2.44B를 올림한 반올림 값이며, 위의 두 숫자 사이의 간극에 들어간다. 다만 이는 OpenBMB가 공개한 수치가 아니고, "A3B" 접미사와 같은 것도 아니다 — 그 접미사는 모델 이름의 일부이며, 벤더 자체 자료에서는 결코 이를 측정값으로 바꾸지 않는다.

왜 접미사와 숫자는 같은 것이 아닌가요?

오픈 웨이트 생태계의 명명 관례는 활성 매개변수 수를 암시한다. 30B-A3B 또는 235B-A22B라고 불리는 모델은 토큰당 대략 그만큼의 매개변수를 활성화한다고 말해 주는 셈이다. 그 함의는 대개 믿을 만하지만, 이는 계약이 아니라 관례일 뿐이며, MiniCPM-V 4.7은 모델 카드, README, 출시 게시물 어디에도 "A3B"를 메모리 계획을 세울 수 있는 숫자로 환산해 주지 않는 사례다. 누군가 실제로 세어 보기 전까지, 그 접미사는 이름표일 뿐이다.

위의 계산은 산술이지, 그 레이블로부터의 추론이 아니다. 또한 ~2.44B와 ~4.01B라는 수치가 다른 이유이기도 하다. 임베딩 테이블과 출력 헤드를 세는지 여부는 현학이 아니라 실제 결정이다. 밀집 모델에서 임베딩은 27B 예산의 작은 부분이다. 토큰당 연산 경로가 단지 수십억 개 파라미터에 불과한 희소 모델에서는, 508M 임베딩 테이블과 508M LM 헤드는 더 이상 노이즈가 아니다 — 둘을 합치면 활성 경로의 약 5분의 1이며, 전문가들은 양자화되어 있는 동안 이들은 전체 폭으로 저장된다.

분명히 말해 둘 만한 한 가지 결과: 여기서 저장된 파라미터 대 활성 파라미터의 비율은 좁게 해석하면 약 8.8대 1이다. 바로 그것이 35B 모델을 휴대폰 모델로 내세울 수 있는 이유이며, 또한 3B dense 모델이 그런 방식으로 휴대폰 모델인 것과 같은 의미에서는 그것이 휴대폰 모델이 아닌 이유이기도 하다. 라우터가 전문가를 무시해도 저장 공간은 줄어들지 않는다.

iPhone 주장은 별도의 증거 기반을 가진 별개의 주장입니다

이번 릴리스에서 온디바이스 성능에 관한 구체적인 내용은 모두 벤더가 보고한 것이며 재현되지 않았다. 구체적인 수치는 iPhone 17 Pro Max에서 약 3GB 메모리로 초당 13개 이상의 토큰이며, 동일한 체크포인트가 iPad M4에서도 시연되었다. OpenBMB는 이를 세 가지 기법이 함께 작동한 덕분이라고 설명한다. 즉, 교차 레이어 라우팅을 예측하고 전문가를 프리페치하는 Lookahead Expert Scheduling, 세밀한 레이어별 양자화, DSpark 추측 샘플링이며, 그 결과를 성능을 잃지 않고 온디바이스에서 원활하게 실행되는 최초의 오픈소스 MoE 모델이라고 평가한다. 공개된 기록에는 그 처리량에 대한 독립적인 측정치가 없고, 제3자 재현도 없으며, 3GB라는 수치가 어떤 양자화를 전제로 하는지에 대한 공개된 분석도 없다.

이것이 특별한 이유로 중요한데: 3 GB는 그 주장이 당신에게 흥미로운지 결정하는 숫자이며, 우리가 가장 덜 아는 숫자입니다. 전문가 가중치 대부분이 플래시 스토리지에 있는 35B MoE는 3 GB 모델이 아니라, 라우팅 예측, 프리페치, 양자화된 expert 캐시가 모두 제 역할을 할 때 상주 작업 집합이 우연히 3 GB에 들어가는 모델입니다. 바로 그런 조건에서 벤치마크 처리량과 실제 처리량이 갈라집니다 — 첫 프롬프트가 캐시를 데우고, 데모에서 초당 13 토큰을 얻게 하는 동작은 가중치의 속성이 아니라 스케줄입니다.

초당 13토큰은 체크포인트에 대한 주장이 아니라 기법에 대한 주장으로 받아들이세요. 체크포인트는 오늘 여러분이 검증할 수 있는 것입니다: 저장된 35.21B, 토큰당 256개 전문가 중 8개 라우팅, 무엇을 계산에 포함하느냐에 따라 ~2.44B에서 ~4.01B 활성, Apache-2.0, GGUF, AWQ, GPTQ, int4 및 FP8의 day-0 양자화, 그리고 Rockchip, Houmo, Intel, AMD, Arm을 포함한 지원 칩 벤더 목록.

활성 개수가 결정하는 것과 결정하지 않는 것

활성 파라미터 수는 연산량을 가늠하는 대리 지표다. 이는 토큰당 얼마나 많은 행렬 곱셈이 일어나는지 알려주며, 이는 GPU 바운드 디코드가 얼마나 빠르게 실행되는지와 연결된다. 하지만 모델을 담아 두는 데 필요한 메모리 양을 알려주지는 않는데, 이는 전체 파라미터 수로 결정된다. KV 캐시를 고려하기 전에도 BF16 가중치가 70.43GB이고, 4비트에서는 그 정도의 약 1/4이다. 256K 컨텍스트 모델에서 그 캐시 역시 무시할 수 있는 수준이 아니다.

• 디코드 속도 — 활성 파라미터에 의해 좌우됨(여기서는 약 2.44B–4.01B). 13토큰/s라는 주장이 바로 이것에 관한 것이다.

• 상주 메모리 — 전체 파라미터(35.21B 저장됨)에 의해 좌우되고, 그다음 양자화와 어떤 전문가 집합이 상주하느냐에 따라 줄어든다.

• 저장 및 로드 — BF16 기준 전체 70.43GB에 의해 결정됩니다. 희소 라우팅은 다운로드 분량을 줄이지 않습니다.

• 대역폭이지 flops가 아니다 — 휴대폰에서 병목이 되는 제약은 전문가들을 메모리 버스를 통해 통과시키는 일이며, 바로 그래서 스케줄링 기법이 존재하고, 활성 개수만으로는 모바일 지연 시간에 대해 아무것도 예측할 수 없다.

실용적인 결론: 양자화된 가중치를 담을 만큼 충분한 메모리를 갖춘 GPU가 있다면, 활성 수가 처리량을 결정하며 "3B active"는 좋은 것입니다. "runs on an iPhone"이라는 문구가 게시물에 등장하게 만든 장본인이 당신이라면, 전체 수가 실현 가능성을 좌우하는 숫자이고, 벤더의 스케줄링 작업이 바로 그 전체 수를 감당 가능하게 만드는 부분입니다. 같은 헤드라인에 대한 두 해석은 모두 맞으며, 그것들은 같은 해석이 아닙니다.

그 게시물의 비교에는 라벨이 하나가 아니라 두 개 필요합니다.

이번에 회자된 프레이밍은 로컬 대 고가 하드웨어였습니다: MiniCPM-V 4.7 35B-A3B는 그 장비 없이도 같은 역량을 얻을 수 있게 해주는 모델로, Qwen3.8-27B는 더 똑똑했지만 장비가 필요했던 모델로 맞섰습니다. 그중 역량 부분은 Qwen 자체 모델 카드에서 나온 것이며, 이 페이지의 다른 모든 내용과 마찬가지로 벤더가 보고한 수치입니다. Qwen3.8-27B에 대해 Qwen이 공개한 수치에는 LiveCodeBench v6 90.3, GPQA Diamond 89.2, OSWorld-Verified 84.3, QwenSWEBench 79.0이 포함되며, 저희 자체 카탈로그 항목도 이를 27B dense 모델로서는 이례적으로 강한 에이전트 및 코딩 결과라고 언급합니다. 그것이 "Opus 4.6보다 더 똑똑했다"는 것은 소셜 게시물의 주장이며, 저는 그것을 판가름해 줄 독립적인 평가를 가지고 있지 않습니다 — 그래서 그것을 사실로 다시 진술하지는 않겠습니다.

구조적 차이는 실제로 확인 가능한 차이다. Qwen3.8-27B는 덴스 모델이라 27B 파라미터가 모두 활성화되며, 메모리 사용량과 연산 비용이 같은 숫자가 된다. MiniCPM-V 4.7 35B-A3B는 그 두 숫자를 약 9배 차이로 벌려 놓는다. 이것이 전체 아키텍처 논거이며, 이는 사실이다. 다만 벤치마크 비교와 동일하지는 않으며, 이 논지를 유명하게 만든 게시물은 그 둘을 뒤섞었다.

라우터가 결정을 변경하는 경우와 변경하지 않는 경우

여기에는 두 가지 사실이 있으며, 이 둘은 서로 반대 방향을 가리키기 때문에 분리해서 볼 가치가 있습니다.

첫째는 우리가 MiniCPM-V 4.7을 제공하지 않는다는 점입니다. 그것은 우리 카탈로그에 없습니다. 원하신다면 그 경로는 여러분 자신의 하드웨어입니다 — 바로 그것이 이번 릴리스가 의도한 바이며, 가중치, 양자화, 온디바이스 배포 가이드가 함께 공개됩니다. 호스팅된 API가 휴대폰에서 모델을 실행하는 데 도움이 되는 것은 아무것도 없으며, 그렇지 않다고 암시하는 것은 오해의 소지가 있을 것입니다.

두 번째는, 이 모델이 비교되는 기준 모델이 그 위치에 있지 않다는 점입니다. Qwen3.8-27B는 저희 API를 통해 제공됩니다, 자체 인프라에서 자체 호스팅되며, 입력 토큰 100만 개당 $0.33, 출력 토큰 100만 개당 $2.40입니다. 당신이 실제로 던지는 질문이 "내가 호스팅하는 Qwen3.8-27B 호출을 로컬에 배포한 MiniCPM-V 4.7로 대체할까?"라면, 솔직한 답은 결정을 내리기 전에 실험을 먼저 해보라는 것입니다: 온디바이스 처리량 수치는 재현되지 않았고, 성능 비교는 상대측이 자체적으로 제시한 자료입니다. 바로 그런 상황을 위해 페일오버가 존재합니다 — 트래픽의 일부를 새 경로로 라우팅하고, 검증된 경로를 그 뒤에 유지하며, 나쁜 한 주가 워크로드 전체가 아니라 워크로드의 일부만 손실로 이어지게 하십시오. 0% 마크업 모델은 또한 계산을 정직하게 유지합니다: 벤더가 가격을 바꾸면 지불하는 금액이 같은 날 바뀝니다. 왜냐하면 그들의 정가와 귀하의 청구서 사이에 마진 계층이 없기 때문입니다.

라우터가 할 수 없는 일은 로컬이냐 호스팅이냐 하는 문제를 사라지게 만드는 것이다. 그 문제는 여러분의 하드웨어, 여러분의 개인정보 보호 제약, 그리고 70GB 다운로드가 괜찮은지에 따라 결정된다 — 그리고 활성 파라미터 수는, 어떻게 반올림하든, 이 세 가지 중 어느 것도 바꾸지 않는다.

무엇이 그것을 해결할까요?

세 가지를, 유용성 내림차순으로 말하겠다. OpenBMB가 공개한 활성 파라미터 수치, 그래서 모두가 되풀이하는 그 숫자가 더 이상 제3자의 산술이 아니게 되는 것 — 내 계산도 포함해서. 그리고 그것에 동의하지 않는다면 내 수치는 샤드 헤더에서 재현할 수 있다. 휴대폰에서의 초당 13토큰에 대한 독립적 측정, 양자화 설정을 명시한 것. 설정이 빠진 스케줄 의존 수치는 명세가 아니기 때문이다. 그리고 동일한 과제에서 MiniCPM-V 4.7 35B-A3B를 Qwen3.8-27B와 비교하는 실제 평가. 이 모델을 주목할 만하게 만든 비교가 현재 한 벤더의 차트와 다른 벤더의 모델 카드를 맞세운 것에 불과하기 때문이다.

그때까지 안전한 요약은 그 글보다 범위가 좁다: 가중치는 실제이고, 희소성도 실제이며, 다운로드는 70.43 GB이고, 토큰당 모델은 라우팅으로 우회할 수 없는 부분을 어떻게 세느냐에 따라 24억에서 40억 개 파라미터어치의 작업을 수행한다. 이는 진정한 엔지니어링 성과다. 아직 측정된 휴대폰 벤치마크가 아니며, dense 27B에 대한 벤치마크상의 승리도 아니다.

출처: 파라미터, 전문가 수, 레이어 유형, 컨텍스트 길이 및 다운로드 크기는 2026년 10월 13일 openbmb/MiniCPM-V-4.7-35B-A3B의 config.json과 safetensors 샤드 헤더에서 직접 읽었습니다. 온디바이스 속도, 메모리 수치, 벤치마크 결과 및 Qwen3.8-27B 평가 수치는 공급업체가 보고한 값이며 재현되지 않았습니다. "3B 활성 파라미터"와 "Opus 4.6보다 더 똑똑하다"라는 주장은 두 공급업체 중 어느 곳에서 나온 것이 아니라 제3자 소셜 게시물에서 비롯되었습니다.

이 중 어느 것도 가정이 아니다. 이런 수치가 인용되는 문서화된 AI 실패와 에이전트 사고 사례들은 모두 다음 자료에 수집되어 있다: OrcaRouter AI Incident Archive, 여기서 각 항목은 자체 출처, 심각도, 신뢰 등급, 논란 여부 플래그를 함께 갖추고 있다.