Moondream 3 vs MiniCPM-V 4.7: 아무도 언급하지 않는 MoE 스토리지 비용

둘 다 Moondream 3 Preview와 MiniCPM-V 4.7은 전문가 혼합형 비전-언어 모델이며, 둘 다 적은 활성 매개변수 수를 내세워 적당한 하드웨어에서 구동될 것처럼 들리게 합니다. Moondream 3 Preview는 토큰당 자체 9B 매개변수 중 2B를 활성화합니다. MiniCPM-V 4.7의 대표 변형인 MiniCPM-V 4.7 35B-A3B는 35B 중 약 3B를 활성화합니다. 이 두 문장을 읽으면 Moondream 체크포인트가 배포하기 더 쉬운 쪽이라고 예상하게 됩니다. 그런지 여부는 어느 출시 글도 앞세우지 않는 질문, 즉 잠자는 전문가들은 어디에 상주하는가에 전적으로 달려 있습니다.

그 질문은 이 두 모델이 진정으로 갈라지는 지점이며, 그 답은 MiniCPM-V 4.7이 지금의 형태로 존재하는 이유 그 자체입니다. OpenBMB가 2026년 10월 6일에 공개한 MiniCPM-V 4.7 35B-A3B와 MiniCPM-V 4.7 1B의 릴리스는 35B MoE를 성능 저하 없이 휴대폰에서 원활하게 실행하는 것을 중심으로 만들어졌습니다. Moondream이 2025년 9월 18일에 출시했고 2026년 10월 인수 이후 이제 Prime Intellect의 일부가 된 Moondream 3 Preview는 반대 경로를 택했습니다. 즉, MoE를 작게 유지하고 Moondream 자체 추론 엔진인 Photon으로 GPU에서 실행하는 것입니다. 어느 선택도 틀리지 않았습니다. 그것들은 서로 다른 제약에 대한 답이며, 당신이 처한 제약이 당신에게 맞는 비교를 결정합니다.

활성 파라미터는 저장 수치가 아니라 연산 수치입니다

이것이 온디바이스 MoE를 어렵게 만드는 산수이며, OpenBMB는 자사 모델 카드에서 이를 분명히 밝힙니다: MoE 모델은 단일 토큰에 대해 활성화하는 것보다 훨씬 더 많은 총 파라미터를 가질 수 있지만, 온디바이스 저장 요구 사항이 그 활성 파라미터로만 제한되지는 않습니다. 서로 다른 토큰은 서로 다른 레이어에서 서로 다른 전문가를 선택하며, 기기 메모리는 종종 그 모두를 담을 수 없습니다.

• Moondream 3 Preview — 총 9B, 활성 2B. 24개 레이어로, 처음 네 개는 밀집(dense)이고 나머지는 토큰당 64개 전문가 중 8개가 활성화되는 MoE 피드포워드 블록입니다. 히든 차원은 2048, GeGLU 내부/게이트 차원은 1024입니다.

• MiniCPM-V 4.7 35B-A3B — 총 35B, 활성 약 3B. MiniCPM-V 시리즈 최초의 MoE. 같은 릴리스의 1B 변형은 MoE가 아니라 dense이며, 이 점은 아래에서 중요하다.

• 불일치 — 활성 매개변수를 전체로 나누면 Moondream 3 Preview가 훨씬 더 가벼운 모델처럼 보인다. 바이트를 바이트로 나누면 MiniCPM-V 4.7 35B-A3B가 네 배의 가중치를 지닌 쪽이다.

• 왜 그것이 아무것도 해결하지 못하는가 — 기기를 제약하는 것은 상주 세트이며, 상주 세트는 활성 개수보다 전체에 더 가깝다. 9B MoE는 라우터가 무엇을 발화하든 2B dense 모델이 들어가는 메모리에 들어가지 않는다.

"2B active"는 토큰당 연산량에 대한 설명입니다. 필요한 메모리에 대한 설명이 아니며, 이를 그렇게 취급하는 것이 팀이 MoE 배포 규모를 잘못 산정하는 가장 흔한 방식입니다.

OpenBMB는 저장 문제를 정면으로 공략했다

MiniCPM-V 4.7의 설계는 바로 그 간극을 정확히 겨냥한 세 가지 기법으로 읽는 것이 가장 적절하다. Lookahead Expert Scheduling은 교차 계층 라우팅 예측을 사용해 다음 계층이 필요로 할 가능성이 높은 전문가를 미리 로드하고, 실제 라우터가 선택한 전문가들 중 성공적으로 프리페치된 전문가를 우선순위에 둔다. 예측은 오직 프리페칭과 스케줄링만 안내하며, 계산은 여전히 모델의 원래 토큰 수준 라우팅을 따르고, 예측이 놓친 필수 전문가는 평소처럼 로드되고 평가된다. 세분화된 계층별 양자화는 전문가 가중치의 저장 공간 점유와 메모리 트래픽을 줄인다. DSpark 투기적 샘플링은 온디바이스 경로에 통합되어 이 두 기법 위에 더해 디코딩 효율을 향상시킨다.

제시된 결과는 iPhone 17 Pro Max에서 약 3GB 메모리로 초당 13개 이상의 토큰이며, OpenBMB는 이를 성능 저하 없이 온디바이스에서 원활하게 실행되는 최초의 오픈소스 MoE 모델이라고 설명한다. 그 비교는 명확하며, 그 자체로 주목할 가치가 있다: Instruct 모드에서 MiniCPM-V 4.7 35B-A3B는 Qwen3.6 35B-A3B보다 더 적은 추론 시간에 더 높은 종합 점수를 달성한다. 이는 벤더가 보고한 동일 크기 등급 주장이며, 두 모델 모두 동일한 하네스에서 측정되기 때문에 더 유용한 종류의 주장이다.

배포 이야기의 나머지 부분은 이례적으로 광범위합니다. iOS, Android, HarmonyOS를 지원하며, Rockchip, Houmo, Intel, AMD, Arm의 칩 플랫폼에 대한 출시 당일 지원도 제공합니다. 추론은 SGLang, vLLM, llama.cpp, Ollama에서 실행되고, 파인튜닝은 SWIFT와 LLaMA-Factory에서 지원합니다. GGUF, BNB, AWQ, GPTQ 양자화가 제공되며 FP8도 포함됩니다. 1B 변형은 다시 별개의 제안입니다. MoE가 아닌 dense 모델이며, OpenBMB는 이것이 MiniCPM-V 4.6을 지속적으로 개선하는 동시에 전체 점수와 추론 효율 모두에서 Qwen3.5 0.8B를 크게 능가한다고 내세웁니다. 이는 1B 미만 모델에 대한 정직한 비교입니다.

문드림의 해답은 가중치가 아니라 하드웨어를 옮기는 것이었다

Moondream은 9B MoE를 휴대폰에 맞춰 넣으려고 시도하지 않았습니다. 대신 아키텍처는 그대로 유지하고 실행되는 위치를 바꿨습니다. 추론 엔진인 Photon은 각 모델을 맞춤형 커널이 포함된 단일 GPU 프로그램으로 컴파일하며, Ampere 이후 세대의 NVIDIA GPU와 Apple Silicon Mac에서 로컬로 실행되며, Moondream Cloud와 동일한 API를 제공합니다.

이는 방어 가능한 전략이며, Prime Intellect의 인수 발표문은 그것이 왜 매력적이었는지 말해준다: Moondream 팀은 Photon과 그 뒤에 있는 megakernel 컴파일러를 만들었고, Prime이 이 회사를 인수하려는 근거는 모델의 유용성을 결정하는 것이 아키텍처가 아니라 서빙이라는 점이다. 그 글의 처리량 수치 — 단일 H100에서 초당 60회 이상의 Moondream 추론, 수십 밀리초 만의 답변, 초당 34개 요청을 처리하는 Moondream 3.1 — 는 Prime 자체 수치이며 이제 영업 자료이므로 그에 맞게 표기해야 한다. 그러나 방향은 명확하다: Moondream의 베팅은 휴대폰 크기의 모델보다 빠른 GPU 기반 모델을 더 원하게 될 것이라는 데 있었다.

두 번째 차이가 있는데, 그것은 모델 카드에는 전혀 나와 있지 않습니다. Moondream 3 Preview의 호스팅 엔드포인트인 Moondream Cloud는 인수에 따라 2026년 11월 13일에 종료되며, 사용하지 않은 구매 크레딧은 환불됩니다. MiniCPM-V 4.7에는 그런 의존성이 없습니다. 왜냐하면 그것은 애초에 주로 호스팅되는 제품이 아니었기 때문입니다 — 그것은 폭넓은 온디바이스 배포 스토리가 딸린 가중치 집합입니다. 평가에 엔드포인트 호출의 편의성이 포함되었다면, 그 편의성은 이 비교의 한쪽에서 만료되고 있는 것입니다.

작업 역량: 두 카드는 서로 다른 점에 대해 솔직합니다

Moondream 3 Preview의 네 가지 네이티브 스킬은 query, caption, point, detect이며, 모두 구조화된 출력을 반환합니다. 그리고 출시 게시물은 detection과 pointing을 중점적으로 다룹니다. query 스킬은 기본적으로 추론 모드로 실행되며, 간단한 질문을 위한 reasoning=False 플래그가 문서화되어 있습니다. 추론 추적은 접지되어 있습니다 — 이미지의 특정 부분을 참조합니다. 이것이 Moondream이 이를 일반적인 추론이 아니라 접지가 있는 시각적 추론이라고 부르는 이유입니다. 컨텍스트는 32K 토큰으로, 이전 세대의 약 2K에서 증가했으며, 커스텀 SuperBPE 토크나이저를 사용합니다. 출시 게시물은 포스트 트레이닝이 긴 윈도우를 완전히 활용하지 못하며, 전체 32K는 주로 파인튜닝을 위해 존재한다는 점을 솔직하게 밝히고 있습니다.

MiniCPM-V 4.7의 카드는 대신 효율성과 폭넓은 활용 범위를 앞세운다. 단일 이미지, 다중 이미지, 동영상 이해를 지원하며, 4x/16x 혼합 시각 토큰 압축을 통해 작업별로 시각적 세부 정보와 추론 비용을 맞바꿀 수 있고, LLaVA-UHD v4의 ViT 내부 조기 압축은 후반 인코더 레이어의 연산량을 줄여준다. 또한 모델이 이미 알고 있던 것을 잊는 정도를 줄이면서 저렴하게 역량을 확장하는 것을 목표로 하는 파인튜닝 기법인 Self-Replay Fine-Tuning도 함께 제공한다.

• 그라운디드 검출 및 포인팅 — Moondream 3 Preview: 아키텍처에 내장된 네이티브 기능, 구조화된 좌표, 그라운디드 추론 트레이스. MiniCPM-V 4.7: 다중 이미지 및 비디오 이해가 명시된 강점이며, 이 카드는 개방형 어휘 검출을 앞세우지 않습니다.

• 비디오 — MiniCPM-V 4.7은 비디오 입력을 지원하며, 128개 프레임을 사용하는 예시가 문서화되어 있습니다. Moondream 3 Preview의 카드에는 동일 이미지에 대한 반복 쿼리를 위한 이미지 인코딩 캐싱과 함께 이미지 기능이 문서화되어 있습니다.

• 조절 가능한 세부 묘사 — MiniCPM-V 4.7: downsample_mode 매개변수, 기본 16x 및 더 미세한 디테일을 위한 4x로, 호출별로 선택됩니다. Moondream 3 Preview: 비전 인코더에서 멀티 크롭 채널 연결을 사용하며, 출시 게시물에서는 인코더가 아주 작은 글꼴에 의해 혼동될 수 있다고 언급했습니다.

• 라이선스 — MiniCPM-V 4.7: Apache 2.0, 두 변형 모두. Moondream 3 Preview: 추가 사용 허가가 포함된 Business Source License 1.1로, 상업적 및 프로덕션 사용을 허용하고 범용 호스팅 Moondream 제공을 금지합니다. Moondream 3.1은 동일한 핵심 제한을 더 명확하게 명시한 Moondream Model License 1.0으로 전환되었습니다.

라이선스 조건은 이번 비교에서 각주가 아니다. 다른 사람들을 위해 모델을 호스팅할 생각이라면, Apache 2.0과 Moondream의 소스 공개 조건은 애초에 전혀 같은 출발점이 아니며, 이는 어느 쪽이 당신의 작업에서 더 나은 벤치마크를 기록하든 마찬가지다.

파인튜닝은 두 카드가 서로 반대되는 이유로 가리키는 지점이다

두 업체 모두 기본 모델이 제품이 아니라고 말하는데, 이는 신선한 일이면서 가치가 어디에 있는지에 대한 힌트이기도 하다.

Moondream의 출시 게시물은 훈련 가능성을 네 가지 목표 중 하나로 나열하는데, 그 근거는 실제 비전 작업에는 전문화가 필요하다는 것 — X선 판독, 군중 속에서 고군분투하는 사람들을 찾아내는 것 — 그리고 그러한 작업에는 인간조차 훈련이 필요하다는 것이다. 회사는 이를 위해 Lens를 출시했고, Moondream 3.1 출시는 더 나아갔다: 공개된 3.1 벤치마크 점수는 Lens를 통해 각 벤치마크 자체의 훈련 분할에서 작업별 LoRA를 미세 조정하여 생성된 다음, 그들이 학습한 것을 온폴리시 증류로 기본 가중치에 다시 접어 넣어 다운로드 가능한 체크포인트가 튜닝 없이도 좋은 점수를 내도록 했다. 이는 두 번 읽을 가치가 있다. 그것은 정당한 워크플로이자 이례적으로 투명한 공개이며, 또한 그 숫자들이 갓 나온 그대로의 초기 수치가 아니라는 것을 의미한다 — 문제의 작업들은 훈련 분할이 모델에 공급되었다.

OpenBMB의 대응 기법은 Self-Replay Fine-Tuning으로, 이는 다른 문제, 즉 낮은 비용으로 기존 능력을 잊지 않으면서 새로운 능력을 추가하는 것을 목표로 합니다. 이 기법의 대표적인 주장은 최고 점수보다는 능력 유지에 관한 것입니다.

두 모델 중 하나를 파인튜닝하려는 경우, 실질적인 차이는 이 전체 비교를 관통하는 바로 그 차이입니다. Moondream의 경로는 GPU와 호스팅 서비스를 전제로 합니다. MiniCPM-V 4.7의 경로는 이미 사용 중인 프레임워크에서 파인튜닝한 다음 이미 목표로 삼고 있는 기기에 배포할 수 있으며, 그것을 거기까지 이끌어 줄 공개된 온디바이스 양자화 스토리를 갖추고 있다고 전제합니다.

라우팅 계층이 존재 가치를 입증하는 경우

여기 있는 어느 모델도 OrcaRouter를 통해 제공되지 않습니다 — 둘 다 직접 호스팅하는 오픈 웨이트 체크포인트이고, 그중 하나는 다음 달에 호스팅 엔드포인트를 잃게 됩니다. 그렇다면 흥미로운 질문은 두 카드가 모두 피하는 바로 그것입니다: 선택한 모델이 제대로 처리하지 못하는 요청들은 어떻게 되는 걸까요?

표준적인 해답은 두 번째 모델이고, 두 번째 모델의 표준적인 비용은 통합입니다: 또 하나의 SDK, 또 하나의 인증 방식, 또 하나의 재시도 정책. 이는 조용히 한 스프린트를 소진한 뒤 영구적인 유지보수가 되는 종류의 작업입니다. OrcaRouter의 모델 퓨전은 그 문제의 더 좁은 버전 — 한 모델만으로는 답을 충분히 신뢰할 수 없는 호출에서 여러 모델이 함께 답하는 패널 — 을 위해 존재하고, 더 넓은 버전을 위한 라우팅 DSL은 여러 모델을 단일 호출로 조합할 수 있게 해주어, 저렴한 로컬 모델이 쉬운 대다수를 처리하고 더 큰 무언가가 나머지를 맡도록 합니다.

하나의 키 뒤에는 마크업이 전혀 추가되지 않은 공급자 정가로 200개 이상의 모델이 있습니다, 즉 벤더의 가격 인하가 다음 청구 주기가 아니라 같은 날 바로 적용되며, 업스트림이 저하되면 공급자 간 페일오버가 자동으로 이루어집니다. 자체 호스팅 VLM의 경우 라우팅 계층은 모델을 대체하는 것이 아니라 모델 위에 위치합니다. 이것이 이 비교에서 이 계층이 어디에 맞는지에 대한 솔직한 설명이며, MiniCPM-V 4.7 35B-A3B가 기기에 있고 호스팅 모델이 놓치는 부분을 보완하는 시스템에서 이 계층은 둘이 두 개의 시스템이 되지 않도록 해 주는 부분입니다.

어느 것인지는, 당신이 실제로 가진 제약에 따라 결정됩니다

모델이 기기에서 실행되어야 한다면 MiniCPM-V 4.7 35B-A3B이 답이며, 격차는 크다. OpenBMB는 35B MoE가 휴대폰에서 실행되는 것을 막는 저장 공간 문제를 중심으로 이번 릴리스 전체를 설계했고 — 전문가 스케줄링, 레이어별 양자화, 추측 디코딩 — 그로부터 나오는 수치를 공개했다: 약 3GB에서 초당 13개 이상의 토큰. Moondream 3 Preview에는 그 문제를 다루는 내용이 전혀 없다. Moondream이 그 문제를 아예 갖지 않기로 선택했기 때문이다.

GPU가 전제된 환경이고 grounded detection이 과제라면, Moondream 3 Preview가 더 특화된 도구입니다. 구조화된 좌표와 검토 가능한 grounded 추론 트레이스를 갖춘 네이티브 detect 및 point 기능은 이미지 속 텍스트까지 읽는 범용 멀티모달 모델과는 다른 제품이며, 사람이 출력을 검토하는 경우라면 바로 그 트레이스가 핵심 기능입니다.

두 모델 사이에서 고민 중이라면 벤치마크 표만 보고 결정하지 마세요. 자신의 이미지를 두 모델에 각각 자신의 프롬프트와 함께 실행하고 출력을 평가하세요. 이 비교에서 당신의 워크로드와 접촉한 뒤에도 살아남을 유일한 수치는 당신이 직접 만들어 낸 수치이기 때문입니다. 그리고 모델보다 라이선스를 먼저 확인하세요. Apache 2.0과 호스팅 서비스 제한이 있는 소스 공개형 라이선스는 전혀 다른 결정이며, 그중 하나는 정확도 수치가 중요해지기도 전에 평가를 끝내버릴 수 있습니다.

이런 식의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급에 속하는 모델들의 이면에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공됩니다.