MiniCPM-V 4.7 35B-A3B vs Qwen2.5-Omni: 19개월 후, 그중 하나는 여전히 당신의 말을 듣는다

MiniCPM-V 4.7 35B-A3B를 Qwen2.5-Omni와 스펙 시트에 나란히 놓으면, 더 새로운 모델이 거의 모든 항목에서 이긴다. 컨텍스트는 8배이고, 토큰당 파라미터의 12분의 1만 활성화하는 희소 아키텍처를 갖췄으며, 구형 모델이 출시될 당시에는 존재하지 않았던 10년 치 추론 도구를 누린다. 그런데 오디오 항목에 이르면 MiniCPM-V 4.7 35B-A3B에는 그 자리에 아무것도 없다. 2025년 3월 말에 출시된 Qwen2.5-Omni는 오디오를 입력받아 자연스러운 음성을 실시간으로 출력한다. 2026년 10월에 가중치가 공개된 MiniCPM-V 4.7은 텍스트, 이미지, 비디오를 입력받아 텍스트를 반환한다. 이 특정한 조합에서의 19개월간의 발전은 더 나은 옴니 모델을 만들어내지 못했다. 그것은 구형 모델이 중심으로 삼아 만들어진 일을 하지 않는 더 나은 비전 모델을 만들어냈다.

그러한 구도는 둘 중 어느 쪽을 폄하하는 것이 아니다. 그것이 이 비교의 전체적인 얼개이며, 음성이 필요한 독자와 스캔한 문서 천 페이지를 읽어야 하는 독자가 서로 다른 답을 얻고 돌아가야 하는 이유다. 출처에 관해서는: Qwen2.5-Omni의 수치는 2025년 3월 공급업체가 제시한 것으로, 이제 19개월이 지났고 광범위한 배포로 부분적으로 검증되었다. MiniCPM-V 4.7 35B-A3B의 수치는 OpenBMB가 2026년 10월 12일 모델 카드에 게시한 것인데 — 가중치가 처음 등장한 지 10일 뒤에 나온 첫 카드다 — 그중 어느 것도 연구소 밖에서 재현되지 않았다.

구형 모델의 실제 정체

Qwen2.5-Omni는 해당 계열에서 최초의 엔드투엔드 옴니모달 모델이었으며, 당시 벤더의 설명은 명확했다: 그것은 전사, 비전, 음성이 각각 별도의 모델과 별도의 글루 레이어를 필요로 했던 "전문가 동물원" 문제에 대한 해답이었다. 7B 모델은 텍스트, 이미지, 오디오, 비디오를 입력으로 받아 텍스트 또는 스트리밍 자연 음성으로 응답했으며, Chelsie와 Ethan이라는 두 가지 고정 음성을 사용했다. 이 모델은 OmniBench 융합 벤치마크에서 Gemini-1.5-Pro를 앞선 최첨단 결과를 주장했고, 벤더가 인간 수준이라고 설명한 4.51의 음성 생성 품질 점수도 주장했다.

엔지니어링은 제약을 우회하는 것이 아니라 제약에 맞춰 설계되었기 때문에 견뎌냈습니다. Thinker-Talker는 작업을 둘로 나눴습니다. Thinker 트랜스포머는 오디오와 이미지 인코더를 융합해 의미와 텍스트를 생성했고, Talker는 Thinker의 은닉 상태에서 음성 토큰을 스트리밍하며 전체 대화 이력을 공유했습니다. 시간 정렬된 멀티모달 RoPE는 비디오와 오디오 위치를 교차 배치해 두 스트림이 동기화를 유지하게 했고, 블록 단위 스트리밍은 인코더가 지각 작업을 수행하는 동안 언어 모델이 긴 시퀀스를 처리할 수 있게 했습니다 — 바로 이것이 저지연 음성 응답을 애초에 가능하게 만든 것입니다.

한계는 똑같이 실재했고, 그것은 컨텍스트보다는 메모리였다. 벤더 자체 표에 따르면 FlashAttention-2를 사용한 BF16 추론은 15초 영상에 약 31GB의 GPU 메모리, 30초에 42GB, 꼬박 1분에 60GB를 차지하며, 이는 32,768토큰 컨텍스트 윈도우를 기준으로 한다. 임대할 수 있는 가장 큰 단일 GPU 중 하나에서 7B 모델로 1분 영상을 처리하는 데 드는 이 숫자를 계속 눈여겨봐야 한다 — 그것은 그 이후의 모든 것이 파괴하기 위해 만들어진 숫자다.

대신 새 모델이 하는 것

MiniCPM-V 4.7 35B-A3B는 완전히 다른 방향으로 나아갑니다. 이는 OpenBMB의 MiniCPM-V 시리즈 최초의 MoE입니다. 40개 레이어에 걸쳐 토큰당 8개가 활성화되는 256개의 전문가, 262,144토큰 컨텍스트 창, 248,144토큰 어휘를 갖추고 있으며, 이는 총 35.2B 중 약 3B의 활성 파라미터에 해당합니다. 비전은 LLaVA-UHD v4 intra-ViT 조기 압축과 선택 가능한 혼합 4x/16x 토큰 압축 모드를 갖춘 SigLIP2 모듈을 통해 처리됩니다. 기본값은 16x이고, 세밀한 디테일이 토큰을 쓸 가치가 있을 때는 4x입니다. 단일 이미지, 다중 이미지 세트, 비디오를 처리합니다. 텍스트로 답변합니다.

카드의 핵심 주장은 이것이 무손실의 매끄러운 온디바이스 추론을 제공하는 최초의 오픈소스 MoE 모델이라는 것입니다. 이는 Lookahead Expert Scheduling, 세밀한 레이어별 양자화, 그리고 별도의 DSpark 드래프트를 통한 추측 샘플링을 통해 달성되었으며, iPhone 17 Pro Max에서 초당 13개 이상의 토큰으로 보고되었습니다. 그 수치는 벤더가 보고한 값이며, 재현되지 않았고, 조건도 명시되지 않았습니다 — 양자화 포맷도, 빌드도, 프롬프트도, 측정 방법도 없습니다. 카드는 또한 더 짧은 추론 시간에 Qwen3.6 35B-A3B보다 더 높은 전체 Instruct 모드 점수를 주장하는데, 그 주장은 표가 아니라 차트 이미지 안에 표현되어 있으므로 수치로 인용할 수 없고 수치로 취급해서도 안 됩니다.

7차원, 양측

• 입력 모달리티 — Qwen2.5-Omni는 텍스트, 이미지, 오디오, 비디오를 입력으로 받고, MiniCPM-V 4.7 35B-A3B는 텍스트, 이미지, 비디오를 입력으로 받으며 오디오 경로는 전혀 없습니다.

• 출력 — 텍스트 + 두 개의 고정 음성으로 제공되는 스트리밍 자연 음성, 텍스트 전용과 대비.

• 컨텍스트 — 32,768 토큰 대 262,144, 8배 증가.

• 매개변수 — 벤더가 모델 이름에 붙인 7B 수치는 MiniCPM 쪽의 총 35.2B, 활성 3B와 대비된다. 저장소 자체는 해당 체크포인트의 매개변수를 11B로 기재하는데, 7B는 언어 모델만 세고 그 옆에 나란히 놓인 비전 및 오디오 인코더는 세지 않기 때문이다 — 여기서 "7B"는 측정값이자 이름이기도 하다는 유용한提醒이다.

• 메모리 사용량 — 벤더 자체 표에 따르면 15초 영상에는 약 31GB, 1분 영상에는 60GB가 필요합니다. MiniCPM-V 4.7은 KV 캐시를 제외하고도 BF16 가중치만 약 70GB이므로, 양자화 빌드와 온디바이스 관련 내용이 이 카드에서 그토록 큰 비중을 차지하는 것입니다.

• 라이선스 — 둘 다 Apache-2.0이며, 이는 두 쪽이 아무런 유보 없이 일치하는 유일한 항목이다.

• 배포 도구 — SGLang, vLLM, llama.cpp, Ollama 및 OpenVINO 지원을 위한 19개월간의 커뮤니티 양자화 및 도구, GGUF/BNB/AWQ/GPTQ/FP8 빌드, 그리고 iOS, Android 및 HarmonyOS 앱.

• 공개 평가 — 널리 인용되어 온 19개월 된 OmniBench 점수 0.561, 그에 반해 인용할 수 있는 평가 표가 전혀 없는 카드.

오디오 구멍이 결정의 전부다

여러분의 파이프라인에 모델이 무언가를 들어야 하는 기능이 필요하다면, 이 비교는 첫 문단에서 끝난다. Qwen2.5-Omni는 둘 중 오디오를 입력받는 유일한 모델이고, 말할 수 있는 유일한 모델이며, 확립된 음성 스택 — Thinker-Talker, TMRoPE, 블록 단위 스트리밍, 두 가지 고정 음성 — 을 갖춘 유일한 모델이다. 또한 둘 중 대규모로 배포된 사례가 있는 유일한 모델이며, 이번 분기에 모델을 애플리케이션에 투입하려 한다면 19개월간의 커뮤니티 양자화와 툴링은 스펙 시트보다 더 가치가 있다.

그 대가로 MiniCPM-V 4.7이 제공하는 것은 긴 시각 문서를 위한 훨씬 더 긴 메모리와 훨씬 저렴한 토큰당 연산 프로파일입니다. 262K 윈도우와 3B 활성 파라미터는 7B dense 모델에 32K 윈도우를 적용한 것과는 확실히 다른 도구이며, 수천 장의 페이지 이미지, 스크린샷 또는 긴 비디오 전사본을 처리하는 워크로드에는 더 새로운 모델의 형태가 맞습니다. 다만 이 모델이 전화를 받는 모델이 될 수는 없습니다.

그것이 바로 그 트레이드오프다. 쉽게 말해, 도달 범위 대 폭이다. 구형 모델은 더 많은 의미를 포괄한다. 신형 모델은 더 많은 페이지를 포괄한다.

아주 서로 다른 두 가지 증거 흔적

여기서는 비대칭이 반대 방향으로 나타나며, 이 점은 정확히 짚고 넘어갈 가치가 있다.

Qwen2.5-Omni의 수치들은 사용을 통해 부분적으로 검증되었을 만큼 충분히 오래되었다. 널리 인용되는 벤치마크 순위, 10년에 걸친 다운스트림 양자화, 그리고 큰 설치 기반을 갖춘 19개월 된 모델은 어떤 형식적 의미에서도 입증된 실체는 아니지만, 그 주장들은 반박될 시간이 오래 있었음에도 반박되지 않았다. 특히 메모리 수치들은 마케팅이 아니라 엔지니어링 제약으로 공개되었고, 엔지니어링 제약처럼 작동했다.

MiniCPM-V 4.7의 수치들은 2주가 지나도록 외부 검증이 전무하다. 이 모델은 10월 6일 문서화되지 않은 채 등장했고, 모델 카드와 라이선스, 주장 섹션은 10월 12일에 공개됐다. 여전히 평가 표도, 기술 보고서도 없으며, 어떤 제3자도 결과를 발표하지 않았다. 실제로 공개된 수치가 있는 유일한 곳은 별도의 DSpark 드래프트 체크포인트이며, 그곳의 스텝당 허용 토큰(accepted-tokens-per-step) 수치는 OpenBMB 자체 수치이고 연구소는 상위 모델에 대해서는 이를 공개하지 않았다.

그래서 새 모델에 대한 올바른 자세는 다음과 같다: 아키텍처는 이미 읽힌 것으로 간주하고(구성 파일에 있으므로), 배포본은 실제로 존재하는 것으로 간주하며(가중치는 여섯 가지 형식으로 존재하므로), 모든 성능 수치는 제2의 의견을 기다리는 주장으로 간주하는 것이다. 마지막 부분은 영구적인 상태가 아니다. 그저 10월 13일 현재 상황이 그러할 뿐이다.

둘 중 하나를 실행하는 것, 그리고 라우터가 무엇을 위한 것인지

이 둘은 모두 직접 서비스하는 파일입니다. MiniCPM-V 4.7 35B-A3B도 Qwen2.5-Omni도 OrcaRouter의 호스팅 카탈로그에 없으며, 여기 어떤 내용도 우리가 이들을 라우팅한다는 주장으로 읽혀서는 안 됩니다 — MiniCPM-V 4.7은 양자화하지 않고 실행하려면 가속기 두 개가 필요한, 출시된 지 2주 된 체크포인트이고, Qwen2.5-Omni는 2025년 오픈 웨이트 모델로, 실질적인 거처는 여러분이 운영하는 vLLM 인스턴스입니다.

라우터가 진가를 발휘하는 지점은 바로 그 경계선의 반대편이다. 자체 호스팅 비전 모델을 운영하는 대부분의 팀은 로컬 모델이 감당할 수 없는 경우 — 장기 추론, 도구 사용, MiniCPM-V 4.7이 받아들이지 않는 오디오 입력 — 를 위해 여전히 호스팅 모델이 필요하다. OrcaRouter는 200개가 넘는 호스팅 모델을 하나의 키 뒤에 모아 두고, 각 제공업체의 정가를 우리 마진 없이 그대로 전달하며, 제공업체 성능이 저하되면 자동으로 페일오버하므로, 그 두 번째 모델을 추가하는 일은 두 번째 계약이 아니라 라우팅 변경에 그친다. MiniCPM 모델에 가장 가까운 호스팅 형태는 Qwen3.6 35B A3B — 총 35B, 활성 3B, 262K 컨텍스트, 텍스트-이미지-비디오 입력 — 이며, 입력 토큰 100만 개당 $0.25, 출력 토큰 100만 개당 $1.48로, 자체 호스팅이 실제로 얼마나 절약해 주는지 가늠할 합당한 기준이다.

어느 것, 그리고 언제

오디오나 음성이 조금이라도 필요하다면, 19개월의 배포 이력을 갖춘 모델을 원한다면, 또는 32K 토큰과 1분 분량의 영상에 대한 60GB 상한이 예산 안에 들어온다면 Qwen2.5-Omni를 선택하세요. 이 모델의 한계는 알려져 있고 문서화되어 있는데, 이는 제품을 출시할 때 오히려 장점입니다.

긴 시각적 컨텍스트와 텍스트 출력이 문제라면, 관대한 라이선스를 원한다면, 그리고 앞서 나가기를 감수할 의향이 있다면 MiniCPM-V 4.7 35B-A3B를 선택하세요 — 당신은 정말 앞서 나가는 사람이 될 테니까요. 어떤 제3자도 이를 실행해 본 적이 없고, 온디바이스 주장은 재현되지 않았으며, 벤치마크는 존재하지 않습니다. 그 대가로 얻는 것은 262K 윈도우를 갖춘, 문서화되어 있고 양자화 가능한 멀티 런타임 모델과 그럴듯한 효율성 스토리이며, 그 스토리가 성립하는지 알아내는 사람이 바로 당신이 됩니다.

답을 바꿀 수 있는 것: OpenBMB의 벤치마크 표, 또는 DSpark 드래프트에서 재현된 acceptance length — 여전히 이 계열에 대한 외부 수치를 얻는 가장 저렴한 경로다. 답을 바꾸지 않을 것은 더 많은 시간이다. 19개월은 MiniCPM-V 4.7에 듣는 능력을 주지 못했고, 로드맵 어디에도 그것이 올 것이라는 암시는 없다.