ZoomGain-4B vs MiniCPM5 2B: 휴대성은 아무도 공개하지 않는 벤치마크다

두 모델 카드 모두에 빠져 있는 숫자가 하나 있는데, 바로 대부분의 배포를 좌우하는 숫자입니다. MiniCPM5-2B는 GGUF, MLX, GPTQ 및 LiteRT 빌드로 제공되고, 추측성 디코딩을 위한 DSpark 드래프트 모델이 있으며, — 가장 많은 것을 알려주는 세부 사항으로 — Ascend, Hygon, Kunlunxin, Metax를 포함한 아홉 가지 서로 다른 가속기 계열을 위한 FlagOS 빌드를 갖추고 있습니다. ZoomGain-4B는 세 가지 정밀도로 GGUF로 제공되며, 카드 자체의 표현에 따르면 "Q​wen3.5 멀티모달 지원이 포함된 llama.cpp 빌드"가 필요합니다. 이 중 한 모델은 거의 어디서나 실행됩니다. 다른 모델은 특정 런타임을 빌드할 수 있는 환경에서 실행됩니다. 어느 카드도 이것을 벤치마크라고 부르지 않으며, 모델을 인용하기보다 실제로 운영해야 하는 사람에게 이 항목은 두 모델 중 어느 쪽의 정확도 열보다도 더 중요한 행입니다.

그러한 구성은 정확도 비교를 피하려는 방식이 아니다 — 정확도 비교는 나중에 나오며, 생각보다 결정적이지 않은 것으로 드러나는데, 두 모델은 같은 축에서 측정되지 않고 측정될 수도 없기 때문이다. OpenBMB의 MiniCPM5-2B는 텍스트 모델로, 25억 2천만 개의 파라미터를 갖추고 2026년 9월 6일 공개되었으며 에이전트, 도구 호출, 코드, 긴 컨텍스트에 맞춰 튜닝되었다. inclusionAI의 ZoomGain-4B는 2026년 11월 11일 공개된 비전-언어 전문 모델로, 세밀한 시각적 세부 사항에 관한 질문을 통해 강화학습으로 훈련되었다. 다음은 각 모델이 무엇을 기준으로 측정되는지, 각각을 구축하는 데 드는 비용, 그리고 정직한 경계선이 어디에 있는지다.

빠진 행: 각각을 실행하는 데 필요한 것

아티팩트 목록부터 시작하세요. 두 퍼블리셔가 당신에게 제공한 것 중 가장 구체적인 항목이기 때문입니다.

• MiniCPM5-2B. 표준 LlamaForCausalLM 클래스 기반의 dense causal transformer입니다 — 42개 레이어, 16개의 쿼리 헤드와 2개의 KV 헤드를 갖춘 GQA, 131,072 토큰 컨텍스트, 총 파라미터 수 2,516,756,480개(이 중 1,981,982,720개는 비임베딩). 아키텍처가 표준이므로 Llama 형태 모델용으로 이미 작성된 모든 서빙 경로를 그대로 상속합니다. 이 조직은 SFT, Midtrain, Base 변형을 별도 리포지토리로 공개하며, GGUF, MLX, GPTQ 양자화와 추측 디코딩용 DSpark 드래프트 모델, 온디바이스 Android용 LiteRT, 동일한 변형 세트를 갖춘 1B 형제 모델도 함께 공개합니다.

• ZoomGain-4B. 언어 모델과 별도의 비전 인코더에 걸쳐 BF16으로 4,539,265,536개의 파라미터를 갖습니다. 세 가지 GGUF 정밀도 — Q4_K_M은 2.71 GB, Q8_0은 4.48 GB, F16은 8.42 GB — 가 있으며, 각각은 카드에서 이미지 입력에 필수라고 명시한 mmproj 프로젝터 파일과 짝을 이룹니다. MLX 빌드도, GPTQ도, ONNX도, 드래프트 모델도 없습니다. 유일하게 이름이 언급된 런타임은 Qwen3.5 멀티모달 지원이 포함된 llama.cpp인데, 이는 들리는 것보다 더 좁은 요구 사항입니다. qwen35 아키텍처를 알 만큼 충분히 최신 빌드가 필요하며, 카드는 완성된 경로를 가리키는 대신 두 파일을 모두 명시적으로 제공하라고 알려줍니다.

비대칭성은 inclusionAI에 대한 비판이 아닙니다. 아홉 일 전에 공개되었고 한 번도 발표된 적 없는 비전 모델이 Android 런타임을 갖추고 있으리라고 기대하기는 어렵습니다. 그것은 그저 현실일 뿐이며, 이는 두 모델이 비용이 드는 측면에서는 서로 대체할 수 없다는 것을 의미합니다. MiniCPM5-2B는 휴대폰을 포함해 이미 보유한 하드웨어에서 실행될 것이고, ZoomGain-4B는 GPU에서, 어쩌면 직접 컴파일해야 할 수도 있는 런타임에서만 실행되며 그 외의 곳에서는 실행되지 않습니다.

‘작음’에 대한 두 가지 서로 다른 정의

둘 다 '소형 모델'이라고 불리지만, '소형'이라는 단어는 각각 다른 역할을 하고 있다.

• 매개변수, 솔직하게 따져본 수치. MiniCPM5-2B는 토큰당 연산량을 좌우하는 비임베딩 매개변수가 1.98B이고, 전체는 2.52B입니다. ZoomGain-4B는 전체 4.54B이며 그중 약 5억 개가 비전 인코더와 프로젝터입니다. 비전 스택을 걷어내면 두 언어 백본은 반올림 오차 수준으로 크기가 같습니다. 동작의 차이는 규모가 아니라 그 위에 무엇이 학습되었는지에서 비롯됩니다.

• 학습의 목표. MiniCPM5-2B의 카드는 코드 및 수학 추론, 장문 맥락 이해, 도구 사용 및 에이전트 작업을 가장 강점으로 꼽으며, 로컬 어시스턴트, 코딩 에이전트, 온디바이스 배포를 목표로 한다고 밝힌다. ZoomGain-4B의 카드는 한 가지에 관한 것이다: 이미지를 확대해야만 답이 보이는 질문에 모델이 답할 수 있는지 여부.

• 각 배포자가 공개하기로 선택한 것. OpenBMB는 MiniCPM5의 전체 변형 사다리를 공개했습니다 — 베이스, 중간 학습(midtrained), SFT, RL+OPD 최종본, 그리고 드래프트 모델과 9개 칩 계열용 사전 빌드 바이너리까지요. inclusionAI는 모델 저장소 세 개, 데이터셋 두 개, 그리고 데이터 구축 파이프라인과 GRPO 런처를 담은 코드 저장소 하나를 공개했습니다. 하나는 제품 라인이고, 다른 하나는 실험 노트가 함께 첨부된 연구 공개판입니다.

• 라이선스. MiniCPM5-2B는 모델 카드상 Apache 2.0이며, 리포지토리와 가중치 모두에 적용됩니다. ZoomGain의 코드는 Apache 2.0이고 체크포인트 약관은 체크포인트 리포지토리로 위임되어 있는데, 이번 주 기준 해당 리포지토리의 메타데이터에는 라이선스 태그가 없습니다. 배포하기 전에 파일을 읽어 보십시오.

벤치마크 열과 그것이 충족되지 않는 이유

이 두 모델 사이에는 공유된 벤치마크가 없습니다. 단 하나도요. ZoomGainBench는 사진에 관한 질문 세트인데 MiniCPM5-2B에는 이미지 인코더가 없습니다. MiniCPM5 표의 다른 모든 벤치마크는 텍스트이며 ZoomGain-4B는 그중 어느 것에서도 실행된 적이 없습니다. 그래서 직접 비교 대신, 각 배포자가 실제로 측정한 내용을 일부러 분리해 두었습니다.

MiniCPM5-2B, 벤더 보고 기준, 자체 평가 스위트 전반에서 평균 53.9:

코드 — LiveCodeBench v6 69.1, OJBench 32.5, SWE-bench Verified 46.4.

• 수학 — AIME 2025 86.5, AIME 2026 86.5, MATH-500 94.6.

• 지식 — MMLU-Pro 70.8, GPQA-Diamond 70.2.

• 긴 컨텍스트 — AA-LCR 59.0, NoLiMa 68.1, LongBench v2 43.7.

• 도구 사용 및 에이전트 — τ²-Bench Telecom 97.1, BFCL v4 66.6, BrowseComp-ZH 43.5, GAIA Text-103 88.7.

ZoomGain-4B, 공급업체 보고 기준:

• 지각, held-in 벤치마크 — ZoomGainBench에서 55.81로, 상위 모델인 Qwen3.5-4B의 30.03과 비교됩니다.

• 인식, 홀드아웃 평균 — 학습이 한 번도 보지 못한 10개 벤치마크에서 60.96, 부모 모델은 54.20. 이는 인용할 만한 6.76포인트 향상이다.

• 개별 홀드아웃 변화 — Visual Probe 43.30→57.28, O3-Bench 54.20→63.19, HR-Bench 4K 81.25→87.25, MME-RealWorld-Lite 57.89→61.59.

두 목록을 나란히 놓고 보면 결정의 윤곽은 뻔하다. MiniCPM5-2B는 개발자가 신경 쓰는 열일곱 가지 항목에서 테스트되었고 거의 모든 항목에서 준수한 점수를 받았다; τ²-Bench Telecom의 97.1과 GAIA Text-103의 88.7은 눈에 띄는 수치이며, 이 모델의 포지셔닝이 바로 이 수치들에 기대고 있다. ZoomGain-4B는 지각에서만 테스트되었고 사실상 그 외에는 아무것도 테스트되지 않았으며, 이 모델이 제공하는 이득 — 보지 못한 벤치마크에서 평균 약 7점 — 은 실재하지만 범위가 좁다.

한 문장으로 말하자면, MiniCPM5-2B는 유난히 풍부한 벤치마크 성적표를 갖춘 범용 소형 모델이고, ZoomGain-4B는 평균 7포인트 향상이라는 성과가 범용 리더보드에서는 보이지 않을 전문 모델인데, 그 이유는 범용 리더보드에 이 모델이 잘하는 질문들이 들어 있지 않기 때문이다.

둘이 실제로 공존할 수 있는 곳

둘 다 정답인 워크로드는 공통된 형태를 공유합니다. 문서, 스크린샷, 사진, 양식이 그것입니다. 무언가는 이미지를 보고 값을 추출해야 하고, 무언가는 그 이후의 모든 일을 해야 합니다 — 스키마를 파싱하고, 올바른 도구를 호출하고, 검증하고, 재시도하고, 사람에게 라우팅하는 일입니다.

추출은 ZoomGain의 형태를 띤다. 작은 텍스트, 타이트한 크롭, 맞거나 틀린 답, 그리고 크롭 안의 라벨을 읽는 것과 전체 프레임 안의 같은 라벨을 읽는 것의 차이에 대해 명시적으로 학습된 모델이다. HR-Bench 4K(학습 후 81.25에서 87.25)와 MME-RealWorld-Lite에서 ZoomGain-4B의 홀드아웃 수치는 밀집 세부 사항에서는 더 나아지면서 다른 모든 것에서는 나빠지지 않은 모델의 프로필과 정확히 일치한다.

{{1}}나머지{{/1}}는 {{2}}MiniCPM5의 형태{{/2}}이고, 도구 사용에서는 크기에 비해 이례적으로 강력합니다 — {{3}}τ²-Bench Telecom 97.1{{/3}}은 대부분의 3배 더 큰 모델도 도달하지 못하는 수치이며, {{4}}BFCL v4 66.6{{/4}}은 함수 호출이 데모가 아니라는 것을 보여줍니다.

둘 다 실행한다는 것은 두 개의 런타임, 두 개의 라이선스, 그리고 문제가 생길 수 있는 두 번째 요소를 의미합니다. 또한 라우터가 구호에 그치지 않고 제값을 하는 지점이기도 합니다. 이미지 호출은 비전 엔드포인트로, 도구 호출 턴은 저렴한 텍스트 엔드포인트로 가며, 둘 중 하나에서 지연이 발생하면 파이프라인에서 504로 드러나는 대신 자동으로 다른 쪽으로 넘어갑니다. 키 하나, 청구서 하나, 그리고 두 SDK에 중복되지 않고 한곳에 있는 페일오버 로직입니다.

우리가 무엇을 제공하고 제공하지 않는지 분명히 밝히는 것이 좋겠습니다. MiniCPM5-2B는 현재 저희 카탈로그에 없습니다. 저희는 Q​wen3.5 패밀리를 호스팅합니다 — 35B-A3B는 백만 토큰당 입력 $0.057, 출력 $0.459이고, 27B는 $0.086 및 $0.688이며, 둘 다 멀티모달입니다 — 그리고 이 패밀리는 ZoomGain-4B가 훈련된 기반이므로, 자체 호스팅 4B를 선택하기 전에 crop-and-ask가 정확도를 개선하는지 테스트하려는 경우 가장 가까운 호스팅 근사치입니다. 도구 호출 쪽은 같은 카탈로그에서 오늘 바로 호출할 수 있는 것을 제공합니다. 저희가 할 수 없는 것은 ZoomGain-4B를 호스팅하는 일이며, 라우팅을 아무리 해도 그것은 바뀌지 않습니다. 그것은 API가 아니라 다운로드입니다.

정직한 평결

MiniCPM5-2B를 선택하세요이미 보유한 하드웨어에서, 이미 존재하는 런타임으로, Apache 2.0 라이선스와 동작 방식을 예측할 수 있을 만큼 폭넓은 벤치마크 시트를 갖추고 이번 주에 배포할 수 있는 작은 모델을 원한다면

다음의 경우 ZoomGain-4B를 선택하십시오: 제거하려는 특정 오류가 시각적이고 세밀한 오류이며, 이를 해결하기 위해 특수한 llama.cpp 빌드로 GPU를 실행할 의향이 있다면 말입니다. 이 선택의 근거는 하나의 신뢰할 수 있는 수치 — 9,000개의 훈련 샘플에서 나온 열 가지 홀드아웃 지각 벤치마크 전반에 걸친 평균 6.76포인트 향상 — 와, 주장을 그대로 믿기보다 직접 확인할 수 있게 해주는 벤치마크, 데이터, 하네스에 있습니다.

둘 중 어느 것도 고르지 마세요 — 만약 아직 파이프라인이 무엇을 잘못하는지 측정하지 않았다면. MiniCPM5-2B의 공개된 결과 중 가장 약한 분야는 검색 에이전트와 장문 문서 추론(BrowseComp-ZH 43.5, LongBench v2 43.7)이며, ZoomGain-4B는 사진과 관련되지 않은 질문을 받아본 적이 없습니다. 아직 규명하지 않은 문제를 해결하려고 둘 중 하나를 구매하는 것은 30억 매개변수 모델이 프로덕션에 투입되어 아무것도 하지 않게 되는 방식입니다.

화려하지 않은 결론: 두 모델은 경쟁자가 아니라 같은 작업의 인접한 두 단계이며, 이 비교가 계속 경연으로 프레이밍되는 이유는 벤치마크가 이식성보다 공개하기 쉽기 때문이다. MiniCPM5-2B는 공개되는 열에서 이긴다. ZoomGain-4B는 아직 존재하지 않는 열에서, 단일 작업에서 약 7점 차로 이기며, 대부분의 팀이 시작조차 못 하게 만들 런타임 요구 사항을 동반한다.