MiniCPM5-15B-A2.5B 제목의 카드, 부제는 '네 개의 런타임으로 포팅됨, 다운로드 가능한 곳 없음', SGLang, llama.cpp, OpenVINO, InfiniLM에 체크 표시된 카드들이 'No repository' 카드 옆에 있고, 배지에는 '15B total', 'A2.5B active', 'DSpark draft exists'라고 적혀 있음
Engineering & Research

MiniCPM5-15B-A2.5B: 네 개의 런타임으로 이식되었지만, 아무도 다운로드할 수 없다

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

2026년 11월 16일, llama.cpp에 "xcy/models: add MiniCPM5 MoE inference support"라는 제목의 풀 리퀘스트가 올라왔다. 이는 꼼꼼한 작업물로 — 새로운 아키텍처 항목, 변환 경로, 테스트 — 검증 섹션에 메인테이너가 주목한 한 줄이 있었다: 작성자는 H800에서 "기존 MiniCPM5-15B-A2.5B GGUF들"을 대상으로 실행했다. CISC는 당연한 질문을 했다.제가 알기로는 아직 공개되지 않은 것 같은데요?GitHub 프로필에 MiniCPM-V 및 MiniCPM-o 프로젝트 멤버십이 기재된 tc-mb는 한 단어로 답했다: "ok". 그 풀 리퀘스트는 이틀 후 병합되지 않은 채 닫혔고, 그 GGUF들이 속한 모델 — OpenBMB의 MiniCPM5 라인에서 희소 전문가 혼합(MoE) 항목인 MiniCPM5-15B-A2.5B — 은 여전히 저장소도, 모델 카드도, 라이선스 파일도 없고, 우리가 어디서도 찾을 수 있는 발표도 없다.

이 글은 현재까지 알려진 내용을 정리한 글이며, 증거의 형태가 평소보다 더 중요합니다. 읽어볼 제품 페이지도 없고, 이견을 제기할 벤더 벤치마크도 없습니다. 존재하는 것은 네 개의 별도 추론 스택에서 나온 엔진 패치 세트와, 체크포인트를 직접 앞에 두고 작업한 사람들이 작성한 테스트 로그뿐입니다. 그것만으로도 MiniCPM5 MoE의 아키텍처를 상당히 정확하게 설명하고 지원이 얼마나 성숙했는지에 대해 솔직하게 말할 수 있습니다. 하지만 모델이 어떤 점수를 내는지, 비용이 얼마인지, 언제 실행할 수 있는지는 말해주기에는 충분하지 않습니다.

이름이 당신에게 알려줄 수 있는 것

체크포인트 이름은 ModelBest 외부에서 공개된 유일한 사양표입니다. MiniCPM5-15B-A2.5B는 총 15B 파라미터에 토큰당 2.5B가 활성화되는 것으로 읽히며, 이는 Mixtral 이후 이 규모급의 모든 희소 MoE가 사용해 온 총 파라미터-활성 파라미터 표기 관례입니다. 어떤 패치에서도 이와 모순되는 내용은 없으며, SGLang 포팅 자체의 테스트 노트에서도 "원본 15B 체크포인트 구성"이 수정 없이 해석된다고 언급하고 있어 일관됩니다.

그 이후의 모든 것은 추측이며, 그 이유를 솔직히 말할 가치가 있습니다. SGLang 패치는 MiniCPM5Config 클래스를 추가하는데, 이 클래스의 기본값은 32개 레이어, 4,096 히든, 32개 헤드, 64개 라우팅 전문가, 2개 공유 전문가, 1,407차원 전문가 FFN입니다. 이는 GLM-4 템플릿에서 상속된 클래스 기본값이지 체크포인트의 값이 아닙니다. 같은 파일의 기본값은 32,000토큰 어휘인데, 2026년 프런티어에 근접한 어떤 모델도 이 어휘로 출시된 적이 없습니다. 이를 사양으로 읽지 마십시오. 실제일 가능성이 있어 보이는 유일한 숫자는 3.66의 라우팅 스케일링 계수이며, 이는 llama.cpp 아키텍처 테스트와 변환 테스트 픽스처에 나타납니다. 픽스처는 여전히 픽스처일 뿐이므로, 3.66은 확인된 상수라기보다 "테스트가 이를 기준으로 작성된 숫자"로 취급하십시오.

네 개의 패치에서 읽어낸 아키텍처

네 개의 독립적인 포팅이 동일한 설명에 수렴하는데, 이것이 이 유출에서 가장 안심되는 점이다. SGLang 패치는 가장 명시적이다: 이 모델은 "세 가지 차이점을 두고 GLM-4.5 MoE를 따른다" — 게이트 어텐션, q/k 정규화 없이 전체 로터리 임베딩, 그리고 업캐스트 대신 모델 자체의 dtype으로 계산되는 라우터.

• 게이트 어텐션 — 쿼리 프로젝션은 쿼리와 함께 헤드별 시그모이드 게이트를 내보내며, 이는 각 헤드의 행 안에 인터리브되어 있습니다. llama.cpp 변환에서는 이를 텐서 단위로 분리해야 하므로, 두 포팅 모두 이 점을 지적합니다.

• 조밀한 도입부, 그다음 전문가 — 처음 first_k_dense_replace개 레이어는 일반적인 FFN이며, 그 이후 레이어만 라우팅합니다. tc-mb의 포크 패치 노트에 따르면 기존 qwen35moe나 minicpm 아키텍처 중 어느 것도 그 형태를 모델링하지 않으며, 이 때문에 MiniCPM5 MoE는 기존 아키텍처에 플래그를 다는 대신 자체 아키텍처 항목이 필요했습니다.

• 라우팅된 전문가와 공유 전문가 — 시그모이드 게이팅, 정규화된 top-k 가중치, 그리고 라우팅된 전문가들과 나란히 있는 공유 전문가 분기. llama.cpp는 MoE 계층마다 FP32 라우터 보정 편향(e_score_correction_bias)을 읽으며, 이는 DeepSeek 스타일 라우터가 전문가 부하를 균형 있게 유지하기 위해 사용하는 동일한 편향 항입니다.

{{1}}완전 회전, q/k 정규화 없음{{/1}} — 헤드 차원 전체에 적용되는 일반 RoPE이며, 변환 시 헤드 차원을 은닉 크기를 헤드 수로 나눈 값에서 유도하지 않고 명시적으로 보존합니다.

optimum-intel pull request #2133 showing an optimum-cli export openvino command that names openbmb/MiniCPM5-15B-A2.5B as its input, followed by a WWB text-similarity table

DSpark는 이 이야기의 후반부이며, 이번 유출이 단순히 깔끔한 수준을 넘어 흥미로운 이유이기도 합니다. DSpark는 학습된 드래프트 모델을 사용하는 추측적 디코딩으로, OpenBMB가 이미 MiniCPM5-2B와 MiniCPM-V 4.7을 위해 출시한 것과 동일한 알고리즘이며, SGLang과 llama.cpp 패치 모두 MiniCPM5 MoE를 DSpark 대상으로 추가합니다. MiniCPM5-15B-A2.5B-DSpark라는 별도의 드래프트 체크포인트가 llama.cpp 문서 예시에 언급되어 있는데, 이는 대상이 존재하는 어떤 비공개 저장소에든 드래프트 역시 존재한다는 뜻입니다.

네 가지 엔진, 하나의 미공개 체크포인트

타임라인이 바로 이것을 글로 쓸 가치가 있게 만드는 부분입니다. 일반적으로 이렇게 많은 스택에서 포팅이 릴리스보다 이렇게까지 앞서는 경우는 없습니다:

• 2026-09-17 — MUSA 포크에 적용된 Megatron-LM 패치를 통해 "minicpm5"의 기본값으로 MoE capacity-factor 처리와 dropless routing이 활성화됩니다. 학습 측면이며, 우리가 발견한 가장 이른 흔적입니다.

• 2026-10-14 — InfiniTensor의 InfiniLM이 FlashAttention과 장문 컨텍스트 MoE/RoPE 커널을 갖춘 MiniCPM5 MoE를 Denglin QY 백엔드에서 지원하는 패치를 공개했습니다. 2026-11-12의 후속 업데이트에서는 CUDA-graph 캡처 안전성과 bf16 디코드 경로가 추가되었습니다.

• 2026-11-13 — tc-mb의 llama.cpp-omni 포크가 MiniCPM5 MoE 아키텍처를 추가하고, 같은 날 두 번째 패치가 전문가 영역을 양자화기에 연결합니다. 검증 섹션에서는 다음을 보고합니다: 프랑스의 수도는 다음과 같이 완성됩니다: 파리. 그리고 17×23은 391을 반환합니다.

• 2026-11-16 — 업스트림 llama.cpp 풀 리퀘스트. 2026-11-18에 병합되지 않은 채 닫혔고, 변환 경로는 범위 밖으로 밀려난 뒤 사흘 후 포크에서 다시 다루어졌습니다.

• 2026-11-19 — SGLang이 09:39에 포트를 열었다가 닫고, 10:19에 이름이 바뀐 브랜치에서 다시 엽니다. 같은 날 아침, 인텔 엔지니어가 optimum-intel 패치를 공개하는데, 그 첫 번째 코드 블록이 openbmb/MiniCPM5-15B-A2.5B를 입력으로 지정하는 내보내기 명령입니다.

Scoreboard titled MiniCPM5-15B-A2.5B — what the patches measured, listing weights tested BF16 Q8_0 and Q4_K_M, drafts accepted on one H800 at TP=1, tokenizer match of 8 of 8 samples, CPU versus CUDA NMSE of 1.00e-06, OpenVINO int4 similarity of 0.8710, and no published benchmark score

그 마지막 항목이 결정적 증거에 가장 가깝습니다. optimum-intel 패치는 가상의 모델을 설명하는 것이 아니라 — 다음을 실행합니다 optimum-cli export openvino -m openbmb/MiniCPM5-15B-A2.5B --weight-format int4그리고 원본 모델 대비 정확도를 보고합니다. 이 패치를 작성한 사람은 가중치를 가지고 있었습니다. 여기서 지정한 Hub 경로는 익명 요청에 아무것도 반환하지 않으며, OpenBMB 자체의 MiniCPM README에는 여전히 2026-09-07과 2B가 최신 릴리스로 나열되어 있고, 모델 표 어디에도 MoE 항목은 없습니다.

테스트 로그가 실제로 보여주는 것

이 부분은 천천히 읽어야 하는 대목입니다. 이 패치들에 있는 숫자들은 벤치마크가 아니라 엔지니어링 점검이며, 그중 두 개는 실패입니다.

llama.cpp 실행은 가장 광범위합니다. BF16, Q8_0 및 Q4_K_M 가중치 모두 H800에서 드래프트를 --spec-draft-n-max 2로 설정한 상태에서 DSpark 드래프트 토큰을 생성하고 수락했습니다. 8개의 토크나이저 샘플은 Hugging Face 토크나이저와 정확히 일치했습니다. 합성 아키텍처 테스트에서 CPU 대 CUDA NMSE는 1.00e-06이었습니다. 그다음에는 저자 자신의 표현대로 단서가 있습니다: 일반 그리디 디코딩과 DSpark 디코딩은 "토큰 수준 차이를 보였고", 원인은 "완전히 규명되지 않았으며", 출력 동등성은 "확립되지 않았습니다". 원본 체크포인트에 대한 로짓 동등성 실행은 없고, 품질 평가도 성능 수치도 없습니다. 저자는 속도 향상 주장을 하지 않는다고 분명히 밝힙니다.

SGLang 실행이 더 유익한 이유는 변수를 분리하기 때문이다. Triton 어텐션에서는 DSpark가 64토큰 생성 네 번에 걸쳐 93개의 검증 단계를 실행했고, 모든 프롬프트에서 일반 디코딩과 달라졌다. FA3 어텐션에서는 동일한 15B 체크포인트와 드래프트가 네 경우 모두 일치하는 그리디 토큰 ID를 생성했다. 작성된 패치에서 Triton 불일치는 여전히 미해결이다. 그것을 있는 그대로 받아들여라. 누군가 발견했지만 아직 설명하지 못한 커널 경로 차이이지, 모델에 대한 진술이 아니다.

OpenVINO 수치는 전체 세트에서 유일한 정량적 품질 신호이며, 그마저도 그리 높지 않습니다. FP32의 원본 모델을 기준으로 26개 프롬프트와 128개 새 토큰에 걸쳐, WWB 텍스트 유사도 점수는 CPU에서 bf16이 0.9934, GenAI SDPA 백엔드에서 int8이 0.9455, int4가 0.8710이었습니다. B70 GPU에서는 int8이 0.9498, int4가 0.8646이었습니다. int4 변환이 0.87에 머문다는 것은 변환 충실도 결과입니다 — 이는 양자화된 그래프가 참조 모델에서 벗어난다는 것을 말할 뿐, 참조 모델이 좋다는 뜻은 아닙니다. MiniCPM5-15B-A2.5B에 대해 공개된 벤치마크 점수는 없으며, 누군가 그 점수를 내놓기 전까지는 이를 강하다거나 약하다고 부를 근거가 없습니다.

llama.cpp pull request #32386 whose validation section begins Tested pre-existing MiniCPM5-15B-A2.5B GGUFs and lists Q8_0, Q4_K_M and DSpark results, with a Limitations note stating no speedup claim is made

출시된다면 어디에 위치할지

OpenBMB의 MiniCPM5 라인은 지금까지 밀도에 관한 논의다. 1B는 2026-05-19에, 2B는 2026-09-07에 출시됐으며, 둘 다 덴스형이고 둘 다 Apache-2.0이며 둘 다 온디바이스 배포를 위해 만들어졌다. 2B는 사용자 정의 커널이 없는 순수한 LlamaForCausalLM인데, 바로 그 덕분에 몇 주 만에 llama.cpp, MLX, ONNX 및 여섯 개 남짓의 NPU 툴체인으로 포팅됐다. 총 15B, 활성 2.5B인 형제 모델은 엣지 모델이 아닌 첫 MiniCPM5가 될 것이다. 2B와 동일한 활성 예산, 약 6배의 저장 가중치, 그리고 그 메모리를 쓸 만한 가치가 있으려면 제대로 서빙돼야 하는 라우팅 레이어를 갖는다.

그러한 해석은 이 유출의 이상한 형태도 설명해 준다. MiniCPM5 MoE가 휴대폰보다는 서빙을 겨냥한 것이라면, 엔진 포팅은 출시 후에나 제공되는 있으면 좋은 기능이 아니라 출시 전제 조건이며, 누군가 이를 일찍부터 진행하고 있는 것이다. 동일한 GitHub 계정이 llama.cpp와 SGLang 포팅을 모두 열었다는 점, MiniCPM 프로젝트 구성원이 포크 패치를 반영하고 있다는 점, 그리고 DSpark용 초안 체크포인트가 이미 존재한다는 점은 모두 같은 방향을 가리킨다. 즉 이것은 변경 로그를 모아 만든 소문이 아니라, 해당 모델에 접근할 수 있는 사람들이 출시를 준비하고 있는 모델이라는 뜻이다.

이 그림을 바꿀 수 있는 것은 무엇일까요?

세 가지, 얼마나 확실히 정리해 줄 수 있는지 순서대로.

먼저, 저장소입니다. config, 라이선스, 카드가 있는 Hub 또는 ModelScope 페이지가 있다면 위 문단의 대부분을 추론에서 사실로 바꿔 줄 것이고, 제가 경고한 config 기본값들을 즉시 대조해 확인할 기준을 제공할 것입니다.

둘째, 1차 출처 벤치마크입니다. MiniCPM5-2B 카드는 53.9의 스위트 평균과 LiveCodeBench, AIME, SWE-bench에 대한 과제별 셀을 제시했습니다. 동등한 표가 없는 15B-A2.5B는 가치 제안 전체가 측정되지 않은 모델입니다. Artificial Analysis 항목이 그 역할을 할 것입니다. 그것은 공급업체로부터 독립적이기 때문입니다.

셋째, 병합된 포트입니다. 여기서 설명하는 모든 패치는 닫혔거나, 초안이거나, 비공개 포크에 머물러 있습니다. 병합되지 않은 풀 리퀘스트에만 존재하는 지원은 설치할 수 없는 지원이며 — Triton 대 FA3의 차이가 보여주듯 — 이 아키텍처에서의 정확성은 여전히 커널 단위로 확립되고 있습니다.

오늘날 독자에게 실질적인 결과는 간단합니다: 다운로드할 것도, 호출할 것도, 마이그레이션할 것도 없습니다. 이런 모델이 실제로 등장했을 때 바뀌는 것은 워크로드를 어디서 실행할지에 대한 결정이며, 그 결정은 보통 불완전한 증거로 시간 압박 속에서 내려집니다. 바로 그런 상황을 위해 라우팅 계층이 존재합니다. OrcaRouter는 200개 이상의 호스팅 모델을 하나의 API 뒤에 제공업체 정가로 추가 마크업 없이, 따라서 비교하려는 작업, 즉 이 체크포인트와 오늘 호출하는 무엇이든의 비교는 누군가 호스팅하기만 하면 비용 없이 준비할 수 있습니다; 자동 페일오버 덕분에 첫 주의 모델이 단독으로 프로덕션 경로를 맡을 필요가 없습니다. 그중 어느 것도 MiniCPM5-15B-A2.5B가 제공되어야 할 필요는 없으며, 우리는 그것을 서비스하지 않습니다 — 그것은 아직 공개되지 않은 모델이 스스로를 입증하는 동안 이미 의존하는 모델들을 둘러싼 안전망입니다.

그때까지 정직한 요약은 llama.cpp 스레드가 우리에게 해준 바로 그 요약이다: GGUF는 존재하지만, 공개되어 있지는 않다. 네 개의 런타임이 이미 그것을 로드하는 코드를 작성해 두었다. OpenBMB 조직 페이지와 두 개의 열린 풀 리퀘스트를, 그 순서대로 지켜보라 — 저장소가 나타나는 것이 신호이고, 병합된 포트가 이 패치들이 말하는 아키텍처가 바로 그것임을 확인해 주는 증거다.