
Aion-1.0-Instruct-2.3B vs MiniCPM5 2B: 점수판이 있는 쪽에는 이미 라이벌이 올라 있다
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 96 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 78 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 208 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
MiniCPM5-2B의 모델 카드에는 8개의 베이스라인이 담긴 비교 표가 실려 있는데, Aion-1.0-Instruct-2.3B는 그중 하나가 아닙니다. 이는 얕보는 것이 아니라 타임스탬프입니다. OpenBMB의 표는 2026년 9월 6일에 가중치가 공개되었을 당시 존재하던 모델들을 기준으로 작성되었습니다. Microsoft의 체크포인트는 73일 뒤인 2026년 11월 18일에 Hugging Face에 등장했으며, 별도의 발표도 없이 좋아요 3개를 받았습니다. 아무도 이 둘을 나란히 놓지 않았는데, 그 모델이 존재한 첫날에는 아무도 그럴 수 없었기 때문입니다. MiniCPM5-2B는 한편, 이 등급에서 다운로드 수가 압도적으로 가장 많은 모델입니다 — 약 966,000회 다운로드로, Aion의 0회와 대비됩니다.
측정된 두 모델을 비교하는 것이 아니다. 이것은 점수판과 팬층을 갖고 등장한 모델과, 설정 파일과 2027년 1월에 대한 약속을 갖고 등장한 모델 사이의 비교다. 이하에서는 MiniCPM5-2B에 대해 OpenBMB가 공개한 수치가 있는 경우 그 수치를 사용하고, Aion-1.0-Instruct-2.3B에 대해서는 Microsoft의 모델 카드를 사용하며, 어떤 칸에 아무 내용도 없을 때는 이를 분명히 밝힌다.
서로 닮지 않은 두 개의 25억 매개변수 모델
대표 크기들은 스펙표 비교를 해 볼 만큼 서로 비슷하지만, 정작 스펙표는 서로 맞아떨어지지 않는다.
• 매개변수 — MiniCPM5-2B는 총 2.52B이며, 그중 1.98B는 비임베딩입니다. Aion-1.0-Instruct-2.3B는 2.29B이고 입력 및 출력 임베딩이 공유(tied)되어 있습니다.
• 깊이 — MiniCPM5-2B는 표준 LlamaForCausalLM 아키텍처에서 42개 레이어이고, Aion은 trust_remote_code가 필요한 커스텀 모델링 코드에서 28개 레이어입니다.
• 어텐션 — MiniCPM5-2B의 경우 16개의 쿼리 헤드와 2개의 키/값 헤드; Aion의 경우 헤드 차원 128에서 24개의 쿼리 헤드와 8개의 키/값 헤드로, 2,048 토큰에서의 21개 슬라이딩 윈도 레이어와 7개 전체 어텐션 레이어의 하이브리드 패턴에 걸쳐 있습니다.
• 컨텍스트 — 131,072 토큰 대 32,768
• 언어 — MiniCPM5-2B는 영어와 중국어, Aion은 8개 언어를 지원하며, 다국어 데이터는 학습의 약 6%를 차지합니다.
• 라이선스 — Apache 2.0 대 MIT. 둘 다 허용적이며, 둘 다 상업적으로 안전합니다.
• 에코시스템 — GGUF, MLX, GPTQ, 베이스, SFT, 중간 학습(midtrain), 드래프트 체크포인트와 훈련 데이터셋을 갖추고 있으며, safetensors 및 추후 제공될 양자화 빌드 약속과 대비됩니다.
그 마지막 문장에서 격차는 더 이상 모델 품질의 문제가 아니게 된다. MiniCPM5-2B는 오늘 오후에 네 가지 런타임에서 배포할 수 있는 릴리스다. Aion-1.0-Instruct-2.3B는 한 가지 런타임에서만 배포할 수 있는 릴리스인데, 같은 날 저녁 ONNX-WebGPU 형제 리포지토리가 업로드되었고, 모델 카드에는 GGUF 형식이 기재되어 있지만 파일 목록에는 없다.
OpenBMB가 공개한 수치, 그리고 공개하지 않은 수치
MiniCPM5-2B의 모델 카드는 2B급 오픈소스 최고 수준(SOTA)을 주장하며, 이례적으로 9개 범주에 걸친 35개 벤치마크의 증거를 낱낱이 제시한다. 주요 수치는 다음과 같다: AIME 2025 86.5, AIME 2026 86.5, MMLU-Pro 70.8, GPQA-Diamond 70.2, IFEval 86.7, LiveCodeBench v6 69.1, SWE-bench Verified 46.4, BFCL v4 66.6, τ²-Bench Telecom 97.1, AA-LCR 59.0, NoLiMa 68.1.
이 카드는 이들 모두에 대한 요약 평균도 공개한다. MiniCPM5-2B는 53.9, Qwen3.5-4B는 51.1, Granite 4.2 3B는 42.7, LFM2.5-2.6B는 33.2다. 이는 벤더가 자체 벤치마크 선정에 대해 자체 하네스로 수행한 실행이며, 그 선정은 모델이 훈련된 바로 그것—에이전트형 도구 사용, 코딩, 긴 컨텍스트—에 유리하다. 테스트를 고르는 벤더는 순위도 고를 수 있다. 이 표는 훈련 우선순위에 관한 진술로서 읽어야 한다. 그 점에서는 정직하다. 독립적인 판정으로 읽어서는 안 된다. 그것은 아니다.
MiniCPM5-2B의 카드에 포함되지 않은 것은 Aion-1.0-Instruct-2.3B가 등장하는 어떤 벤치마크이며, Aion의 카드에 포함되지 않은 것은 MiniCPM5-2B의 아홉 범주 중 어느 것도 아니다. 겹치는 부분은 실제로 존재하지만 좁다. MMLU-Pro, GPQA, IFEval 및 AIME 변형들이 두 공개 표가 같은 언어로 말하는 유일한 지점이며, 그곳에서도 하네스 구성은 다르다. 그 공유 행들에서 격차는 크다. MMLU-Pro에서 70.8 대 33.35, GPQA에서 70.2 대 28.18이지만, 그것은 추론 및 에이전트 작업을 위해 훈련된 모델과 문서 이해 및 재작성을 위해 훈련된 모델 사이의 비교이며, 숫자들은 정확히 그 점을 말해주고 있다.
Aion의 정직함이 모든 것을 말해 주는 곳
마이크로소프트의 카드에서 흥미로운 점은 점수가 아닙니다. 점수들이 그리 좋지 않은데도 카드가 이를 그대로 표에 실었다는 점입니다. 그 표에는 판정 모델, 하네스, 그리고 점수 산정 설정상 헤드라인이 암시하는 것보다 더 좋아 보이게 하는 두 가지 벤치마크도 명시되어 있습니다. 무언가를 팔기 위해 작성된 카드라면 MMLU-Pro 33.35라고 적힌 행을 넣지 않습니다.
MMLU-Pro에서의 33.35는 출시 팀이 선택할 숫자가 아니다. GPQA에서의 28.18도 마찬가지다. 이런 수치가 있다는 것은 이 표가 마케팅 파이프라인이 아니라 평가 파이프라인에서 나왔다는 증거이며, 이는 주변의 주장들—32,768토큰 창, 8개 언어, 2025-12 지식 컷오프, 임베딩 공유 구성에서 도출된 2.29B 파라미터 수—을 신뢰할 진정한 이유다.
한계 설명에도 같은 솔직함이 배어 있다. 카드는 이 정도 규모의 모델이 "세부 사항을 놓치거나, 잘못된 진술을 하거나, 복잡한 다단계 추론을 따라가지 못하는 모습을 보일 수 있다"고, "세계 지식에서 뛰어나도록 훈련되지 않았다"고, 출력 품질이 8개 언어에 걸쳐 달라진다고 분명히 밝힌다. 그것을 최첨단이라고 주장하는 35개 벤치마크 표와 비교해 보면, 모델 카드의 목적이 무엇인지에 관한 두 가지 다른 이론을 보고 있는 것이다. 어느 쪽도 부정직하지 않다. 하나는 능력 주장이고, 하나는 공개다.
온디바이스라는 제안, 그리고 롱 컨텍스트의 함정
마이크로소프트의 설명은 명확하다. Aion Instruct는 "Windows 생태계의 기반 소형 언어 모델(SLM)"로서, 기기 내 텍스트 및 운영 체제 작업을 위해 구축되었으며, 더 강력한 버전과 콘텐츠 조정 모델이 2027년 1월 말까지 Windows OS SLM이 될 예정이다. 이번 업로드는 "앞으로 다가올 것들에 대한 소개"라고 설명된다.
MiniCPM5-2B의 프레이밍은 더 넓습니다. 스마트폰, PC, 스마트 콕핏에서의 로컬 어시스턴트, 코딩 에이전트, 도구 사용 워크플로 및 추론을 아우르며, 50만 샘플의 에이전트 학습 세트와 8만 개 이상의 RL 샘플이 가중치와 함께 공개됩니다. 이는 단지 답변하기 위해 만들어진 것이 아니라 행동하도록 만들어진 모델입니다.
131K 대 32K 컨텍스트 격차가 가장 극명하게 드러나는 지점이며, MiniCPM5-2B에는 그 증거가 있다. AA-LCR 59.0과 NoLiMa 68.1은 장문맥 벤치마크로, 둘 다 벤더가 직접 실행했고 둘 다 해당 모델 카드에서 심사자 채점 결과에 사용하는 시각적 표식과 함께 공개되었다. Aion은 32,768토큰 창을 갖고 있는데, 자체 구성에 따르면 이는 2,048토큰의 네이티브 범위에서 YaRN 스케일링으로 도달한 것으로 보이며, 장문맥 평가는 전혀 없다. 워크로드가 긴 문서를 포함한다면 선택은 이미 당신을 위해 내려졌으며, 그것은 파라미터 수가 아니라 증거에 의해 내려진 것이다.
에이전트 스택은 비교의 양상이 달라지는 지점입니다
MiniCPM5-2B는 도구 루프를 위해 학습되었습니다: 50만 개의 에이전트 SFT 샘플, 검증 가능한 작업에 대한 GRPO 스타일 RL, 그리고 SWE-bench Verified, Terminal-Bench, BFCL 및 은행 도메인 τ³ 실행에 대한 벤치마크 행이 포함됩니다. Aion-1.0-Instruct-2.3B는 도구 호출 형식을 문서화하지만 에이전트 벤치마크는 공개하지 않습니다. 운영 체제에서 요약, 재작성, 채팅을 위해 구축되었기 때문입니다.
그 비대칭성은 점수로 취급하기보다 아키텍처 관점에서 생각해 볼 가치가 있습니다. 에이전트 루프는 모델 호출 한 번이 아니라 계획, 도구 호출, 결과, 재계획, 그리고 흔히 두 번째 의견으로 이어지며, 각 단계는 고유한 지연 시간과 실패 확률을 지닌 별도의 요청입니다. 바로 이 계층에서 라우팅은 인프라의 각주를 벗어나 설계의 일부가 되기 시작합니다. OrcaRouter의 모델 퓨전은 동일한 요청에 대해 여러 모델로 구성된 패널을 실행하고 그 답변을 결합하며, 그리고 그 라우팅 DSL은 여러 모델을 하나의 호출로 구성합니다. "작은 모델 하나, 답변 하나"가 해당 작업에 맞지 않는 형태일 때 중요한 두 가지 기본 요소입니다. Aion-1.0-Instruct-2.3B와 MiniCPM5-2B는 둘 다 호스팅 엔드포인트가 아닌 자체 호스팅 가중치이므로 현재 저희 카탈로그에 없습니다. 이 주장은 이 두 체크포인트가 아니라, 로컬 에이전트가 혼자서 완료할 수 없는 요청에 관한 것입니다.
실용적인 버전은 이렇다. 값싼 단계에는 작은 모델을 쓰고, 2B 모델이 네 번째 재시도에서야 맞히기를 기대하는 대신 에스컬레이션 경로를 명시적으로 만들어라. SWE-bench Verified에서 46.4를 기록한 MiniCPM5-2B 같은 모델은 크기에 비해 인상적이지만 여전히 절반 이상 틀리며, 아무리 프롬프트 엔지니어링을 해도 5단계 루프의 산수를 바꿀 수는 없다.
오늘 실제로 검증할 수 있는 것
이 문장이 이런 비교 대부분을 결정짓습니다. MiniCPM5-2B의 경우 GGUF를 내려받아 llama.cpp에서 로드하고, 모델 카드에 있는 자체 벤치마크 명령을 실행한 뒤 AIME에서 86.5를 재현하는지 확인할 수 있습니다. Aion-1.0-Instruct-2.3B의 경우 bfloat16 safetensors를 내려받고, transformers 5.x를 설치하고, trust_remote_code=True를 허용한 다음, 동일한 하네스를 그 모델의 11개 벤치마크에서 실행할 수 있습니다. 이는 더 많은 작업이지만 충분히 가능하며, 공개적으로 이를 해낸 사람은 아무도 없습니다.
Aion으로 할 수 없는 것은, 대상으로 삼는 머신에 있을 가능성이 가장 높은 런타임에서 그것을 실행하는 것입니다. 모델 카드에는 GGUF가 라이브러리 이름으로 나열되어 있지만, 저장소에는 safetensors, 토크나이저 파일, 두 개의 사용자 정의 모델링 모듈, 채팅 템플릿이 들어 있습니다. ONNX-WebGPU 형제 저장소가 존재하므로 브라우저 및 DirectML 배포가 그럴듯해 보이지만, GGUF 빌드는 제공된 것이 아니라 약속된 것입니다. 배포 대상이 llama.cpp 또는 LM Studio라면, 그 단 하나의 누락된 파일이 나타날 때까지 결정의 전부입니다.
신뢰하기보다 직접 확인해 볼 만한 두 가지가 더 있습니다. 첫째, 32K 창입니다. 창을 가득 채운 뒤 문서의 끝부분이 슬라이딩 윈도 계층을 거쳐도 살아남는지 확인하세요. 둘째, 도구 호출 경로입니다. Aion의 형식은 스키마와 호출을 사용자 지정 태그로 감싸며, 잘못된 호출에서 얼마나 원활하게 복구하는지는 카드가 알려 줄 수 있는 것이 아닙니다.

OpenBMB의 카드는 둘 중 유일하게 장문맥 및 에이전트 결과를 아예 공개합니다 — AA-LCR 59.0, NoLiMa 68.1, SWE-bench Verified 46.4 — 131,072토큰 창과 표준 Llama 아키텍처를 갖추고 있습니다.
두 가지 솔직한 사용 사례
작업에 도구, 코드, 긴 문서 또는 중국어가 포함된다면 MiniCPM5-2B를 선택하세요. 이 모델의 카드는 그러한 작업을 위해 작성되었고, 벤치마크가 이를 다루며, 양자화 버전이 존재하고, 라이선스는 Apache 2.0입니다. 위험은 최첨단이라는 주장이 벤더 자체의 비교 세트에 기반한다는 점이며, 에이전트 루프에서 20억 매개변수 모델은 여전히 실제 토큰을 소모하는 방식으로 실패합니다.
Aion-1.0-Instruct-2.3B는 Windows 애플리케이션에서 8개 언어 중 하나로 로컬 문서를 요약, 재작성 또는 분류하는 작업을 오프라인으로 수행하고 데이터가 기기를 떠나지 않는 경우에 선택하세요. 이 모델은 컨텍스트가 더 작고, 모든 공유 벤치마크에서 더 약하며, 그렇게 명시한 카드로 뒷받침됩니다. 이 모델이 제공하는 것은 문서화된 온디바이스 계약과 2027년 1월까지 운영 체제로 진입할 수 있는 그럴듯한 경로이며, 현재로서는 이를 실행해 본 극소수의 사람들입니다.
이 비교는 한 달 뒤면 다르게 읽힐 것이다. GGUF가 등장하면 런타임 반론은 사라진다. 독립적인 하네스 실행 결과가 나오면 수치는 더 이상 Microsoft만의 것이 아니게 된다. 아직 둘 중 어느 것도 일어나지 않았고, 그렇지 않은 척하는 것은 이 글이 할 수 없는 유일한 일이다.

Microsoft의 카드는 자사의 낮은 점수까지 그대로 표시하고 느슨한 채점 설정을 명시한다 — 벤치마크 주장이 눈에 띄지 않는 곳에서도 사양 주장을 신뢰할 수 있는 이유다.

증거가 보여주는 현재 스코어보드는 다음과 같다: 한쪽은 35개의 공개 벤치마크와 네 가지 런타임 형식, 다른 쪽은 11개의 벤치마크와 safetensors다.
