NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: 일반 LlamaForCausalLM에 맞서는 커스텀 런타임

NVIDIA Nemotron Labs Dory 1.0 4B와 MiniCPM5-2B에 대해 알아둘 가장 유용한 점은 두 모델 중 어느 쪽의 벤치마크 표도 아닙니다. 그것은 MiniCPM5-2B의 아키텍처 섹션 첫 줄에 나오는 것입니다. 그 카드에는 아키텍처가 표준 LlamaForCausalLM이라고 단호하게 적혀 있습니다: 42개 레이어, 16개 쿼리 헤드와 2개 KV 헤드를 사용하는 그룹화된 쿼리 어텐션, 사용자 정의 커널 없음, 모델 코드 포크 필요 없음. Dory의 카드는 실질적인 모든 면에서 정반대를 말합니다. 그 아키텍처는 레이어 블록이 가변 횟수로 적용되는 루프형 잠재 순환 네트워크이며, 오늘날 이를 서빙하려면 공개 풀 리퀘스트에서 vLLM을 설치하거나 고정된 커밋에서 llama.cpp를 빌드해야 합니다. 이 모델들 중 하나는 이미 가지고 있는 스택에 그대로 들어갑니다. 다른 하나는 먼저 스택을 바꿔야 합니다. 그 차이는 어느 벤더가 발표한 어떤 점수보다도 더 많은 배포를 좌우할 것입니다.

작은 모델 둘, 완전히 다른 두 가지 승부수

NVIDIA Nemotron Labs Dory 1.0 4B는 NVIDIA의 4B dense looped 모델로, OpenMDW 1.1 라이선스에 따라 BF16, MXFP8, NVFP4 및 Q5_K_M GGUF 형식으로 Hugging Face에 공개되었으며, 모델 카드에는 "GA (10/16/2026)"가 찍혀 있습니다. 텍스트 전용이며 영어 전용이고, 최대 256K 토큰을 지원하며, 약 6조 개의 사전 학습 토큰을 처음 약 4.5T 동안 NVFP4로 네이티브 학습한 뒤 BF16으로 전환한 스택에 투입했고, 이후 300B 토큰에 걸쳐 긴 컨텍스트로 확장되었으며 SFT와 다중 환경 GRPO 강화 학습으로 마무리되었습니다. 그 어떤 발표도 없이 공개되었습니다.

MiniCPM5-2B는 OpenBMB의 2.5B 덴스 모델로, 총 2,516,756,480개 파라미터 중 1,981,982,720개가 비임베딩이며, Apache 2.0 라이선스로 제공되고 131,072토큰 컨텍스트 윈도와 영어 및 중국어 이중 언어 지원을 갖춘다. MiniCPM5 라인에서 1B 다음에 나온 두 번째 모델로, 모델 카드에서 동일한 학습 레시피라고 부르는 방식을 확장하기 위해 만들어졌으며, 온디바이스, 로컬 및 자원 제한적 배포를 명시적으로 겨냥한다. 사후 학습에서는 지도 미세 조정, 강화 학습, 온폴리시 증류를 수행했다. 모델 카드는 자체 벤치마크 세트 전반에서 평균 53.9로 2B급 오픈소스 최고 수준(state of the art)을 달성했다고 주장한다.

둘 다 하나의 가속기에서 실행할 수 있을 만큼 작습니다. 둘 다 오늘 바로 다운로드할 수 있습니다. 그 이후부터는 모든 것이 갈립니다.

대비, 차원별로

• 아키텍처 — Dory 1.0 4B는 슬라이딩 윈도우 어텐션과 전체 어텐션이 교차 배치된, 루프형 잠재 순환 정규화 GPT로, 8개 층의 입력 블록, 20개 층의 순환 블록, 8개 층의 출력 블록으로 구성됩니다. MiniCPM5-2B는 일반적인 밀집형 인과 트랜스포머로, 42개 층, GQA 16개 헤드 대 2개 KV 헤드, 표준 LlamaForCausalLM.

• 서빙 진입 비용 — 이것이 핵심입니다. MiniCPM5-2B는 커스텀 커널도, 포크된 엔진도 필요하지 않습니다. 여러분의 스택이 Llama 형태의 모델을 실행한다면, 이 모델도 실행됩니다. Dory는 병합되지 않은 풀 리퀘스트로 빌드한 vLLM이나 고정된 커밋으로 빌드한 llama.cpp가 필요하며, 루프 수와 KV 캐시 모드에 대한 런타임 오버라이드도 필요합니다.

• 파라미터 — 4B 덴스 대 총 2.516B(1.98B 비임베딩). Dory는 약 60% 더 크고, 그 순환 블록이 반복적으로 적용되므로 네 번의 루프에서 토큰당 실효 연산량은 파라미터 수가 시사하는 수준을 넘어선다.

• 컨텍스트 — Dory는 vLLM에서 검증된 262,144개 위치로 256K 토큰에 도달합니다. MiniCPM5-2B는 131,072를 지원합니다. Dory의 윈도우는 두 배입니다. 그 비용을 지불할지 여부는 아래에서 다루는 KV 캐시 질문입니다.

• 언어 — Dory는 영어 전용이며, 사전 학습 믹스에 43개의 프로그래밍 언어가 포함되어 있습니다. MiniCPM5-2B는 영어와 중국어를 지원하는 이중 언어 모델입니다. 중국어 워크로드의 경우 이 항목만으로 다른 어떤 행을 참조할 필요 없이 비교가 판가름 납니다.

• 라이선스 — Dory는 OpenMDW 1.1, MiniCPM5-2B는 Apache 2.0입니다. 둘 다 상업적 사용을 허용하며, Apache 2.0은 대부분의 법률 검토에서 이미 승인된 라이선스입니다.

• 유연성 계산 — Dory의 깊이는 런타임 매개변수입니다. 지연 시간이 중요할 때는 한 번의 루프, 권장 기본값으로는 두 번, 에이전트 정확도가 더 중요할 때는 네 번이며, 이 모든 것이 단일 체크포인트에서 나옵니다. MiniCPM5-2B는 고정된 깊이를 가지며, 성능 지렛대는 양자화입니다. 이 제품군은 GGUF, MLX, GPTQ, LiteRT 빌드와 추측 디코딩용 DSpark 드래프트 모델을 제공합니다.

• 생태계 — MiniCPM5-2B는 2026년 9월 초부터 공개되어 왔으며, 100만 건이 넘는 다운로드와 다양한 양자화 및 파생 빌드가 퍼져 있습니다. Dory의 네 저장소는 하룻밤 사이에 채워졌고, 이 글을 작성할 당시 그 다운로드 카운터는 0이었습니다.

숫자들, 그리고 왜 그것들을 빼면 안 되는지

두 카드 모두 벤치마크 표를 공개하며, 그 표들은 나란히 비교해 볼 수 있을 만큼 충분히 많은 작업에서 겹칩니다. 단순한 빼기는 특정하고 예측 가능한 방식으로 오해를 불러일으킬 수 있으므로, 이를 신중하게 수행할 가치가 있습니다.

Dory의 세 가지 루프 설정에서의 수치를 MiniCPM5-2B의 단일 보고 수치와 비교해 읽어 보십시오:

• SciCode — 26.3 대비 27.3 / 34.94 / 35.11. 두 루프 이상에서는 Dory가 앞선다.

• SWE-bench Verified — 46.4 대비 50.3 / 59.5 / 61.8.

• Terminal-Bench 2.1 — 8.6 대비 12.5 / 18.1 / 22.2.

• GPQA Diamond — 70.2 대비 69.19 / 72.41 / 72.16. 루프 한 번만 돌려도 Dory는 명목상 뒤처지지만, 세 번 이상 돌리면 앞선다.

• HLE, 텍스트 전용 — 8.25 / 10.89 / 10.43 (8.9 대비)

• IFBench — 74.29 / 77.94 / 79 (66.3 대비).

• AA-LCR — 59.0 대비 63 / 71 / 73.

Dory는 이 중 대부분에서 더 강해 보이며, 때로는 상당한 차이로 그렇습니다. 이제 이 산술을 믿지 말아야 할 이유: 이것들은 서로 다른 두 개의 하네스가 서로 다른 두 개의 프롬프트 세트를 측정한 것이고, 어느 벤더도 상대방의 모델을 실행하지 않았습니다. N​VIDIA는 NeMo Gym과 Nemo Evaluator SDK에서 Dory를 측정했으며, 카드에 공개된 벤치마크별 반복 횟수는 SciCode 여덟 번, AA-LCR 열여섯 번, 여러 벤치마크는 정확히 한 번이었습니다. OpenBMB는 자체 설정에서 MiniCPM5-2B를 측정했고 자사 스위트 전반에서 53.9라는 단일 평균을 보고했습니다. 이 두 설정 사이의 2~3포인트 차이는 잡음이지 판결이 아닙니다. 어느 카드에도 독립적 재현은 없으며, 어떤 제3자도 이 두 모델의 정면 비교를 발표하지 않았습니다.

Dory의 겉보기 우위가 에이전트 작업에서는 실제이고 다른 곳에서는 사라질 것이라고 예상할 구조적 이유가 하나 있다. Dory의 카드는 반복(looping)이 SWE-bench와 Terminal-Bench에서 가장 큰 이득을 주고, 지식 회상에서는 가장 적은 이득을 준다고 보여준다 — AA-Omniscience는 루프 수가 달라져도 거의 변하지 않는다. MiniCPM5-2B 자체의 강점은 다르게 분포한다: τ²-Bench Telecom에서 97.1, GAIA Text-103에서 88.7을 보고하는데, 이는 NVIDIA의 카드가 비교 가능한 형태로 측정하지 않는 에이전트 결과다. 좁은 도메인에서의 도구 사용이 당신의 과제라면, MiniCPM 카드의 수치가 먼저 테스트할 대상이며, 그중 어느 것도 Dory의 시트에는 나타나지 않는다.

또한 두 카드가 무엇을 비교하지 않는지도 주목하세요. MiniCPM5-2B는 자체 평균에서 Qwen3.5-4B(51.1), granite-4.2-3B(42.7), LFM2.5-2.6B(33.2)를 상대로 자신을 벤치마킹합니다. Dory는 Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B, Qwen3.6-35B-A3B를 상대로 자신을 벤치마킹합니다. 두 카드가 모두 숫자를 매긴 유일한 모델은 Qwen3.5-4B인데, 두 카드는 이 모델에 서로 다른 점수를 줍니다 — 이는 Qwen보다 하네스에 관해 더 많은 것을 알려줍니다.

각각을 운영하는 데 당신에게 드는 비용

MiniCPM5-2B의 운영 스토리는 지루한 쪽인데, 여기서 지루함은 칭찬입니다. 표준 아키텍처, 커스텀 커널 없음, 바로 쓸 수 있는 다양한 양자화, 그리고 Apple Silicon용 MLX 빌드, GPU 추론용 GPTQ, 모바일용 LiteRT, 추측 디코딩용 드래프트 모델을 이미 포함하는 패밀리까지 갖췄습니다. 128K 컨텍스트의 2.5B LLaMA 형태 모델은 적당한 메모리에 들어가고 이미 실행 중인 엔진에서 서빙됩니다. OpenBMB는 이 전체 라인을 설계상 온디바이스 및 리소스 제한적이라고 규정하며, 카드 어디에도 새로 도입해야 할 것은 없습니다.

Dory의 운영 이야기는 흥미로운 쪽이며 아직 끝나지 않았습니다. vLLM 지원은 풀 리퀘스트 60149에서 검토 중에 있습니다. 병합되기 전까지는, 카드에서 해당 브랜치로부터 사전 컴파일된 커널 플래그를 설정해 vLLM을 설치한 다음, 순환 루프 횟수와 KV 캐시 모드를 구성하는 오버라이드로 실행하라고 안내합니다. llama.cpp 지원은 풀 리퀘스트 30306에 있으며, 움직이는 head가 아닌 고정된 리비전을 사용하고, Apple Silicon에서 네이티브 ARM64 macOS를 대상으로 하는 빌드 지침을 제공합니다. N​VIDIA가 공개한 Dory 속도 수치는 DGX Spark에서의 양자화 속도 향상뿐입니다 — 입출력 구성에 따라 BF16 대비 MXFP8의 경우 1.69×와 1.84×, NVFP4의 경우 2.17×와 2.44× — 처리량 수치는 아닙니다. 우리가 검증할 수 있는 어디에도 Dory를 위한 호스팅 엔드포인트는 없습니다.

Dory 쪽에서 진정으로 새로운 엔지니어링은 메모리 설계이며, 이는 약정하기 전에 가장 시험해 볼 가치가 있는 주장이다. 표준 순환 루핑은 루프마다 별도의 KV 캐시를 유지하므로, 패스를 추가할 때마다 메모리가 증가한다. Dory는 순환 어텐션 레이어당 단일 캐시를 유지하고 매 패스마다 이를 덮어쓰는 라스트 루프 KV 캐싱 모드를 지원하여, 루프를 몇 번 실행하든 메모리 사용량을 대략 1회 루프 크기로 유지한다. N​VIDIA는 정확도가 출력 길이가 거의 변하지 않은 채 루프별 모드에 가깝게 유지된다고 말한다. 그것이 사실이라면 탄력적 깊이는 실제 역량이다. 정확도가 흔들린다면, 이 기능은 카드가 시사하는 것보다 더 많은 비용을 치르게 한다. N​VIDIA 외부에서는 아무도 확인하지 않았다.

라우터가 제값을 하는 경우 — 그리고 그렇지 않은 경우

MiniCPM5-2B는 OrcaRouter 카탈로그에 없으며, NVIDIA Nemotron Labs Dory 1.0 4B도 마찬가지입니다. Dory는 우리가 확인할 수 있는 어디에도 호스팅된 엔드포인트가 없고, MiniCPM5-2B는 모델 카드가 추론 플랫폼이 아니라 로컬 배포용으로 작성된 온디바이스 모델입니다. 이 점을 솔직히 말하는 것이 어떤 각도를 찾는 것보다 더 중요합니다. 실질적인 결과는 이 비교의 양쪽 모두가 여러분이 소유한 하드웨어에서 실행된다는 것이기 때문입니다.

그때가 바로 호스티드 베이스라인이 실험에서 골치 아픈 부분이 되는 시점이다. 2B나 4B 모델을 평가하는 대부분의 팀은 그것을 진공 속에서 평가하지 않는다 — 그 모델이 훨씬 적은 비용과 훨씬 제한된 성능으로 호스티드 호출을 대체할 수 있는지를 묻고 있으며, 그 질문에 답하려면 같은 태스크 세트에서 호스티드 모델을 실행해야 한다. OrcaRouter 키 하나로 공급자 정가에 0% 마진으로 그 호스티드 모델들에 접근할 수 있고, 별도의 계약도 별도의 SDK도 필요 없으므로 비교를 위해 별도의 조달 절차를 거칠 필요가 없다. 자동 페일오버가 여기서는 다른 이유로 중요하다: 단일 GPU에서의 긴 로컬 평가는 중단되기 마련인데, 같은 엔드포인트 뒤에 페일백 경로가 이미 연결되어 있으면 실행이 계속 유지된다. 라우팅 DSL을 사용하면 로컬 엔드포인트와 호스티드 엔드포인트가 하나의 호출 지점을 공유할 수 있으므로, 하이브리드 배포의 양쪽 절반이 두 개의 코드베이스로 갈라지지 않는다. 이 중 어느 것도 Dory와 MiniCPM5-2B 사이에서 승자를 가려내지는 않는다. 다만 패자를 값싸게 탈락시킬 수 있게 해줄 뿐이다.

평결

최고 수준의 에이전트 점수보다 배포 마찰이 더 중요하다면 MiniCPM5-2B를 선택하세요. 이 모델은 Apache 2.0이고, 크기가 절반이며, 이중 언어를 지원하고, 표준 아키텍처이며, 모바일 런타임을 포함한 양자화 버전들이 폭넓게 갖춰져 있습니다. 팀이 이번 달에 출시해야 하고 대안이 커널 빌드와 씨름하는 것이라면, 2.5B는 운영 실무만으로도 이깁니다 — 그리고 보고된 τ²-Bench 및 GAIA 결과는 소형 모델이 실제로 배포되는 도구 사용 작업에서 이 모델이 크게 뒤처지지 않는다는 것을 시사합니다.

원하는 것이 모델이 아니라 실험이라면 N​VIDIA N​emotron Labs Dory 1.0 4B를 선택하세요. 추론 컴퓨트에 따라 자체 정확도가 확장되는 단일 체크포인트, 그 비용을 감당할 수 있게 하려는 캐싱 설계가 적용된 256K 윈도, 그리고 상업적 배포를 허용하는 라이선스가 그것입니다. 서빙 엔진을 브랜치에서 빌드해야 한다는 점, 공개된 모든 수치가 벤더 자체 하네스에서 벤더가 직접 측정한 것이며 반복 횟수는 각주에 공개되어 있다는 점, 다운로드 카운터가 아직 0이라는 점을 알고 시작하세요. 장점은 N​VIDIA 외부에서 소형 모델에 컴퓨트를 쓰는 진정으로 색다른 방식을 테스트하는 최초의 사람 중 하나가 된다는 것입니다. 대가는 그에 대한 N​VIDIA의 검증 작업을 대신 해주게 된다는 점입니다.

이 비교를 가장 빠르게 바꿀 것은 벤치마크가 아니다. 그것은 vLLM과 llama.cpp가 각자의 Dory 풀 리퀘스트를 병합하는 것이다. Dory가 릴리스된 바이너리에서 로드되는 순간, 현재 MiniCPM5-2B에 유리하게 작용하는 마찰 논거는 대부분 사라지고, 두 모델은 마침내 당신의 빌드 시스템이 강요하는 조건이 아니라 벤치마크 표가 암시하는 조건에서 경쟁하게 된다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.