LFM3-1.7B-Base vs MiniCPM5 2B: 두 벤더, 두 개의 스코어보드, 하나의 정직한 답

Liquid AI는 LFM3-1.7B-Base 저장소를 2026년 10월 26일 Hugging Face에 만들고 다음 날 LFM3 제품군 발표를 게시했습니다. 그리고 그 발표의 벤치마크 표는 유난히 유용한 일을 합니다. 바로 사후 학습된 LFM3-1.7B를 MiniCPM5-2B와 직접 비교합니다. 이 2.5B 모델은 OpenBMB가 지난 9월 가중치가 공개된 이후 2B급 오픈소스 최고 수준이라고 불러온 모델입니다. Liquid 자체의 27개 테스트 모음에서 LFM3-1.7B는 23개 행을 이기고 MiniCPM5-2B는 4개 행을 이깁니다. 하지만 이 글 제목에 나온 체크포인트는 그 표에 있는 것이 아니며, 어떤 종류의 벤치마크 수치도 담고 있지 않습니다. 그 격차가 바로 이 이야기입니다.

소형 모델 비교에서는 세 가지가 늘 뒤섞이므로, 이를 미리 구분해 두는 것이 좋습니다. Liquid가 측정한 것, OpenBMB가 측정한 것, 그리고 사람들이 실제로 미세 조정하는 기본 체크포인트에 관해 두 벤더 모두 공개하지 않은 것입니다. 이 페이지에 있는 두 이름 사이의 공정한 승부를 설명하는 것은 오직 세 번째 범주뿐입니다.

Liquid가 공개한 표, 그리고 그 표가 설명하는 모델

LFM3-1.7B 모델 카드에는 에이전트, 도구 사용, 에이전틱 코딩, 코딩, 지시 수행, 지식, 긴 문맥 등 일곱 범주에 걸쳐 27개 행이 있으며, 열은 LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B, Qwen3.5 9B로 구성됩니다. Liquid 자체 모델은 그중 네 개를 제외한 모든 항목에서 우승하며, 에이전틱 항목의 격차는 근소하지 않습니다: LiveClaw 45.60 대 30.37, WebArena-Verified 38.42 대 9.11, AutomationBench 41.29 대 4.71, BrowseComp-Plus 37.00 대 16.83. 같은 양상은 도구 사용(BFCL V4 71.39 대 62.65, ToolSandbox 80.36 대 68.16)과 긴 문맥에서도 나타나며, 여기서 RULER 128K는 MiniCPM5-2B의 37.96에 맞서 65.56을 기록합니다.

MiniCPM5-2B의 네 가지 승리는 모두 지식 또는 멀티턴 견고성에서 나온 것이다. τ³-bench는 68.01 대비 69.44, GPQA Diamond는 63.37 대비 65.15, 도구 없이 수행한 Humanity's Last Exam은 7.17 대비 8.20, AA-Omniscience 정확도는 7.07 대비 9.13이다. 이는 점수의 일부가 종종 노이즈인 벤치마크에서의 근소한 우위다. 에이전트 격차는 그렇지 않다.

그 문단의 모든 수치는 벤더가 보고한 것입니다. Liquid는 자체 하네스를 실행했고, 자체 비교 세트를 선택했으며, 카드에 테스트별 방법론을 공개하지 않았습니다. 2026년 10월 28일 기준으로 우리는 Artificial Analysis에서 LFM3 항목을 찾을 수 없었으므로, 그것과 비교해 저울질할 독립적 재현 결과가 없습니다. 23–4 분할은 업계 결과가 아니라 Liquid의 주장으로 취급하십시오.

베이스 체크포인트가 실제로 무엇인지

post-training을 제거하면 24개 레이어를 갖춘 1.73B 텍스트 전용 모델이 남습니다. 13개의 게이트된 짧은 컨볼루션, 256토큰 창을 사용하는 5개의 슬라이딩 윈도 어텐션 레이어, 6개의 글로벌 어텐션 레이어입니다. 256K 컨텍스트 수치는 실제입니다 — 공개된 config의 max_position_embeddings는 262,144로 표시됩니다 — 초기 보도에서 혼동한 256토큰 창이 아닙니다. 어휘는 128,000개 토큰이고, 모델 카드에는 16개 언어가 나열되어 있으며, 라이선스는 LFM Open License v1.0으로, 연간 매출이 1,000만 달러 이상인 법인에는 상업적 허여가 더 이상 적용되지 않습니다.

학습 레시피는 대부분의 베이스 릴리스보다 더 자세히 문서화되어 있습니다. 총 22조 토큰이며, 마지막 3.5조 토큰은 에이전트 트레이스와 도구 호출을 포함한 큐레이션된 미드트레이닝 데이터에 사용되었고, 128K 및 256K 컨텍스트 확장도 포함됩니다. 4비트 정밀도에서 체크포인트는 약 1GB를 차지한다고 설명되는데, 이는 대상이 서버가 아니라 휴대폰이나 노트북일 때 중요한 수치입니다.

이 카드가 제공하지 않는 것은 베이스 모델 자체에 대한 어떤 평가입니다. Liquid가 공개한 점수는 SFT, 혼합 RL, 다중 도메인 온폴리시 증류, 에이전틱 RL을 거친 LFM3-1.7B의 것입니다. 공개 자료만으로는 그 49.37 평균 중 얼마나 많은 부분이 22조 사전 학습 토큰에서 나왔고 얼마나 많은 부분이 포스트트레이닝 스택에서 나왔는지 분리할 방법이 없습니다. 이는 Liquid에만 해당하는 비판은 아닙니다 — 거의 아무도 베이스 모델 평가를 공개하지 않습니다 — 하지만 이 글 제목에 있는 이름에는 그 자체의 스코어보드가 없다는 뜻입니다.

OpenBMB의 카운터 스코어보드

MiniCPM5-2B의 모델 카드는 서로 다른 축에서 다른 주장을 합니다. 이 모델의 능력 레이더는 9개 차원을 점수화하며 평균 53.9를 보고하는데, 이는 Qwen3.5-4B의 51.1, granite-4.2-3B의 42.7, LFM2.5-2.6B의 33.2와 대비됩니다. 그 평가표에서 이 모델은 2B급 최고 수준이며 4B급 모델과도 경쟁력이 있습니다. LFM3-1.7B는 포함하지 않는데, 이는 카드 작성 당시 존재하지 않았기 때문입니다.

두 스코어보드는 서로 빼서 비교할 수 없다. 두 스코어보드는 서로 다른 테스트, 서로 다른 정규화, 서로 다른 비교 세트를 사용한다. 그리고 유일하게 겹치는 벤치마크인 τ³-bench가 바로 Liquid의 표에서 OpenBMB의 모델이 앞서는 지점이다. 53.9를 49.37 옆에 놓고 MiniCPM5-2B가 더 강한 모델이라고 결론 내린다면, 당신은 9개 축의 공급사 평균을 27개 테스트의 공급사 평균과 비교한 것이며 아무것도 배우지 못한 것이다.

하드웨어 관련 사실은 덜 모호하다. MiniCPM5-2B는 총 파라미터가 2,516,756,480개이고 그중 1,981,982,720개가 비임베딩 파라미터이며, 42개 레이어, 16개 쿼리 헤드와 2개 KV 헤드의 그룹화된 쿼리 어텐션, 그리고 출시 구성에서 131,072토큰 컨텍스트를 갖춘 표준 LlamaForCausalLM이다. Apache 2.0이며, 투기적 디코딩용 드래프트 모델과 함께 GGUF, MLX, GPTQ, LiteRT 빌드로 제공되고, OpenBMB는 훈련 코퍼스도 함께 공개했다. 그것은 공장이 함께 붙어 있는 완성품이다.

베이스 대 베이스 비교만이 유일하게 깔끔한 비교다

두 제품군 모두 사전 학습된 체크포인트를 제공하므로 처음으로 동등한 조건에서 비교가 가능해졌다. MiniCPM5-2B-Base는 2026년 8월 27일에 만들어졌고 Apache 2.0 라이선스이며, LFM3-1.7B-Base와 같은 이유로 존재한다. 즉, 다른 무언가로 사후 학습되기 위해서다. 두 베이스 카드 모두 평가 표를 공개하지 않는다. 따라서 결정은 점수가 아니라 사양, 라이선스, 생태계를 기준으로 내려야 한다.

그렇게 틀을 다시 잡는 것이 중요한 이유는, 이 조합에서 가장 흔한 실수가 Liquid 베이스를 내려받아 채팅 모델처럼 프롬프트한 뒤 MiniCPM5-2B보다 worse라고 결론내리는 것이기 때문입니다. 실제로 그럴 것입니다. LFM3-1.7B-Base는 채팅 템플릿과 사고 모드를 갖춘 중간 학습 출력물이지 어시스턴트가 아닙니다. Liquid 자체의 카드에서도 채팅, 도구 호출, 에이전트에는 LFM3-1.7B를 사용하라고 말합니다. OpenBMB의 완성된 체크포인트가 LFM3-1.7B와 비교해야 할 올바른 대상이며, 그 비교는 이미 Liquid의 표에 존재합니다. 베이스 대 베이스 비교는 직접 학습을 수행하려는 사람들을 위한 것입니다.

사양서, 치수별로

• 매개변수 — LFM3-1.7B-Base: 24개 레이어에 걸쳐 1.73B. MiniCPM5-2B: 총 2.52B, 비임베딩 1.98B, 42개 레이어에 걸쳐.

• 컨텍스트 — LFM3-1.7B-Base: 256K 토큰, 입력 및 출력. MiniCPM5-2B: 기본 제공 구성에서 131,072 토큰.

• 아키텍처 — LFM3-1.7B-Base: 게이트가 적용된 짧은 컨볼루션과 슬라이딩 윈도 및 전역 어텐션을 갖춘 트라이-하이브리드 구조이며, trust_remote_code로 로드됩니다. MiniCPM5-2B: 수정되지 않은 툴링에서 실행되는 표준 Llama 디코더입니다.

• 라이선스 — LFM3-1.7B-Base: LFM Open License v1.0, 연매출 1,000만 달러 미만 유지 조건으로 상업적 사용 가능. MiniCPM5-2B: Apache 2.0, 매출 조건 없음.

• 배포된 포맷 — LFM3-1.7B-Base: 베이스 카드에는 BF16 가중치만 제공되며, post-training된 형제 모델은 GGUF, MLX, ONNX, FP8 및 NVFP4 빌드를 갖추고 있습니다. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ 및 LiteRT에 더해 SFT와 mid-training 체크포인트, 그리고 DSpark 드래프트 모델을 제공합니다.

• 메모리 풋프린트 — LFM3-1.7B-Base: Liquid에 따르면 4비트에서 약 1GB. MiniCPM5-2B: 카드에 4비트 풋프린트가 공개되지 않은 2.5B 덴스 모델이며, 1GB가 아니라 일반적인 2.5B급 메모리 비용이 들 것으로 예상됩니다.

• 언어 — LFM3-1.7B-Base: 아랍어, 힌디어, 태국어, 베트남어를 포함해 16개 언어를 명시합니다. MiniCPM5-2B: 영어와 중국어 중심의 카드로, 공개된 데이터가 이를 뒷받침합니다.

• 학습 데이터 — {{1}}LFM3-1.7B-Base{{/1}}: 22T 토큰, 레시피는 설명되었지만 데이터는 공개되지 않음. {{2}}MiniCPM5-2B{{/2}}: UltraData 코퍼스는 가중치와 함께 공개됨.

리포지토리가 배포에 대해 알려주는 것

MiniCPM5-2B는 오늘날 기기에 올리기 더 쉬운 모델입니다. 아키텍처가 표준적이므로 llama.cpp, Ollama, LM Studio 지원은 커널을 기다리는 대신 공개된 GGUF를 사용하는 문제입니다. Apple Silicon에는 MLX 빌드가 있고, Android에는 LiteRT 경로가 있으며, DSpark 드래프트 모델은 제한된 하드웨어에서 디코딩을 더 빠르게 하기 위해 특별히 존재합니다.

LFM3-1.7B-Base는 런타임에 더 많은 것을 요구합니다. 사용자 지정 모델링 코드가 필요하며, 기본 체크포인트는 BF16으로만 공개되어 있습니다. 같은 제품군의 주변 모델은 지원이 더 잘 됩니다. Liquid는 BF16용 vLLM, SGLang, Transformers 지원을, FP8 및 NVFP4용 SGLang을, GGUF용 llama.cpp와 Ollama를, Apple Silicon용 MLX를, 크로스 플랫폼 작업용 ONNX Runtime을 나열합니다. 문제는 이러한 빌드가 기본 체크포인트가 아니라 LFM3-1.7B에 속한다는 점입니다. LFM3 지원을 추가하는 SGLang 풀 리퀘스트 #46858은 작성 시점에 아직 열려 있었으며, 함께 제공되는 쿡북 풀 리퀘스트는 병합되었습니다.

이번 주에 엔드포인트 뒤에 어떤 모델을 둘지가 문제라면, 현재 MiniCPM5-2B도 LFM3-1.7B-Base도 OrcaRouter의 카탈로그에 없다는 점에 유의하세요. 둘 다 현재로서는 다운로드해서 직접 호스팅하는 방식입니다. 바로 그런 상황에서 라우팅 계층은 더 일찍보다는 나중에 진가를 발휘합니다: 200개 이상의 모델을 위한 하나의 OpenAI 호환 키, 제공업체의 정가를 그대로 넘기는 0% 마크업, 그리고 자체 호스팅 박스나 단일 업스트림이 다운될 때 자동 페일오버입니다. 노트북에서 1 GB 모델을 실행하는 데에는 그런 것이 전혀 필요하지 않습니다; 작은 모델이 프로덕션 경로의 한 축이 되어 실패를 잡아줄 무언가가 필요할 때 그것이 필요합니다.

아직 알 수 없는 것은 무엇인가

정직하게 꼽은 목록은 짧고 구체적이다. 우리는 어떤 LFM3 모델에 대해서도 독립적인 벤치마크를 찾을 수 없었으므로, 이 제품군에 관한 모든 성능 주장은 Liquid 자체의 것이다. LFM3-1.7B-Base에 대해 공개된 평가는 없어서, 사후 학습 전 원시 체크포인트가 얼마나 좋은지 누구도 말할 수 없다. 호스팅 API에서 LFM3의 토큰당 가격이 없기 때문에, 대부분의 배포에서 역시 자체 호스팅되는 MiniCPM5-2B와의 비용 비교는 요금표가 아니라 하드웨어와 전력에 관한 계산이 된다. 그리고 256토큰 슬라이딩 윈도가 검색 비중이 큰 장문 맥락 작업에서 모델에 어떤 비용을 초래하는지에 대한 증거는 독립적이든 아니든 아직 없다. Liquid 자체의 RULER 128K 점수 65.56은 Qwen3.5 9B에 대해 보고된 87.11보다 상당히 낮은데, 이는 결론이라기보다 주시할 만한 신호다.

둘 중 하나를 다운로드하기 전에 답해 볼 만한 세 가지 질문

모델을 원하시나요, 아니면 시작점을 원하시나요?

질문에 답하고 도구를 호출하며 월요일 데모에서도 문제없이 작동할 무언가를 원한다면 MiniCPM5-2B는 완성품이고 LFM3-1.7B-Base는 아닙니다. 도메인 코퍼스와 포스트트레이닝 파이프라인, 그리고 기성 모델로는 안 되는 이유가 있다면 베이스 체크포인트가 올바른 구매입니다 — 그리고 SFT, DPO, GRPO 및 continued pre-training을 위한 Liquid의 TRL 노트북은 대부분의 벤더가 제공하는 것보다 더 많은 안내입니다.

귀하의 조직은 언젠가 연간 매출 1,000만 달러를 돌파하게 될까요?

LFM 오픈 라이선스 v1.0은 해당 임계값 미만에서만 상업적 권리를 부여합니다. 그 임계값을 넘으면 해당 저작물은 계약에 따라 전혀 라이선스되지 않으며, Liquid와 별도의 협의가 필요합니다. Apache 2.0에는 그런 절벽이 없습니다. 취미 프로젝트나 초기 스타트업에게는 그 차이가 이론적인 것에 불과하지만, 기존 기업에게는 벤치마크를 실행하기도 전에 후보 목록을 결정짓는 문제입니다.

256K 컨텍스트는 맞춤형 아키텍처를 도입할 가치가 있나요?

{{1}}LFM3-1.7B-Base는 더 적은 파라미터 수로 MiniCPM5-2B의 두 배 컨텍스트를 제공하며, 이는 이를 지지하는 가장 강력한 기술적 근거입니다.{{/1}} {{2}}그 대가는 비표준 모델이라는 점입니다. 원격 코드가 필요하고, 기본 체크포인트에서 사용할 수 있는 기성 빌드의 범위가 더 좁으며, 런타임 통합은 아직 진행 중입니다.{{/2}} {{3}}워크로드가 131K에 맞는다면, 사용하지도 않을 여유분을 위해 그 대가를 치르는 셈입니다.{{/3}}

어느 걸 고를까?

이 두 이름을 비교하는 대부분의 팀에게 답은 MiniCPM5-2B입니다 — 벤치마크 경쟁에서 이기기 때문이 아니라, 양자화된 빌드와 공개된 학습 데이터, 라이선스 상한이 없는 완성된 Apache-2.0 제품이기 때문입니다. 성능 좋은 2.5B 모델을 기기에 올리는 더 낮은 위험의 방법입니다.

LFM3-1.7B-Base는 더 좁은 사용자층에게 더 흥미로운 선택이다. 256K 컨텍스트, 16개 언어, 그리고 단일 GPU에서 계속 학습할 수 있는 비표준 아키텍처를 갖춘 1.73B 체크포인트를 원하면서, LFM 라이선스와 더 얇은 베이스 모델 생태계를 감수할 수 있는 팀들 말이다. Liquid는 그 사용자층에게 진짜 출발점과 유난히 상세한 학습 레시피를 제공했다. 하지만 베이스 체크포인트가 OpenBMB의 완성된 체크포인트보다 낫다고 믿을 이유를 아직 누구에게도 주지 못했으며, 공급업체 자체 표도 그렇다고 주장하려 하지 않는다.

주목해야 할 숫자는 {{1}}23–4{{/1}} 구도가 아니다. 그것은 어떤 {{2}}LFM3{{/2}} 모델에 대한 첫 독립 평가다 — {{3}}Liquid{{/3}}의 점수판이 유일한 점수판이기를 그치는 지점이다.