LFM3-1.7B vs MiniCPM5-2B: Liquid의 23대4 스코어보드 테스트

2026년 10월 27일, Liquid AI는 LFM3-1.7B와 MiniCPM5-2B를 맞붙인 27행 벤치마크 표를 공개했다. Liquid의 모델은 그중 23개 행에서 승리한다. MiniCPM5는 4개에서 승리한다. 이 숫자는 빠르게 퍼졌는데, 그것이 문제다. 승리 횟수는 한 업체가 벤치마크를 고르고, 하네스를 작성하고, 두 모델을 모두 실행한 표에서 얻을 수 있는 가장 정보가 적은 항목이기 때문이다. 이 글은 그 23–4가 실제로 무엇을 말해 주는지를 시험하는 글이다. 그리고 그것은 한 가지 고백으로 시작한다. Liquid가 조용히 답하고 있는 비교는 이 블로그에 하루 전에 게시되었으며, 그 글은 바로 이 논지를 펴지 않았다. 그 글은 두 베이스 체크포인트를 비교했고, 둘 다 사용 가능한 평가가 없다고 결론지었다. 여기 양쪽 모두에 포스트트레이닝된 가중치를 적용한 버전이 있다.

MiniCPM5-2B는 OpenBMB의 2.52B dense 추론 모델로, 2026년 9월 초 Apache 2.0 라이선스로 출시되었습니다. LFM3-1.7B는 Liquid AI의 1.73B 텍스트 및 에이전트 모델로, 2026년 10월 27일 LFM Open License v1.0에 따라 공개되었습니다. 두 모델은 같은 체급이며 동일한 온디바이스 자리를 두고 경쟁하고, 눈에 띄게 다른 작업을 위해 만들어졌습니다.

두 공급업체, 두 하네스, 하나의 테이블

23–4라는 수치는 Liquid가 경쟁사를 다시 실행했기 때문에만 존재한다. 그것은 출시에서 하기에 타당하고 이례적으로 엄격한 일이다 — 대부분의 벤더는 공개 리더보드 수치와 비교하고 그 방법론적 틀은 밝히지 않는다. 하지만 자사 하네스에서 경쟁사를 다시 실행하는 것은 중립적인 결과를 만들어내지 않으며, 이를 드러내는 단서는 동일한 벤치마크가 두 벤더의 카드 모두에 나타나는 행들에 있다.

BFCL V4를 보자. Liquid는 MiniCPM5-2B를 62.65로 측정한다. OpenBMB 자체 카드는 66.6을 보고한다. Humanity's Last Exam을 보자. Liquid는 MiniCPM5에 대해 8.20을 얻고, OpenBMB는 8.9라고 주장한다. 이 격차는 작다 — 0–100 척도에서 4점 이내 — 그리고 표준화된 벤치마크에서 하네스 차이가 크지 않음을 시사한다. 이제 SWE-bench Verified를 보자. 여기서 OpenBMB는 MiniCPM5-2B에 46.4를 보고하고 Liquid는 LFM3-1.7B에 43.40을 보고한다. 그 두 숫자를 나란히 놓으면 MiniCPM5가 이긴다. Liquid 자체의 MiniCPM5 행을 Liquid 자체의 LFM3 행 옆에 놓으면 LFM3가 이긴다. 같은 벤치마크, 같은 두 모델, 반대되는 답 — 숫자가 서로 다른 하네스에서 나왔기 때문이다.

이 한 가지 예시가 문제 전체를 보여준다. 어느 벤더도 하네스 구성, 재시도 정책, 프롬프트 스캐폴딩을 공개하지 않았다. 누군가 두 모델을 자신들이 통제하지 않는 하나의 하네스로 실행하기 전까지, 이 비교의 모든 교차 벤더 행은 측정으로 포장된 동전 던지기다.

격차가 하네스 노이즈로 보기에는 너무 큰 경우

일부 행은 설명으로 넘길 수 없습니다. 가장 분명한 것은 에이전틱 웹 내비게이션입니다:

• WebArena-Verified — Liquid의 하네스에서 LFM3-1.7B 38.42 vs MiniCPM5-2B 9.11.

• AutomationBench — 41.29 대 4.71.

• RULER 128K — 65.56 대 37.96.

• BFCL V4 — 71.39 대 62.65.

4점 차이는 보조 구조일 뿐이다. WebArena-Verified에서의 29점 차이나 AutomationBench에서의 37점 차이는 그렇지 않다. 그것은 모델이 다단계 계획을 애초에 하나로 유지할 수 있는지의 차이이며, 각 벤더가 스스로에 대해 말하는 바와 일치한다. Liquid는 도구 호출 추적을 활용한 에이전틱 중간 훈련을 중심으로 LFM3를 구축했고, OpenBMB의 자체 문서는 MiniCPM5가 긴 다단계 작업에 약하고 반복에 취약하다고 지적한다. 같은 약점에 대한 두 개의 독립적인 설명이 서로 반대 방향에서 도착한 것은 이 전체 비교에서 가장 강력한 증거다.

롱컨텍스트 행은 사람들이 오해할 부분이므로 별도로 주목할 가치가 있습니다. MiniCPM5의 RULER 128K 37.96은 128K에서의 검색 점수이지, 모델이 128K에서 한계가 있다는 뜻이 아닙니다 — MiniCPM5-2B는 공식적으로 131,072 토큰을 지원합니다. 이는 해당 길이에서 MiniCPM5가 요청한 내용을 덜 찾아낸다는 의미입니다. LFM3는 같은 길이에서 65.56점을 기록합니다. 워크로드가 "긴 문서를 검색하고 답하기"라면, 이 격차가 결정의 전부입니다.

MiniCPM5가 이기는 네 개의 행 — 그리고 그것이 중요한 이유

Liquid의 표는 MiniCPM5-2B에 네 가지 승리를 안겨준다: τ³-bench는 69.44 대 68.01, GPQA Diamond는 65.15 대 63.37, HLE는 8.20 대 7.17, AA-Omniscience는 9.13 대 7.07이다. 네 가지 중 세 가지는 지식 벤치마크다. 격차는 1~2점으로, 대부분 평가 스위트의 노이즈 플로어 안에 있다.

하지만 그 패턴은 MiniCPM5의 설계와 일치한다. OpenBMB는 이를 명시적 사고 모드를 갖춘 추론 모델로 훈련했는데, 4,000억 토큰에 걸친 심층 사고 SFT를 수행한 뒤 전문가 교사들을 활용한 강화 학습을 거치고, 마지막으로 단일 dense 체크포인트로 온폴리시 증류하는 체인을 사용했다. 이는 매개변수당 저장된 지식에서 더 많은 것을 끌어내리는 데 초점을 둔 레시피다. LFM3의 훈련은 도구 호출과 지시 준수에 초점을 맞춘다. GPQA Diamond에서 MiniCPM5가 1.8점 앞선 것은 놀라운 일이 아니다. 그것은 두 훈련 철학이 예상되는 지점에서 드러난 것이다.

훨씬 더 흥미로운 비교는 Liquid의 표가 할 수 없는 비교다. MiniCPM5-2B의 Artificial Analysis Intelligence Index는 12다. LFM3-1.7B는 2026년 10월 28일 기준으로 Artificial Analysis에 전혀 등재되어 있지 않다 — 지수도, 독립적으로 측정된 속도도, 중립적인 지연 시간 수치도 없다. 그래서 27개 행 중 23개에서 지는 모델이 독립적인 데이터 포인트를 가진 쪽이고, 그 행들에서 이기는 모델은 신뢰를 요구하는 쪽이다. 그 비대칭성은 승수보다 더 무겁게 고려되어야 한다.

실제로 깔끔하게 비교되는 사양

어느 쪽 벤더도 상대방의 벤치마크를 실행하지 않는 경우, 숫자는 지루하고 믿을 만하다:

• 매개변수 — LFM3-1.7B 1.73B dense 대 MiniCPM5-2B 총 2.52B, 비임베딩 1.98B.

• 레이어 — 24개 하이브리드(13개 컨볼루션, 5개 슬라이딩 윈도우, 6개 전역) vs 16개 쿼리 헤드와 2개 KV 헤드의 그룹화된 쿼리 어텐션을 갖춘 42개 표준 트랜스포머 레이어.

• 컨텍스트 — 256K 대 131,072.

• 128K에서의 KV 캐시 — 1.6GB 대 5.6GB, Liquid가 둘 모두를 측정한 기준.

• 4비트에서의 점유 용량 — 실제 사용 보고서 기준 약 1GB 대 약 1.1GB.

• 어휘 — 128K vs 130,560.

• 라이선스 — LFM Open License v1.0은 매출 1,000만 달러 미만일 때 무료인 반면, Apache 2.0은 기준 금액이 없습니다.

KV-캐시 행이 하드웨어를 결정하는 부분이다. 동일한 컨텍스트 길이에서 3.5배 차이는 휴대폰에 들어가는 장문맥 에이전트와 그렇지 않은 에이전트의 차이다. 이는 또한 LFM3가 MiniCPM5의 131K보다 많은 256K를 제공할 수 있는 이유를 설명해 준다. 트라이 하이브리드 레이어 구성은 컨텍스트 토큰당 비용이 더 저렴하며, 그것이 바로 이를 구축하는 핵심 이유다.

라이선스 차이는 일부 팀에게 메모리 차이보다 더 중요합니다. Apache 2.0에는 매출 기준액도, 협상해야 할 상업 계약도, 재배포에 관한 모호성도 없습니다. LFM 오픈 라이선스는 연 매출 1,000만 달러 미만이면 무료이며, 그 이상이면 대화가 필요합니다. 그 기준선 아래의 스타트업은 둘 다 아무 비용 없이 얻습니다. 그 기준을 넘는 회사는 하나는 무료로, 다른 하나는 전화 한 통을 거쳐 얻으며, 어느 모델이 더 높은 점수를 받든 그것은 실제 조달 비용입니다.

생태계 지원은 MiniCPM5가 여전히 앞서는 부분입니다

두 제품군 모두 출시 첫날부터 폭넓은 런타임 지원을 제공했기 때문에 이 격차는 1년 전보다 좁아졌습니다. LFM3는 vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama, LM Studio를 나열하며 BF16, FP8, NVFP4, GGUF, MLX, ONNX 빌드를 지원합니다. MiniCPM5-2B는 동일한 런타임에 GPTQ와 DSpark를 더해 나열하는데, DSpark는 메인 체크포인트와 함께 사용하는 추측 디코딩용 드래프트 모델입니다.

실질적인 차이는 가용성보다는 성숙도에 있습니다. MiniCPM5-2B는 9월 초부터 내려받을 수 있었고, 그동안 7주 동안 커뮤니티의 버그 보고, 양자화 실험, 프레임워크 패치가 쌓였지만 LFM3에는 그런 시간이 없었습니다. 어제 출시된 모델은 GGUF 변환과 Ollama 패키징에서 거친 부분이 있을 수밖에 없습니다. 이는 Liquid에 대한 비판이 아니라, 출시 첫날이 원래 그런 모습이라는 뜻입니다. 이번 주에 바로 프로덕션에 모델을 투입해야 한다면, 다른 사람들이 먼저 문제를 겪어준 7주라는 시간은 분명 가치가 있습니다.

결정하는 방법, 그리고 라우터가 진가를 발휘하는 곳

두 모델 모두 OrcaRouter 카탈로그에 없습니다 — 둘 다 직접 실행하는 오픈 웨이트이며, 우리는 그렇지 않은 것처럼 암시하기보다는 이를 분명히 말하는 편을 택합니다. 라우터는 경계에서 중요합니다. 이 평가를 정직하게 수행하는 방법은 두 모델을 하나의 엔드포인트 뒤에 두고 실제 트래픽을 보내는 것이며, 어느 쪽이든 프로덕션에서 정직하게 운영하는 방법은 2B 모델만이 답할 수 있는 유일한 존재가 되게 하지 않는 것입니다.

그것이 바로 자동 페일오버가 필요한 이유입니다. 요청을 LFM3-1.7B로 라우팅하고, 해당 모델이 학습된 도구 호출이나 추출을 처리하게 하며, 작업이 2B 모델이 감당할 수 있는 것보다 더 많은 단계를 필요로 하는 것으로 드러나면 호스팅 모델로 넘어가게 하십시오. OrcaRouter는 제공업체 정가를 0% 마크업으로 그대로 전달하므로, 비싼 경로는 실제로 사용될 때 제공업체가 청구하는 비용만 발생합니다 — 작은 로컬 모델로 라우팅해 절약한 비용이 라우터에 의해 잠식되지 않습니다. 라우팅 DSL을 사용하면 이를 재작성 대신 규칙으로 표현할 수 있습니다: 전문 모델을 먼저, 실패하거나 신뢰도 임계값에 도달하면 범용 모델을 사용합니다.

모델 융합은 여기서 덜 활용되는 선택지입니다. 두 2B 모델이 분류에 대해 의견이 다를 때, 둘 다 답하게 하고 조정하는 것이 27B 모델로 에스컬레이션하는 것보다 종종 더 저렴하며, 불일치율 자체가 어떤 입력이 어려운지에 대한 유용한 신호입니다. 파이프라인 한쪽에 검증되지 않은 모델이 있다면, 그런 종류의 교차 검증이 벤더 표를 신뢰하는 것보다 더 저렴합니다.

무엇이 그것을 해결할까요?

지금부터 30일 후, 누군가는 LFM3-1.7B와 MiniCPM5-2B를 하나의 하네스를 통해 결과와 함께 구성(configuration)을 커밋한 상태로 공개해야 한다. LFM3가 WebArena-Verified에서 38, RULER 128K에서 65에 가까운 수준을 유지한다면, 23–4라는 수치는 틀린 이유로 대략 맞았던 것이고 에이전틱 격차는 실재한다. 만약 MiniCPM5의 수치 쪽으로 떨어진다면, 그 출시 표는 스캐폴딩을 측정하고 있었던 것이다.

그때까지 방어 가능한 입장은 어느 벤더의 마케팅보다도 좁습니다. 워크로드가 다단계이거나 도구 호출 또는 장문 문서를 다룬다면 LFM3-1.7B가 더 나은 선택이며, 메모리 우위 덕분에 제약된 하드웨어에서도 여유 공간을 두고 들어가는 두 모델 중 유일한 모델입니다. 워크로드가 지식 검색, 단일 턴 추론, 또는 명확한 라이선스와 독립적인 점수가 붙은 모델을 필요로 한다면 MiniCPM5-2B가 더 안전한 선택이며, 그것이 이기는 네 개 항목은 정확히 그 방향을 가리킵니다. 23–4라는 집계는 틀렸다기보다 정당하게 얻은 것이 아니며, 출시 표의 모델 수는 결과와 같은 것이 아닙니다.