LFM3-VL-2B vs MiniCPM-V 4.7 1B: Thinking을 끄면 14포인트 격차가 4로 줄어든다

사이의 가장 중대한 차이는LFM3-VL-2B와 MiniCPM-V 4.7 1B 어느 벤치마크 표에도 없습니다. 그것은 라이선스 문구에 있습니다. OpenBMB의 모델은 Apache 2.0입니다. Liquid AI의 모델은 LFM Open License v1.0이며, 단순한 허용적 조건 대신 상업적 조건을 담고 있습니다. 두 모델은 그 외에는 크기가 직접적인 대체품이 될 만큼 충분히 비슷합니다 — 1.92B 대 1.55B — 그리고 서로 3주 이내에 등장했습니다: MiniCPM-V 4.7 1B는 10월 6일 Hugging Face에 공개되었고 벤더의 릴리스 노트에는 10월 12일자로 기재되었으며, LFM3-VL-2B는 10월 19일부터 공개 저장소에 있었고 10월 27일에 발표되었습니다. Liquid 자체의 62개 벤치마크 세트에서 새 모델은 57.5보다 높은 평균 71.4를 기록해 13.9점 차이를 보이지만, Liquid 모델에서 추론을 비활성화하는 순간 그 차이는 4.6점으로 줄어듭니다.

같은 체급의 두 모델, 서로 다른 규칙 아래에서

MiniCPM-V 4.7 1B은 두 모델 중 약 3억 7천만 개 더 적은 파라미터를 가진 더 작은 모델입니다. SigLIP 스타일 비전 타워와 Qwen3.5에서 파생된 언어 백본을 결합하고, 요청별로 선택 가능한 4× 또는 16× 시각 토큰 압축을 사용하며, 공급업체 문서에서 256K 컨텍스트 창을 주장합니다. BF16, int4, AWQ, GPTQ 및 GGUF 빌드로 제공되며, 추측 디코딩을 위한 전용 DSpark 드래프트 모델이 포함됩니다.

LFM3-VL-2B는 LFM3-1.7B 언어 모델에 새로 자체 개발한 164M 비전 인코더와 25M 프로젝터를 결합했으며, 문서상 128K 컨텍스트, 초당 2프레임의 비디오 입력, 문서화된 no-thinking 모드를 제공합니다.

• 매개변수 — OpenBMB 문서 기준 LFM3-VL-2B는 1.92B, MiniCPM-V 4.7 1B는 1.55B이며, Hugging Face의 모델 크기 배지는 후자를 2B로 반올림해 표시합니다.

• 라이선스 — LFM Open License v1.0 vs Apache 2.0.

• 컨텍스트 — 128K 토큰 대 주장된 256K, 다만 추론 구성에서는 보통 상한을 훨씬 낮게 설정합니다.

• 비전 경로 — 2×2 패치 블록당 토큰 1개를 사용하는 164M 규모의 사내 인코더 vs 4×/16× 압축을 사용하는 SigLIP 스타일 타워.

• 비디오 — 초당 2프레임, 비디오 입력을 지원하는 최초의 LFM 비전 모델이며, LongVideoBench 및 MotionBench 수치는 벤더가 공개했습니다.

• 추론 모드 — 사용 가능하며 두 가지 방식으로 측정됨 vs 사용 가능하며 벤치마크 실행에서 사용됨.

• Liquid의 62개 벤치마크 제품군에서의 벤더 평균 — thinking 71.4, no-thinking 62.1, 57.5 대비.

총 격차는 13.9포인트입니다. 먼저 각주를 읽으세요.

Liquid의 표는 두 모델을 동일한 62개 벤치마크에서 동일한 정규화로 평가하는 유일한 산출물이며, 이 비교가 애초에 가능한 이유다. OpenBMB의 자체 모델 카드는 LFM3-VL-2B와의 벤치마크를 하지 않는데, 이는 MiniCPM-V 4.7 1B가 출시될 당시 LFM3-VL-2B가 존재하지 않았기 때문이다.

중요한 각주: 표의 모든 모델에는 추론 모드가 사용되었습니다. 단, 이를 지원하지 않는 LFM2.5-VL-3B와 LFM3-VL-2B의 no-thinking 구성은 예외입니다. 따라서 71.4와 57.5는 모두 추론이 활성화된 점수이며, 이는 LFM2.5 비교보다 더 공정한 비교를 가능하게 합니다. 두 모델 모두 동일한 연구실에서 동일한 측정 도구로 최적 설정에서 측정되고 있습니다.

공정한 것과 독립적인 것은 다릅니다. Liquid가 벤치마크를 직접 선택해 실행했습니다. 이 표는 이례적으로 완벽한데 — 카테고리 수준과 벤치마크별 행을 모두 포함하고 모든 경쟁사 이름을 밝히고 있지만 — 제3자가 이를 재현한 사례는 아직 없습니다.

thinking을 끄면 1B가 62회 중 24회 승리합니다

LFM3-VL-2B는 동일한 가중치에 대해 추론을 비활성화한 두 번째 점수를 공개합니다. 그 열이 흥미로운데, 13.9점이라는 총합이 실제로 어디서 나오는지를 보여주기 때문입니다. 추론 없이 LFM3-VL-2B는 35개 벤치마크에서 이기고, MiniCPM-V 4.7 1B는 24개에서 이기며, 3개는 동점입니다. 평균 격차는 4.6점으로 떨어집니다.

더 눈에 띄는 것은 그 구성에서 1B가 이기는 항목들이다. 1B는 수학 및 차트 추론 클러스터의 대부분을 차지하며, 종종 큰 격차로 앞선다.

• We-Math (testmini, strict) — thinking 없이 MiniCPM-V 4.7 1B는 47.8, LFM3-VL-2B는 20.1이며, thinking 사용 시에는 68.6입니다.

• LogicVista — 사고 없을 때 46.1 vs 30.2, 사고할 때 60.4.

• MathVista (mini) — 사고 없이 71.2 vs 68.5, 사고 시 84.2.

• ChartQA (테스트) — 사고 없이 88.8 vs 81.4, 사고 시 92.7.

• CharXiv(설명형) — 사고 없이 73.4 대 65.5, 사고 사용 시 87.5.

• DynaMath — 63.8 vs 57.7, 사고 과정 없이.

• MMMU (val) — 사고 없음 51.0 vs 48.6, 사고 있음 55.7.

We-Math 결과는 잠시 멈춰 볼 만한 부분입니다. 두 모델 모두 추론이 허용되지 않았을 때 1B가 27.7점 우위를 보였고, 추론이 허용되는 순간 LFM3-VL-2B가 20.8점 우위를 보였습니다. We-Math는 다단계 시각 수학에 대한 엄격한 정확도 벤치마크이며, 두 모델 간 점수는 점진적으로 움직이지 않습니다. 뒤집힙니다. 이는 추론 모드가 무엇을 얻어 주는지를 표에서 가장 명확하게 보여주는 단일 사례입니다.

실용적인 해석: 지연 시간 때문에 추론을 비활성화했고 작업에 차트나 다이어그램의 숫자가 포함된다면, 더 큰 모델의 집계적 우위가 여러분을 보호해 주지 않습니다. 1B가 더 나은 도구입니다.

모드에 관계없이 LFM3-VL-2B가 우세한 부분

반대의 경우도 마찬가지이며, 범주들 역시 그에 못지않게 구체적이다. 그중 다섯 개는 '생각하지 않음' 열에서조차 거의 한쪽으로 치우쳐 있다.

• GUI 이해 — 사고 시 83.1, 비사고 시 81.5로 MiniCPM-V 4.7 1B의 45.3보다 우수합니다. ScreenSpot-Pro는 55.5 대 4.9, ScreenSpot-v2 Desktop은 94.6 대 51.5입니다.

• 시각적 그라운딩 — 사고 77.3, 비사고 72.6, 51.1 대비. RefCOCO 평균은 90.5로 86.3 대비.

• 체화된 추론 — 사고 시 64.4, 비사고 시 57.9, 45.3 대비.

• 에이전틱 — 42.5 thinking, 32.9 no-thinking, vs 16.9. 표에 있는 네 모델 모두에서 가장 약한 범주이며, 이 둘 사이의 상대적 격차가 가장 큽니다.

• 다국어 — 84.4 사고, 76.2 비사고, 77.4 대비. 비사고 Liquid 모델이 1B에 뒤지는 유일한 카테고리입니다.

ScreenSpot-Pro의 55.5 대 4.9는 62개 벤치마크 전체에서 두 모델 사이의 단일 최대 격차입니다. UI 자동화를 구축하고 있다면 여기서 고민할 결정은 없습니다. 수학 튜터를 구축하고 있다면 순위는 뒤집힙니다. 13.9점 평균은 매우 다르게 동작하는 두 모집단을 평균한 데서 생긴 인공물입니다.

같은 벤치마크에 대해 두 개의 하네스, 두 개의 숫자

이 부분이 바로 공급업체 간 비교를 위험천만하게 만드는 요소이며, 두 공급업체 모두 같은 이름의 벤치마크 수치를 공개하기 때문에 별도의 섹션을 둘 만한 가치가 있습니다.

OpenBMB는 자체 페이지에서 MiniCPM-V 4.7 1B의 MathVista 점수를 74.3으로 보고합니다. Liquid가 동일한 모델을 같은 이름의 벤치마크에서 다시 실행한 결과는 71.2입니다. OpenBMB는 OCRBench 86.1을 보고하고, Liquid의 하네스는 OCRBench v1을 82.1로 보고합니다. 어느 연구소도 거짓말하는 것이 아닙니다. 두 곳은 서로 다른 프롬프트 형식, 서로 다른 답변 추출 규칙 또는 서로 다른 하위 집합을 사용하고 있으며, 그로 인해 발생한 3.1점 및 4.0점 차이는 일반적인 하네스 편차입니다.

그 결과, OpenBMB의 74.3에서 LFM3-VL-2B에 대한 Liquid의 no-thinking MathVista 수치 68.5를 빼서 5.8점 차 승리를 도출할 수는 없습니다. 그것은 10월 27일 이전에는 정당화할 수 있는 해석이었습니다. 당시 MiniCPM-V 4.7 1B와 LFM2.5-VL-3B 사이의 유일한 공통 벤치마크는 서로 다른 두 하네스에서 측정되었기 때문입니다. 하지만 Liquid가 두 모델을 하나의 표에 공개한 지금, 그 해석은 정당화될 수 없습니다. 표를 사용하고, 모든 벤더 페이지 수치는 각자의 측정 도구에 속한 것으로 취급하십시오.

오래된 논쟁을 조용히 매듭짓는 무승부

같은 표 안에는 두 회사 어디에서도 홍보하지 않은 결과가 있습니다. MiniCPM-V 4.7 1B는 62개 벤치마크에서 평균 57.5입니다. LFM2.5-VL-3B는 평균 57.6입니다.

OpenBMB의 제품 페이지는 1B 모델이 OCR, 차트 추론, 비디오 이해에서 LFM2.5-VL-3B를 능가한다고 주장합니다. Liquid의 테스트 스위트에서는 그 주장이 절반은 맞고 절반은 틀리며, 종합 결과는 완전한 동점입니다:

• 문서, OCR 및 차트 — MiniCPM-V 4.7 1B의 73.0 대 LFM2.5-VL-3B의 71.2. 주장은 근소하게 뒷받침됨.

• 비디오 — 53.7 대 41.3. 주장이 결정적으로 뒷받침됩니다.

• 수학 — 51.8 대 40.6. 주장이 뒷받침되며, 원래 주장에는 언급되지 않았습니다.

• 시각적 근거 — 51.1 대 68.3. 주장이 크게 빗나갑니다.

• GUI 이해 — 45.3 vs 66.0. 주장은 크게 빗나갑니다.

• Agentic — 16.9 대 21.1. 주장이 성립하지 않습니다.

그래서 Apache 2.0 라이선스의 1.55B 모델이 자금력이 탄탄한 연구소의 3.1B 모델과 공유된 62개 벤치마크 모음에서 대등한 성적을 내고, 어떤 범주에서는 확실히 이기고 다른 범주에서는 확실히 지는 방식으로 그렇게 한다. 이는 역량 밀도에 관한 실제 결과인 동시에 평균이 무엇을 가리는지에 대한 경고이기도 하다. 그 점이 비교를 다시 LFM3-VL-2B로 돌아오게 한다. 둘 모두를 앞서는 모델은 전반적으로 더 나은 모델이 아니라, 추론 모드가 자신의 가장 약한 범주들을 끌어올리는 모델이다.

라이선스, 다운로드, 그리고 실제로 배포할 수 있는 것

라이선스 차이는 위의 어느 항목보다도 더 많은 도입을 좌우할 것입니다. Apache 2.0은 법무팀과 상의할 필요가 없습니다. LFM Open License v1.0에는 상업적 조건이 따르며, Liquid가 이 패밀리의 모든 모델을 이 라이선스로 배포할 만큼 충분히 개방적이기는 하지만, 그것은 동일한 허용을 뜻하지는 않습니다.

채택도 비슷한 이야기를 들려준다. Hugging Face에서 MiniCPM-V 4.7 1B는 10월 6일 이후 약 15만 5천 건의 다운로드와 400개가 조금 넘는 좋아요를 누적했다. 이 글을 쓰는 시점에 LFM3-VL-2B는 다운로드 수백 건과 좋아요 16개에 머물러 있으며, 공개된 지 9일, 발표된 지 1일째다. 다운로드 수는 잡음이 많은 신호다 — CI 파이프라인과 양자화 미러가 수치를 부풀린다 — 하지만 1000배 차이는 잡음이 아니다. 이는 한 모델 뒤에는 한 달치 도구, 튜토리얼, 커뮤니티 양자화가 있고 다른 모델 뒤에는 하루치가 있다는 점을 반영한다.

툴링도 같은 패턴을 따릅니다. MiniCPM-V 4.7 1B는 Transformers, SGLang, vLLM, llama.cpp, Ollama, OpenVINO와 네이티브 iOS, Android, HarmonyOS 애플리케이션을 나열합니다. LFM3-VL-2B는 출시 시점에 SGLang을 지원하고, GGUF 가중치를 사용할 수 있으며, llama.cpp 지원은 아직 검토 중입니다 — 자체 카드에 따르면 대기 중인 구현에는 비디오 입력이 없습니다.

어떤 모델이 어떤 작업에 적합할까요?

• UI 자동화, 화면 읽기, 로봇 인식 — LFM3-VL-2B를 주저 없이 선택하세요. no-thinking 모드도 충분합니다. 4.9에 맞선 ScreenSpot-Pro 55.5는 설계로 메울 수 있는 격차가 아닙니다.

• 차트 추론, 시각적 수학, 도표 문제 — 추론 없이 실행 중이라면 MiniCPM-V 4.7 1B, 아니라면 진짜 경쟁입니다. 자체 데이터로 We-Math를 확인해 보세요. 27.7포인트의 노싱킹 격차는 프로덕션에서 즉시 드러나는 유형입니다.

• 긴 영상 — 카테고리 평균이 시사하는 것보다 차이가 작습니다. LFM3-VL-2B가 Video 카테고리에서 61.2 대 53.7로 앞서지만, MiniCPM-V 4.7 1B는 thinking 구성과 비교해서도 Video-MMMU에서 50.1 대 49.6으로 실제로 이깁니다.

• 검토 없이 법무 승인을 통과해야 하는 모든 것 — MiniCPM-V 4.7 1B, Apache 2.0만으로.

• 오늘날 성숙한 추론 스택이 필요한 모든 것 — 최소한 앞으로 몇 주 동안, llama.cpp가 LFM3-VL 지원을 병합할 때까지는 MiniCPM-V 4.7 1B.

두 모델 중 어느 것도 해당되지 않을 때 라우터가 어디에 들어가는지

이 체크포인트들은 둘 다 OrcaRouter의 카탈로그에 없습니다. 둘 다 직접 다운로드하고 양자화해 실행하는 가중치입니다. 여기서 라우팅 계층의 흥미로운 활용은 이들을 서빙하는 것이 아니라 이들을 중심으로 구성하는 것입니다. 모델 퓨전은 모델 패널이 같은 질문에 함께 답하게 하며, 시각 수학 분야의 로컬 1.55B 전문가를, 그 모델이 약한 범주—그라운딩, 에이전트 작업—에서 더 강한 호스팅 모델과 짝지으면 어느 한 모델 단독보다 나은 구성이 됩니다. 라우팅 DSL은 체크포인트가 출시될 때마다 애플리케이션을 다시 작성하지 않고도 어느 쪽이 어느 질문을 처리하는지 표현하는 방법입니다.

솔직히 요약하면, 13.9점이라는 헤드라인은 실제이며 한 연구실의 하네스에서 측정된 것이지만, 구매 결정 기준으로는 오해를 부릅니다. LFM3-VL-2B는 화면과 그라운딩에 더 나은 모델이며, 동급 크기에서 다른 어떤 모델도 근접하지 못하는 격차로 앞섭니다. MiniCPM-V 4.7 1B는 추론이 필요 없는 시각 수학에 더 나은 모델이고, 협상이 필요 없는 라이선스로 제공되며, 같은 스위트에서 두 배 크기 모델과 대등합니다. 정답은 그 문장들 중 어느 것이 당신의 워크로드를 설명하는지에 달려 있으며, 어느 벤더의 평균도 그 사실을 알려주지 않습니다.