MiniCPM-V 4.7 vs LFM3-VL-2B: 더 높은 벤치마크 점수는 잘못된 센서다

Liquid AI는 MiniCPM-V 4.7 1B를 자체 비교표에 올려놓고는 그것을 앞섰다. Liquid가 실행한 62개 벤치마크 모음에서 LFM3-VL-2B는 추론을 활성화했을 때 평균 71.4, 비활성화했을 때 62.1을 기록했고, MiniCPM-V 4.7 1B는 평균 57.5를 기록했다. 이는 소형 모델 등급에서 13.9점 차이이며, 대부분의 비교 글이 멈추는 숫자다. 또한 이는 의사결정에서 가장 쓸모없는 숫자이기도 하다. 두 모델은 같은 자리를 두고 경쟁하는 것이 아니기 때문이다. 하나는 그 자체로 완전한 답이 되도록 만든 19억 2천만 파라미터의 dense 모델이다. 다른 하나는 비용이 많이 드는 절반이 350억 파라미터 전문가 혼합인 두 모델 시스템의 저렴한 절반이다.

이 비교에서 중요한 버전은 어떤 MiniCPM-V 4.7을 의미하느냐에 달려 있습니다. 1B는 15억 5천만 파라미터의 dense 모델로, 672MB Q4_K_M 파일에 들어갑니다. 실제로는 641MiB이며, 카드에 적힌 641MB는 여기서 나온 것입니다. 35B-A3B는 저장된 파라미터가 352억 개이고 토큰당 약 30억 개가 활성화되며, Liquid의 표에는 아예 없습니다. LFM3-VL-2B는 그 사이에 위치하며, Liquid 자체 수치로 볼 때 작은 MiniCPM보다 더 나은 범용 비전 모델이고 큰 MiniCPM보다는 훨씬 약한 모델입니다. 아래 내용은 이 사실들 중 무엇이 당신의 아키텍처를 결정해야 하는지에 관한 것입니다.

두 개의 모델인 척하는 세 개의 티어

LFM3-VL-2B는 하나의 결과물입니다. 이는 1.73B 언어 백본, 164M 규모의 자체 개발 비전 인코더, 25M 프로젝터로 구성된 19.2억 개의 파라미터에 128K 토큰 컨텍스트, 초당 2프레임으로 샘플링되는 비디오, 그리고 객체 탐지·OCR·차트·설명을 모두 수행하는 단일 가중치 세트를 갖춘 모델입니다. Liquid는 2026년 10월 27일 LFM3 제품군을 발표했으며, LFM3-VL-2B 저장소는 10월 19일에 공개되었습니다.

MiniCPM-V 4.7은 공유 비전 타워를 사용하는 두 가지 산출물입니다. 1B는 24개 계층, 262,144토큰 컨텍스트, 그리고 모든 전체 어텐션 계층마다 3개의 선형 어텐션 계층을 갖춘 덴스 qwen3_5_text 백본입니다. 35B-A3B는 토큰당 8개 전문가를 라우팅하는 256개 전문가 희소 모델로, 동일한 262,144토큰 컨텍스트를 유지하며, OpenBMB가 전문가를 메모리에 보관하는 대신 스토리지에서 스트리밍할 수 있는 대형 모델을 원했기 때문에 존재합니다. 둘 모두 Apache-2.0입니다. 가중치는 2026년 10월 6일과 7일에 공개되었고, 모델 카드는 10월 12일에 뒤따랐으며, ModelBest는 10월 15일에 영어 보도자료를 발표했습니다.

그러므로 솔직한 구도는 "2B 대 1B"가 아닙니다. 그것은 "모든 것을 해내야 하는 하나의 모델" 대 "각 질문이 얼마만큼의 모델을 받을 자격이 있는지 당신이 선택하는 패밀리"입니다. 파이프라인이 이미지당 질문을 하나씩 던진다면 LFM3-VL-2B 형태가 더 단순하고, 작은 쪽 끝에서는 더 강력합니다. 파이프라인이 값싼 질문 만 개와 비싼 질문 하나를 던진다면 MiniCPM 형태가 구조상 더 저렴합니다.

Liquid 자체 표가 말하는 내용과 그것을 읽는 데 드는 비용

62개 벤치마크 스위트는 Liquid의 것이며, vLLM 0.27.1에서 실행되었고, 0–100 척도로 정규화되었으며, 별도로 표시된 행을 제외한 모든 모델에서 추론 모드가 활성화되어 있습니다. 공급업체가 경쟁사를 벤치마킹하는 것은 일반적이며 읽을 가치가 있지만, 하네스는 공급업체의 것이고, 프롬프트 세트는 공급업체의 것이며, 집계도 공급업체의 것입니다. 해당 행들은 주장으로 취급하십시오.

• MMMU — LFM3-VL-2B는 thinking 사용 시 55.7, 사용하지 않을 시 48.6이며, 동일한 열 집합에서 MiniCPM-V 4.7 1B의 51.0과 비교됩니다. OpenBMB 자체 페이지에는 1B의 MMMU가 보고되지 않으므로, 이 행은 Liquid의 실행에만 존재합니다.

• OCRBench v1 — Liquid의 표에서 LFM3-VL-2B는 86.3으로 MiniCPM-V 4.7 1B의 82.1을 앞섭니다. OpenBMB는 자사 1B 모델에 대해 86.1을 보고하는데, 이는 동일한 이름의 벤치마크에서 4포인트 차이이며 서로 다른 하네스가 수치에 어떤 영향을 미치는지 잘 보여주는 사례입니다.

• MathVista (mini) — LFM3-VL-2B는 사고(thinking) 사용 시 84.2, 미사용 시 68.5이며, 같은 표에서 MiniCPM-V 4.7 1B는 71.2입니다. OpenBMB 페이지에는 해당 모델이 74.3이라고 나와 있습니다.

• CharXiv 추론 — LFM3-VL-2B는 70.2, MiniCPM-V 4.7 1B는 44.5입니다. OpenBMB의 페이지에서는 같은 모델에 대해 48.8을 주장하므로, 격차의 방향조차도 평가 하네스에 따라 달라집니다.

• LongVideoBench — OpenBMB 페이지에서 MiniCPM-V 4.7 1B의 점수는 53.4입니다. Liquid의 표에는 LongVideoBench 행 자체가 없어서 비교할 대상이 없습니다.

패턴은 일관됩니다. 추론을 켜면 2B dense 모델은 다단계 시각 추론과 차트 해석에서 더 뛰어나고, 일반 OCR에서는 대체로 비슷한 수준입니다. 추론을 끄면 격차가 약 4.6포인트로 줄어들며, 이는 이점의 대부분이 파라미터가 아니라 테스트 시점 토큰으로 얻어진다는 점을 보여줍니다. 이는 품질보다 지연 시간에 더 중요하며, 지연 시간은 이 비교가 보통 무시하는 축입니다.

순위를 뒤집는 독립적인 테스트

10월 말, WebBrain은 듀얼 RTX 5060 Ti 카드에서 Q4_K_M GGUF로 완전히 오프라인 실행한 100개 사례 브라우저 스크린샷 벤치마크를 공개했습니다. 이 벤치마크는 고정된 스크린샷 세트, 하나의 프로덕션 프롬프트, 결정론적 루브릭으로 구성되었습니다. MiniCPM-V 4.7 1B는 스크린샷당 1.30초에 100개 중 37개의 엄격 통과와 68.2퍼센트의 평균 루브릭 점수를 기록했습니다. LFM3-VLD-2B — Liquid 모델의 형제 변형으로, 정확한 LFM3-VL-2B 체크포인트는 아님 — 는 2.20초에 4개의 엄격 통과와 44.7퍼센트를 기록했습니다.

이 유의점은 중요하며 양쪽에 다 적용됩니다. 엄격한 번호 제목 정규식에서는 MiniCPM이 섹션 제목을 숫자가 아닌 텍스트 레이블로 작성했기 때문에 통과 0건을 기록했습니다. 37건 통과라는 수치는 동일한 출력을 섹션 이름 기준으로 다시 채점한 결과입니다. 이는 실제 서식 실패이며, 다운스트림 파서가 번호 제목을 기대한다면 실격 사유입니다. 하지만 콘텐츠 점수는 차이가 큽니다. 68.2 대 44.7이고, 지연 시간은 60% 수준이며, 밀집된 브라우저 뷰포트를 읽는 이 작업은 차트 벤치마크보다 프로덕션에 훨씬 가깝습니다.

이것은 두 모델이 이 계층에서 받은 유일한 독립 평가이며, 하나의 GPU 쌍에서 실행되는 하나의 하네스이고, 여기서 테스트한 Liquid 모델은 VLD 변형입니다. 그래도 62개 벤치마크 집계보다 더 많은 정보를 줍니다. 작은 비전 모델로 실제로 하는 일, 즉 화면을 보고 고정된 질문에 빠르게 답하는 일을 측정하기 때문입니다.

라이선스는 조용한 결정자다.

MiniCPM-V 4.7은 매출 조건 없이 Apache-2.0으로 배포됩니다. LFM3-VL-2B는 LFM Open License v1.0으로 배포되며, Liquid는 이 라이선스가 연간 매출 1,000만 달러 미만인 경우 상업적 사용이 무료라고 설명합니다. 그 기준을 넘으면 조건이 달라지므로 약관을 직접 읽어봐야 합니다.

취미 프로젝트라면 그 차이는 이론적인 것이다. 제품이라면 그것은 변호사가 가장 먼저 물어볼 사항이며, 어떤 벤치마크도 뒤집을 수 없는 비교표의 한 행이다. 차트 추론에서 4점 더 우수하고 매출 트리거를 지닌 모델이 자동으로 더 나은 의존 대상이 되는 것은 아니다. 바로 이 지점에서 두 MiniCPM-V 4.7 크기 모두에 적용된 Apache-2.0 선택이 벤치마크 수치보다 더 큰 역할을 한다. 그것은 논의 하나를 없애준다.

케이던스: 두 테이블 중 어느 것도 보고하지 않는 숫자

esp32-eye 고양이 모니터는 MiniCPM 1B가 실제로 어떻게 사용되는지를 보여주는 가장 명확한 공개 사례다. 이 시스템은 MacBook에서 llama-server 뒤에서 Q4_K_M GGUF로 실행되며, 최대 1.5초에 한 번만 호출되고, 배경 차이 검사로 게이트되어 대부분의 프레임은 여기에 도달하지 않는다. 같은 빌드에서는 1B가 비슷한 고양이 네 마리를 구별하는 데 신뢰할 수 없다는 점을 발견하고, 추측을 내놓는 대신 신원 식별을 35B로 옮겼다.

벤치마크 표에는 드러나지 않는 배포 프로필입니다. 1.5초마다 호출하는 모델은 상주할 수 있을 만큼 작고, 다음 프레임 전에 답이 도착할 만큼 빠르며, 출시할 수 있을 만큼 라이선스가 허용적이어야 합니다. 1B는 세 가지를 모두 충족합니다. LFM3-VL-2B는 Q4에서 1.25GB이고 독립 테스트에서 스크린샷당 2.2초가 걸리는데, 이는 이미지당 파이프라인에는 괜찮지만 같은 하드웨어에서 1.5초 게이트에는 너무 느립니다.

로컬 파일 대신 호스팅된 엔드포인트를 원한다면, 현재 OrcaRouter의 카탈로그에는 두 모델 모두 없습니다. 따라서 솔직히 말하면 1B는 사용자가 배치한 곳에서 실행되고 35B는 OpenBMB 자체 API에서 실행됩니다. 라우터가 제공하는 것은 주변 아키텍처입니다: 200개가 넘는 모델에 걸친 하나의 키, 제공업체 정가 대비 0% 마크업, 그리고 자동 장애 조치입니다. 이는 비용이 큰 구간이 단일 외부 엔드포인트일 때 두 모델 파이프라인을 계속 살아 있게 유지하는 방법입니다. 다만 호스팅되지 않은 모델을 호스팅된 모델로 만들어 주지는 않으며, 이 점은 분명히 말할 가치가 있습니다.

어느 걸 고를까?

단일 모델 이미지 파이프라인을 구축 중이고 두 연구소가 각각 공개한 벤치마크에서 가장 강력한 2B급 범용 모델을 원한다면, LFM3-VL-2B가 방어 가능한 선택이며 라이선스 유의사항을 명시해 두어야 합니다. 화면을 반복적으로 들여다보는 에이전트를 구축 중이라면, 독립 브라우저 테스트에서는 MiniCPM 1B가 점수와 지연 시간 모두에서 앞서며, 그 포맷 규율은 모델이 아니라 파서에서 고쳐야 할 부분입니다.

262,144토큰 문서를 읽고, 비디오를 보고, MMMU에서도 경쟁력을 갖춘 모델이 필요하다면 두 소형 모델 중 어느 것도 답이 아니다. 그것은 35B-A3B 등급이며, OpenBMB가 MMMU 80.2, OCRBench 91.2, LongVideoBench 68.9를 보고했지만 모두 벤더 보고 수치이고 독립적으로 재현된 것은 없다. 진짜 결정은 어느 2B가 이기느냐가 아니다. 파이프라인이 쉬운 질문은 저렴하게, 어려운 질문은 드물게 물을 여유가 있는지다. 그럴 수 있다면, 두 모델 설계가 둘 다 잘하려는 어떤 단일 모델보다 저렴하다.

마지막 교정입니다. Liquid가 발표한 13.9점 격차는 Liquid의 평가 스위트에서 실제이고, WebBrain이 발표한 23.5점 격차는 WebBrain의 평가 스위트에서 실제입니다. 두 격차가 반대 방향을 가리키는 것은 서로 다른 작업을 측정하기 때문입니다. 둘 중 하나만 인용하는 사람은 당신에게 결론을 파는 셈입니다. 유용한 질문은 어느 모델이 더 나은가가 아니라, 하루에 몇 번 질문해야 하는지, 그리고 그 답에 얼마까지 지불할 의향이 있는지입니다.