WeVisOne-VL-4B vs MiniCPM-V 4.7 1B: 시각 토큰이 무엇을 위해 존재하는가에 대한 두 가지 상반된 베팅

MiniCPM-V 4.7 1B는 OCRBench에서 86.1점을 기록합니다. WeVisOne-VL-4B는 TotalText에서 52.0점을 기록합니다. 이 두 숫자를 나란히 놓으면 1B 모델이 텍스트 읽기에서 4B 모델을 34점 차로 앞서는 것처럼 보입니다. 이는 놀라운 결과일 뿐 아니라 범주 오류이기도 합니다. OCRBench는 모델이 이미지 속 문자를 전사할 수 있는지를 측정합니다. Tencent가 보고하는 TotalText는 0.5에서 0.95까지의 IoU 임계값 전반에서 각 텍스트 인스턴스의 위치를 찾는 F1을 측정합니다. 하나는 인식이고, 다른 하나는 기하학입니다. MiniCPM-V 4.7 1B와 WeVisOne-VL-4B는 2026년 10월에 9일 간격으로 출시되었으며, 둘 다 중국 연구소에서 나왔고 둘 다 Apache 2.0이며, 시각 토큰의 용도에 대해 근본적으로 의견이 다릅니다. 하나는 시각 토큰을 압축해 없애고, 다른 하나는 정밀도를 위해 토큰을 사용합니다.

그 불일치가 비교의 전부입니다. 나머지 모든 것 — 매개변수 수, 메모리, 벤치마크 항목 — 은 그것에서 비롯됩니다.

압축 대 정밀도

MiniCPM-V 4.7 1B는 LLaVA-UHD v4의 ViT 내부 조기 압축 방식을 계승하고, 이를 4× 및 16× 시각 토큰 압축 사이의 런타임 전환으로 제공합니다. 요점은 고정된 예산 안에 더 많은 이미지와 더 많은 비디오를 담는 것입니다. 모델 카드는 262,144토큰 컨텍스트, 기본 128개 비디오 프레임, 구성 가능한 슬라이스 수를 갖춘 448×448 타일링 방식을 주장합니다. 일찍 압축하고 시퀀스를 짧게 유지하면 1B 모델이 휴대폰에서 긴 비디오를 볼 수 있습니다.

WeVisOne-VL-4B는 정반대의 절충을 택한다. 평가는 이미지당 최대 1,960개의 시각 토큰으로 실행되며, 픽셀 디코더는 병합 전 ViT 특징에서 동작하여 초기 압축이 버리는 고해상도 세부 정보를 의도적으로 유지한다. 그래서 스트라이드 1에서 전체 해상도 알파 매트를 생성할 수 있고, 비디오 그리드는 전혀 처리할 수 없다. 디코더가 이를 거부하기 때문이다. 정밀도는 토큰을 소모하고, 토큰은 지연 시간을 초래한다.

어느 쪽 선택도 틀리지 않습니다. 그것들은 서로 다른 질문에 대한 답입니다. MiniCPM은 “휴대폰에서 한 번에 얼마나 많이 볼 수 있는가?”라고 묻습니다. WeVisOne은 “어떤 것이 어디에 있는지 얼마나 정확하게 설명할 수 있는가?”라고 묻습니다.

크기 이야기는 1B 대 4B보다 더 이상하다

• 매개변수 — WeVisOne-VL-4B 4.83B dense 대 MiniCPM-V 4.7 1B는 1B로 명명되었지만, 해당 저장소 메타데이터에는 BF16에서 2B로 표기됨

• 가중치 형식 — F32 safetensors는 약 19GB인 반면 BF16은 약 3.1GB이며, Q4_K_M에서는 0.67GB에 0.90–1.11GB 비전 프로젝터가 추가됩니다.

• 컨텍스트 — WeVisOne-VL-4B는 미공개, MiniCPM-V 4.7 1B는 문서상 262,144 토큰

• 비디오 — 픽셀 디코더에서 거부됨 vs 기본 128프레임

• 멀티모달 입력 — 턴당 단일 이미지 vs 이미지 및 비디오

• 양자화 — 공급업체가 제공하는 버전 없음 vs int4, AWQ, GPTQ, GGUF 및 FP8 변형

• 온디바이스 런타임 — 없음 vs iOS, Android, HarmonyOS, 그리고 llama.cpp 및 Ollama

• 라이선스 — Tencent가 작성한 코드의 경우 Apache 2.0 vs Apache 2.0

메모리 행은 비교의 틀을 바꿔 놓는 부분이다. 4비트의 1B 모델은 비전 프로젝터를 빼면 1GB 미만에 들어가지만, F32의 4.83B 모델은 대략 19GB가 필요하다. 이 둘은 같은 자리를 두고 경쟁하는 대상이 아니다. 하나는 애플리케이션 안에 포함해 배포하는 구성 요소이고, 다른 하나는 GPU에서 실행하는 서비스다.

벤치마크 행을 스스로를 속이지 않으면서 읽기

두 업체 모두 표를 공개했고, 두 표는 모두 자기들에게 유리한 항목만 골라 구성한 것입니다. MiniCPM-V 4.7 1B는 OCRBench 86.1, MathVista 74.3, CharXiv Reasoning 48.8, LongVideoBench 53.4, MotionBench 54.55를 보고합니다. WeVisOne-VL-4B는 LVIS F1 mean 55.3, RefCOCOg test 81.8, PixMo-Count test 89.6, TotalText F1 mean 52.0, ReasonSeg val gIoU 71.2, P3M-500-NP MAD 7.3을 보고합니다. 두 목록에 공통으로 등장하는 벤치마크는 하나도 없습니다. 이 문서들로 승자를 계산할 수 있는 방어 가능한 방법은 없으며, 그렇게 하는 어떤 기사든 결과를 만들어내는 것입니다.

공정하게 해석하면 범위는 더 좁아지지만 여전히 유용하다. {{1}}MiniCPM-V 4.7 1B{{/1}}는 자신의 크기에 비해 이미지 추론에서 유난히 강하다 — 휴대폰에 들어가는 모델이 {{3}}MathVista{{/3}}에서 기록한 {{2}}74.3{{/2}}은 저자들이 가장 자랑스러워하는 수치이며, 벤더가 보고한 수치이고 재현되지 않았다. {{4}}WeVisOne-VL-4B{{/4}}는 기하학적 출력을 생성하는 데 유난히 강하다 — 마스크, 매트, 박스, 그리고 객체가 없을 때 {{6}}WeRef-Bench{{/6}}에서 측정된 {{5}}96.4%{{/5}}의 거부율. {{7}}MiniCPM{{/7}}의 모델 카드는 거부 지표를 공개하지 않고, {{8}}WeVisOne{{/8}}의 모델 카드는 추론 벤치마크를 공개하지 않는다. 각 모델은 상대가 목소리를 높이는 바로 그 지점에서 침묵한다.

각각이 할 수 없는 것

WeVisOne-VL-4B는 비디오를 볼 수 없고, 이미지에 대해 여러 턴의 대화를 이어갈 수 없으며, 휴대폰에서 실행할 수 없습니다. 공개된 초당 토큰 수 수치도 없고 양자화 빌드도 없으므로, 이를 배포하는 사람은 GPU를 사용해야 하고 처리량을 직접 벤치마킹해야 합니다. 미세 조정 코드는 여전히 프로젝트 TODO 목록에서 체크되지 않은 항목입니다.

MiniCPM-V 4.7 1B는 마스크나 알파 매트를 반환할 수 없습니다. 이미지에 사람이 있고 대략 어디에 있는지는 알려주지만, 가장자리가 부드러운 컷아웃을 건네주지는 않습니다. 또한 완전히 새로운 모델 패밀리가 지닌 일반적인 위험도 안고 있습니다: 새로운 model_type이 Transformers에 있다는 점, 최소 버전 요구 사항 5.18.0, 그리고 일부 CUDA 및 torchcodec 조합에서 비디오 디코딩이 깨진다는 초기 보고가 있습니다. 262K 컨텍스트는 논문상의 수치이며 — 사후 학습이 이를 완전히 활용한다는 것은 입증되지 않았습니다.

두 번째 호출 비용

실제로 이 두 모델은 서로 대체할 수 있는 것이 아니며, 흥미로운 아키텍처는 둘 다 사용합니다: 이미지를 설명하고 추론하는 작고 저렴한 모델과 기하 구조를 반환하는 인식 모델입니다. 이렇게 하면 한 번의 추론 호출이 두 번으로 늘어나며, 바로 여기서 비용은 더 이상 부차적인 문제가 아니게 됩니다.

그 구조에 대한 OrcaRouter의 기여는 중요한, 그러나 재미없는 부분입니다 — 200개 이상의 모델에 걸친 단일 키, 공급자 정가가 0% 마크업으로 그대로 전달되며 업스트림 엔드포인트가 성능 저하될 때 자동 장애 조치가 제공됩니다. 범용 모델 쪽의 공급업체 가격 인하는 마크업 계층을 업데이트할 필요가 없기 때문에 같은 날 우리 쪽에도 적용됩니다. WeVisOne-VL-4B와 MiniCPM-V 4.7 1B는 현재 해당 카탈로그에 없으므로, 파이프라인의 인식 부분은 여전히 직접 호스팅해야 하는 영역입니다. 피할 수 있는 것은 해당되는 절반에 대한 두 번째 계약과 두 번째 자격 증명 세트입니다.

둘 중 하나를 어떻게 실행할지

WeVisOne-VL-4B는 설치 난도가 더 높은 쪽입니다. 모델 카드에는 Transformers, vLLM, SGLang 및 Docker Model Runner가 문서화되어 있지만, mask_decoder.pt는 필수 구성 요소입니다: 프로젝트의 추론 패키지 없이 체크포인트를 로드하면 바운딩 박스와 텍스트만 나오고 마스크는 나오지 않습니다. 디코딩은 이미지당 최대 1,960개의 시각 토큰에서 그리디 방식으로 수행되며, 공개된 처리량 수치는 없으므로 자체 하드웨어에서 가장 먼저 할 일은 이를 측정하는 것입니다.

MiniCPM-V 4.7 1B는 더 쉬운 쪽입니다. Transformers 5.18.0 이상이 필요하며, 생태계도 함께 갖춰졌습니다 — llama.cpp, Ollama, SGLang, vLLM 빌드와 int4, AWQ, GPTQ, FP8 양자화, 그리고 추측 디코딩용 별도의 213M 파라미터 DSpark 드래프트 모델까지요. 휴대폰, Intel 박스, Rockchip 보드가 목표라면, 이쪽이 길이 잘 닦인 경로입니다.

어떤 베팅을 선택해야 할까

제약이 기기라면 MiniCPM-V 4.7 1B를 선택하세요. WeVisOne-VL-4B는 어느 부분도 휴대폰을 염두에 두고 설계되지 않았으며, MiniCPM 쪽의 양자화, 런타임 지원, 영상 처리는 여러 세대의 온디바이스 모델을 출시해 온 연구소의 산물입니다.

{{1}}제약 조건이 출력이라면{{/1}} — {{2}}마스크, 매트, 밀집 소형 객체 박스 또는 신뢰할 수 있는 "없음" 답변이 필요하다면{{/2}} — {{3}}WeVisOne-VL-4B{{/3}}를 선택하고 GPU 예산을 잡으세요. {{4}}독립적인 평가가 없는 이틀 된 논문{{/4}}을 바탕으로 작업하고 있다는 점, 그리고 매팅 수치가 {{5}}텐센트 자체 수치{{/5}}라는 점을 명심하세요.

둘 다 필요하다면 모델 두 개가 필요합니다. 그것이 정직한 결론이며, 두 공급업체의 자체 벤치마크 표가 모두 뒷받침하는 결론이기도 합니다: 두 공급업체는 서로 다른 것을 최적화했고, 어느 쪽도 상대를 이기려 하지 않았습니다.