LFM3-VL-2B so với MiniCPM-V 4.7 1B: Khoảng cách 14 điểm thu hẹp còn 4 khi bạn tắt chế độ suy nghĩ

Sự khác biệt có tác động lớn nhất giữa LFM3-VL-2B và MiniCPM-V 4.7 1B không nằm trong bảng benchmark nào. Nó nằm ở dòng giấy phép. Mô hình của OpenBMB dùng Apache 2.0. Còn của Liquid AI dùng LFM Open License v1.0, kèm theo các điều kiện thương mại thay vì các điều khoản cấp phép thông thường. Ngoài ra, hai mô hình đủ gần nhau về kích thước để có thể thay thế trực tiếp cho nhau — 1,92B so với 1,55B — và chúng ra mắt cách nhau trong vòng ba tuần: MiniCPM-V 4.7 1B được đăng trên Hugging Face ngày 6 tháng 10 và được ghi ngày 12 tháng 10 trong ghi chú phát hành của nhà cung cấp, trong khi LFM3-VL-2B đã có trong một kho lưu trữ công khai từ ngày 19 tháng 10 và được công bố vào ngày 27 tháng 10. Trên bộ 62 benchmark của chính Liquid, mô hình mới đạt trung bình 71,4 so với 57,5, khoảng cách 13,9 điểm thu hẹp xuống còn 4,6 điểm ngay khi bạn tắt chế độ suy luận trên mô hình Liquid.

Hai mô hình trong cùng hạng cân, dưới những quy tắc khác nhau

MiniCPM-V 4.7 1B là mô hình nhỏ hơn trong hai mô hình, ít hơn khoảng 370 triệu tham số. Nó kết hợp một tháp thị giác kiểu SigLIP với xương sống ngôn ngữ dẫn xuất từ Qwen3.5, sử dụng tính năng nén token thị giác 4× hoặc 16× có thể chọn theo từng yêu cầu, và tuyên bố cửa sổ ngữ cảnh 256K trong tài liệu của nhà cung cấp. Mô hình được phát hành dưới các bản dựng BF16, int4, AWQ, GPTQ và GGUF, cùng một mô hình nháp DSpark chuyên dụng cho giải mã suy đoán.

LFM3-VL-2B kết hợp mô hình ngôn ngữ LFM3-1.7B với bộ mã hóa thị giác nội bộ mới 164M và projector 25M, ở ngữ cảnh 128K theo tài liệu, với đầu vào video ở 2 khung hình mỗi giây và chế độ no-thinking theo tài liệu.

• Tham số — 1.92B cho LFM3-VL-2B so với 1.55B cho MiniCPM-V 4.7 1B, theo tài liệu của OpenBMB; huy hiệu kích thước mô hình của Hugging Face làm tròn mô hình sau thành 2B.

• Giấy phép — LFM Open License v1.0 so với Apache 2.0.

• Ngữ cảnh — 128K token so với mức được công bố là 256K, dù các cấu hình suy luận thường đặt giới hạn cao nhất thấp hơn nhiều.

• Đường thị giác — một encoder nội bộ 164M với một token cho mỗi khối patch 2×2 so với một tháp kiểu SigLIP có độ nén 4×/16×.

• Video — 2 khung hình mỗi giây, mô hình thị giác LFM đầu tiên chấp nhận video so với được hỗ trợ, với số liệu LongVideoBench và MotionBench do nhà cung cấp công bố.

• Chế độ suy luận — có sẵn và được đo theo cả hai cách so với có sẵn và được sử dụng trong lần chạy benchmark.

• Trung bình nhà cung cấp trên bộ 62 bài kiểm chuẩn của Liquid — 71.4 khi suy luận, 62.1 khi không suy luận, so với 57.5.

Khoảng cách tổng hợp là 13,9 điểm. Hãy đọc chú thích trước.

Bảng của Liquid là tài liệu duy nhất đánh giá cả hai mô hình trên cùng 62 phép đánh giá với cùng cách chuẩn hóa, và đó là lý do khiến so sánh này có thể được thực hiện. Thẻ của chính OpenBMB không đánh giá đối chiếu với LFM3-VL-2B, mô hình chưa tồn tại khi MiniCPM-V 4.7 1B được phát hành.

Chú thích quan trọng: chế độ suy luận đã được dùng cho mọi mô hình trong bảng, trừ LFM2.5-VL-3B, vốn không hỗ trợ chế độ này, và cấu hình không suy luận của LFM3-VL-2B. Vì vậy 71.4 và 57.5 đều là điểm số có bật suy luận, khiến việc so sánh công bằng hơn so với cặp đối chiếu LFM2.5. Cả hai mô hình đều được đo ở thiết lập tốt nhất, trên cùng các công cụ, bởi cùng một phòng thí nghiệm.

Công bằng không đồng nghĩa với độc lập. Liquid đã tự chọn các benchmark và tự chạy chúng. Bảng này đầy đủ một cách bất thường — nó bao gồm các hàng ở cấp danh mục và từng benchmark, đồng thời nêu tên từng đối thủ — nhưng chưa có bên thứ ba nào tái lập được bất kỳ phần nào trong đó.

Tắt chế độ suy nghĩ và 1B thắng 24 trên 62

LFM3-VL-2B công bố điểm số thứ hai cho cùng bộ trọng số với tính năng lý luận bị tắt. Cột đó mới là cột đáng chú ý, vì nó cho thấy điểm tổng hợp 13,9 điểm thực sự đến từ đâu. Khi không suy luận, LFM3-VL-2B thắng 35 benchmark, MiniCPM-V 4.7 1B thắng 24, và 3 hòa. Khoảng cách trung bình giảm xuống còn 4,6 điểm.

Điều đáng chú ý hơn là những gì 1B giành được trong cấu hình đó. Nó chiếm phần lớn cụm tác vụ toán học và suy luận biểu đồ, thường với cách biệt lớn.

• We-Math (testmini, nghiêm ngặt) — 47,8 cho MiniCPM-V 4.7 1B so với 20,1 cho LFM3-VL-2B khi không suy nghĩ, và 68,6 khi có suy nghĩ.

• LogicVista — 46,1 so với 30,2 ở chế độ không suy nghĩ, 60,4 ở chế độ có suy nghĩ.

• MathVista (mini) — 71,2 so với 68,5 khi không suy luận, 84,2 khi có suy luận.

• ChartQA (test) — 88,8 so với 81,4 không suy luận, 92,7 có suy luận.

• CharXiv (mô tả) — 73,4 so với 65,5 khi không suy nghĩ, 87,5 khi có suy nghĩ.

• DynaMath — 63.8 so với 57.7 khi không suy nghĩ.

• MMMU (val) — 51,0 so với 48,6 khi không suy nghĩ, 55,7 khi suy nghĩ.

Kết quả We-Math là kết quả đáng để dừng lại: lợi thế 27,7 điểm cho mô hình 1B khi cả hai mô hình đều không được phép suy luận — và lợi thế 20,8 điểm cho LFM3-VL-2B ngay khi nó được phép suy luận. We-Math là một benchmark độ chính xác nghiêm ngặt về toán thị giác nhiều bước, và điểm số không thay đổi dần dần giữa hai mô hình. Nó đảo chiều. Đó là minh họa đơn lẻ rõ ràng nhất trong bảng về những gì chế độ suy luận mang lại.

Cách hiểu thực tế: nếu bạn tắt suy luận để giảm độ trễ và khối lượng công việc của bạn liên quan đến các con số trong biểu đồ hoặc sơ đồ, thì lợi thế tổng thể của mô hình lớn hơn không bảo vệ được bạn. Mô hình 1B là công cụ tốt hơn.

Nơi LFM3-VL-2B giành chiến thắng bất kể chế độ nào

Điều ngược lại cũng đúng, và các phạm trù cũng cụ thể y như vậy. Năm trong số đó gần như chỉ một chiều ngay cả trong cột không suy nghĩ.

• Hiểu giao diện GUI — 83.1 ở chế độ suy luận, 81.5 ở chế độ không suy luận, so với 45.3 của MiniCPM-V 4.7 1B. ScreenSpot-Pro đạt 55.5 so với 4.9; ScreenSpot-v2 Desktop đạt 94.6 so với 51.5.

• Định vị trực quan — 77.3 có suy luận, 72.6 không suy luận, so với 51.1. RefCOCO-avg đạt 90.5 so với 86.3.

• Suy luận nhúng — 64,4 ở chế độ suy nghĩ, 57,9 ở chế độ không suy nghĩ, so với 45,3.

• Agentic — 42,5 khi suy luận, 32,9 khi không suy luận, so với 16,9. Đây là hạng mục yếu nhất trong cả bốn mô hình ở bảng, và là khoảng cách tương đối lớn nhất giữa hai chế độ này.

• Đa ngôn ngữ — 84.4 khi suy luận, 76.2 khi không suy luận, so với 77.4. Hạng mục duy nhất mà mô hình Liquid không suy luận thua mô hình 1B.

ScreenSpot-Pro ở mức 55,5 so với 4,9 là khoảng cách lớn nhất giữa hai mô hình ở bất kỳ đâu trong 62 bài đánh giá. Nếu bạn đang xây dựng tự động hóa giao diện người dùng, ở đây không có gì phải cân nhắc cả; nếu bạn đang xây dựng một gia sư toán, thứ hạng sẽ đảo ngược. Mức trung bình 13,9 điểm chỉ là hệ quả của việc lấy trung bình hai nhóm đối tượng có hành vi rất khác nhau.

Hai harness, hai con số cho cùng một benchmark

Đây là phần khiến việc so sánh giữa các nhà cung cấp trở nên đầy cạm bẫy, và nó xứng đáng có một mục riêng vì cả hai nhà cung cấp đều công bố số liệu cho các bài kiểm chuẩn có cùng tên.

OpenBMB báo cáo MathVista 74,3 cho MiniCPM-V 4.7 1B trên trang riêng của mình. Lần chạy lại của Liquid đối với cùng mô hình trên cùng benchmark có tên đó báo cáo 71,2. OpenBMB báo cáo OCRBench 86,1; harness của Liquid báo cáo OCRBench v1 ở mức 82,1. Không phòng thí nghiệm nào nói dối. Họ đang chạy các định dạng prompt khác nhau, quy tắc trích xuất câu trả lời khác nhau hoặc các tập con khác nhau, và chênh lệch 3,1 và 4,0 điểm thu được là phương sai thông thường của harness.

Hệ quả là bạn không thể lấy 74,3 của OpenBMB rồi trừ đi con số MathVista 68,5 no-thinking của Liquid cho LFM3-VL-2B để có được chiến thắng 5,8 điểm. Đó từng là một cách diễn giải có thể bảo vệ được trước ngày 27 tháng 10, khi benchmark chung duy nhất giữa MiniCPM-V 4.7 1B và LFM2.5-VL-3B được đo trên hai harness khác nhau. Điều đó không còn bảo vệ được nữa khi Liquid đã công bố cả hai mô hình trong cùng một bảng. Hãy dùng bảng đó, và coi mọi con số trên trang của nhà cung cấp là thuộc về công cụ đo của riêng nó.

Trận hòa lặng lẽ khép lại một cuộc tranh luận đã có từ lâu

Trong cùng bảng đó có một kết quả mà không ai ở bất kỳ công ty nào trong hai công ty quảng bá. MiniCPM-V 4.7 1B đạt trung bình 57.5 trên 62 benchmark. LFM2.5-VL-3B đạt trung bình 57.6.

Trang sản phẩm của OpenBMB tuyên bố mô hình 1B vượt LFM2.5-VL-3B về OCR, suy luận biểu đồ và hiểu video. Trên bộ kiểm thử của Liquid, tuyên bố đó đúng một nửa và sai một nửa, và kết quả tổng hợp là một thế hòa tuyệt đối:

• Tài liệu, OCR và biểu đồ — 73,0 đối với MiniCPM-V 4.7 1B so với 71,2 đối với LFM2.5-VL-3B. Tuyên bố được hỗ trợ, ở mức sát sao.

• Video — 53.7 so với 41.3. Tuyên bố được xác nhận, một cách dứt khoát.

• Toán — 51.8 so với 40.6. Tuyên bố được hỗ trợ và không được đề cập trong tuyên bố gốc.

• Neo trực quan — 51.1 so với 68.3. Tuyên bố sai hoàn toàn.

• Khả năng hiểu GUI — 45.3 so với 66.0. Tuyên bố này sai rõ rệt.

• Agentic — 16.9 so với 21.1. Tuyên bố không đúng.

Vậy là một mô hình 1,55B Apache 2.0 ngang bằng với một mô hình 3,1B đến từ một phòng thí nghiệm được tài trợ dồi dào trên một bộ 62 benchmark dùng chung, và làm được điều đó bằng cách thắng dứt khoát một số hạng mục và thua dứt khoát những hạng mục khác. Đó là một kết quả thực sự về mật độ năng lực, và cũng là một lời cảnh báo về những gì mà một con số trung bình che giấu. Điều đó đưa phép so sánh trở lại với LFM3-VL-2B: mô hình đánh bại cả hai là mô hình mà chế độ suy luận của nó nâng đỡ những hạng mục yếu nhất của nó, chứ không phải mô hình vốn tốt hơn một cách đồng đều.

Giấy phép, tải xuống và những gì bạn thực sự có thể phát hành

Sự khác biệt về giấy phép sẽ quyết định nhiều đợt triển khai hơn bất kỳ dòng nào ở trên. Apache 2.0 không đòi hỏi phải trao đổi với đội pháp chế. LFM Open License v1.0 mang theo các điều kiện thương mại, và dù nó đủ mở để Liquid phát hành mọi mô hình trong dòng sản phẩm theo giấy phép này, nó vẫn không phải là sự cho phép như nhau.

Mức độ tiếp nhận cũng kể một câu chuyện tương tự. Trên Hugging Face, MiniCPM-V 4.7 1B đã tích lũy khoảng 155.000 lượt tải xuống và chỉ hơn 400 lượt thích kể từ ngày 6 tháng 10. LFM3-VL-2B, tại thời điểm viết bài, đang ở mức vài trăm lượt tải xuống và 16 lượt thích, sau chín ngày được công khai và một ngày được công bố. Số lượt tải xuống là một tín hiệu nhiễu — các pipeline CI và các bản mirror lượng tử hóa làm chúng tăng lên — nhưng khoảng cách ba bậc độ lớn không phải là nhiễu. Nó phản ánh rằng một mô hình đã có một tháng công cụ, hướng dẫn và các bản lượng tử hóa từ cộng đồng hỗ trợ phía sau, còn mô hình kia mới có một ngày.

Công cụ cũng theo cùng một khuôn mẫu. MiniCPM-V 4.7 1B liệt kê Transformers, SGLang, vLLM, llama.cpp, Ollama và OpenVINO, cùng với các ứng dụng gốc cho iOS, Android và HarmonyOS. LFM3-VL-2B có SGLang ngay khi ra mắt, trọng số GGUF đã có sẵn, và hỗ trợ llama.cpp vẫn đang trong quá trình xem xét — không có đầu vào video trong bản triển khai đang chờ, theo chính thẻ mô hình của nó.

Mô hình nào cho công việc nào

• Tự động hóa UI, đọc màn hình, nhận thức robot — LFM3-VL-2B, không chút do dự, và chế độ không suy nghĩ cũng ổn. ScreenSpot-Pro ở mức 55,5 so với 4,9 không phải là khoảng cách mà bạn có thể khắc phục bằng kỹ thuật.

• Suy luận biểu đồ, toán học trực quan, câu hỏi sơ đồ — MiniCPM-V 4.7 1B nếu bạn chạy mà không có suy luận, và là một cuộc thi thực sự nếu bạn không chạy như vậy. Hãy kiểm tra We-Math trên dữ liệu của chính bạn; khoảng cách 27,7 điểm khi không suy luận là kiểu điều sẽ lộ ra ngay lập tức trong sản xuất.

• Video dài — sát nút hơn mức trung bình của hạng mục ngụ ý. LFM3-VL-2B dẫn đầu hạng mục Video với 61.2 so với 53.7, nhưng MiniCPM-V 4.7 1B thực sự thắng Video-MMMU với 50.1 so với 49.6 ngay cả khi đối đầu với cấu hình tư duy.

• Bất cứ thứ gì phải qua khâu pháp lý mà không cần đánh giá — MiniCPM-V 4.7 1B, chỉ riêng Apache 2.0.

• Bất cứ thứ gì hôm nay cần một ngăn xếp suy luận đã chín muồi — MiniCPM-V 4.7 1B, ít nhất là trong vài tuần tới, cho đến khi llama.cpp hợp nhất hỗ trợ LFM3-VL.

Router phù hợp ở đâu khi cả hai mô hình đều không nằm trên đó

Cả hai checkpoint này đều không có trong danh mục của OrcaRouter; cả hai đều là trọng số mà bạn tải xuống, lượng tử hóa và chạy. Cách sử dụng thú vị của một lớp định tuyến ở đây không phải là phục vụ chúng mà là kết hợp xoay quanh chúng. Hợp nhất mô hìnhcho phép một nhóm mô hình cùng trả lời một câu hỏi, và một chuyên gia cục bộ 1.55B về toán học thị giác được ghép với một mô hình được lưu trữ mạnh hơn ở các hạng mục mà nó yếu hơn — grounding, công việc tác tử — là một cấu hình vượt trội hơn cả hai mô hình riêng lẻ. DSL định tuyến là cách bạn diễn đạt nhánh nào xử lý câu hỏi nào mà không cần viết lại ứng dụng mỗi khi có một checkpoint mới.

Tóm tắt trung thực là: con số 13,9 điểm trên tiêu đề là thật, được đo trên bộ kiểm thử của một phòng thí nghiệm, và gây hiểu lầm nếu dùng làm căn cứ quyết định mua hàng. LFM3-VL-2B là mô hình tốt hơn cho màn hình và grounding với một khoảng cách mà không mô hình nào khác trong cùng phân khúc kích thước tiến gần được. MiniCPM-V 4.7 1B là mô hình tốt hơn cho toán học thị giác không cần suy luận, được phát hành theo giấy phép không cần đàm phán, và ngang bằng một mô hình gấp đôi kích thước trên cùng bộ kiểm thử. Câu trả lời đúng phụ thuộc vào việc câu nào trong số đó mô tả khối lượng công việc của bạn — và điểm trung bình của cả hai nhà cung cấp đều không cho bạn biết điều đó.