LFM3-Omni-2B vs MiniCPM-V 4.7 1B: Khi mô hình nhỏ hơn đọc tốt hơn

Xét trên lý thuyết, đây không phải là một cuộc so tài cân sức. LFM3-Omni-2B có 2,17 tỷ tham số; MiniCPM-V 4.7 1B được quảng bá là một mô hình 1B. Mô hình lớn hơn đáng lẽ phải thắng trên các bộ điểm chuẩn thị giác. Nhưng không phải vậy. MiniCPM đạt 86,1 trên OCRBench so với 80,6, 69,5 trên MMStar so với 55,67, 56,9 trên MMMU so với 42,44 và 74,3 trên MathVista so với 62,5. Mọi bộ điểm chuẩn thị giác mà hai thẻ thông số cùng công bố đều nghiêng về mô hình có cái tên nhỏ hơn, thường với khoảng cách lớn, và MiniCPM còn có cửa sổ ngữ cảnh lớn gấp tám lần.Fusion tốn chi phí cao hơn cho mỗi lần gọi so với việc định tuyến đến một mô hình duy nhất. Nó được tính phí theo giá niêm yết của nhà cung cấp mà không cộng thêm bất kỳ khoản chênh lệch nào.

Ba điều giải thích cho điều đó, và không điều nào là khiếm khuyết ở cả hai mô hình. MiniCPM-V 4.7 1B là một chuyên gia đã dành toàn bộ ngân sách tham số cho việc nhìn. LFM3-Omni-2B là một mô hình tổng quát đã dành ngân sách cho việc nhìn, nghe và nói. Và con số MiniCPM quan trọng nhất — 86.1 trên OCRBench — được đo với thiết lập token thị giác 4×, đánh đổi tính toán để lấy chi tiết theo cách mà giới hạn 2.048 token mỗi ảnh không thể làm được. Hiểu được sự đánh đổi đó chính là toàn bộ quyết định.

Tại sao mô hình nhỏ hơn lại đọc tốt hơn

MiniCPM-V 4.7 1B được xây dựng xoay quanh một ý tưởng duy nhất: nén các token thị giác từ sớm và để người dùng chọn mức độ nén. Mô hình áp dụng nén token 4× hoặc 16× bên trong bộ mã hóa thị giác, trước khi mô hình ngôn ngữ nhìn thấy bất cứ thứ gì. Ở mức 16×, nó rẻ và nhanh, phù hợp để tạo chú thích và mô tả cảnh. Ở mức 4×, nó giữ lại số token nhiều gấp bốn lần, đúng với nhu cầu của OCR tài liệu và đọc biểu đồ dày đặc. Các con số nổi bật của OpenBMB được báo cáo ở thiết lập 4×.

LFM3-Omni-2B đi theo hướng tiếp cận ngược lại. Nó xử lý ảnh ở độ phân giải gốc nhưng giới hạn ngân sách thị giác ở 2.048 token mỗi ảnh, và giới hạn đó được chia sẻ với một bộ mã hóa âm thanh, một nhánh video và một bộ giải mã giọng nói bên trong mạng dense 2,17B. Trần 2.048 token là một lựa chọn hợp lý cho một mô hình phải vừa trên điện thoại cùng với ba phương thức khác. Đó là một giới hạn cứng đối với lượng chi tiết trang có thể đến được mô hình ngôn ngữ, và DocVQA 92.47 cho thấy mô hình khai thác được rất nhiều từ đó — nhưng OCRBench 80.6 nói rằng vậy là chưa đủ để đánh bại một mô hình chuyên biệt có thể dùng gấp 4 lần số token trên cùng một trang.

Có một yếu tố thứ hai, ít được chú ý hơn. Cửa sổ ngữ cảnh của MiniCPM là 262.144 token. Còn của LFM3-Omni-2B là 32.768. Với một ảnh chụp màn hình, cả hai đều không quan trọng. Nhưng với một PDF 40 trang, một video dài hoặc một cuộc hội thoại tài liệu nhiều lượt, sự khác biệt không phải là một dòng trong bảng benchmark — mà là liệu tác vụ đó có thể thực hiện được hay không.

Thông số kỹ thuật, không làm tròn theo kiểu tiếp thị

Có một con số cần được chỉnh lại trước khi so sánh. MiniCPM-V 4.7 1B được gọi là mô hình 1B, và số tham số dense của nó vào khoảng 1,3 đến 1,55 tỷ tùy vào cách bạn tính tháp thị giác. Thanh bên của Hugging Face làm tròn thành “2B params”, và đó là cách một mô hình 1B lại trông giống mô hình 2B trong một danh mục. Kích thước tệp mới là chỉ dẫn đáng tin: khoảng 3,1 GB ở BF16, so với 4,3 GB của LFM3-Omni-2B.

• Tham số — 2,17B dense cho LFM3-Omni-2B so với khoảng 1,3B đến 1,55B dense cho MiniCPM-V 4.7 1B.

• Đầu vào — văn bản, hình ảnh, video có âm thanh, âm thanh 16 kHz so với văn bản, hình ảnh, nhiều hình ảnh và video.

• Đầu ra — văn bản và giọng nói 24 kHz so với chỉ văn bản.

• Ngữ cảnh — 32,768 token so với 262,144 token.

• Token hình ảnh — giới hạn ở 2,048 mỗi hình ảnh so với khả năng nén 4× hoặc 16× có thể chuyển đổi bên trong bộ mã hóa.

• Giấy phép — LFM Open License v1.0 so với Apache-2.0.

• Phát hành — 27 tháng 10, 2026 so với 12 tháng 10, 2026.

• Mức chiếm dụng bộ nhớ — khoảng 4.3 GB BF16 so với khoảng 3.1 GB BF16, cần khoảng 5 GB VRAM để phục vụ.

Mỗi hàng mà hai thẻ dùng chung

Việc so sánh này rõ ràng một cách bất thường đối với một bảng so sánh giữa các phòng thí nghiệm, vì cả hai nhà cung cấp đều báo cáo cùng bốn bộ dữ liệu thị giác và cả hai đều là các mô hình không suy luận được đánh giá ở chế độ instruct. Đây vẫn là hai đánh giá do nhà cung cấp thực hiện, và cả hai đều chưa được tái tạo độc lập.

• OCRBench — 80,6 đối với LFM3-Omni-2B (806 trên 1.000) so với 86,1 của MiniCPM-V 4.7 1B. Chênh lệch 5,5 điểm về nhận dạng văn bản tài liệu.

• MMStar — 55,67 so với 69,5. Chênh lệch 13,8 điểm, lớn nhất trong bộ.

• MMMU validation — 42,44 so với 56,9. Khoảng cách 14,5 điểm về suy luận đa phương thức trình độ đại học.

• MathVista mini — 62,50 so với 74,3. Khoảng cách 11,8 điểm về toán học trực quan.

Bốn hàng, bốn thất bại, khoảng cách từ năm đến mười lăm điểm. Không có hàng nào mà mô hình omni giành chiến thắng, một kết quả gọn gàng hơn so với kết quả mà phép so sánh LFM3 với LFM2.5 tạo ra và cũng khó lảng tránh hơn. Cách diễn giải dễ bảo vệ nhất là một mô hình chuyên biệt 1,4B với ngữ cảnh 256K và ngân sách token gấp 4 lần đơn giản là một trình đọc tốt hơn một mô hình tổng quát 2,17B với ngữ cảnh 32K và giới hạn ảnh 2.048 token. Ở quy mô này, năng lực dồn vào một phương thức đánh bại năng lực bị chia đều cho bốn.

Hai lưu ý cần được nêu cùng lúc, vì cả hai tấm thẻ đều không tự đề cập đến chúng. Con số 86,1 của MiniCPM được đo ở mức nén 4×, và cùng mô hình đó ở thiết lập mặc định 16× sẽ đạt điểm thấp hơn và chạy rẻ hơn — tấm thẻ không công bố con số đó. Và tấm thẻ mô hình của OpenBMB hoàn toàn không có bảng đánh giá chuẩn nào; các con số xuất hiện dưới dạng văn xuôi và hình ảnh biểu đồ trên trang sản phẩm, một hình thức công bố yếu hơn so với một bảng kèm ghi chú phương pháp. Cả hai bộ số đều là tuyên bố của nhà cung cấp. Hướng của khoảng cách đủ nhất quán đến mức nó có lẽ vẫn đứng vững qua kiểm thử độc lập; còn độ lớn chính xác thì có lẽ không.

Bối cảnh là hàng quyết định khối lượng công việc thực tế.

Ngữ cảnh 32K là rộng rãi cho một hình ảnh đơn lẻ và chật chội cho một tài liệu. Ở khoảng 2.048 token thị giác mỗi hình ảnh, LFM3-Omni-2B có thể chứa khoảng một tá hình ảnh đầy đủ trong cửa sổ của nó trước khi lịch sử hội thoại bắt đầu tranh chấp không gian. 262.144 token của MiniCPM-V 4.7 1B không phải là một cải tiến khiêm tốn; đó là một loại khối lượng công việc khác. Các tệp PDF dài, biểu mẫu nhiều trang, tóm tắt video dài hàng giờ và các vòng lặp tác nhân giữ ảnh chụp màn hình trong ngữ cảnh đều khả thi ở 256K và đều bị hạn chế ở 32K.

Đây là khác biệt ít được bàn đến nhất và có hệ quả lớn nhất giữa hai mô hình. Các bảng điểm chuẩn thưởng cho độ chính xác trên một ảnh; còn các pipeline tài liệu trong môi trường sản xuất lại thất bại ở trang thứ mười bốn. Nếu trường hợp sử dụng của bạn liên quan đến nhiều hơn một vài ảnh mỗi cuộc hội thoại, cửa sổ 32K là giới hạn cứng hơn bất kỳ khoảng cách điểm chuẩn nào trong bốn khoảng cách ở trên.

Những gì MiniCPM không thể làm

Nó không thể nghe. Không có đường đầu vào âm thanh, không có đầu ra giọng nói và không xử lý âm thanh của video. Nếu ứng dụng là một người nói chuyện với thiết bị về những gì camera nhìn thấy, thì MiniCPM-V 4.7 1B chỉ là một thành phần trong một pipeline cần thêm ít nhất hai mô hình — một hệ thống ASR và một hệ thống TTS — cùng phần keo nối để chuyển văn bản giữa chúng.

LFM3-Omni-2B thu gọn quy trình đó vào một checkpoint 4,3 GB. Điểm số âm thanh của nó không có gì nổi bật so với các mô hình giọng nói chuyên dụng — ASR tiếng Anh đạt tỷ lệ lỗi từ 6,36, VoiceBench 64,73 — nhưng chúng tồn tại bên trong cùng một lượt lan truyền xuôi với nhánh thị giác, nghĩa là mô hình có thể trả lời một câu hỏi nói về một hình ảnh mà không cần bản ghi lời nào được viết ra. Với một công cụ thực địa rảnh tay hoặc một ki-ốt, đó chính là tính năng. Với một pipeline tài liệu, đó là phần thừa vô ích trong ngân sách tham số.

Kết hợp mô hình của OrcaRouter là cách khác để có được cả hai hành vi: một bảng nơi một chuyên gia tài liệu và một mô hình omni trả lời cùng một prompt, và phản hồi được tổng hợp từ cả hai. Đó là một năng lực của sản phẩm chứ không phải là một tuyên bố về hai checkpoint này — hiện nay cả hai đều không có trong danh mục của chúng tôi — nhưng đó là câu trả lời về mặt kiến trúc cho một sự kết hợp mà ở đó mỗi mô hình rõ ràng giỏi hơn ở một nửa khác nhau của công việc. Kết hợp mô hình tốn kém hơn mỗi lần gọi so với việc định tuyến đến một mô hình, và nó đáng giá đúng vào lúc một câu trả lời sai tốn kém hơn số token.

Quyết định

Nếu công việc là đọc — OCR, hóa đơn, biểu mẫu, biểu đồ, ảnh chụp màn hình, PDF dài, giao diện dày đặc — thì MiniCPM-V 4.7 1B là mô hình tốt hơn trên mọi thước đo đã công bố, nó có ngữ cảnh gấp tám lần, nó dùng Apache-2.0 thay vì giấy phép tùy chỉnh có ngưỡng doanh thu, và nó nhỏ hơn trên đĩa. Đó không phải là một lựa chọn sát nút, và việc nó được gọi là mô hình 1B không nên che khuất điều đó.

Nếu công việc là một cuộc trò chuyện với thiết bị có camera và micrô, LFM3-Omni-2B là mô hình duy nhất trong hai mô hình có thể tham gia. Nó đọc kém hơn, giữ ít ngữ cảnh hơn và được phát hành theo các điều khoản chặt chẽ hơn, và tất cả những điều đó không quan trọng nếu lựa chọn thay thế đòi hỏi ba mô hình và một pipeline.

Có một trường hợp thứ ba đáng gọi tên: một sản phẩm cần cả hai, trong đó luồng tài liệu và luồng giọng nói là những tính năng riêng biệt. Khi đó, kiến trúc đúng không phải một mô hình mà là hai, được định tuyến theo loại yêu cầu — reader cho tài liệu, omni model cho giọng nói — và câu hỏi duy nhất là bạn muốn chạy cả hai hay để một endpoint duy nhất quyết định. Đó là câu hỏi mà loạt so sánh này cứ dẫn tới, và đó là câu hỏi đúng. Các mô hình đủ gần nhau về dấu chân tài nguyên đến mức chạy cả hai là một lựa chọn thực sự; chúng đủ khác xa nhau về năng lực đến mức chỉ chạy một mô hình là một sự thỏa hiệp dù bạn chọn cái nào.

Điều có thể thay đổi phán quyết là một đánh giá độc lập đối với một trong hai mô hình, và cụ thể là một đánh giá kiểm tra MiniCPM ở mức nén mặc định 16× thay vì thiết lập 4× mà các con số tiêu đề của nó sử dụng. Chỉ riêng con số đó có thể thu hẹp phần lớn khoảng cách — hoặc làm nó rộng ra. Cho đến khi có ai đó công bố nó, các bảng của nhà cung cấp là những gì chúng ta có, và chúng đều chỉ về một hướng.