LFM3-1.7B so với MiniCPM5-2B: Kiểm thử bảng điểm 23-4 của Liquid

Ngày 27 tháng 10 năm 2026, Liquid AI công bố một bảng điểm chuẩn 27 dòng đối đầu LFM3-1.7B với MiniCPM5-2B. Mô hình của Liquid thắng 23 trong số các dòng đó. MiniCPM5 thắng bốn. Con số thắng nhanh chóng lan truyền, và đó là vấn đề, bởi số trận thắng là thứ ít thông tin nhất bạn có thể rút ra từ một bảng mà một nhà cung cấp tự chọn benchmark, tự viết harness và tự chạy cả hai mô hình. Đây là bài kiểm tra xem con số 23–4 đó thực sự nói lên điều gì — và nó bắt đầu bằng một lời thú nhận: phép so sánh mà Liquid đang lặng lẽ trả lời đã được đăng trên blog này một ngày trước đó, và bài đó đã không đưa ra chính lập luận này. Bài viết đó so sánh hai checkpoint gốc và kết luận rằng cả hai đều không có đánh giá nào dùng được. Đây là phiên bản với trọng số sau huấn luyện ở cả hai phía.

MiniCPM5-2B là mô hình suy luận dense 2,52B của OpenBMB, phát hành vào đầu tháng 9 năm 2026 theo giấy phép Apache 2.0. LFM3-1.7B là mô hình văn bản và tác nhân 1,73B của Liquid AI, phát hành ngày 27 tháng 10 năm 2026 theo LFM Open License v1.0. Chúng cùng phân khúc tham số, cạnh tranh cho cùng một vị trí triển khai trên thiết bị, và được xây dựng cho những công việc khác biệt rõ rệt.

Hai nhà cung cấp, hai bộ khung thử, một bảng

Con số 23–4 chỉ tồn tại vì Liquid đã chạy lại đối thủ của mình. Đó là một việc làm chính đáng và nghiêm ngặt một cách bất thường đối với một buổi ra mắt — hầu hết nhà cung cấp chỉ so sánh với một con số trên bảng xếp hạng công khai và không nêu rõ phần khung đánh giá. Nhưng việc chạy lại một đối thủ trên bộ khung đánh giá của riêng bạn không tạo ra kết quả trung lập, và dấu hiệu lộ ra nằm ở những hàng nơi cùng một bài kiểm chuẩn xuất hiện trên bảng thông số của cả hai nhà cung cấp.

Xét BFCL V4. Liquid đo MiniCPM5-2B đạt 62.65. Thẻ của chính OpenBMB báo cáo 66.6. Xét Humanity's Last Exam: Liquid đạt 8.20 cho MiniCPM5, OpenBMB tuyên bố 8.9. Những khoảng cách đó nhỏ — trong vòng bốn điểm trên thang 0–100 — và chúng cho thấy khác biệt về harness là khiêm tốn trên các benchmark chuẩn hóa. Giờ xét SWE-bench Verified, nơi OpenBMB báo cáo 46.4 cho MiniCPM5-2B và Liquid báo cáo 43.40 cho LFM3-1.7B. Đặt hai con số đó cạnh nhau thì MiniCPM5 thắng. Đặt hàng MiniCPM5 của chính Liquid cạnh hàng LFM3 của chính Liquid thì LFM3 thắng. Cùng benchmark, cùng hai mô hình, câu trả lời trái ngược, vì các con số đến từ những harness khác nhau.

Đây là toàn bộ vấn đề gói gọn trong một ví dụ. Không nhà cung cấp nào công bố cấu hình harness, chính sách thử lại hay khung dựng prompt. Cho đến khi có người chạy cả hai mô hình qua cùng một harness mà họ không kiểm soát, mọi hàng so sánh chéo nhà cung cấp trong bảng so sánh này đều chỉ là một lần tung đồng xu được khoác áo thành phép đo.

Khi khoảng cách quá lớn đến mức không thể là nhiễu từ bộ dây.

Một số hàng không thể bị biện minh cho qua. Điều hướng web bằng tác tử là rõ ràng nhất:

• WebArena-Verified — LFM3-1.7B 38.42 so với MiniCPM5-2B 9.11 trên harness của Liquid.

• AutomationBench — 41,29 so với 4,71.

• RULER 128K — 65,56 so với 37,96.

• BFCL V4 — 71,39 so với 62,65.

Chênh lệch bốn điểm chỉ là giàn giáo. Chênh lệch hai mươi chín điểm trên WebArena-Verified, hay chênh lệch ba mươi bảy điểm trên AutomationBench, thì không phải. Đó là những khác biệt về việc liệu mô hình có thể giữ được một kế hoạch nhiều bước lại với nhau hay không, và chúng khớp với những gì mỗi nhà cung cấp nói về chính mình: Liquid đã xây dựng LFM3 xoay quanh giai đoạn huấn luyện giữa kỳ dạng tác tử với các dấu vết gọi công cụ, còn tài liệu của chính OpenBMB đánh dấu MiniCPM5 là yếu ở các tác vụ nhiều bước dài và dễ lặp lại. Hai mô tả độc lập về cùng một điểm yếu, đến từ hai hướng ngược nhau, là bằng chứng mạnh nhất trong toàn bộ so sánh này.

Hàng ngữ cảnh dài đáng được chú ý riêng vì đây là thứ mọi người sẽ hiểu sai. RULER 128K ở mức 37,96 đối với MiniCPM5 là điểm truy xuất ở 128K, không phải lời khẳng định rằng mô hình bị giới hạn ở 128K — MiniCPM5-2B chính thức hỗ trợ 131.072 token. Điều đó có nghĩa là ở độ dài đó, MiniCPM5 tìm thấy ít hơn những gì bạn yêu cầu nó tìm. LFM3 đạt 65,56 ở cùng độ dài. Nếu khối lượng công việc của bạn là “tìm kiếm một tài liệu dài và trả lời”, thì khoảng cách đó chính là toàn bộ quyết định.

Bốn dòng mà MiniCPM5 giành chiến thắng — và lý do chúng quan trọng

Bảng của Liquid mang về cho MiniCPM5-2B bốn chiến thắng: τ³-bench đạt 69,44 so với 68,01; GPQA Diamond đạt 65,15 so với 63,37; HLE đạt 8,20 so với 7,17; và AA-Omniscience đạt 9,13 so với 7,07. Ba trong bốn bài là benchmark kiến thức. Mức chênh lệch từ một đến hai điểm, nằm trong ngưỡng nhiễu của hầu hết các bộ đánh giá.

Nhưng mô hình này nhất quán với thiết kế của MiniCPM5. OpenBMB đã huấn luyện nó như một mô hình suy luận với chế độ suy nghĩ rõ ràng, trên một chuỗi gồm SFT suy nghĩ sâu trên 400 tỷ token và sau đó là học tăng cường với các giáo viên chuyên gia trước khi chưng cất on-policy thành một checkpoint dense duy nhất. Đó là một công thức nhằm khai thác nhiều hơn từ tri thức đã lưu trữ trên mỗi tham số. Việc huấn luyện của LFM3 nhắm vào gọi công cụ và tuân thủ chỉ dẫn. GPQA Diamond nghiêng về MiniCPM5 với cách biệt 1,8 điểm không phải điều bất ngờ; đó là hai triết lý huấn luyện xuất hiện đúng nơi bạn sẽ kỳ vọng.

Phép so sánh thú vị hơn nhiều là phép so sánh mà bảng của Liquid không thể thực hiện. MiniCPM5-2B có Artificial Analysis Intelligence Index là 12. Tính đến ngày 28 tháng 10 năm 2026, LFM3-1.7B hoàn toàn không có mục nào trên Artificial Analysis — không có chỉ số, không có tốc độ được đo độc lập, không có con số độ trễ trung lập. Vậy nên mô hình thua 23 trong 27 dòng lại là mô hình có một điểm dữ liệu độc lập, còn mô hình thắng những dòng đó lại là mô hình đang yêu cầu được tin tưởng. Sự bất đối xứng đó phải có sức nặng hơn số lần thắng.

Những thông số thực sự so sánh rõ ràng

Khi không nhà cung cấp nào chạy benchmark của bên kia, các con số thật nhàm chán và đáng tin cậy:

• Tham số — LFM3-1.7B 1.73B dense so với MiniCPM5-2B 2.52B tổng, 1.98B không tính embedding.

• Số lớp — 24 lớp hybrid (13 tích chập, 5 cửa sổ trượt, 6 toàn cục) so với 42 lớp transformer tiêu chuẩn với cơ chế chú ý truy vấn nhóm ở 16 đầu truy vấn và 2 đầu KV.

• Ngữ cảnh — 256K so với 131,072.

• KV cache ở 128K — 1,6 GB so với 5,6 GB, theo phép đo của Liquid đối với cả hai.

• Mức chiếm dụng bộ nhớ ở 4-bit — khoảng 1 GB so với khoảng 1,1 GB trong các báo cáo thử nghiệm thực tế.

• Từ vựng — 128K so với 130,560.

• Giấy phép — LFM Open License v1.0, miễn phí khi doanh thu dưới 10 triệu USD, so với Apache 2.0 không có ngưỡng.

Dòng KV-cache là dòng quyết định phần cứng. Mức chênh 3.5× ở cùng độ dài ngữ cảnh chính là khác biệt giữa một agent ngữ cảnh dài vừa vặn trên điện thoại và một agent không vừa. Nó cũng giải thích vì sao LFM3 có thể cung cấp 256K trong khi MiniCPM5 cung cấp 131K: cách phối trộn lớp tri-hybrid rẻ hơn trên mỗi token ngữ cảnh, và đó chính là toàn bộ mục đích của việc xây dựng nó.

Sự khác biệt về giấy phép quan trọng hơn sự khác biệt về bộ nhớ đối với một số đội nhóm. Apache 2.0 không có ngưỡng doanh thu, không có thỏa thuận thương mại phải đàm phán và không có sự mơ hồ về việc phân phối lại. LFM Open License miễn phí khi doanh thu hằng năm dưới 10 triệu USD và cần một cuộc trao đổi khi vượt ngưỡng đó. Một startup dưới ngưỡng này nhận được cả hai miễn phí. Một công ty vượt ngưỡng nhận được một cái miễn phí và một cái sau một cuộc gọi điện, và đó là chi phí mua sắm thực sự bất kể mô hình nào đạt điểm cao hơn.

Hỗ trợ hệ sinh thái là điểm mà MiniCPM5 vẫn dẫn đầu

Cả hai họ mô hình đều đã có hỗ trợ runtime rộng ngay từ ngày đầu, nên khoảng cách này hẹp hơn so với một năm trước. LFM3 liệt kê vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama và LM Studio, với các bản dựng BF16, FP8, NVFP4, GGUF, MLX và ONNX. MiniCPM5-2B liệt kê các runtime tương tự, cộng thêm GPTQ và DSpark, một mô hình nháp giải mã suy đoán đi kèm với checkpoint chính.

Khác biệt thực tế nằm ở độ chín muồi chứ không phải ở tính sẵn có. MiniCPM5-2B đã có thể tải xuống từ đầu tháng Chín, tức là bảy tuần báo lỗi từ cộng đồng, thử nghiệm lượng tử hóa và các bản vá framework mà LFM3 chưa có. Một mô hình ra mắt ngày hôm qua sẽ còn những điểm chưa hoàn thiện trong chuyển đổi GGUF và đóng gói Ollama của nó. Đó không phải là lời chỉ trích Liquid; đó chỉ là diện mạo của ngày đầu tiên. Nếu bạn cần đưa mô hình vào sản xuất trong tuần này, bảy tuần người khác gặp phải vấn đề trước cũng đáng giá đấy.

Cách quyết định và nơi bộ định tuyến thực sự phát huy giá trị

{{1}}Không mô hình nào nằm trong danh mục OrcaRouter — cả hai đều là trọng số mở do bạn tự chạy, và chúng tôi muốn nói thẳng điều đó hơn là ngụ ý khác. Router quan trọng ở ranh giới. Cách trung thực để chạy đánh giá này là đặt cả hai mô hình sau một endpoint và gửi lưu lượng thật tới chúng, và cách trung thực để chạy một trong hai trong môi trường sản xuất là không để một mô hình 2B trở thành thứ duy nhất có thể trả lời.{{/2}}

Đó là điều mà cơ chế chuyển đổi dự phòng tự động dùng để làm. Hãy định tuyến một yêu cầu đến LFM3-1.7B, để nó xử lý lệnh gọi công cụ hoặc tác vụ trích xuất mà nó đã được huấn luyện, và chuyển sang một mô hình được lưu trữ khi hóa ra tác vụ cần nhiều bước hơn mức một mô hình 2B có thể đảm đương. Vì OrcaRouter chuyển tiếp giá niêm yết của nhà cung cấp với mức phụ trội 0%, con đường đắt đỏ chỉ tốn đúng mức nhà cung cấp tính khi nó thực sự được dùng — khoản tiết kiệm nhờ định tuyến đến một mô hình nhỏ cục bộ không bị router ăn mất. DSL định tuyến cho phép bạn diễn đạt điều đó dưới dạng một quy tắc thay vì viết lại: mô hình chuyên biệt trước, mô hình tổng quát khi thất bại hoặc khi vượt ngưỡng độ tin cậy.

Kết hợp mô hình là lựa chọn chưa được tận dụng đúng mức ở đây. Khi hai mô hình 2B bất đồng về một phân loại, việc cho cả hai cùng trả lời và dung hòa kết quả thường rẻ hơn so với việc nâng cấp lên một mô hình 27B, và bản thân tỷ lệ bất đồng cũng là một tín hiệu hữu ích về việc đầu vào nào khó. Với một mô hình chưa được kiểm chứng ở một phía trong pipeline của bạn, kiểu đối chiếu chéo đó rẻ hơn so với việc tin vào bảng của nhà cung cấp.

Điều gì sẽ giải quyết được nó?

Ba mươi ngày kể từ bây giờ, ai đó nên công bố LFM3-1.7B và MiniCPM5-2B thông qua cùng một harness, với cấu hình được commit kèm theo kết quả. Nếu LFM3 giữ được ở mức gần 38 trên WebArena-Verified và 65 trên RULER 128K, thì con số 23–4 sẽ là gần đúng nhưng vì những lý do sai, và khoảng cách agentic là có thật. Nếu nó giảm về phía các con số của MiniCPM5, thì bảng ra mắt đang đo scaffolding.

Cho đến lúc đó, lập trường có thể bảo vệ được hẹp hơn so với chiến lược tiếp thị của cả hai nhà cung cấp. Nếu khối lượng công việc của bạn là nhiều bước, gọi công cụ hoặc tài liệu dài, LFM3-1.7B là lựa chọn tốt hơn và lợi thế bộ nhớ khiến nó là lựa chọn duy nhất trong hai mô hình có thể vừa vặn trên phần cứng hạn chế mà vẫn còn dư địa. Nếu khối lượng công việc của bạn là truy xuất tri thức, suy luận một lượt, hoặc cần một giấy phép rõ ràng không mơ hồ và một mô hình có điểm số độc lập đi kèm, MiniCPM5-2B là lựa chọn an toàn hơn và bốn dòng mà nó thắng đều hướng thẳng về phía đó. Con số 23–4 không hẳn là sai mà đúng hơn là chưa xứng đáng — và số lượng mô hình trong một bảng ra mắt không đồng nghĩa với một kết quả.