Moondream 3 vs MiniCPM-V 4.7: Hóa đơn lưu trữ MoE mà không ai nhắc tới

Cả hai Moondream 3 Preview và MiniCPM-V 4.7 đều là các mô hình ngôn ngữ-thị giác hỗn hợp chuyên gia, và cả hai đều được quảng cáo với một con số tham số hoạt động nhỏ khiến chúng có vẻ như vừa vặn trên phần cứng khiêm tốn. Moondream 3 Preview kích hoạt 2B trong 9B tham số của nó cho mỗi token. Biến thể chủ lực của MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, kích hoạt khoảng 3B trong 35B. Đọc hai câu đó, bạn sẽ kỳ vọng checkpoint Moondream là cái dễ triển khai hơn. Việc nó có như vậy hay không phụ thuộc hoàn toàn vào một câu hỏi mà cả hai bài đăng ra mắt đều không mở đầu bằng: những chuyên gia đang ngủ sống ở đâu?

Câu hỏi đó chính là chỗ hai mô hình này thực sự khác biệt, và câu trả lời chính là toàn bộ lý do MiniCPM-V 4.7 tồn tại ở đúng hình dạng hiện tại. Bản phát hành của nó — MiniCPM-V 4.7 35B-A3B và MiniCPM-V 4.7 1B, từ OpenBMB, công bố ngày 6 tháng 10 năm 2026 — được xây dựng xoay quanh việc chạy một MoE 35B mượt mà trên điện thoại mà không làm suy giảm chất lượng. Moondream 3 Preview, được Moondream phát hành ngày 18 tháng 9 năm 2025 và hiện là một phần của Prime Intellect sau thương vụ mua lại vào tháng 10 năm 2026, đã đi theo hướng ngược lại: giữ MoE nhỏ và chạy nó trên GPU với Photon, engine suy luận riêng của Moondream. Cả hai lựa chọn đều không sai. Chúng là câu trả lời cho những ràng buộc khác nhau, và ràng buộc mà bạn đang chịu sẽ quyết định phép so sánh dành cho bạn.

Tham số hoạt động là một con số tính toán, không phải là một con số lưu trữ

Đây là phép tính khiến MoE trên thiết bị trở nên khó khăn, và OpenBMB đã nói rõ điều đó trong thẻ mô hình của chính mình: một mô hình MoE có thể có tổng số tham số nhiều hơn hẳn số tham số mà nó kích hoạt cho một token, nhưng yêu cầu lưu trữ trên thiết bị của nó không chỉ giới hạn ở những tham số được kích hoạt đó. Các token khác nhau chọn các chuyên gia khác nhau ở các lớp khác nhau, và bộ nhớ thiết bị thường không thể chứa tất cả chúng.

• Moondream 3 Preview — tổng 9B, 2B hoạt động. 24 lớp, bốn lớp đầu là dense, phần còn lại là các khối feed-forward MoE với 64 expert và 8 expert được kích hoạt trên mỗi token. Chiều ẩn 2048, chiều inner/gate của GeGLU là 1024.

• MiniCPM-V 4.7 35B-A3B — tổng 35B, kích hoạt khoảng 3B. MoE đầu tiên trong dòng MiniCPM-V. Biến thể 1B trong cùng bản phát hành là dense, không phải MoE, điều này quan trọng ở phần bên dưới.

• Sự không khớp — chia active cho total thì Moondream 3 Preview trông như mô hình nhẹ hơn với khoảng cách lớn. Còn chia bytes cho bytes thì MiniCPM-V 4.7 35B-A3B mới là mô hình mang trọng số gấp bốn lần.

• Tại sao nó không giải quyết được gì — tập thường trú mới là thứ giới hạn thiết bị, và tập thường trú gần với tổng hơn là số lượng hoạt động. Một MoE 9B không vừa trong bộ nhớ mà một mô hình dense 2B vừa, bất kể bộ định tuyến kích hoạt những gì.

Vậy “2B active” là một phát biểu về lượng tính toán trên mỗi token. Đó không phải là phát biểu về lượng bộ nhớ bạn cần, và coi nó như vậy chính là cách phổ biến nhất khiến các nhóm định cỡ sai một triển khai MoE.

OpenBMB đã trực tiếp giải quyết vấn đề lưu trữ

Thiết kế của MiniCPM-V 4.7 được hiểu rõ nhất như ba kỹ thuật nhắm thẳng vào đúng khoảng trống đó. Lookahead Expert Scheduling sử dụng dự đoán định tuyến xuyên lớp để nạp trước những expert mà lớp kế tiếp có khả năng cần đến, đồng thời ưu tiên những expert được nạp trước thành công trong số những expert mà bộ định tuyến thực tế đã chọn — dự đoán chỉ dẫn dắt việc nạp trước và lập lịch, còn tính toán vẫn tuân theo định tuyến cấp token gốc của mô hình và bất kỳ expert cần thiết nào mà dự đoán bỏ sót đều được nạp và đánh giá như bình thường. Lượng tử hóa theo từng lớp với độ chi tiết cao giúp cắt giảm dung lượng lưu trữ và lưu lượng bộ nhớ của trọng số expert. DSpark speculative sampling được tích hợp vào luồng xử lý trên thiết bị để cải thiện hiệu quả giải mã, dựa trên nền tảng của cả hai kỹ thuật trên.

Kết quả được công bố là hơn 13 token mỗi giây với khoảng 3 GB bộ nhớ trên iPhone 17 Pro Max, thứ mà OpenBMB mô tả là mô hình MoE mã nguồn mở đầu tiên chạy mượt trên thiết bị mà không đánh đổi hiệu năng. So sánh của nó rất rõ ràng và đáng lưu ý đúng như bản chất: ở chế độ Instruct, MiniCPM-V 4.7 35B-A3B đạt điểm tổng thể cao hơn trong thời gian suy luận ít hơn so với Qwen3.6 35B-A3B. Đó là tuyên bố cùng phân khúc kích thước do nhà cung cấp báo cáo, và đây là kiểu hữu ích hơn vì cả hai mô hình đều được đo trên cùng một khung đánh giá.

Phần còn lại của câu chuyện triển khai lại rộng một cách bất thường. iOS, Android và HarmonyOS đều được hỗ trợ, cùng với hỗ trợ ngay từ ngày đầu (day-0) cho các nền tảng chip từ Rockchip, Houmo, Intel, AMD và Arm. Suy luận chạy trên SGLang, vLLM, llama.cpp và Ollama; tinh chỉnh trên SWIFT và LLaMA-Factory. Các dạng lượng tử hóa GGUF, BNB, AWQ và GPTQ đều có sẵn, cộng thêm FP8. Biến thể 1B lại là một câu chuyện riêng — dạng dense, không phải MoE, và OpenBMB định vị nó là tiếp tục cải thiện so với MiniCPM-V 4.6 đồng thời vượt trội đáng kể so với Qwen3.5 0.8B cả về điểm tổng thể lẫn hiệu quả suy luận, đây là phép so sánh trung thực cho một mô hình dưới 1B.

Câu trả lời của Moondream là di chuyển phần cứng, chứ không phải trọng số.

Moondream không cố gắng làm cho một MoE 9B chạy vừa trên điện thoại. Nó giữ nguyên kiến trúc và thay đổi nơi nó chạy: Photon, engine suy luận của nó, biên dịch từng mô hình thành một chương trình GPU duy nhất với các kernel tùy chỉnh, và chạy cục bộ trên GPU NVIDIA từ Ampere trở đi và trên máy Mac Apple Silicon, với cùng API như Moondream Cloud.

Đây là một chiến lược có thể biện luận được, và thông báo mua lại của Prime Intellect nói rõ vì sao nó hấp dẫn: đội ngũ của Moondream đã xây dựng Photon và trình biên dịch megakernel đằng sau nó, còn lý lẽ của Prime để mua công ty này là việc phục vụ, chứ không phải kiến trúc, mới là nơi quyết định tính hữu dụng của một mô hình. Các con số thông lượng trong bài đăng đó — hơn 60 suy luận Moondream mỗi giây trên một H100 duy nhất, câu trả lời trong vài chục mili giây, Moondream 3.1 đạt 34 yêu cầu mỗi giây — là của chính Prime và hiện đã thành tài liệu bán hàng, nên hãy dán nhãn chúng cho phù hợp. Nhưng hướng đi thì không hề mơ hồ: đặt cược của Moondream là bạn thà có một mô hình nhanh chạy trên GPU hơn là một mô hình cỡ chiếc điện thoại.

Có một khác biệt thứ hai, và nó hoàn toàn không nằm trong thẻ mô hình. Endpoint được lưu trữ của Moondream 3 Preview, Moondream Cloud, sẽ bị đóng vào ngày 13 tháng 11 năm 2026 sau thương vụ mua lại, với các khoản tín dụng đã mua nhưng chưa dùng sẽ được hoàn lại. MiniCPM-V 4.7 không có sự phụ thuộc như vậy, vì nó chưa bao giờ chủ yếu là một sản phẩm được lưu trữ — nó là một tập trọng số gắn với một câu chuyện triển khai trên thiết bị rộng khắp. Nếu đánh giá của bạn bao gồm sự tiện lợi khi gọi một endpoint, thì sự tiện lợi đó đang hết hạn ở một phía của phép so sánh này.

Khả năng thực hiện tác vụ: hai thẻ trung thực về những điều khác nhau

Bốn kỹ năng gốc của Moondream 3 Preview là query, caption, point và detect, tất cả đều trả về đầu ra có cấu trúc, và bài đăng ra mắt chú trọng trước hết vào phát hiện và chỉ điểm. Kỹ năng query chạy ở chế độ suy luận theo mặc định, với cờ reasoning=False được tài liệu hóa cho các câu hỏi đơn giản, và các vết suy luận đều có căn cứ — chúng tham chiếu đến những phần cụ thể của hình ảnh, đó là lý do Moondream gọi đó là suy luận thị giác có căn cứ thay vì suy luận nói chung. Ngữ cảnh là 32K token, tăng từ khoảng 2K ở thế hệ trước, sử dụng tokenizer SuperBPE tùy chỉnh; bài đăng ra mắt thẳng thắn rằng huấn luyện sau không khai thác triệt để cửa sổ dài và rằng toàn bộ 32K chủ yếu ở đó để phục vụ tinh chỉnh.

Thẻ của MiniCPM-V 4.7 thay vào đó lại dẫn đầu về hiệu quả và độ bao phủ: hiểu đơn ảnh, đa ảnh và video, với nén token thị giác hỗn hợp 4x/16x cho phép bạn đánh đổi chi tiết thị giác lấy chi phí suy luận theo từng tác vụ, cùng khả năng nén sớm bên trong ViT từ LLaVA-UHD v4 giúp giảm tính toán ở các lớp encoder về sau. Nó cũng cung cấp một phương pháp tinh chỉnh — Self-Replay Fine-Tuning, nhằm mở rộng năng lực của mô hình một cách tiết kiệm while đồng thời giảm việc quên đi những gì nó đã biết.

• Phát hiện và chỉ điểm có căn cứ — Moondream 3 Preview: các kỹ năng gốc trong kiến trúc, tọa độ có cấu trúc, dấu vết suy luận có căn cứ. MiniCPM-V 4.7: hiểu đa ảnh và video là những điểm mạnh được nêu rõ; model card không dẫn đầu về phát hiện từ vựng mở.

• Video — MiniCPM-V 4.7 hỗ trợ đầu vào video, với một ví dụ được ghi lại sử dụng 128 khung hình. Thẻ của Moondream 3 Preview ghi lại các kỹ năng về hình ảnh với bộ nhớ đệm mã hóa hình ảnh cho các truy vấn lặp lại trên cùng một hình ảnh.

• Chi tiết có thể điều khiển — MiniCPM-V 4.7: tham số downsample_mode, mặc định là 16x và 4x để có chi tiết mịn hơn, được chọn theo từng lần gọi. Moondream 3 Preview: ghép nối kênh multi-crop trong bộ mã hóa thị giác, với bài đăng ra mắt lưu ý rằng bộ mã hóa có thể bị vấp bởi phông chữ rất nhỏ.

• Giấy phép — MiniCPM-V 4.7: Apache 2.0, cả hai biến thể. Moondream 3 Preview: Business Source License 1.1 với Additional Use Grant, cho phép sử dụng thương mại và sản xuất, đồng thời cấm cung cấp Moondream lưu trữ đa mục đích. Moondream 3.1 đã chuyển sang Moondream Model License 1.0 với cùng hạn chế cốt lõi nhưng được trình bày gọn gàng hơn.

Dòng giấy phép không phải là chú thích phụ cho cuộc đối đầu này. Nếu bạn định host mô hình cho người khác, Apache 2.0 và các điều khoản source-available của Moondream không hề ở cùng một vị trí xuất phát, và điều đó đúng bất kể cái nào đạt benchmark tốt hơn trên tác vụ của bạn.

Tinh chỉnh là nơi cả hai card đều hướng tới, vì những lý do trái ngược nhau

Cả hai nhà cung cấp đều nói với bạn rằng mô hình cơ sở không phải là sản phẩm, điều này thật mới mẻ và cũng là một gợi ý về nơi giá trị thực sự nằm.

Bài đăng ra mắt của Moondream liệt kê khả năng huấn luyện là một trong bốn mục tiêu, với lý do rằng các tác vụ thị giác thực tế cần sự chuyên môn hóa — đọc phim X-quang, phát hiện người gặp nạn trong đám đông — và ngay cả con người cũng cần được huấn luyện cho những việc đó. Công ty đã tung ra Lens cho mục tiêu này, và bản ra mắt Moondream 3.1 còn đi xa hơn: điểm benchmark 3.1 được công bố được tạo ra bằng cách tinh chỉnh LoRA cho từng tác vụ trên tập huấn luyện riêng của mỗi benchmark thông qua Lens, sau đó đưa những gì chúng học được trở lại vào trọng số cơ sở bằng chưng cất on-policy để checkpoint có thể tải về đạt điểm cao mà không cần tinh chỉnh. Điều đó đáng để đọc lại hai lần. Đó là một quy trình chính đáng và một sự tiết lộ minh bạch đến mức bất thường, đồng thời cũng có nghĩa những con số đó không phải là những con số nguội lạnh khi vừa mở hộp — tập huấn luyện của các tác vụ được đề cập đã được đưa vào mô hình.

Tương đương của OpenBMB là Self-Replay Fine-Tuning, hướng đến một vấn đề khác: bổ sung năng lực mà không quên năng lực hiện có, với chi phí thấp. Tuyên bố đáng chú ý của nó liên quan đến khả năng duy trì hơn là điểm số đỉnh cao.

Nếu bạn định tinh chỉnh một trong hai mô hình, khác biệt thực tế cũng chính là khác biệt xuyên suốt toàn bộ so sánh này. Hướng đi của Moondream giả định bạn có GPU và một dịch vụ chạy trên máy chủ. Hướng đi của MiniCPM-V 4.7 giả định bạn có thể tinh chỉnh trên chính các framework mình đang dùng rồi triển khai lên chính những thiết bị mình đang nhắm tới, với một phương án lượng tử hoá trên thiết bị đã được công bố để đưa nó tới đích.

Nơi một lớp định tuyến khẳng định được chỗ đứng của nó

Không mô hình nào ở đây được cung cấp thông qua OrcaRouter — cả hai đều là các checkpoint trọng số mở do chính bạn lưu trữ, và một trong số chúng sẽ mất endpoint được host vào tháng sau. Điều đó khiến câu hỏi thú vị trở thành câu hỏi mà cả hai thẻ đều lảng tránh: điều gì xảy ra với những yêu cầu mà mô hình bạn chọn xử lý kém?

Câu trả lời tiêu chuẩn là một mô hình thứ hai, và chi phí tiêu chuẩn của một mô hình thứ hai là tích hợp: thêm một SDK, thêm một cơ chế xác thực, thêm một chính sách thử lại. Đó là kiểu công việc âm thầm ngốn một sprint rồi trở thành bảo trì vĩnh viễn. Model fusion của OrcaRouter tồn tại cho phiên bản hẹp hơn của vấn đề đó — một nhóm mô hình cùng trả lời trong những cuộc gọi mà câu trả lời của một mô hình không đủ đáng tin nếu chỉ dùng một mình — và DSL định tuyến cho phiên bản rộng hơn, cho phép bạn kết hợp nhiều mô hình vào một cuộc gọi duy nhất để một mô hình cục bộ rẻ xử lý phần lớn dễ dàng và một thứ lớn hơn đảm nhận phần còn lại.

Đằng sau một khóa có hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí, nghĩa là khi nhà cung cấp giảm giá, bạn nhận được mức giá đó ngay trong ngày thay vì phải chờ đến chu kỳ thanh toán tiếp theo, và việc chuyển đổi dự phòng giữa các nhà cung cấp diễn ra tự động khi một tuyến thượng nguồn bị suy giảm. Đối với một VLM tự lưu trữ, lớp định tuyến nằm phía trên mô hình chứ không thay thế mô hình. Đó là mô tả trung thực về vị trí của nó trong so sánh này, và với một hệ thống mà MiniCPM-V 4.7 35B-A3B nằm trên thiết bị còn một mô hình được lưu trữ đảm nhiệm những trường hợp bỏ sót, nó chính là phần giữ cho hai thứ không trở thành hai hệ thống riêng biệt.

Cái nào, được quyết định bởi ràng buộc mà bạn thực sự có.

Nếu mô hình phải chạy trên thiết bị, MiniCPM-V 4.7 35B-A3B là câu trả lời, và không có đối thủ nào tiệm cận. OpenBMB đã xây dựng toàn bộ bản phát hành xoay quanh vấn đề lưu trữ khiến một MoE 35B không thể chạy trên điện thoại — lập lịch chuyên gia, lượng tử hóa theo từng lớp, giải mã suy đoán — và công bố con số đi kèm: hơn 13 token mỗi giây trong khoảng 3 GB. Không có gì trong Moondream 3 Preview giải quyết vấn đề đó, bởi vì Moondream đã chọn không có nó.

Nếu có GPU trong cuộc chơi và nhiệm vụ là phát hiện có căn cứ, thì Moondream 3 Preview là công cụ chuyên biệt hơn. Khả năng phát hiện và định vị gốc với tọa độ có cấu trúc cùng các dấu vết lập luận có căn cứ có thể kiểm tra được là một sản phẩm khác biệt so với một mô hình đa phương thức tổng quát cũng đọc được văn bản trong ảnh, và nếu con người xem xét đầu ra, thì dấu vết chính là tính năng đáng giá.

Nếu bạn đang phân vân giữa hai lựa chọn, đừng quyết định dựa trên các bảng benchmark. Hãy chạy ảnh của chính bạn qua cả hai với prompt của riêng bạn và chấm điểm đầu ra, vì con số duy nhất trong so sánh này sẽ trụ được khi tiếp xúc với khối lượng công việc của bạn chính là con số bạn tự tạo ra. Và hãy kiểm tra giấy phép trước khi xem mô hình, bởi vì Apache 2.0 và một giấy phép source-available có hạn chế dịch vụ hosted là hai quyết định hoàn toàn khác nhau — một trong số đó có thể kết thúc quá trình đánh giá trước khi các con số độ chính xác trở nên quan trọng.

Những so sánh như thế này cũng là nơi các kiểu thất bại lộ diện: các sự cố AI và lỗi agent được ghi nhận đằng sau các mô hình thuộc lớp này được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.