MiniCPM-V 4.7 vs Gemma 4 12B: Một bên công bố benchmark, bên kia công bố ảnh chụp chúng

Mở thẻ mô hình của MiniCPM-V 4.7 và cuộn đến phần đánh giá. Bạn sẽ thấy ba hình ảnh: một biểu đồ đường biên hiệu năng so với thời gian suy luận, một so sánh tổng thể về thị giác-ngôn ngữ và một so sánh tổng thể về ngôn ngữ. Bạn sẽ không thấy bảng nào. Giờ hãy mở thẻ của Gemma 4 12B và cuộn đến cùng vị trí. Bạn sẽ thấy MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision và tỷ lệ lỗi phân tích cú pháp tài liệu, mỗi mục kèm một con số bạn có thể sao chép vào bảng tính. Cả hai mô hình đều là trọng số mở, đều dùng Apache 2.0, đều được định vị là mô hình đa phương thức vừa vặn với phần cứng bạn sở hữu — và chỉ một trong hai sẽ cho phép bạn kiểm tra công việc của nó. Những thất bại AI và sự cố tác nhân được ghi nhận đằng sau các bản phát hành như bản này được tập hợp trong OrcaRouter AI Incident Archive trong đó mỗi mục đi kèm nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.

Sự bất đối xứng đó chính là phép so sánh thực sự. MiniCPM-V 4.7, do OpenBMB phát hành ngày 12 tháng 10 năm 2026, và Gemma 4 12B, do Google DeepMind phát hành ngày 3 tháng 6 năm 2026, không phải cùng một loại đối tượng, và sự khác biệt không nằm ở kích thước. Mà là ở việc mỗi nhà cung cấp sẵn sàng đưa bao nhiêu trong tuyên bố của chính họ vào văn bản.

Mỗi nhà cung cấp sẽ nói gì với bạn, qua những con số

Thẻ của Gemma 4 12B công bố điểm số của nó so với năm mô hình anh em và một mô hình tiền nhiệm, với bộ khung đánh giá được nêu tên theo từng benchmark. Cụ thể với biến thể 12B Unified, nhà cung cấp báo cáo 77,2 trên MMLU Pro, 77,5 trên AIME 2026 khi không dùng công cụ, 72,0 trên LiveCodeBench v6, 78,8 trên GPQA Diamond, ELO Codeforces là 1659, 69,0 trên Tau2 tính trung bình qua ba lần chạy, 83,4 trên MMMLU, và — con số thể hiện một cách trung thực nhất bản chất của một mô hình 12B — 5,2 trên Humanity's Last Exam khi không dùng công cụ. Về phía thị giác, mô hình báo cáo 69,1 trên MMMU Pro, 79,7 trên MATH-Vision và khoảng cách chỉnh sửa trung bình 0,164 trên OmniDocBench 1.5, trong đó thấp hơn là tốt hơn.

Đó là những con số của nhà cung cấp. Không ai độc lập buộc phải đồng ý với chúng, và trên một mô hình được triển khai rộng rãi như thế này, một số con số sẽ không trụ nổi khi gặp một harness khác. Nhưng chúng có thể bị bác bỏ, và đó mới là thuộc tính quan trọng. Nếu bạn nhận được 62 trên MMLU Pro từ đánh giá của chính mình, bạn biết có gì đó sai trong thiết lập của bạn hoặc trên card.

Thẻ của MiniCPM-V 4.7 đưa ra bốn tuyên bố bằng số trong phần văn bản và không có bảng đánh giá chuẩn nào cả. Biến thể 35B-A3B giải mã ở tốc độ từ 13 token mỗi giây trở lên, chỉ dùng khoảng 3 GB bộ nhớ trên iPhone 17 Pro Max. Lookahead Expert Scheduling mang lại tốc độ nhanh gấp 5× trên thiết bị thực. Biến thể 1B đánh bại Qwen3.5 0.8B về điểm tổng thể và hiệu quả suy luận. Và ở chế độ Instruct, 35B-A3B đạt điểm tổng thể cao hơn trong thời gian suy luận ít hơn so với Qwen3.6 35B-A3B. Mọi thứ còn lại — mọi trục của phép so sánh — đều nằm trong các hình ảnh biểu đồ.

Đó không phải là sự không trung thực. Biểu đồ mang thông tin, và một đồ thị biên giới có thể được cho là bản tóm tắt tốt hơn về đánh đổi tốc độ-chất lượng so với một bảng điểm trên các benchmark khác nhau được đo ở các kích thước lô khác nhau. Nhưng không thể trích dẫn biểu đồ, không thể tái suy ra nó, và không thể so sánh nó với biểu đồ của nhà cung cấp khác mà không có ai đó đọc vị trí điểm ảnh. Khi đánh giá công khai duy nhất về một mô hình là một bức ảnh, thái độ đúng đắn là coi mô hình đó là chưa được đo cho đến khi có ai đó đo nó.

Hai kiến trúc này đang giải quyết những vấn đề khác nhau.

Đọc qua các phần đánh giá và các thiết kế sẽ khác biệt rõ rệt, đó là tín hiệu hữu ích hơn bất kỳ điểm số đơn lẻ nào.

Gemma 4 12B không dùng encoder. Không có tháp thị giác riêng và cũng không có bộ mã hóa âm thanh riêng: các mảnh ảnh thô và dạng sóng âm thanh được chiếu thẳng vào không gian embedding của mô hình ngôn ngữ thông qua các lớp tuyến tính nhẹ. Lý do Google đưa ra là độ trễ và việc tinh chỉnh một lượt — một mô hình, một lần huấn luyện, tất cả các phương thức. Đánh đổi là công ty đặt cược rằng một transformer chỉ gồm decoder có thể học nhìn đủ tốt mà không cần phần giao diện thị giác chuyên dụng. Con số MMMU Pro của chính nó là 69,1, so với 76,9 của mô hình anh em 31B có mang một vision encoder khoảng 550M tham số, cho thấy việc đặt cược này phải trả giá nhất định ở khả năng suy luận thị giác tinh tế.

MiniCPM-V 4.7 đi theo hướng ngược lại. Nó giữ một tháp thị giác chuyên dụng — chiều rộng ẩn 1152, 27 lớp, các ô ảnh 980 pixel — và dồn công sức kỹ thuật vào việc làm cho tháp đó trở nên rẻ. Cơ chế nén sớm trong ViT (intra-ViT) vay mượn từ LLaVA-UHD v4 cắt giảm token thị giác bên trong bộ mã hóa thay vì sau bộ mã hóa, và một công tắc giảm mẫu hỗn hợp 4×/16× cho phép người gọi chọn giữa chi tiết và chi phí cho mỗi yêu cầu. Ở phía ngôn ngữ, 35B-A3B là một hỗn hợp 256 chuyên gia, kích hoạt 8 chuyên gia mỗi token, được xếp theo mô hình tỷ lệ 3:1 giữa chú ý tuyến tính và chú ý đầy đủ trên 40 lớp.

Hệ quả thực tiễn của thiết kế đó là luồng xử lý video của MiniCPM đặc biệt tường minh. Thẻ mô hình công bố max_num_frames ở mức 128, một tham số stack_frames có chức năng ghép các khung phụ thành một lưới giữa các khung chính, và hướng dẫn số lát cắt riêng cho ảnh (36) so với video (1). Nếu bạn đang xây dựng thứ gì đó đọc bản ghi màn hình hoặc video bài giảng, thì mức độ kiểm soát đó đối với những gì được lấy mẫu chính là tính năng. Gemma 4 12B cũng xử lý video, dưới dạng chuỗi khung hình, nhưng thẻ mô hình của nó tài liệu hóa định dạng chứ không phải kinh tế của việc lấy mẫu.

Những dòng thực sự quyết định điều đó

• Tham số — tổng 35,21B, 8/256 chuyên gia hoạt động, cùng với một mô hình dense cùng dòng 1,55B so với dense 11,95B

• Các phương thức đầu vào — văn bản, hình ảnh, video, với OCR và phân tích PDF được nêu bật so với văn bản, hình ảnh, video và âm thanh gốc

• Ngữ cảnh — 262,144 token so với 262,144 token trên 12B, 128K trên các mẫu anh em dòng E

• Giấy phép — Apache 2.0, trọng số có thể tải xuống so với Apache 2.0, trọng số có thể tải xuống

• Đánh giá đã công bố — biểu đồ tiên phong và biểu đồ so sánh, bốn nhận định dạng văn xuôi so với một bảng số đầy đủ trên tám mô hình anh em

• Đánh giá độc lập — không có mục Artificial Analysis nào cho cả hai biến thể 4.7 tại thời điểm viết bài, so với một trang Artificial Analysis có xếp hạng về trí tuệ và thông lượng

• Bộ nhớ ở BF16 — khoảng 70 GB trọng số cho 35B-A3B, khoảng 3.1 GB cho 1B so với khoảng 24 GB

• Các định dạng lượng tử hóa đã phát hành — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 so với checkpoint gốc cùng với các bản dựng GGUF và QAT cộng đồng từ G​oogle và các bên thứ ba

• Các đường phục vụ do nhà cung cấp đặt tên — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO so với Transformers, cùng hệ sinh thái rộng lớn hơn do cộng đồng cung cấp

• Câu chuyện trên thiết bị — ứng dụng iOS, Android, HarmonyOS cùng hỗ trợ day-0 cho Rockchip, Houmo, Intel, AMD và Arm, so với thiết kế được tối ưu cho máy tính xách tay và GPU tiêu dùng

Ba khối lượng công việc, ba câu trả lời

Hiểu màn hình và tài liệu ở quy mô lớn. Đây là nơi thiết kế của MiniCPM-V 4.7 hướng tới và cũng là nơi tài liệu của nó mạnh nhất. Chế độ hạ mẫu 4×, thiết lập 36 lát cắt, các mục cookbook về OCR và phân tích cú pháp PDF, cùng các điều khiển lấy mẫu khung hình rõ ràng cho video đều mô tả một pipeline nhằm chuyển nội dung đã kết xuất thành văn bản có cấu trúc. Gemma 4 12B cũng đáng tin cậy ở đây — khoảng cách chỉnh sửa OmniDocBench 0.164 của nó là một chỉ số phân tích tài liệu thực thụ — nhưng card của nhà cung cấp coi phân tích tài liệu là một trong nhiều năng lực thay vì nguyên tắc tổ chức.

Bất cứ thứ gì cần nghe. Gemma 4 12B tiếp nhận âm thanh một cách gốc, với CoVoST đạt 38.5 và FLEURS đạt 0.069 trên thẻ mô hình của nó. MiniCPM-V 4.7 thì không. Phần việc về âm thanh của OpenBMB nằm ở dòng MiniCPM-o riêng biệt, và thẻ của 4.7 không liệt kê bất kỳ phương thức âm thanh nào. Nếu đầu vào của bạn có giọng nói, cuộc so sánh kết thúc trước cả khi nó bắt đầu — một mô hình cần thêm bước chuyển giọng nói thành văn bản ở phía trước, còn mô hình kia thì không.

Một GPU tiêu dùng duy nhất với ngân sách cố định. Gemma 4 12B ở 4-bit vừa dưới 8 GB và còn chỗ cho ngữ cảnh; 35B-A3B ở 4-bit không vừa trên một card tiêu dùng và câu chuyện hiệu năng của chính card đó là về việc điện thoại giữ 3 GB thường trú, chứ không phải về một GPU có 70 GB trọng số chuyên gia để phân trang. Nếu ràng buộc là "một card bạn đã sở hữu", thì 12B là câu trả lời và biến thể 1B là MiniCPM duy nhất phù hợp.

Khoảng chênh lệch mà người mua nên tính vào giá

Cả hai mô hình đều miễn phí tải xuống, nên phần giấy phép là ngang nhau và chi phí thực sự nằm ở mọi thứ phía sau đó. Với Gemma 4 12B, hệ sinh thái đã có bốn tháng rưỡi để bắt kịp: các bản dựng lượng tử hóa từ chính G​oogle, các chuyển đổi GGUF cộng đồng, các checkpoint QAT, và chỉ mục độc lập cho phép bạn so sánh nó với hàng trăm mô hình khác trên cùng thang đo. Với MiniCPM-V 4.7, bạn đang ở ngày thứ tám của một kiến trúc mới — một model_type mới, một bố cục attention mới, một phiên bản Transformers tối thiểu — và card của chính nhà cung cấp mở đầu bằng ghi chú về việc lệch phiên bản CUDA làm hỏng giải mã video qua torchcodec.

Đó không phải là lời chỉ trích mô hình. Đó là khoản thuế tiêu chuẩn khi áp dụng bất cứ thứ gì trong hai tuần đầu, và đó là lý do một bản phát hành âm thầm với đánh giá chỉ dựa trên biểu đồ là ứng viên tồi cho lộ trình đưa vào sản xuất và là ứng viên tốt cho một thử nghiệm song song. Cách để thử nghiệm đó trở nên rẻ là giữ hệ thống hiện hành tiếp tục phục vụ trong khi bạn đánh giá hệ thống mới, mà đó là bài toán định tuyến chứ không phải bài toán mô hình hóa.

OrcaRouter vận hành hơn 200 mô hình được lưu trữ phía sau một endpoint tương thích OpenAI với mức markup 0%, giá niêm yết của nhà cung cấp được chuyển thẳng qua, vì vậy chi phí để thử một mô hình thứ hai là một thay đổi cấu hình chứ không phải một hợp đồng thứ hai. DSL định tuyến của nó có thể chứa một tuyến chính và một tuyến dự phòng trong một lần gọi, và chuyển đổi dự phòng tự động giữ cho đường chính hoạt động khi nhà cung cấp gặp sự cố trong một khoảng thời gian. Lưu ý về phạm vi hỗ trợ là phần quan trọng ở đây: danh mục của chúng tôi có Gemma 4 26B-A4B và Gemma 4 31B, không phải 12B này, và hoàn toàn không có MiniCPM-V 4.7. Cả hai mô hình mà bài viết này nói đến đều là các checkpoint bạn tự chạy — router là thứ nằm xung quanh chúng, không phải cách để gọi chúng.

Điều gì sẽ giải quyết được nó?

Hiện nay, sự so sánh đang mất cân đối theo một cách dễ diễn đạt và dễ khắc phục. Gemma 4 12B có những con số mà người ta có thể tranh luận. MiniCPM-V 4.7 đưa ra những tuyên bố mà bạn chỉ có thể chấp nhận hoặc bác bỏ: 13 token mỗi giây, 3 GB, tăng tốc 5×, tốt hơn một đối thủ được nêu tên trên một điểm tổng thể không được nêu tên. Mỗi một trong số đó sẽ hữu ích hơn nếu nằm trong một hàng của bảng, và OpenBMB rõ ràng có khả năng tạo ra một bảng như vậy — các model card trước đây của dòng này đã có các lưới benchmark tiêu chuẩn.

Vậy nên cách định vị hữu ích là bất đối xứng một cách có chủ đích. Nếu bạn cần ra quyết định trong tuần này, Gemma 4 12B là mô hình mà bạn có thể dự đoán hành vi từ các con số đã công bố, và hỗ trợ âm thanh của nó là một năng lực mà dù kiên nhẫn đến đâu cũng không thể thêm vào MiniCPM-V 4.7. Nếu bạn đang xây dựng cho điện thoại, cho HarmonyOS, cho một bo mạch Rockchip, hoặc để đọc màn hình và tài liệu nơi đường hạ mẫu 4× là chính xác, thì kỹ thuật của MiniCPM-V 4.7 phù hợp cụ thể với vấn đề của bạn hơn bất cứ thứ gì G​oogle đã tung ra ở kích thước này — và bảng số liệu còn thiếu là lý do để bạn tự đo lấy, chứ không phải lý do để bỏ qua nó.

Một điều cuối cùng đáng nói thẳng, vì đó là phần không khớp với cách đặt vấn đề của cả hai nhà cung cấp. Không mô hình nào trong hai mô hình này đang cạnh tranh cùng một người mua với một API tiên phong. Chúng đang cạnh tranh với quyết định không chạy mô hình cục bộ nào cả. Lập luận mạnh nhất của Gemma 4 12B là bốn tháng hệ sinh thái nghĩa là con đường nhàm chán vẫn hiệu quả; lập luận mạnh nhất của MiniCPM-V 4.7 là một mô hình 1B ở 3 GB chạy được ở nơi mà 12B không thể tới. Hãy chọn ràng buộc trước, rồi mới chọn mô hình — bảng xếp hạng benchmark, khi nó đến, sẽ chỉ sắp xếp lại các mô hình trong một hạng mục mà bạn đã chọn.