MiniCPM-V-4.7-1B-DSpark: Một mô hình nháp 213M được phát hành không kèm thông báo

MiniCPM-V-4.7-1B-DSpark là một checkpoint 213.547.777 tham số không thể trả lời một câu hỏi. Nó không đọc hình ảnh, nó không duy trì một cuộc trò chuyện, và khi được phục vụ một mình, nó chẳng tạo ra gì đáng đọc. Toàn bộ công việc của nó là ngồi trước một mô hình — MiniCPM-V-4.7-1B — và đoán mười lăm token tiếp theo để một mô hình thị giác-ngôn ngữ nhỏ, tầm cỡ điện thoại có thể xác minh một khối trong số đó chỉ trong một lượt truyền xuôi thay vì sinh chúng từng cái một.

Tệp có dung lượng 0.85 GB theo Apache-2.0, và nó xuất hiện trên Hugging Face lúc 04:26 UTC ngày 8 tháng 10 năm 2026, cùng đợt với bản nháp cho phiên bản anh em 35B-A3B lớn hơn. Bốn ngày sau, thẻ mô hình cha vẫn coi nó như một chú thích: bản nháp xuất hiện một lần, dưới dạng một hàng trong bảng trọng số và nằm sau nút bật/tắt "Speculative decoding (DSpark)" đã thu gọn. Không có bài đăng blog nào của OpenBMB về nó, không có báo cáo kỹ thuật, và không có mục nào trong tài liệu GitHub của chính dự án.

Sự im lặng đó mới là phần thú vị, bởi vì điều mà tệp cụ thể này khả thi mở ra. Đây là sản phẩm đầu tiên trong dòng MiniCPM-V 4.7 có tuyên bố cốt lõi — rằng một mô hình thị giác 1B chạy chấp nhận được trên điện thoại — có thể được kiểm chứng bởi người ngoài OpenBMB. Mọi thứ dưới đây giữ hai nhóm riêng biệt: đâu là tệp trên đĩa bạn có thể mở, và đâu là con số mà nhà cung cấp in bên cạnh nó.

Thực sự có gì trong kho lưu trữ?

Bốn tệp. Đó là toàn bộ: .gitattributes, README.md, config.json, và một model.safetensors duy nhất chứa 854.204.052 byte trọng số BF16. Không có tokenizer trong kho lưu trữ, vì không cần phải có — mô hình draft mượn tokenizer của mô hình target, và từ vựng trong config của nó đúng bằng 248.094 token của mô hình cha. Một mô hình draft có các token không ánh xạ một-một sang token của mô hình target thì không thể đề xuất bất cứ thứ gì mà mô hình target sẽ chấp nhận, vì vậy dùng chung từ vựng là yêu cầu bắt buộc chứ không phải sự tiện lợi.

Hub API ghi nhận kho lưu trữ này được tạo vào 2026-10-08T04:26:19Z và được sửa đổi lần cuối vào 2026-10-12T14:29:57Z, được gắn thẻ cho tiếng Anh và tiếng Trung, cấp phép theo Apache-2.0, với ba lượt thích và một lượt tải xuống tại thời điểm viết bài. Con số cuối cùng là con số cần ghi nhớ. Một lượt tải xuống, sau bốn ngày, với một tệp nhỏ đến mức có thể tải qua kết nối điện thoại.

Trường architecture ghi là Qwen3DSparkModel với model_type là qwen3, điều này hợp lý chứ không kỳ lạ: xương sống ngôn ngữ của MiniCPM-V 4.7 bắt nguồn từ dòng Qwen3, nên một stub năm lớp được cắt ra từ cùng họ là điều bạn sẽ mong đợi. Điều không phải là bản sao nhỏ hơn của mô hình cha chính là cách stub giao tiếp với nó. Cấu hình trang bị một dflash_config với projector_type: "dspark", enable_confidence_head: true, confidence_head_alpha: 1.0, confidence_head_with_markov: true, markov_head_type: "vanilla" và markov_rank: 256. Confidence head đó là phần được trích từ phương pháp DSpark: nó là cơ chế để ước lượng xem bao nhiêu phần của một khối được đề xuất là đáng để xác minh, đó chính là lý do tổng thể khiến cấu hình serving cung cấp một công tắc để tắt xác minh thích ứng.

Bản đặc tả, và lý do mỗi con số ở đó

Về phía bản nháp, từ thẻ và cấu hình, cả hai đều nhất quán:

Tham số draft — 213.547.777, tất cả đều là BF16, trong một checkpoint một tệp duy nhất 0,85 GB

• Độ sâu bản nháp — 5 lớp, tất cả đều full attention, kích thước ẩn 1.024, kích thước trung gian 3.584, kích hoạt SiLU

• Hình học attention — 8 head truy vấn so với 2 head khóa/giá trị, số chiều head là 256, attention nhóm truy vấn

• Số token mỗi lượt forward — 15, được ghi trong config dưới dạng block_size: 15

• Phạm vi vị trí — RoPE theta 10.000.000 với embedding quay 256 chiều, và max_position_embeddings được đặt thành 262.144, khớp với cửa sổ 256K của mô hình cha

• Các lớp tap — [3, 7, 11, 15, 19], trong tổng số 24 của mô hình cha (num_target_layers: 24)

• Từ vựng — 248.094, gắn với tokenizer của mô hình đích, với một token mặt nạ chuyên dụng tại 248.076 cho bước tạo nháp bán tự hồi quy

Hai trong số những dòng đó đáng để nhìn kỹ chứ không chỉ lướt qua. Thứ nhất là các lớp tap. Bản draft không đọc lớp cuối cùng của mô hình cha; nó đọc các hidden state từ năm lớp nằm rải rác trong suốt chiều sâu của mô hình cha và chiếu chúng qua một dspark projector. Các trạng thái ở giữa mạng rẻ hơn để căn chỉnh và vẫn mang theo thông tin mà lớp cuối đã gộp lại thành logits của token tiếp theo. Thứ hai là kích thước head là 256 so với hidden size 1.024. Đó là một head rộng một cách có chủ đích trên một mô hình hẹp, và cấu hình bật tie_word_embeddings: false — ma trận embedding được giữ riêng thay vì chia sẻ với phép chiếu đầu ra, nên số lượng tham số bao gồm cả hai.

Tóm lại, đó là một mô hình nháp có kích thước chỉ bằng khoảng một phần năm so với mô hình đích, với hình dạng hoàn toàn khác. Để so sánh, bản nháp của mô hình anh em 35B-A3B có 389,223,169 tham số, sử dụng các lớp [3, 11, 19, 27, 35] trong tổng số 40. Hai bản nháp, một cho mỗi mô hình đích, vì một bản nháp chỉ hợp lệ với từ vựng và biểu diễn trung gian mà nó được huấn luyện dựa trên.

Bảng chấp nhận là một thẻ mô hình, không phải là một phép đo

Đây là toàn bộ số liệu mà OpenBMB đã công bố về mức độ hiệu quả của cặp này, được biểu thị bằng số token được chấp nhận trên mỗi bước xác minh, được đo với kết thúc EOS tự nhiên và max_new_tokens=8192:

• Vision, MMMU — 3.452 token được chấp nhận mỗi bước

• Vision, MathVista — 4.333

• Thị giác, suy luận CharXiv (xác thực) — 4.452

• Thị giác, OCRBench — 4.752

• Văn bản, toán học — 5.891

• Văn bản, mã — 5,347

• Văn bản, chung — 3.370

Độ trải chạy từ 5.891 xuống 3.370, một hệ số khoảng 1.75 giữa hạng mục dễ nhất và hạng mục khó nhất. Thứ tự đó không đáng ngạc nhiên theo một cách nói cho bạn biết điều gì đó về các con số: toán học là bề mặt đều đặn nhất mà một mô hình ngôn ngữ tạo ra, văn bản tổng quát là ít đều đặn nhất, và tỷ lệ thành công của bộ soạn nháp bám theo độ dự đoán được của đầu ra mục tiêu chứ không phải chất lượng của nó.

Ba lưu ý đáng lẽ phải có trên bảng đó, và tấm thẻ không chủ động nêu ra bất kỳ lưu ý nào trong số đó.

Đây là số liệu tự báo cáo, và chỉ có đúng một lượt tải xuống gắn với kho lưu trữ này. Không ai ngoài OpenBMB đưa ra được một con số nghiệm thu nào cho checkpoint này mà người khác có thể xem được. Các con số đều là của nhà cung cấp, được đo bằng khung đánh giá của nhà cung cấp, trên bộ tác vụ của nhà cung cấp.

Độ dài chấp nhận là thuộc tính của cặp, không phải của mô hình. Một mô hình đích tự lặp lại sẽ trao cho bộ soạn nháp của nó một chiến thắng dễ dàng, nên một con số cao hơn ở đây không phải là bằng chứng rằng MiniCPM-V 4.7-1B giỏi bất cứ thứ gì. Đó là bằng chứng về mức độ dễ dự đoán của đầu ra, một câu hỏi khác với một câu trả lời khác.

Và đây không phải là một sự tăng tốc. Một drafter đề xuất 15 token và chỉ nhận được 3,4 trong số đó được xác minh thì vẫn đang di chuyển một vài token mỗi lượt forward pass của target, nhưng việc xác minh một khối 15 token tốn kém hơn việc sinh ra một token, và mọi đề xuất bị từ chối đều phải trả giá rồi bị loại bỏ. Việc chuyển đổi độ dài chấp nhận thành một con số thời gian thực cần đến chi phí xác minh, kích thước batch và phần cứng, những thứ mà card không cung cấp. Công thức serving duy nhất mà nó thực sự cung cấp đặt --max-num-seqs 1, đây là một cấu hình được tinh chỉnh để hoạt động chứ không phải để nhanh.

Khi đọc đối chiếu với phiên bản cùng dòng, bảng trở nên hữu ích hơn. Bản draft 35B-A3B đạt 7.387 trên code và 5.098 trên MMMU; bản draft 1B này đạt 5.347 và 3.452. Các target nhỏ hơn với các drafter nhỏ hơn chấp nhận ít token hơn đáng kể mỗi bước, đây là kiểu chi tiết xuyên họ mà một card đơn không thể hiển thị được còn hai card thì có thể.

Đào tạo, và chi tiết giải thích toàn bộ thiết kế

Công thức chỉ dài bốn dòng: hai triệu chuỗi huấn luyện, sáu epoch, AdamW, và một mục tiêu kết hợp gồm cross-entropy, một số hạng L1 và một mất mát độ tin cậy. Dòng đáng lưu tâm là dòng nói về nguồn gốc dữ liệu huấn luyện — các phản hồi được tạo ra bởi chính MiniCPM-V-4.7-1B, từ hỗn hợp các prompt thị giác và văn bản.

Đó là tự chưng cất, và nó đặt mức sàn cho chi phí xây dựng một mô hình nháp như thế này. Bạn không thể huấn luyện một mô hình như vậy mà không chạy mô hình đích ở quy mô lớn trước, trên cả hai phương thức, nghĩa là sản phẩm 0,85 GB mà bạn có thể tải xuống chỉ là phần cặn rẻ của một quá trình đắt đỏ. Điều này cũng giải thích vì sao mô hình nháp được ghép cặp một-một thay vì chia sẻ: hành vi mà nó bắt chước là hành vi của mô hình này, và đầu ra của một mô hình đích khác sẽ huấn luyện một mô hình nháp khác.

Bài báo của chính phương pháp này, arXiv 2607.05147, không phải của OpenBMB. Đó là một bài báo có 33 tác giả được gửi vào ngày 6 tháng 7 năm 2026, mô tả DSpark như một khung giải mã suy đoán, kết hợp một xương sống song song với một mô-đun tuần tự nhẹ và lên lịch độ dài xác minh từ các xác suất sống sót tiền tố ước tính. Bài báo báo cáo việc triển khai bên trong một hệ thống phục vụ DeepSeek-V4, lấy một đường cơ sở sản xuất có tên MTP-1, và tuyên bố tốc độ sinh theo từng người dùng nhanh hơn 60 đến 85 phần trăm ở cùng thông lượng. Những tuyên bố đó thuộc về bài báo và lần triển khai đó. Không có công bố nào kết nối chúng với một bản nháp năm lớp, 213M trên một mô hình thị giác 1B, và bảng chấp nhận ở trên là cây cầu duy nhất mà bất kỳ ai đã đưa ra.

Vì sao tệp này quan trọng hơn mức kích thước của nó gợi ý

Tuyên bố nổi bật trong dòng MiniCPM-V 4.7 là khả năng chạy ngay trên thiết bị. Thẻ 1B đi kèm một biểu đồ hiệu năng so với thời gian suy luận, một biểu đồ hiệu năng tổng thể cho bản instruct 1B, một bản ghi màn hình chưa chỉnh sửa được quay trên iPhone 17 Pro Max, và một câu định tính nói rằng biến thể 1B vượt trội đáng kể so với Qwen3.5 0.8B ở cả điểm tổng thể lẫn hiệu quả suy luận. Nó cũng liệt kê một nhóm lượng tử hóa — int4, AWQ, GPTQ, GGUF, cùng hỗ trợ FP8 — và các mục tiêu phần cứng ngay từ ngày đầu trải rộng khắp iOS, Android, HarmonyOS, Rockchip, Houmo, Intel, AMD và Arm.

Mỗi thứ trong số đó đều là tuyên bố của nhà cung cấp mà không có con số bên ngoài nào đi kèm, và một trong số đó còn không nhất quán ở nội bộ: phần văn bản trên card gọi nó là mô hình 1B trong khi thanh bên trên Hub báo cáo kích thước mô hình là 2B tham số. Checkpoint DSpark khác về bản chất so với tất cả những thứ đó. Nó nặng 0.85 GB, theo giấy phép Apache-2.0, và đi kèm một lệnh phục vụ — nghĩa là một bên bên ngoài có GPU tiêu dùng có thể chạy nó ngay tuần này và tạo ra con số đầu tiên được đo lường từ bên ngoài của dòng mô hình này. Không phải một điểm benchmark, mà là thứ gần như hữu ích không kém: một độ dài chấp nhận được tái lập.

Nếu ai đó đạt 3.45 trên MMMU và 3.37 trên văn bản tổng quát, thì tấm thẻ này là đáng tin cậy và câu chuyện trên thiết bị có điểm dữ liệu bên ngoài đầu tiên. Nếu mức chấp nhận thấp hơn đáng kể, bảng đã được đo trong những điều kiện mà công thức đã công bố không tái tạo được, và biểu đồ hiệu năng trên thời gian suy luận thừa hưởng mối nghi ngờ đó. Dù kết quả nào thì cũng đáng giá hơn một biểu đồ nhà cung cấp khác, và đây là phần duy nhất của dòng sản phẩm mà việc có được một kết quả là rẻ.

Chạy nó, và chi phí để thử là bao nhiêu

Thẻ này cung cấp một công thức và đó là một vllm serve lời gọi, không phải là một lời nói suông. Nó tải mục tiêu openbmb/MiniCPM-V-4.7-1B, phục vụ nó dưới tên MiniCPM-V-4.7-1B, đặt --max-model-len 40960 và --max-num-batched-tokens 40960, ghim --attention-backend FLASH_ATTN và --mm-encoder-attn-backend FLASH_ATTN, truyền một kwarg của bộ xử lý đa phương thức là {"downsample_mode": "4x"}, tin tưởng các kwarg đa phương thức theo yêu cầu, và trỏ cấu hình suy đoán vào checkpoint DSpark với "method": "dspark", "num_speculative_tokens": 15 và xác minh thích ứng bị tắt. Các kwarg mẫu chat mặc định giữ chế độ suy nghĩ bị tắt.

Hai chi tiết trong dòng đó đáng để đọc lại hai lần. --max-num-seqs 1có nghĩa là thiết lập được công bố chỉ phục vụ một chuỗi tại một thời điểm, vì vậy công thức này mô tả một cấu hình độ trễ đơn luồng, chứ không phải cấu hình thông lượng. Và chế độ giảm mẫu hình ảnh 4x là chế độ rẻ hơn trong hai chế độ mà thẻ gốc quảng cáo — cùng thẻ đó còn cung cấp một sơ đồ kết hợp 4x/16x đánh đổi chi tiết để lấy tốc độ, và công thức chọn về phía có lợi cho tốc độ trong sự đánh đổi ấy.

Về mặt yêu cầu phần cứng, bức tranh hoàn toàn trái ngược với cách tiếp thị của dòng mô hình này. Mục tiêu 1B tốn khoảng 2 GB ở BF16 cộng thêm một KV cache, và bản draft thêm 0,85 GB nữa, nên đây là công việc trên một GPU duy nhất — card tiêu dùng, hoặc một máy trạm có đủ bộ nhớ hợp nhất — chứ không phải công việc chạy trên điện thoại. Hướng on-device trong tài liệu của mô hình cha đi qua các bản build đã lượng tử hoá và những framework không có trong công thức này, còn checkpoint DSpark như được công bố là một artifact phía máy chủ ở định dạng BF16.

Điều đó để lại một khoảng trống mà hầu hết các đội sẽ gặp phải: phiên bản thú vị của MiniCPM-V 4.7-1B là phiên bản trên thiết bị, còn phiên bản bạn có thể chạy ngay hôm nay mà không cần sở hữu bộ công cụ điện thoại là phiên bản phía máy chủ. Nếu thứ bạn thực sự cần lúc này là suy luận đa phương thức nhỏ, thì lựa chọn tương đương được host gần nhất là một mô hình khác — Qwen3 VL 8B Instruct có trên OrcaRouter với $0.18 mỗi triệu token đầu vào và $0.70 mỗi triệu token đầu ra, với cửa sổ ngữ cảnh 128K và đầu vào văn bản, hình ảnh, video, không có trọng số cục bộ và không có công thức phục vụ nào cần duy trì hoạt động. MiniCPM-V 4.7 không phải là mô hình được host trên OrcaRouter và bài viết này sẽ không giả vờ điều ngược lại; cách nói trung thực là đây là hai cách để làm cùng một việc, và chỉ một trong hai có thể đo lường được từ danh mục vào chiều nay.

Chỗ mà một thứ như DSpark chứng tỏ được giá trị của mình là ở trường hợp mô hình chưa được chứng minh, và đó là một câu hỏi về định tuyến chứ không phải câu hỏi về mô hình. Một mô hình nháp mà chưa ai tái lập được đúng là kiểu thành phần bạn muốn đặt phía sau một endpoint mà bạn có thể fallback khỏi đó. Chạy 200+ mô hình phía sau một key, giá niêm yết của nhà cung cấp được chuyển qua với mức markup 0%, cùng tự động chuyển đổi dự phòng khi một tuyến bị suy giảm, nghĩa là một thí nghiệm phục vụ đi sai chỉ khiến bạn tốn một lần thử lại thay vì một sự cố ngừng dịch vụ — và vì không có gì bị đánh markup, thay đổi giá của nhà cung cấp đối với bất kỳ mô hình nào trong danh mục sẽ có hiệu lực ngay trong ngày thay vì vào chu kỳ thanh toán tiếp theo.

Điều gì sẽ khiến điều này có thể kiểm tra được?

Ba thứ đang thiếu, và chỉ một trong số đó cần đến OpenBMB.

Nhà cung cấp chưa công bố bất cứ điều gì. Kho lưu trữ có một thẻ mô hình, một giấy phép và một công thức huấn luyện, nhưng không có bài đăng blog, không có báo cáo kỹ thuật, và không có một dòng nào trong tài liệu GitHub của dự án — mà, tính đến tuần đầu tiên của dòng mô hình này, vẫn đang mô tả thế hệ trước như thế hệ hiện tại. Bốn ngày sau khi checkpoint được đưa lên, thẻ 1B gốc chỉ liên kết nó như một hàng trong bảng và không hơn thế.

Chưa có ai tái lập được các con số chấp nhận, và số lượt tải xuống là một. Đó là khoảng cách dễ khép lại nhất và cũng là khoảng cách quan trọng nhất, bởi vì đó là nơi duy nhất mà một phép đo từ bên ngoài có thể thực sự làm thay đổi câu chuyện của gia đình.

Và câu hỏi về chất lượng thì hoàn toàn không được đụng tới. Không có điểm MMMU, không có kết quả OCRBench, không có con số hiểu tài liệu và không có chỉ số grounding nào cho MiniCPM-V 4.7-1B ở bất kỳ đâu trong bản phát hành — bảng acceptance là một bảng nói về giải mã, và việc đọc một độ dài acceptance cao như một tín hiệu chất lượng chính là sai lầm mà những con số đó mời gọi.

Vậy là: một artifact thực sự, một giấy phép thông thoáng, một lệnh serving chạy được, và một mẩu bằng chứng thực sự mới về một mô hình mà trước đó chưa có. Tệp tiếp theo đáng để làm mới vẫn là model card của mô hình cha.