Một thẻ tiêu đề hero cho Ling 3.0 Flash DSPark với phụ đề 'Trình dự thảo 1.36B đã ra mắt lặng lẽ cho Ling 3.0 Flash', hiển thị một thẻ dự thảo nhỏ có nhãn 'Drafter 1.36B' chuyển một hàng chip token đến một thẻ lớn có nhãn 'Ling 3.0 Flash 124B', với dấu kiểm trên các chip được chấp nhận và một mũi tên tua nhanh giữa hai thẻ, cùng logo OrcaRouter ở góc dưới bên phải.
Engineering & Research

Ling 3.0 Flash DSPark: Mô hình nháp 1.36B âm thầm ra mắt cho Ling 3.0 Flash

Tác giả

Elias Hawthorne

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Ling 3.0 Flash DSPark là một mô hình draft có 1,36 tỷ tham số mà phòng thí nghiệm inclusionAI của Tập đoàn Ant đã tải lên Hugging Face vào ngày 9 tháng 8 mà không kèm thông cáo báo chí, không bài đăng blog, cũng không có chủ đề ra mắt — một kho lưu trữ tại thời điểm viết bài chỉ hiển thị bảy lượt tải xuống và một lượt thích. Đây không phải phiên bản mới của Ling 3.0 Flash, cũng không phải mô hình bạn sẽ trực tiếp gọi. Đây là một thành phần giải mã suy đoán: tải nó lên phía trước Ling 3.0 Flash, nó sẽ đề xuất các token để mô hình lớn xác minh, giúp MoE 124B/5.1B phát ra nhiều token trong mỗi lượt truyền xuôi thay vì chỉ một. Mọi thứ dưới đây không thể xác minh trực tiếp từ chính kho lưu trữ đều được gắn nhãn là chưa xác nhận, vì nhà cung cấp không công bố gì cả.

Ant Group đã công bố {{1}}Ling 3.0 Flash{{/1}} vào ngày 27 tháng 7 và mở mã nguồn trọng số của nó theo giấy phép MIT vào ngày 7 tháng 8. Kho lưu trữ {{2}}DSPark{{/2}} là một bản phát hành riêng biệt, kín tiếng hơn: được tạo vào ngày 9 tháng 8, chỉ được mô tả trong một thẻ mô hình xác định điểm kiểm tra là "{{3}}một bộ dự đoán DSpark cho Ling3{{/3}}," và được chỉnh sửa lần nữa vào ngày 21 tháng 8 với bản cập nhật {{4}}config.json{{/4}}. Không có thông báo, không có trang tài liệu, không có bài đăng blog về điểm chuẩn. Bài viết này thu thập những gì kho lưu trữ thực sự cho biết và đánh dấu phần còn lại là những câu hỏi mở.

"DSpark speculator" là gì, theo cách không dùng thuật ngữ chuyên ngành

Speculative decoding chạy một mô hình nhỏ, rẻ tiền đi trước mô hình thực. Mô hình nhỏ (drafter) đoán trước một loạt token tiếp theo; mô hình lớn (target) kiểm tra toàn bộ batch trong một lần forward pass duy nhất và giữ lại những dự đoán mà nó đồng ý. Khi drafter đoán đúng, một lần forward pass của target tạo ra nhiều token, giúp thông lượng tăng lên mà không cần đụng đến trọng số của target.

DSpark là một phiên bản của ý tưởng đó đến từ các nhà nghiên cứu của DeepSeek — được giới thiệu vào tháng 7 năm 2026 và đã được triển khai ngay bên trong DeepSeek-V4 — và đó là thuật toán mà SGLang gọi là DSPARK. Hai điểm giúp nó khác biệt so với một drafter (mô hình soạn thảo) thông thường. Nó mở rộng DFlash (một phương pháp soạn thảo song song) bằng các tính năng phụ trợ được lấy từ chính mô hình mục tiêu, nhờ đó drafter có được thông tin về những gì mô hình lớn đang làm. Và nó sở hữu một confidence head để chấm điểm từng token được đề xuất, đồng thời dừng khối sớm khi một hậu tố trông có vẻ khó có khả năng vượt qua vòng xác minh — nhờ vậy, nó không phải dành một lượt xác minh cho những token sắp bị loại bỏ.

A flow diagram titled 'How DSpark speeds up Ling 3.0 Flash' showing a card labeled 'Drafter 1.36B proposes 8 tokens' with a row of eight token chips flowing into a card labeled 'Target verifies in one pass' with a checkmark over the accepted chips, a note reading 'Confidence head trims low-confidence suffixes', and a footer 'A cheap model proposes, a strong model verifies — output is unchanged', with the OrcaRouter logo in the bottom-right corner.

Checkpoint Ling-3.0-flash-dspark triển khai chính xác điều đó: một speculator được huấn luyện bằng SpecForge, có kích thước để đề xuất các khối tám token nháp, với độ rộng xác minh chín token sau khi tính token thưởng của mục tiêu.

Chính xác những gì repository nói.

Thẻ mô hình sơ sài nhưng cụ thể. Ling 3.0 Flash DSPark là một mô hình draft khoảng 1,36 tỷ tham số (1.363.707.905 tham số, BF16) với năm lớp transformer full-attention có kích thước ẩn 2.560 và cơ chế multi-head attention với 32 đầu query và 32 đầu key/value. Nó đọc các đặc trưng phụ trợ từ năm lớp của mô hình đích — thẻ mô hình liệt kê các lớp 1, 11, 23, 29 và 35 — và kết hợp chúng với một đầu confidence được mô tả là “vanilla Markov head, rank 256.” Position embedding của nó đạt mức tối đa 262.144, tương đương với ngữ cảnh 256K mà mô hình đích mang theo.

Tham số — 1.363.707.905 (~1,36 tỷ), BF16, khoảng 2,7 GB trọng số.

• {{1}}Kiến trúc{{/1}} — {{2}}5 lớp full-attention{{/2}}, {{3}}kích thước ẩn 2,560{{/3}}, {{4}}MHA với 32 đầu query và 32 đầu key/value{{/4}}; {{5}}được gắn nhãn qwen3{{/5}}.

• Target hooks — các tính năng phụ trợ từ các lớp 1, 11, 23, 29 và 35 của Ling 3.0 Flash.

• Confidence head — một đầu Markov thuần túy, rank 256.

• Block — 8 token dự thảo; kiểm tra chiều rộng 9 bao gồm cả token thưởng mục tiêu.

• Ngữ cảnh — 262.144 nhúng vị trí, khớp với cửa sổ gốc 256K của mục tiêu.

A one-column scoreboard for Ling 3.0 Flash DSPark listing: role DSpark speculator (draft model), draft params 1.36B (1,363,707,905) BF16, block 8 draft tokens (verify width 9), mean acceptance 5.29 of 9 (vendor), context 262,144, license other — not yet stated, with a footer 'All figures vendor-reported; no independent scores yet', and the OrcaRouter logo in the bottom-right corner.

Hàng cuối cùng đó rất quan trọng cho việc lập kế hoạch triển khai: bộ soạn thảo được xây dựng cho cùng cấu hình phục vụ ngữ cảnh dài như mục tiêu, nên nó không thu hẹp ngữ cảnh mà bạn có thể suy đoán.

Các số chấp nhận, hãy đọc kỹ.

Thẻ báo cáo một bộ số liệu hiệu năng: độ dài chấp nhận trung bình, được định nghĩa là "số token trung bình được chấp nhận cho mỗi bước xác minh suy đoán, bao gồm token thưởng mục tiêu." Trên chín khối lượng công việc, trung bình vĩ mô là 5,29 — tức khoảng năm trong chín vị trí được chấp nhận cho mỗi bước xác minh, con số sẽ thúc đẩy tăng tốc. Mức phân tán theo từng khối lượng công việc cho thấy nơi bộ soạn thảo hoạt động mạnh:

• Lập trình và toán học — GSM8K 6.40, MATH-500 6.29, HumanEval 6.57, MBPP 6.34, LiveCodeBench 5.33.

• Lập luận — AIME 2025 5.56.

• Hội thoại — MT-Bench 3.92, Alpaca 3.51, Arena-Hard-v2 3.72.

Ba lưu ý đi kèm với những con số đó. Chúng là {{1}}độ dài chấp nhận{{/1}}, không phải {{2}}mức tăng tốc toàn trình{{/2}}: card không công bố số liệu token/giây, vì vậy "{{3}}5,29 token được chấp nhận{{/3}}" vẫn chưa được chuyển đổi thành tuyên bố "{{4}}nhanh hơn x lần{{/4}}" cho mô hình này. Chúng là {{5}}do nhà cung cấp báo cáo và chưa được tái lập{{/5}} — không ai ngoài {{6}}inclusionAI{{/6}} từng công bố một phép đo nào. Và chúng {{7}}phụ thuộc vào ngữ cảnh{{/7}}: độ dài chấp nhận thay đổi theo khối lượng công việc, nhiệt độ lấy mẫu và checkpoint mục tiêu cụ thể, vì vậy hãy coi {{8}}cột mã và toán{{/8}} là trường hợp mạnh và {{9}}cột chat{{/9}} là mức thấp thực tế.

Điều gì đã được xác nhận, và điều gì chưa được xác nhận?

Được xác nhận bởi kho lưu trữ công khai: checkpoint tồn tại và có thể tải xuống; đây là một speculator DSpark cho Ling 3.0 Flash; nó được huấn luyện bằng SpecForge; nó được phục vụ thông qua thuật toán DSPARK của SGLang; và nó được tạo vào ngày 9 tháng 8 và được cập nhật gần đây nhất là ngày 21 tháng 8.

Chưa được xác nhận, và cần nói chính xác: giấy phép. Phần frontmatter của thẻ ghi 'license: other' mà không kèm văn bản giấy phép nào — nên không giống như trọng số Ling 3.0 Flash được cấp phép MIT, các điều khoản của bộ suy đoán DSPark hiện chưa được nêu rõ. Cũng chưa được xác nhận: liệu độ dài chấp nhận có tái hiện trên phần cứng khác hay không, chúng ngụ ý gì về số token mỗi giây toàn trình, liệu có nhà cung cấp dịch vụ suy luận nào phục vụ bộ soạn thảo hay không (không có gì cho thấy là có), và liệu có thông báo chính thức nào sắp được đưa ra hay không. Không điều nào trong số này là lời buộc tội; bản phát hành mới chưa đầy hai tuần. Chúng là sự khác biệt giữa một thành phần đầy hứa hẹn và một thành phần đã được xác minh.

Đang chạy nó

Trong thực tế, bạn cần một bản dựng SGLang có hỗ trợ DSPARK — thuật toán này đã xuất hiện trong SGLang v0.5.16 vào tháng 7, cùng với quá trình tích hợp DSpark do DeepSeek-V4 thúc đẩy. Khởi chạy máy chủ với mô hình mục tiêu và đặt tên cho drafter:

sglang serve --trust-remote-code --model-path <LING3_MODEL_PATH> --tp-size <TP_SIZE> --speculative-algorithm DSPARK --speculative-draft-model-path <LING3_DSPARK_MODEL_PATH>

Lệnh này lấy từ chính model card; kích thước block được đọc từ cấu hình của drafter. Hiện chưa có đường dẫn llama.cpp — kiến trúc lai KDA + MLA cần một bản fork tùy chỉnh ngay cả đối với mô hình chính, nên speculator hiện chỉ được hỗ trợ bởi SGLang.

A screenshot of the Hugging Face model page for inclusionAI/Ling-3.0-flash-dspark, showing the model card 'Ling3-DSpark — A DSpark speculator for Ling3', the tags (text-generation, transformers, safetensors, qwen3, speculative-decoding, dspark, dflash, specforge, sglang), the draft model specifications (1,363,707,905 params, BF16, hidden size 2,560, 5 full-attention layers, MHA 32 query and 32 key/value heads, target auxiliary feature layers 1/11/23/29/35, confidence head vanilla Markov head rank 256, DSpark block size 8 draft tokens, maximum position embeddings 262,144), the acceptance-length section, license other, model size 1B params, and downloads last month 7 (captured August 22, 2026).

Liệu có đáng để chạy hay không

Ling 3.0 Flash DSPark chỉ hoạt động nếu bạn tự phục vụ Ling 3.0 Flash. Đây là một thành phần cục bộ: khoảng 2,7 GB trọng số BF16 bổ sung bên cạnh mô hình đích 124B, một bản dựng SGLang hỗ trợ thuật toán và phần cứng có đủ bộ nhớ dư. Lợi ích là độ dài chấp nhận cao hơn so với một drafter nhỏ điển hình, đổi lại là chi phí bộ nhớ và sự phức tạp vận hành. Đối với các nhóm đã vận hành mô hình đích trên GPU của riêng họ ở tải tương tác, bị ràng buộc bởi độ trễ, drafter là một thứ rẻ để đo lường — hai cờ, giải mã tham lam, nhìn vào chênh lệch token mỗi giây. Đối với bất kỳ ai gọi Ling 3.0 Flash qua API được lưu trữ, nó không liên quan: bạn không thể gắn một drafter cục bộ vào ngăn xếp phục vụ của người khác.

{{1}}Khoảng cách trung thực của model-card{{/1}} là yếu tố chính cần dự trù ngân sách. {{2}}Điểm chấp nhận trung bình 5.29 là một con số mạnh{{/2}} — {{3}}DSpark speculator của DeepSeek-V4 báo cáo độ dài chấp nhận trong khoảng 3.2–3.6 theo bài viết của LMSYS{{/3}}, còn {{4}}drafter LFM2.5-2.6B của Liquid AI đạt trung bình 4.83{{/4}} — nhưng {{5}}độ dài chấp nhận không phải là tăng tốc{{/5}}, và {{6}}cho đến khi có ai đó công bố thông lượng đầu cuối trên cặp chính xác này, quy mô của lợi ích vẫn chỉ là ước tính.{{/6}}

Và đây chính là lúc sự kết hợp giữa tự lưu trữ và lưu trữ có quản lý trở thành quyết định thực sự. Một drafter là một thành phần tự lưu trữ nữa đặt trước một mô hình cũng có sẵn dưới dạng API — và giữ cho hai lựa chọn đó có thể so sánh được chính là công việc mà một tầng định tuyến đảm nhiệm. Một API duy nhất trên 200+ mô hình, tự động chuyển đổi dự phòng khi nhà cung cấp suy giảm hiệu năng, và giá niêm yết của nhà cung cấp được chuyển qua với mức tăng 0% cho phép bạn chạy máy chủ Ling-3.0-flash của riêng mình cho đường dẫn nhạy cảm với độ trễ, đồng thời định tuyến phần lưu lượng còn lại tới các endpoint được lưu trữ, và chuyển đổi bằng cấu hình thay vì viết lại mã. Drafter DSPark không thay đổi nơi Ling 3.0 Flash chạy; nó thay đổi tốc độ chạy khi mô hình nằm trên phần cứng của bạn.

Những câu hỏi mở cần theo dõi

Hãy để ý bốn điều. Một thông báo chính thức hoặc bài viết blog sẽ lấp đầy bối cảnh còn thiếu xung quanh bản phát hành. Một con số token/giây được công bố — từ inclusionAI hay bất kỳ ai khác — sẽ biến con số chấp nhận 5.29 thành một sự tăng tốc thực tế. Việc đổi giấy phép từ "other" sang một giấy phép cụ thể sẽ gỡ rào cản lớn nhất cho việc sử dụng trong sản xuất. Và một nhà cung cấp bắt đầu phục vụ Ling 3.0 Flash với chế độ speculation được bật sẽ thay đổi cách tính toán cho những ai hoàn toàn không tự lưu trữ.

Cho đến lúc đó, Ling 3.0 Flash DSPark đúng như những gì repo của nó mô tả: một bộ suy đoán DSpark 1.36B thực sự, có thể tải xuống, dành cho Ling 3.0 Flash, được phát hành một cách âm thầm, với những số liệu về tỷ lệ chấp nhận ấn tượng nhưng chưa được kiểm chứng và không có số liệu tăng tốc được công bố. Đó là một cơ sở khả thi cho một thử nghiệm — và là một mô tả trung thực về một thành phần chưa từng được ai đo lường một cách độc lập.

So sánh trong bài viết này1

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày