Ling-3.1-flash-1019 đã là mã nguồn mở: 574 GB, MIT và một màn kiểm chứng thực tế 256K

Vào lúc 05:46 UTC ngày 27 tháng 10, nhóm Ling tại Ant Group đã tạo một kho lưu trữ Hugging Face có tên Ling-3.1-flash-1019 và nạp vào đó 54 phân mảnh safetensors tổng cộng 573,8 GB theo giấy phép MIT. Bên cạnh nó là Ling-3.1-flash-base, một checkpoint BF16 1,14 TB dành cho việc huấn luyện tiếp theo, và phía sau cả hai là Ling-3.1-flash, mô hình mà bản dựng này là một bản chỉnh sửa sau huấn luyện của nó. Năm ngày trước đó, Ant chỉ công bố điểm số: 44 trên Artificial Analysis Intelligence Index v4.3.2, tăng từ 41, kèm lời hứa về trọng số và API. Hôm nay, lời hứa đã có danh sách tệp, khiến đây là ngày đầu tiên bất kỳ ai ngoài quy trình đánh giá của Ant có thể kiểm tra con số thay vì chỉ đọc nó.

Khoảng cách đó chính là câu chuyện, và nó có tính hai mặt. Một phòng thí nghiệm công bố benchmark trước khi phát hành sản phẩm là đang yêu cầu người ta tin mình; một phòng thí nghiệm sau đó phát hành sản phẩm năm ngày sau, ở 574 GB và theo một giấy phép thông thoáng, thì ít nhất đã trao cho người ta phương tiện để phản biện. Những câu hỏi thú vị không còn là về điểm số. Chúng là về những gì nằm trong bản tải xuống, chi phí để phục vụ nó, và liệu ngữ cảnh 1M-token trên thẻ mô hình có phải là ngữ cảnh bạn thực sự nhận được hay không.

Thực sự có gì trong kho lưu trữ?

Kho lưu trữ 1019 không phải là một bộ điều hợp mỏng hay một bản delta. Đây là một checkpoint đầy đủ: 54 tệp trọng số, mỗi tệp khoảng 10,7 GB, một tokenizer, một mẫu trò chuyện và mã mô hình hóa tùy chỉnh (BailingMoeV3ForCausalLM) yêu cầu trust_remote_code. Cấu hình được phát hành khai báo một sơ đồ lượng tử hóa FP8 (E4M3, chia khối 128×128) bên trên kiến trúc MoE tuyến tính lai mà dòng Ling đã sử dụng từ 3.1:

• Tổng số tham số và số tham số hoạt động — tổng cộng 560B, 25B hoạt động trên mỗi token, cùng các con số như Ling-3.1-flash.

• Các lớp — tổng cộng 72: 63 lớp attention tuyến tính KDA và 9 lớp MLA có cổng theo tỷ lệ 7:1, cộng với 4 lớp dense.

• Chuyên gia — 512 được định tuyến, 8 được kích hoạt mỗi token, 1 dùng chung.

• Từ vựng — 157.184 token; kích thước ẩn 4.096.

• Dung lượng — 573,8 GB safetensors trên 54 shard, theo số đếm của chúng tôi từ danh sách tệp trong kho lưu trữ vào ngày 27 tháng 10.

Mô hình cơ sở là một loại tạo tác khác. Ling-3.1-flash-base được tạo vào ngày 25 tháng 10 và chứa 121 tệp cùng 1,14 TB trọng số BF16 — lớn gần gấp đôi kích thước của checkpoint đã căn chỉnh vì nó chưa được lượng tử hóa sang FP8. Thẻ của nó mô tả đây là checkpoint cơ sở của Ling-3.1-flash, dành cho nghiên cứu tiền huấn luyện tiếp tục, thích ứng miền và hậu huấn luyện, đồng thời nói rõ rằng nó không nhằm dùng cho trò chuyện trực tiếp hoặc sử dụng thiết yếu về an toàn nếu chưa được căn chỉnh. Cả hai repo đều mang thẻ MIT.

44, và phần Ant không đo

Artificial Analysis liệt kê Ling-3.1-flash-1019 ở mức 44 trên Chỉ số Thông minh của mình, xếp thứ tư trong số 122 mô hình trên trang mà chúng tôi đọc hôm nay, và trang mô hình của nó nêu rằng các đánh giá được đo độc lập bởi Artificial Analysis. Đó là dạng mạnh nhất mà con số này đã có cho đến nay, và đáng để tách nó khỏi phần còn lại của bảng ra mắt.

Mức chênh lệch theo từng benchmark đến từ thẻ mô hình của chính Ant, không phải từ một lần chạy lại độc lập: AA-Briefcase tăng từ khoảng 1.400 lên 1.524 Elo, AutomationBench-AA từ 62% lên 68%, CritPt từ 18% lên 26%, và SciCode từ 54% lên 57%. Hai trong số các benchmark đó — AA-Briefcase và AutomationBench-AA — là các thành phần của chỉ số Artificial Analysis, nên con số chỉ số và bảng của nhà cung cấp không phải bằng chứng độc lập cho nhau. Chúng là cùng một tuyên bố ở hai độ phân giải. Hãy coi con số 44 là do AA đo và các cặp trước/sau là do nhà cung cấp báo cáo cho đến khi có ai đó công bố một harness và một seed.

Có một bất đối xứng thứ hai. Tại thời điểm đo, Artificial Analysis không ghi nhận API công khai nào cho bản dựng 1019 và trường tốc độ đầu ra của mô hình vẫn để trống. Vì vậy, ngày nay chỉ có thể lặp lại phép đánh giá này bằng cách tải xuống 574 GB và tự chạy nó. Đó không phải là lời phàn nàn về bản phát hành; đó là mô tả về những gì "open" thay đổi. Trước hôm nay, không ai có thể tái tạo điểm số. Sau hôm nay, bất kỳ ai có phần cứng đều có thể.

Ba điểm được mua bằng token.

Chỉ số này là thước đo chất lượng, không phải thước đo hiệu quả, và khía cạnh hiệu quả của bản phát hành này là phần kém đẹp nhất. Artificial Analysis đo được 350M token đầu ra cho lần chạy 1019 so với 220M của Ling-3.1-flash — nhiều hơn khoảng 59% token được tạo ra để hoàn thành cùng một bộ kiểm thử — và xếp bản dựng mới ở vị trí 48 trong số 48 về độ rườm rà, trong khi mô hình trung vị ở mức 140M. Chi phí để chạy chỉ số này là $1.49 mỗi tác vụ, so với $1.01 của phiên bản tiền nhiệm.

Một phần trong đó là phép tính bạn có thể tự làm từ bảng giá của chính Ant. Ở mức $0,90 mỗi triệu token đầu ra, 350 triệu token tương ứng $315 đầu ra so với $198 cho 220 triệu — chênh lệch $117 trước khi tính dù chỉ một token đầu vào hay một lần đọc cache. Với một nhóm lập ngân sách theo từng tác vụ thay vì theo từng token, bản nâng cấp checkpoint “miễn phí” gần với việc hóa đơn tăng 47% để đổi lấy mức tăng chỉ số ba điểm. Việc đánh đổi đó có tốt hay không phụ thuộc hoàn toàn vào chi phí của một tác vụ thất bại đối với bạn, một câu hỏi mà không bảng xếp hạng nào trả lời.

Cửa sổ ngữ cảnh là 256K trong cấu hình.

Thẻ mô hình ghi ngữ cảnh 1M token. Cấu hình phát hành lại ghi điều khác. Trong cả ba kho lưu trữ — 1019, Ling-3.1-flash và bản base — config.json đặt max_position_embeddings thành 262,144 và rope_scaling thành null, với RoPE theta là 6,000,000. Do đó, việc tải nguyên bản các trọng số này bằng SGLang hoặc vLLM sẽ phục vụ 256K vị trí, chứ không phải một triệu, trừ khi người vận hành cung cấp cấu hình scaling mà kho lưu trữ không chứa.

Đây là cách chúng tôi đọc các tệp cấu hình đã công bố, không phải là tuyên bố mà Ant đã đưa ra. Có khả năng API Ling được lưu trữ áp dụng một cơ chế co giãn phía máy chủ và thực sự phục vụ 1M; các trọng số mở không đi kèm một cơ chế như vậy. Đây cũng không phải là một điểm mâu thuẫn mới — bản phát hành Ling-3.1-flash ngày 15 tháng 10 mang cùng tuyên bố 1M trên cùng thiết lập 262,144. Bất kỳ ai đang định cỡ phần cứng cho khối lượng công việc một triệu token nên kiểm tra giới hạn trần trên ngăn xếp của riêng mình trước khi cam kết, vì con số quan trọng là con số mà máy chủ chấp nhận, không phải con số trong phần giới thiệu.

Phục vụ nó: tám chiếc H200, bốn chiếc GB300 và một cái bẫy sao chép-dán

Ant khuyến nghị SGLang và phát hành image day-0, lmsysorg/sglang:dev-ling-3.1-flash, với giải mã suy đoán MTP và các tối ưu giải mã trên Hopper. Cấu hình tham chiếu được ghi trong tài liệu là tám GPU H200 ở TP8 cộng EP8; trên bốn GB300, thẻ cho biết dùng --tp 4 --ep 4. Một công thức vLLM cũng được đưa vào, với song song tensor là 8, song song chuyên gia, bộ nhớ đệm tiền tố và ba token suy đoán. Hai cờ môi trường — SGLANG_ENABLE_FP8_BLOCK_GEMV và SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT — được cho là giúp giải mã batch-1 nhanh hơn khoảng 10% trên Hopper.

Mức chiếm dụng bộ nhớ giải thích danh sách phần cứng. Ở 573,8 GB trọng số FP8, checkpoint để lại khoảng 550 GB dự phòng trên tám H200 (1.128 GB HBM) và khoảng 578 GB trên bốn GB300 (1.152 GB). Như vậy đủ cho trọng số và một KV cache hoạt động, nhưng không đủ để lơ là với các ngữ cảnh dài.

Cũng có một cái bẫy trong Quickstart đáng phải cảnh báo vì nó sẽ khiến ai đó mất một ngày. Lệnh SGLang của chính model card 1019 truyền --model-path inclusionAI/Ling-3.1-flash, và ví dụ client của nó gửi "model": "Ling-3.1-flash". Nếu làm theo nguyên văn, công thức này sẽ tải bản tiền nhiệm 41 điểm, chứ không phải bản build 44 điểm. Hãy trỏ đường dẫn rõ ràng tới inclusionAI/Ling-3.1-flash-1019 và ghim tên model được phục vụ, nếu không lần benchmark đầu tiên của bạn cho "1019" sẽ là benchmark của checkpoint cũ.

Ling-3.1-flash-base dùng để làm gì — và không dùng để làm gì

Bản phát hành base là bản quan trọng hơn trong hai bản đối với bất kỳ ai huấn luyện mô hình thay vì chỉ gọi chúng. Một checkpoint BF16 1,14 TB theo giấy phép MIT, với cùng kiến trúc 560B/25B, mang lại cho một phòng thí nghiệm điểm khởi đầu hợp lệ để tiếp tục tiền huấn luyện, thích ứng miền, tinh chỉnh có giám sát, tối ưu hóa sở thích, thử nghiệm chưng cất và nghiên cứu MoE ngữ cảnh dài mà không phải bắt đầu từ một mô hình căn chỉnh hội thoại mà họ sẽ phải hoàn tác hành vi từ chối của nó.

Điều mà nó không cung cấp cho bạn là công thức cho 44. Thẻ mô tả base là checkpoint gốc của Ling-3.1-flash, không phải ảnh chụp trước hậu huấn luyện của bản dựng 1019, và không có dữ liệu hậu huấn luyện, bộ dữ liệu sở thích hay cấu hình RL nào đi kèm với cả hai kho. Nếu bạn muốn mô hình đã được đo, hãy tải mô hình đã được đo. Nếu bạn muốn tự xây dựng mô hình của riêng mình, base giúp bạn tiết kiệm hóa đơn huấn luyện trước nhưng không giúp bạn phần công việc căn chỉnh — và khoảng cách giữa một base được tinh chỉnh tốt và checkpoint hậu huấn luyện tốt nhất của nhà cung cấp thường lớn hơn mức mà một chênh lệch chỉ số ba điểm gợi ý.

Bạn có nên lấy 574 GB không?

• Tải xuống nếu bạn đã vận hành tám H200 hoặc bốn GB300, khối lượng công việc của bạn mang tính agentic hoặc nhiều bước, và giấy phép MIT loại bỏ một rào cản pháp lý mà bạn thực sự đang gặp.

• Tải xuống nếu bạn cần tự tái tạo 44 — điều đó giờ đã có thể, còn vào ngày 22 tháng 10 thì chưa.

Bỏ qua nếu bạn đang mong đợi ngữ cảnh 1M dùng được ngay; hãy thử cấu hình 256K trước.

• Hãy bỏ qua nó nếu mô hình kinh tế của bạn tính theo từng tác vụ và nhạy cảm với độ trễ. Mức tăng 59% token là một chi phí thông lượng thực sự, và vẫn chưa có số liệu độc lập nào về tốc độ đầu ra của 1019.

• Chỉ bắt đầu từ mô hình cơ sở nếu bạn có quy trình hậu huấn luyện. Đây là nền tảng, không phải lối tắt.

Cách diễn đạt trung thực về vai trò của OrcaRouter ở đây: chúng tôi không cung cấp Ling-3.1-flash-1019. Thứ chúng tôi bán là phía bên kia của quyết định — một khóa API duy nhất cho hơn 200 mô hình được lưu trữ với giá niêm yết của nhà cung cấp, không phụ thu 0%, để câu hỏi "liệu 1019 có vượt trội so với thứ tôi đang chạy không" có thể được trả lời mà không cần ký hợp đồng riêng cho từng mốc so sánh. Chuyển đổi dự phòng tự động và DSL định tuyến chỉ có ý nghĩa sau khi bạn đã chọn được một phương án thắng cuộc; chúng không giúp bạn chọn ra phương án đó.

Xem gì tiếp theo

Ba điều sẽ quyết định liệu bản phát hành này có trường tồn theo thời gian hay không. Điều đầu tiên là thông lượng độc lập: Artificial Analysis không có số liệu tốc độ đầu ra cho 1019, và nhà cung cấp bên thứ ba đầu tiên công bố số token mỗi giây sẽ cho bạn biết nhiều hơn về mức độ phù hợp để đưa vào sản xuất so với một điểm chỉ số khác. Điều thứ hai là liệu một cấu hình mở rộng ngữ cảnh 1M có xuất hiện trong kho lưu trữ hay trong cookbook SGLang hay không; cho đến khi nó xuất hiện, con số nổi bật trên model card vẫn chỉ là một tuyên bố với một triển khai 256K ở bên dưới. Điều thứ ba là cộng đồng sẽ làm gì với bản nền — một bản fine-tune vượt qua 44 trên một lĩnh vực hẹp sẽ là bằng chứng mạnh nhất cho thấy việc mở các trọng số này đáng giá hơn điểm số mà nó được phát hành cùng.