Ling-3.0-flash-base: Bản phát hành checkpoint âm thầm của Ant Group, nay đã chính thức

Phòng thí nghiệm inclusionAI của Ant Group đã đăng tải Ling-3.0-flash-base cùng năm checkpoint anh em lên Hugging Face vào ngày 11 tháng 8 năm 2026 mà không kèm theo thông báo nào, và suốt một tuần liền, cả sáu kho lưu trữ đứng yên ở con số không lượt tải — dường như không ai bên ngoài phòng thí nghiệm để ý. Thế rồi, vào ngày 19 tháng 8, tài khoản chính thức của phòng thí nghiệm đã công khai giới thiệu bộ sưu tập này, và mọi thẻ mô hình trong đó đều được cập nhật chỉ trong vài phút. Đây là bài tổng hợp những gì chúng ta biết cho đến nay về bản phát hành đó. Tóm tắt ngắn gọn ngay đầu bài: Ling-3.0-flash-base không phải là mô hình trò chuyện, và cũng không nhằm mục đích trở thành một mô hình như vậy. Nó là checkpoint nền tảng thô, chưa qua căn chỉnh (pre-alignment) của Ling-3.0-flash — mô hình Mixture-of-Experts có 124B tham số với 5.1B tham số hoạt động — được phát hành theo giấy phép MIT cho những ai muốn tiếp tục huấn luyện nó thay vì chỉ sử dụng nó.

Dòng thời gian: một tuần im lặng, sau đó là một thông báo.

Trình tự quan trọng, vì nó cho bạn biết cách đọc mọi thứ khác trong bài viết này. Sáu kho lưu trữ đều được tạo vào ngày 11 tháng 8, và các trọng số cho Ling-3.0-flash-base — checkpoint hợp nhất, cái mà bài viết này đặt tên theo — đã được đưa vào với một commit "phát hành mô hình ban đầu" vào ngày 12 tháng 8. Không có bài đăng blog, không có luồng mạng xã hội, không có thông báo nào đi kèm. Tại thời điểm nghiên cứu, một tuần sau, tất cả sáu kho lưu trữ vẫn hiển thị không có lượt tải xuống.

Cơn im lặng đó kết thúc vào ngày 19 tháng 8. Tài khoản Ant Ling chính thức đã công khai công bố bộ checkpoint, và các thẻ Hugging Face của cả sáu kho lưu trữ đều được cập nhật trong vòng vài phút so với nhau — dấu thời gian khớp gần như chính xác. Vì vậy, cách diễn đạt trung thực là: các trọng số được phát hành một cách lặng lẽ, thông báo đến trễ một tuần, và mọi thứ hiện có thể biết về bản phát hành này đều đến từ chính các thẻ mô hình cùng với một kho lưu trữ sách hướng dẫn huấn luyện ngắn. Chưa có gì khác được xác minh độc lập.

Những gì thực sự được phát hành: sáu checkpoint, ba giai đoạn huấn luyện

InclusionAI mô tả bản phát hành này là "một tập hợp các điểm kiểm tra trong quá trình huấn luyện" cho dòng Ling-3.0, dòng mô hình nền tảng ngôn ngữ hiệu quả nhất của họ cho đến nay. Đối với hai kích thước nhỏ nhất — Ling-3.0-tiny và Ling-3.0-flash — phòng thí nghiệm đã công bố ba điểm kiểm tra, một cho mỗi giai đoạn huấn luyện:

• Tiền huấn luyện — Ling-3.0-flash-base-30T và Ling-3.0-tiny-base-30T: đã hoàn thành tiền huấn luyện quy mô lớn; không huấn luyện trung gian, không hợp nhất, không hậu huấn luyện.

• Huấn luyện trung gian — Ling-3.0-flash-base-midtrain và Ling-3.0-tiny-base-midtrain: đã hoàn thành giai đoạn huấn luyện trung gian; không hợp nhất checkpoint và không huấn luyện sau.

• Hợp nhất — Ling-3.0-flash-base và Ling-3.0-tiny-base: các checkpoint cơ sở được hợp nhất bằng WSM, được tạo ra từ các trọng số huấn luyện trung gian và đại diện cho trạng thái cơ sở cuối cùng trước giai đoạn hậu huấn luyện.

Cả sáu đều là các checkpoint nền tảng. Chưa mô hình nào trải qua giai đoạn căn chỉnh — tinh chỉnh có giám sát, tối ưu hóa ưu tiên, RL — giai đoạn biến một mô hình nền tảng thành thứ có thể đưa ra trước người dùng. Thẻ mô hình nêu rõ điều đó: không được khuyến nghị để triển khai trò chuyện trực tiếp cho người dùng cuối, cho các ứng dụng quan trọng về an toàn nếu chưa có thêm bước căn chỉnh và đánh giá, hoặc cho mục đích sản xuất nếu chưa qua hậu huấn luyện và kiểm chứng cho từng nhiệm vụ cụ thể.

Checkpoint cơ sở là gì — và vì sao sự xoay chuyển WSM lại quan trọng

Nếu bạn chỉ từng sử dụng các mô hình qua API, một "base checkpoint" có thể nghe như một phiên bản nhỏ hơn hoặc cũ hơn của một mô hình bạn đã biết. Thực tế không phải vậy. Base checkpoint là tệp trọng số mạng nơ-ron chưa được tinh chỉnh, thu được từ quá trình tiền huấn luyện; hành vi tuân theo chỉ dẫn và gọi công cụ mà bạn thực sự sử dụng được xếp lớp lên trên nó sau đó. Việc phát hành các base checkpoint là cách một phòng thí nghiệm trao cho cộng đồng nghiên cứu nguyên liệu thô để tự tiếp tục tiền huấn luyện, tinh chỉnh, chưng cất và RL.

Điều làm cho bản phát hành này thú vị hơn một bản cung cấp trọng số cơ sở thông thường là công thức huấn luyện đằng sau nó. InclusionAI đang sử dụng một kỹ thuật mà họ gọi là Warmup-Stable and Merge (WSM), và nó thay thế sự suy giảm tốc độ học thông thường ở cuối quá trình huấn luyện bằng việc hợp nhất checkpoint có trọng số. Nói một cách đơn giản: thay vì để tốc độ học giảm dần để kết thúc lần chạy, phòng nghiên cứu huấn luyện ở một tốc độ ổn định, lưu các checkpoint ở giai đoạn cuối, và hợp nhất chúng với các trọng số đã học. Các lý do được nhà cung cấp nêu ra, từ thẻ mô hình:

• Vì không có giai đoạn suy giảm để "tích hợp" tổ hợp dữ liệu cuối cùng, mô hình cơ sở tạo thành phù hợp hơn với việc tiếp tục tiền huấn luyện và mở rộng dữ liệu động.

• Vì công thức hợp nhất có thể được khám phá ngoại tuyến, một nhóm có thể so sánh các cấu hình suy giảm khác nhau mà không cần chạy lại lần huấn luyện tốn kém cho từng cấu hình.

Điểm thứ hai đó chính là điều khiến bản phát hành này trở thành một sản phẩm nghiên cứu hơn là một sự tò mò: toàn bộ ý nghĩa của các checkpoint này là chúng được thiết kế để tiếp tục được huấn luyện thêm, và công thức này được thiết kế để có thể chấp nhận điều đó.

Bên trong Ling-3.0-flash-base có gì?

Kiến trúc này giống hệt với Ling-3.0-flash sau post-training, vốn hẳn đã quen thuộc qua các bài viết đề cập rộng rãi về mô hình đó. Từ model card và config.json:

• Kích thước — 124B tổng tham số theo nhà cung cấp (checkpoint đầy đủ trên đĩa, bao gồm cả embeddings, đạt khoảng 127B trên Hugging Face), với 5.1B được kích hoạt mỗi token.

• Độ thưa — một MoE thưa 1/64: 512 chuyên gia định tuyến, với 8 chuyên gia định tuyến và 1 chuyên gia dùng chung được kích hoạt cho mỗi token.

• Attention — một thiết kế lai-tuyến tính bản địa: 35 lớp Kimi Delta Attention (KDA) và 7 lớp Gated MLA theo mô hình lặp lại 5:1 trên 42 lớp transformer.

• Ngữ cảnh — cấu hình mang embedding vị trí 256K token (262,144), cùng ngữ cảnh gốc như phiên bản anh em sau huấn luyện.

• Trọng số — BF16, được phân phối dưới dạng 28 phân đoạn safetensors (~255 GB trên đĩa), với mã mô hình hóa tùy chỉnh bailing_hybrid được đóng gói trong kho lưu trữ.

• Giấy phép — MIT, không kèm điều khoản ràng buộc sử dụng.

Một lưu ý thẳng thắn về con số kích thước: thẻ thông số mô hình của nhà cung cấp ghi "{{KEEP}}Total 124B{{/KEEP}}," và đó là con số được lan truyền ở khắp mọi nơi — nhưng tổng số tham số safetensors trên kho lưu trữ là khoảng 127.5B khi tính cả lớp embedding. Con số 124B là tổng không bao gồm embedding, và hai con số này không hề mâu thuẫn; điều đáng biết là bạn đang nhìn vào con số nào khi thấy "127B" ở thanh bên hoặc trình tải xuống.

Nó dùng để làm gì, và không dùng để làm gì

Các trường hợp sử dụng được khuyến nghị trong thẻ mô hình là rõ ràng:

• Tiếp tục tiền huấn luyện

• Giữa quá trình huấn luyện

• Tinh chỉnh có giám sát để thích ứng miền

Tối ưu hóa sở thích và hậu huấn luyện RL

• Nghiên cứu chưng cất

• Nghiên cứu hệ thống ngữ cảnh dài và MoE

Và danh sách "không được khuyến nghị sử dụng nguyên trạng" của nó cũng rõ ràng không kém: triển khai trò chuyện trực tiếp cho người dùng cuối, các ứng dụng quan trọng về an toàn mà chưa được căn chỉnh, sử dụng trong sản xuất mà không qua đào tạo bổ sung. Nói cách khác, đây là nguyên liệu thô cho những người huấn luyện mô hình, chứ không phải là mô hình để mọi người triển khai. Nếu bạn không có kế hoạch tinh chỉnh hay tiền huấn luyện bất cứ điều gì, thì chẳng có gì để bạn tải về ở đây — và điều đó cũng chẳng có gì sai cả.

Nửa còn lại của câu chuyện là thiết kế mở rộng liền mạch. InclusionAI tuyên bố rằng Ling-3.0-tiny-base và Ling-3.0-flash-base có cùng một công thức huấn luyện, vì vậy cộng đồng có thể kiểm chứng chiến lược tiếp tục tiền huấn luyện hoặc tinh chỉnh trên checkpoint nhỏ trước — vốn chiếm ít bộ nhớ GPU hơn nhiều — và sau đó mở rộng cùng một công thức đã được kiểm chứng lên checkpoint flash lớn hơn. Đây là một lựa chọn có chủ đích về quy trình làm việc, không phải sự tình cờ trong khâu phát hành, và đây là đặc tính hữu ích nhất của bộ sưu tập đối với bất kỳ ai thực sự muốn thử nghiệm.

Thực tế phần cứng, và con đường mà hầu hết mọi người thực sự muốn

Không thể tránh khỏi kích thước của các trọng số cơ sở flash. BF16 ở mức ~255 GB đồng nghĩa với việc bạn cần một node đa GPU mạnh mẽ (hoặc một thiết lập huấn luyện tối ưu về bộ nhớ) ngay từ trước khi bắt đầu; không có phiên bản lượng tử hóa FP8 hoặc FP4 chính thức nào cho checkpoint cơ sở — các biến thể lượng tử hóa hiện có trong danh mục của tổ chức là dành cho mô hình sau huấn luyện. Các ví dụ tinh chỉnh nằm trong inclusionAI/ling-cookbook, kho lưu trữ GitHub, vốn rõ ràng là một dự án đang trong quá trình hoàn thiện. Nếu việc tiếp tục tiền huấn luyện không phải là trọng tâm của nhóm bạn, thì các checkpoint cơ sở không phải là điểm khởi đầu của bạn.

Hầu hết những người đọc về dòng Ling-3.0 không hề muốn một checkpoint cơ sở nào cả — họ muốn mô hình có thể trò chuyện. Đó chính là mô hình đã được hậu huấn luyện Ling-3.0-flash, có sẵn qua API riêng của nhà cung cấp và một số nền tảng bên thứ ba. Khi một mô hình trọng số mở nhanh, mới ra mắt như vậy xuất hiện, cách rẻ nhất để đánh giá nó so với stack hiện tại của bạn là chạy nó song song với những gì bạn đang dùng — và đó chính xác là công dụng của một bộ định tuyến: một API, một khóa, và tự động chuyển đổi dự phòng để một sự cố từ nhà cung cấp không làm kết thúc cuộc thử nghiệm. OrcaRouter kết nối với hơn 200 mô hình theo cách này và chuyển thẳng giá niêm yết của nhà cung cấp với mức tăng 0%, vì vậy mức giá bạn thấy chính là giá của nhà cung cấp, và một khoản hoa hồng từ nhà cung cấp sẽ về phía chúng tôi ngay trong ngày.

Điều gì chưa được xác nhận?

Vì bản phát hành này mới chỉ được công bố một ngày, danh sách chưa xác nhận còn dài và nên được xem như danh sách việc cần làm, chứ không phải là lời chỉ trích:

• Không có điểm chuẩn độc lập nào cho checkpoint cơ sở.Thẻ mô hình nhúng một biểu đồ điểm chuẩn của nhà cung cấp so sánh Ling-3.0-flash-base với các mô hình tiền huấn luyện tương đương trên các bộ kiểm tra toán, lập trình, suy luận, đa ngôn ngữ và ngữ cảnh dài — nhưng đó là đánh giá của chính nhà cung cấp, được lưu trữ trên một máy chủ ảnh nội bộ, không có phần mô tả phương pháp và không có sự tái lập từ bên thứ ba.

• Chưa có bản tái tạo nào từ cộng đồng. Tại thời điểm nghiên cứu, cả sáu kho lưu trữ đều cho thấy số lượt tải về bằng không và về cơ bản không có tương tác. Bản phát hành còn quá mới để bất kỳ ai có thể công bố một bản tinh chỉnh (fine-tune) độc lập hoặc một lần chạy tiếp tục tiền huấn luyện (continued pretraining) dựa trên các bộ trọng số này.

• Công cụ vẫn còn sơ khai. bailing_hybrid là một kiến trúc đi kèm với mã mô hình tùy chỉnh, vì vậy bạn phụ thuộc vào trust_remote_code hoặc vào một framework đã có hỗ trợ. Sổ tay tinh chỉnh rõ ràng vẫn đang được hoàn thiện.

• Bản thân thông báo khá sơ sài. Việc giới thiệu công khai được thực hiện qua một chuỗi bài viết trên X và các thẻ mô hình; không có tài liệu ra mắt độc lập nào mô tả dữ liệu huấn luyện, tài nguyên tính toán, hay công thức hợp nhất chính xác ngoài những gì các thẻ mô hình nêu.

Ngược lại, phiên bản được huấn luyện sau (post-trained) lại có thành tích độc lập: Ling-3.0-flash được Artificial Analysis theo dõi với Chỉ số Trí tuệ (Intelligence Index) là 38 — con số này đến từ bảng xếp hạng, không phải từ nhà cung cấp. Điều đó vẫn chưa tồn tại đối với Ling-3.0-flash-base; điểm kiểm tra cơ sở không được phục vụ ở bất kỳ đâu, vì vậy nó không có mặt trên bất kỳ bảng xếp hạng nào. Hai phiên bản này đang ở những giai đoạn xác minh hoàn toàn khác nhau, và việc không nhầm lẫn chúng sẽ hữu ích.

Ai nên hành động ngay bây giờ?

Ba nhóm nên đọc điều này theo cách khác:

• Các nhà nghiên cứu thực hiện tiền huấn luyện tiếp tục, SFT theo miền, hoặc chưng cất — đây là bản phát hành dành cho bạn. Checkpoint cơ sở WSM-merged được xây dựng cụ thể để tiếp tục huấn luyện, và công thức tiny-then-flash cho bạn một cách tiết kiệm để kiểm chứng một phương pháp trước khi mở rộng quy mô. Bắt đầu với Ling-3.0-tiny-base, chứng minh công thức, sau đó chuyển sang Ling-3.0-flash-base.

• Các kỹ sư muốn một mô hình hoạt động — bạn cần bản Ling-3.0-flash đã được hậu huấn luyện, không phải bản phát hành này. Các checkpoint cơ sở sẽ không tuân theo chỉ dẫn và không được phục vụ ở bất kỳ đâu; đừng trỏ ứng dụng API vào chúng.

• Mọi người khác — hành động hữu ích là quan sát. Các tín hiệu thú vị trong vài tuần tới là một bản tinh chỉnh độc lập đầu tiên được xây dựng trên các trọng số này, một bản tái hiện của cộng đồng đối với biểu đồ điểm chuẩn của nhà cung cấp, và liệu một ngăn xếp huấn luyện của bên thứ ba có thêm hỗ trợ hạng nhất cho bailing_hybrid kiến trúc.

FAQ

Sự khác biệt giữa Ling-3.0-flash-base và Ling-3.0-flash là gì?

Ling-3.0-flash là mô hình hậu huấn luyện — được căn chỉnh bằng phương pháp tinh chỉnh có giám sát và RL, tuân theo chỉ dẫn, thực hiện gọi công cụ, và được phục vụ qua API. Ling-3.0-flash-base có cùng kiến trúc ở giai đoạn sớm hơn: đây là checkpoint cơ sở đã hợp nhất cuối cùng trước bất kỳ giai đoạn hậu huấn luyện nào, và nó sẽ không hoạt động như một mô hình trò chuyện. Bản cơ sở tồn tại để các nhà nghiên cứu có thể tự tiếp tục tiền huấn luyện, tinh chỉnh, hoặc chưng cất thay vì bắt đầu từ đầu.

Tại sao một phòng thí nghiệm lại phát hành các checkpoints chưa được hậu huấn luyện?

Bởi vì hậu huấn luyện {{1}}chính là điều mà hầu hết các nhà nghiên cứu muốn tự mình thực hiện{{/1}}, và checkpoint cơ sở là điểm khởi đầu đúng đắn cho việc đó. Việc phát hành riêng các checkpoint tiền huấn luyện, huấn luyện trung gian và hợp nhất cho phép một nhóm chọn giai đoạn phù hợp với công việc của họ: tiếp tục tiền huấn luyện từ trọng số đã tiền huấn luyện, hoặc tinh chỉnh và RL từ mô hình cơ sở đã hợp nhất — và nhờ WSM, không phải chịu {{2}}các ràng buộc suy giảm tốc độ học{{/2}} vốn khiến mô hình cơ sở dễ vỡ khi huấn luyện thêm.

Tôi có thể chạy Ling-3.0-flash-base trên phần cứng tiêu dùng không?

Thực tế là không. Các trọng số BF16 có dung lượng khoảng 255 GB trải trên 28 shard, và không có biến thể lượng tử hóa chính thức nào của checkpoint cơ sở. Phiên bản nhỏ hơn cùng dòng, Ling-3.0-tiny-base, là phiên bản dành cho việc thử nghiệm trên phần cứng khiêm tốn hơn — và nó dùng chung công thức huấn luyện với flash checkpoint, do đó các thử nghiệm đã kiểm chứng có thể mở rộng quy mô.

Ling-3.0-flash-base có được miễn phí sử dụng cho mục đích thương mại không?

Vâng — nó được phát hành dưới giấy phép MIT mà không có điều khoản ràng buộc về sử dụng chấp nhận được. Điều đó bao gồm cả việc sử dụng cho nghiên cứu và, về nguyên tắc, sử dụng thương mại đối với các trọng số và bất kỳ bản tinh chỉnh nào được xây dựng từ chúng. Đây là một checkpoint cơ sở, vì vậy "sử dụng" ở đây có nghĩa là huấn luyện trên nó; giấy phép không đề cập gì về API được lưu trữ, vì không có API nào cho mô hình cơ sở.

Điểm mấu chốt

Đối với hầu hết độc giả, Ling-3.0-flash-base là một con trỏ, không phải một sản phẩm: nó cho bạn biết dòng Ling-3.0 đang hướng tới đâu và lab dự định cộng đồng sẽ xây dựng dựa trên nó như thế nào, nhưng không có gì ở đây để gọi qua API. Đối với nhóm nhỏ hơn thực sự đang thực hiện tiền huấn luyện tiếp tục, tinh chỉnh hoặc chưng cất, đây là một bản phát hành thực sự hữu ích — sáu checkpoint, được cấp phép MIT, được thiết kế có chủ đích để huấn luyện thêm, với lộ trình tiny-first giúp việc thử nghiệm trở nên phải chăng. Điều có thể đưa nó từ "bản phát hành hữu ích" thành "công thức đã được kiểm chứng" chính xác là thứ còn thiếu hôm nay: một sự tái tạo độc lập, bởi một người ngoài lab, về những gì các checkpoint WSM có thể làm khi ai đó tiếp tục huấn luyện chúng.