SkyRL đã nâng điểm AIME của Mistral Large 4 thêm mười một điểm trên tám nút: Day-0 RL trên một MoE 1T chứng minh được điều gì

Mistral Large 4 được công bố dưới dạng bản xem trước API vào ngày 6 tháng 10 năm 2026, và trọng số của nó chỉ trở nên có thể tải xuống lúc 14:51 UTC ngày 29 tháng 10 — điều này khiến báo cáo học tăng cường được công bố cùng ngày trở nên đáng chú ý vì một lý do mà các tác giả không đi sâu vào: trước buổi chiều hôm đó, không ai ngoài Mistral có kết quả tinh chỉnh nào để công bố. Ghi chú đến từ nhóm SkyRL tại NovaSky. Tám nút NVIDIA GB200, học tăng cường LoRA trên checkpoint NVFP4, vLLM phục vụ các rollout, và AIME 2024 average@8 tăng từ khoảng 64% lên khoảng 75% qua 75 bước huấn luyện. Mười một điểm trên một benchmark vốn thường được phân định đến từng phần mười hoặc là kết quả day-zero hữu ích nhất của quý, hoặc là kết quả khó tái lập nhất, và ghi chú như được viết không cho bạn biết đó là trường hợp nào.

Điều nó thực sự cho bạn biết là có thật, và đáng để tách bạch khỏi những gì nó không cho biết. Phần cứng được nêu tên. Checkpoint được nêu tên. Rollout engine được nêu tên. Training framework được nêu tên là một trong hai. Những gì còn thiếu là reward function, rank của adapter, harness đánh giá và bất kỳ learning curve nào — bốn thứ mà một nhóm khác sẽ cần để thử thực hiện cùng một lượt chạy. Vì vậy, đây là một công bố công thức kèm theo một con số nổi bật, chứ không phải một gói tái lập. Đọc nó theo nghĩa thứ nhất thì nó thực sự cung cấp thông tin hữu ích về chi phí post-train một mixture of experts nghìn tỷ tham số vào cuối năm 2026. Đọc nó theo nghĩa thứ hai thì bạn sẽ đánh giá quá cao một benchmark trên một tác vụ.

Ghi chú SkyRL thực sự nói gì

Toàn bộ tuyên bố gói gọn trong năm dòng, nên đây là nội dung không kèm phần dẫn nhập:

• Phần cứng — 8 node NVIDIA GB200, được thuê thay vì sở hữu, với bốn GPU mỗi node, tức là 32 linh kiện Blackwell và tổng cộng khoảng 6,1 TB HBM ở mức 192 GB mỗi GPU.

• Checkpoint — bản anh em lượng tử hoá NVFP4 của bản phát hành mở, 610,1 GB trải trên 32 shard, không phải bản cha FP8 1.060,6 GB. Lựa chọn đó là lựa chọn mang tính quyết định: chính nó khiến một mô hình 1T vừa vặn trên tám nút mà vẫn còn chỗ cho activations, KV cache và hai bản sao trọng số của rollout engine.

• Phương pháp — LoRA thay vì RL toàn bộ tham số. Chỉ các adapter nhận gradient, nên trạng thái optimizer vẫn nhỏ và phần nền đã đóng băng có thể giữ nguyên ở dạng lượng tử hóa của nó.

• Vòng lặp — vLLM tạo các rollout; FSDP2 hoặc Megatron xử lý phần huấn luyện. Ghi chú đưa ra một trong hai lựa chọn, điều này cho thấy backend huấn luyện vẫn đang được hoán đổi khi kết quả được viết thành báo cáo.

• Kết quả — AIME 2024 average@8 từ khoảng 64% lên khoảng 75% trong 75 bước huấn luyện.

Không có gì trong danh sách đó là một đặc tả của lần chạy. Không có kích thước lô, không có độ dài chuỗi, không có tốc độ học, không có kích thước nhóm cho gradient chính sách, không có tuyên bố nào về phần thưởng là gì ngoài ngụ ý "đáp án AIME có thể kiểm chứng". Con số 75 bước là chính xác; gần như mọi thứ cần để diễn giải nó thì không.

Tại sao số lượng node mới là điểm nhấn, chứ không phải điểm AIME

Một nghìn tỷ tham số là con số mà phần lớn chỉ có tác dụng răn đe. Checkpoint FP8 nặng 1,06 TB, ổn nếu bạn có một trung tâm dữ liệu và là vấn đề nếu bạn chỉ có một rack. Checkpoint NVFP4 giảm một nửa con số đó xuống còn 610 GB, và 610 GB là dung lượng bạn có thể phân bổ trên tám node mà không cần đến những thủ thuật sharding vốn ngốn chi phí truyền thông nhiều hơn mức bộ nhớ mà chúng tiết kiệm được.

Đó là lý do câu thú vị trong ghi chú không phải là câu có chứa tỷ lệ phần trăm. Hugging Face đã công bố sẵn một công thức tinh chỉnh có giám sát cho mô hình này — LoRA thông qua trình huấn luyện SFT của TRL, trên một nút gồm tám GPU B300, dựa trên các trọng số FP8. Vì vậy, SFT trên một nút đã được ghi lại trước khi các trọng số ấy tròn một ngày tuổi. Điều chưa được ghi lại là học tăng cường, và lý do mang tính cấu trúc: RL cần một inference engine chạy song song với trình huấn luyện, tạo rollout đủ nhanh để thời gian GPU dùng cho huấn luyện không bị lấn át bởi thời gian GPU dùng cho lấy mẫu. SFT đọc một bộ dữ liệu cố định. RL phải tự tạo ra dữ liệu của riêng nó.

Vậy nên mức chênh lệch giữa hai công thức đã công bố không phải là tám node so với một. Mà là {{1}}tám node cộng thêm một serving stack so với một node không có serving stack{{/1}}, cho một tác vụ mà ở đó mô hình phải thử {{2}}ba mươi bài toán tám lần mỗi bài{{/2}} trước khi nó học được bất cứ điều gì. Rollout engine là trung tâm chi phí mới, và việc nêu vLLM là generator chính là phần của ghi chú mà các nhóm khác có thể hành động ngay hôm nay.

Sự so sánh mà mọi người sẽ đều đưa ra, và lý do vì sao nó bất công theo cả hai hướng

Mistral đã tự chạy RL trên mô hình này trước khi phát hành trọng số, và công ty đã nêu cụ thể về cấu trúc của lần chạy đó: khoảng ba tuần bổ sung sau bản xem trước ngày 6 tháng 10, được chạy trên hạ tầng tính toán của Pháp mà công ty mô tả bằng megawatt thay vì GPU — khoảng 10 MW — trong khi các báo cáo ở nơi khác đặt cơ sở hạ tầng RL rộng hơn ở quy mô 3.000 GPU. Những kết quả mà công ty công bố từ lần chạy đó:

• Terminal-Bench 4.0 — 28,3% trước khi bổ sung thêm RL, 41% sau đó.

• BrowseComp — 75% trước, 84,5% sau.

• B3 agent-security suite — 93,3% trước, 97,1% sau.

• Độ dài đầu ra — ít hơn khoảng 30% token mỗi tác vụ sau RL, điều mà người mua quan tâm hơn bất kỳ dòng độ chính xác nào.

Đặt con số đó bên cạnh 64 đến 75 trên AIME, và cám dỗ là tính tỉ lệ giờ GPU trên mỗi điểm. Hãy cưỡng lại điều đó, vì hai lần chạy gần như không có biến nào chung. Mức tăng của Mistral nằm ở công việc terminal dạng tác tử và duyệt web, được đo bởi một nhà cung cấp tự thiết kế phần thưởng trong nội bộ và có ba tuần thời gian thực. Mức tăng của SkyRL nằm ở toán thi đấu, được đo bởi một đối tác với một cụm máy thuê và một phần thưởng mà script có thể xác minh. Mức tăng 13 điểm trên Terminal-Bench và mức tăng 11 điểm trên AIME không phải cùng một thành tựu được biểu diễn bằng các đơn vị khác nhau; chúng là những thành tựu khác nhau mà tình cờ có quy mô tương đương.

Cách đọc công bằng thì hẹp hơn và hữu ích hơn: ba tuần RL ở quy mô trung tâm dữ liệu đã làm điểm terminal của Mistral tăng mười ba điểm, và vài giờ LoRA RL ở quy mô tám nút đã làm điểm toán của một đối tác tăng mười một điểm. Cả hai con số đều nói cùng một điều — checkpoint này phản ứng với học tăng cường một cách dễ dàng — và không con số nào nói gì về con số kia.

Điều mà điểm 64 đến 75 trên AIME 2024 chứng minh và không chứng minh được

Hãy bắt đầu với phần số học, vì đây là phần duy nhất trong việc này có thể được kiểm tra mà không cần GPU. AIME 2024 gồm ba mươi bài toán. Average@8 nghĩa là tám lần thử được lấy mẫu cho mỗi bài, nên con số được báo cáo dựa trên 240 lượt hoàn thành. Sai số lấy mẫu đối với một tỷ lệ quanh 70% ở kích thước mẫu đó là vài điểm phần trăm, điều này khiến mức chênh lệch mười một điểm nằm thoải mái ngoài vùng nhiễu. Nếu hai con số đến từ cùng một harness, thì mức cải thiện là thật trên tác vụ đó.

Đó là điều mạnh mẽ nhất có thể nói, và đáng để nói rõ ràng vì hầu hết các tuyên bố ngày đầu tiên thậm chí không tốt đến thế. Giờ đến những giới hạn:

• Không có điểm AIME nào do Mistral công bố cho mô hình này. Mốc cơ sở 64% là kết quả đo của chính SkyRL trên checkpoint gốc bằng bộ khung đánh giá riêng của họ, nên mức chênh lệch là nhất quán nội bộ nhưng không có điểm neo bên ngoài — bạn không thể đối chiếu nó với con số của nhà cung cấp vì không tồn tại con số nào như vậy.

• Average@8 không phải là pass@1. Tám lần thử cho mỗi bài toán sẽ tâng bốc bất kỳ mô hình nào có phân phối lấy mẫu rộng, và khoảng cách giữa hai chỉ số này thường là từ năm đến mười lăm điểm trong toán thi đấu. Con số quyết định việc bạn có triển khai mô hình hay không chính là lần thử duy nhất mà bạn dành cho nó trong môi trường production.

• AIME 2024 đã hai tuổi rưỡi và nằm trong số những bộ đề toán xuất hiện dày đặc nhất trong dữ liệu hậu huấn luyện. Một mô hình năm 2026 đạt điểm cao trên bộ đề này là bằng chứng về một checkpoint có thể huấn luyện được, chứ không phải là phán quyết về năng lực suy luận. Không có nội dung nào trong ghi chú báo cáo một đánh giá held-out hoặc mới hơn.

• Một nhiệm vụ, một lần chạy, một phần thưởng. RL trên toán học có thể kiểm chứng là trường hợp dễ nhất: phần thưởng không cần giám khảo, không cần rubric và không cần con người. Kết quả là một phát biểu về việc mô hình này tiến xa đến đâu dưới tín hiệu RL rẻ nhất có thể, đây thực sự là thí nghiệm đầu tiên đúng đắn và cũng là thí nghiệm ít có thể chuyển giao nhất.

Bạn sẽ cần gì để tái tạo nó, và giấy phép cho phép những gì

Danh sách mua sắm thực tế, được dựng lại từ ghi chú chứ không phải do ghi chú công bố:

• Checkpoint NVFP4 — 610 GB, 32 phân mảnh, không cần gate, có thể tải xuống ngay hôm nay mà không cần tài khoản Hugging Face.

• Khoảng 32 GPU thuộc lớp Blackwell trải trên tám node, cộng với hệ liên kết để việc đồng bộ adapter không ngốn mất thời gian của mỗi bước.

• Một bản dựng vLLM có đường NVFP4 hoạt động được cho kiến trúc này. Model card khuyến nghị dùng vLLM với container chính thức và kích thước tensor-parallel bằng tám, đồng thời ghi chú về một đầu speculative-decoding nhúng mà nhà cung cấp tuyên bố có giá trị thông lượng lên tới 1,9× — đầu đó không phải là thứ một vòng lặp RL cần, nhưng container thì có.

• Bạn sẽ phải tự chọn thứ hạng adapter và phần thưởng, vì ghi chú không nói rõ.

Câu hỏi về giấy phép được giải quyết gọn gàng hơn câu hỏi kỹ thuật. Mistral phát hành sản phẩm này theo Mistral Ecosystem Open-Weight License, một văn bản MIT đã sửa đổi cho phép sử dụng thương mại, tinh chỉnh và các sản phẩm phái sinh, đồng thời chỉ yêu cầu một giấy phép thương mại riêng để vận hành dịch vụ model-as-a-service dựa trên đó. Fine-tuning nội bộ, một adapter riêng, một lần chạy đánh giá trên các node thuê — tất cả những điều đó đều nằm trong phạm vi được cấp phép. Dựng một API tính phí theo token và bán quyền truy cập vào bản fine-tune của bạn thì không. Nếu kế hoạch của bạn là trường hợp đầu tiên, giấy phép không phải là vấn đề của bạn. Nếu là trường hợp thứ hai, nó chính là toàn bộ vấn đề, và không mức cải thiện AIME nào thay đổi được điều đó.

Nửa vòng lặp sẽ trở nên tốn kém về sau

AIME là trường hợp rẻ vì một lý do đáng nói rõ. Phần thưởng là một chuỗi đáp án mà một script so sánh. Không có giám khảo, không có rubric, không có mô hình thứ hai trong vòng lặp, nên chi phí biên của một rollout chỉ là suy luận và không gì khác. Chuyển cùng công thức đó sang các tác vụ agentic, viết mở, hoặc bất cứ thứ gì được chấm theo sở thích, thì phần thưởng trở thành một lần gọi mô hình — được phát ở quy mô rollout, hàng nghìn lần mỗi bước, trong toàn bộ lượt chạy. Đó là một bài toán mua sắm khác với tính toán huấn luyện, và là bài toán mà hầu hết các đội phát hiện ra sau khi đã đặt GPU.

Bản thân Mistral Large 4 không phải là mô hình mà chúng tôi phục vụ, nên bài viết này không phải là con đường dẫn tới nó — tự vận hành nó nghĩa là dùng kho Hugging Face và API riêng của nhà cung cấp. Phần có thể định tuyến được là nửa còn lại của vòng lặp. Nếu bộ xác minh của bạn là một mô hình giám khảo chứ không phải script, nó phải chịu được việc bị gọi ở khối lượng triển khai: một endpoint trên 200+ mô hình, giá niêm yết của nhà cung cấp được chuyển thẳng, không cộng thêm phí, và chuyển đổi dự phòng khi một endpoint giám khảo bị giới hạn tốc độ giữa một bước huấn luyện. Những mô hình bạn thực sự sẽ dùng làm giám khảo được liệt kê, kèm ngữ cảnh và giá, trong danh mục mô hình OrcaRouter. Điểm mấu chốt không phải là định tuyến làm RL rẻ đi. Mà là tín hiệu phần thưởng là phần của một lần chạy RL mà bạn không thể lên lịch né tránh, nên đó là phần đáng được đặt sau một giao diện ổn định.

Xem gì tiếp theo

Ba điều sẽ biến đây từ một ghi chú đầy hứa hẹn thành một kết quả. Việc nhóm SkyRL công bố thứ hạng adapter, định nghĩa phần thưởng và một đường cong học tập, điều này sẽ cho phép một nhóm khác thử cùng một lần chạy thay vì chỉ chiêm ngưỡng nó. Một nhiệm vụ thứ hai, lý tưởng nhất là nhiệm vụ có phần thưởng không phải là so sánh chuỗi, sẽ cho thấy liệu hiệu ứng có đứng vững khi tiếp xúc với một giám khảo hay không. Và một đánh giá độc lập bằng AIME hoặc toán khó hơn đối với checkpoint đã phát hành, vì mức sàn 64% hiện là phép đo của chính đối tác và cách duy nhất để gỡ bỏ lưu ý đó là để người khác đo nó.

Cho đến lúc đó, bản tóm tắt trung thực thì ngắn gọn. Các trọng số mới chỉ một ngày tuổi, một đối tác đã đẩy một bài benchmark toán học lên mười một điểm trên tám node thuê với một bộ adapter LoRA, và chưa ai tái lập được kết quả đó. Đó là nhiều hơn những gì hầu hết các bản phát hành trọng số mở mang lại trong tuần đầu tiên, và ít hơn những gì dòng tít ngụ ý.