SkyRL เพิ่มคะแนน AIME ของ Mistral Large 4 ขึ้น 11 คะแนนบนแปดโหนด: สิ่งที่ RL ตั้งแต่ Day-0 บน MoE ขนาด 1T พิสูจน์ให้เห็น

Mistral Large 4 ถูกประกาศเป็น API preview เมื่อวันที่ 6 ตุลาคม 2026 และน้ำหนักโมเดลเพิ่งเปิดให้ดาวน์โหลดเมื่อเวลา 14:51 UTC ของวันที่ 29 ตุลาคม ซึ่งทำให้รายงานการเรียนรู้แบบเสริมกำลังที่เผยแพร่ในวันเดียวกันนี้น่าสนใจด้วยเหตุผลที่ผู้เขียนไม่ได้เน้นไว้: ก่อนบ่ายวันนั้น ไม่มีใครนอก Mistral ที่มีผลการ fine-tuning ให้เผยแพร่ บันทึกนี้มาจากทีม SkyRL ที่ NovaSky ใช้แปดโหนด NVIDIA GB200 การเรียนรู้แบบเสริมกำลังด้วย LoRA บนเช็กพอยต์ NVFP4, vLLM ให้บริการ rollout และ average@8 ของ AIME 2024 เพิ่มจากราว 64% เป็นราว 75% ตลอด 75 ขั้นตอนการฝึก สิบเอ็ดคะแนนบนเบนช์มาร์กที่ปกติตัดสินกันที่ระดับหนึ่งในสิบของคะแนน อาจเป็นผลลัพธ์ day-zero ที่มีประโยชน์ที่สุดของไตรมาส หรือเป็นผลลัพธ์ที่ทำซ้ำได้น้อยที่สุดก็ได้ และบันทึกตามที่เขียนไว้ไม่ได้บอกว่าเป็นอย่างไหน

สิ่งที่มันบอกคุณได้นั้นเป็นเรื่องจริง และควรแยกให้ชัดจากสิ่งที่มันไม่ได้บอก ฮาร์ดแวร์ถูกระบุชื่อ เช็กพอยต์ถูกระบุชื่อ เอนจิน rollout ถูกระบุชื่อ เฟรมเวิร์กการฝึกถูกระบุชื่อว่าเป็นหนึ่งในสอง สิ่งที่ขาดไปคือฟังก์ชันรางวัล อันดับของอะแดปเตอร์ ฮาร์เนสสำหรับการประเมิน และเส้นโค้งการเรียนรู้ใด ๆ — สี่สิ่งที่ทีมอื่นจะต้องมีเพื่อลองทำการรันแบบเดียวกัน ดังนั้นนี่คือการประกาศสูตรที่มีตัวเลขพาดหัวแนบมาด้วย ไม่ใช่แพ็กเกจสำหรับการทำซ้ำ อ่านมันในฐานะแบบแรก แล้วมันให้ข้อมูลที่เป็นประโยชน์จริง ๆ เกี่ยวกับต้นทุนในการ post-train โมเดล mixture of experts ขนาดหนึ่งล้านล้านพารามิเตอร์ในช่วงปลายปี 2026 อ่านมันในฐานะแบบหลัง แล้วคุณจะประเมินเบนช์มาร์กหนึ่งรายการบนงานหนึ่งงานสูงเกินไป

สิ่งที่โน้ต SkyRL ระบุไว้จริง ๆ

ข้อกล่าวอ้างทั้งหมดนี้พอดีในห้าบรรทัด ดังนั้นนี่คือข้อความนั้นโดยไม่มีกรอบนำ

• ฮาร์ดแวร์ — NVIDIA GB200 จำนวน 8 โหนด โดยเช่าแทนการเป็นเจ้าของ ซึ่งที่ GPU สี่ตัวต่อโหนด รวมเป็น Blackwell 32 ตัว และมี HBM รวมประมาณ 6.1 TB ที่ 192 GB ต่อ GPU

• Checkpoint — รุ่นพี่น้องแบบควอนไทซ์ NVFP4 ของรีลีสแบบเปิด ขนาด 610.1 GB กระจายใน 32 ชาร์ด ไม่ใช่รุ่นแม่ FP8 ขนาด 1,060.6 GB ตัวเลือกนี้คือตัวเลือกที่เป็นแกนหลัก: มันคือสิ่งที่ทำให้โมเดล 1T พอดีบนแปดโหนด โดยยังเหลือที่ว่างสำหรับแอคติเวชัน, KV cache และน้ำหนักของเอนจิน rollout สองสำเนา

• วิธีการ — ใช้ LoRA แทน RL แบบเต็มพารามิเตอร์ มีเพียงอะแดปเตอร์เท่านั้นที่ได้รับเกรเดียนต์ สถานะของออปติไมเซอร์จึงยังคงมีขนาดเล็ก และฐานที่ถูกแช่แข็งสามารถคงอยู่ในรูปควอนไทซ์ได้

• Loop — vLLM สร้าง rollouts; FSDP2 หรือ Megatron รับผิดชอบครึ่งหนึ่งของการฝึก โน้ตเสนอทั้งสองทางเลือก ซึ่งบ่งชี้ว่าแบ็กเอนด์การฝึกยังอยู่ในระหว่างการสลับเปลี่ยนตอนที่เขียนสรุปผลลัพธ์

• ผลลัพธ์ — AIME 2024 average@8 จากประมาณ 64% เป็นประมาณ 75% ภายใน 75 ขั้นตอนการฝึก

ไม่มีสิ่งใดในรายการนั้นที่เป็นข้อกำหนดเฉพาะของการรันเลย ไม่มีขนาดแบทช์ ไม่มีความยาวลำดับ ไม่มีอัตราการเรียนรู้ ไม่มีขนาดกลุ่มสำหรับพอลิซีเกรเดียนต์ และไม่มีคำอธิบายว่ารางวัลคืออะไร นอกเหนือจากนัยโดยปริยายว่า "คำตอบของ AIME นั้นตรวจสอบได้" ตัวเลข 75 สเต็ปนั้นแม่นยำ แต่เกือบทุกอย่างที่จำเป็นต่อการตีความตัวเลขนั้นไม่ใช่

ทำไมจำนวนโหนดจึงเป็นพาดหัวข่าว ไม่ใช่คะแนน AIME

พารามิเตอร์หนึ่งล้านล้านตัวเป็นตัวเลขที่ส่วนใหญ่ทำหน้าที่เป็นอุปสรรคขัดขวาง เช็กพอยต์ FP8 มีขนาด 1.06 TB ซึ่งไม่เป็นปัญหา اگرมีศูนย์ข้อมูล แต่เป็นปัญหาถ้ามีเพียงแร็กเดียว เช็กพอยต์ NVFP4 ลดขนาดลงครึ่งหนึ่งเหลือ 610 GB และ 610 GB เป็นปริมาณที่คุณกระจายไปยังแปดโหนดได้โดยไม่ต้องใช้เทคนิคการแบ่งข้อมูลแบบ sharding ที่ทำให้เสียต้นทุนด้านการสื่อสารมากกว่าที่ประหยัดหน่วยความจำได้

นั่นคือเหตุผลว่าทำไมประโยคที่น่าสนใจในบันทึกจึงไม่ใช่ประโยคที่มีเปอร์เซ็นต์อยู่ Hugging Face ได้เผยแพร่สูตร supervised fine-tuning สำหรับโมเดลนี้ไว้แล้ว — LoRA ผ่าน SFT trainer ของ TRL บนโหนดเดียวที่มี GPU B300 แปดตัว โดยอิงกับน้ำหนัก FP8 ดังนั้น SFT บนโหนดเดียวจึงถูกบันทึกไว้ก่อนที่น้ำหนักจะอายุครบหนึ่งวัน สิ่งที่ยังไม่ถูกบันทึกคือ reinforcement learning และเหตุผลเป็นเชิงโครงสร้าง: RL ต้องมี inference engine ที่ทำงานคู่ขนานไปกับ trainer เพื่อสร้าง rollouts ให้เร็วพอที่เวลา GPU ที่ใช้ในการฝึกจะไม่ถูกบดบังด้วยเวลา GPU ที่ใช้ในการสุ่มตัวอย่าง SFT อ่านชุดข้อมูลแบบคงที่ ส่วน RL ต้องสร้างข้อมูลของตัวเองขึ้นมา

ดังนั้นส่วนต่างระหว่างสูตรที่เผยแพร่ทั้งสองสูตรจึงไม่ใช่แปดโหนดเทียบกับหนึ่งโหนด แต่คือแปดโหนดบวกสแต็กการให้บริการ เทียบกับหนึ่งโหนดที่ไม่มีสแต็กการให้บริการ สำหรับงานที่โมเดลต้องลองทำโจทย์สามสิบข้อข้อละแปดครั้งก่อนจะเรียนรู้อะไรได้ เอนจินการ rollout คือศูนย์ต้นทุนใหม่ และการระบุ vLLM เป็นตัวสร้างคือส่วนของบันทึกที่ทีมอื่นสามารถลงมือทำได้ตั้งแต่วันนี้

การเปรียบเทียบที่ทุกคนจะทำ และเหตุใดจึงไม่ยุติธรรมในทั้งสองทิศทาง

Mistral รัน RL ของตัวเองบนโมเดลนี้ก่อนปล่อยน้ำหนักโมเดล และบริษัทได้ระบุลักษณะของมันอย่างชัดเจนว่า ใช้เวลาประมาณสามสัปดาห์เพิ่มเติมหลังจากการพรีวิวเมื่อวันที่ 6 ตุลาคม โดยรันบนทรัพยากรประมวลผลของฝรั่งเศสซึ่งบริษัทอธิบายเป็นหน่วยเมกะวัตต์แทนจำนวน GPU — ประมาณ 10 MW — ขณะที่รายงานจากที่อื่นระบุว่าโครงสร้างพื้นฐาน RL ที่กว้างขึ้นอยู่ในระดับ 3,000 GPU ผลลัพธ์ที่บริษัทเผยแพร่จากการรันนั้น:

• Terminal-Bench 4.0 — 28.3% ก่อนการทำ RL เพิ่มเติม และ 41% หลังจากนั้น

• BrowseComp — 75% ก่อน และ 84.5% หลัง

• ชุดความปลอดภัยสำหรับเอเจนต์ B3 — ก่อน 93.3% หลัง 97.1%

• ความยาวของเอาต์พุต — จำนวนโทเค็นต่องานลดลงประมาณ 30% หลัง RL ซึ่งสำคัญต่อผู้ซื้อมากกว่าข้อมูลแถวความแม่นยำใด ๆ

เมื่อนำสิ่งนั้นมาเทียบกับ 64 ถึง 75 คะแนนบน AIME แรงจูงใจก็คือการคำนวณอัตราส่วน GPU-hours ต่อคะแนนหนึ่งจุด จงต้านทานไว้ เพราะการรันทั้งสองครั้งแทบไม่มีตัวแปรร่วมกันเลย ความก้าวหน้าของ Mistral อยู่ที่งานเทอร์มินัลแบบเอเจนต์และการท่องเว็บ ซึ่งวัดโดยผู้ให้บริการที่มีการออกแบบรางวัลอยู่ในองค์กรเองและใช้เวลาจริงสามสัปดาห์ ความก้าวหน้าของ SkyRL อยู่ที่คณิตศาสตร์แข่งขัน ซึ่งวัดโดยพาร์ตเนอร์ที่ใช้คลัสเตอร์เช่าและรางวัลที่สคริปต์ตรวจสอบได้ การขยับ 13 คะแนนบน Terminal-Bench กับการขยับ 11 คะแนนบน AIME ไม่ใช่ความสำเร็จเดียวกันที่แสดงออกมาในหน่วยต่างกัน แต่เป็นความสำเร็จที่ต่างกันซึ่งบังเอิญมีขนาดใกล้เคียงกัน

การตีความอย่างเป็นธรรมนั้นแคบกว่าและมีประโยชน์กว่า: สามสัปดาห์ของ RL ในระดับดาต้าเซ็นเตอร์ทำให้คะแนน terminal ของ Mistral ขยับไป 13 คะแนน และ LoRA RL เพียงไม่กี่ชั่วโมงในระดับแปดโหนดทำให้คะแนนคณิตศาสตร์ของพาร์ตเนอร์ขยับไป 11 คะแนน ตัวเลขทั้งสองบอกเรื่องเดียวกัน — checkpoint นี้ตอบสนองต่อ reinforcement learning ได้อย่างว่องไว — และไม่มีตัวเลขใดบอกอะไรเกี่ยวกับอีกตัวเลขหนึ่งเลย

สิ่งที่คะแนน 64 ถึง 75 ใน AIME 2024 พิสูจน์ได้และพิสูจน์ไม่ได้

เริ่มจากเลขคณิตก่อน เพราะเป็นส่วนเดียวของเรื่องนี้ที่ตรวจสอบได้โดยไม่ต้องใช้ GPU AIME 2024 มีสามสิบข้อ Average@8 หมายถึงการสุ่มลองแปดครั้งต่อข้อ ดังนั้นตัวเลขที่รายงานจึงอ้างอิงจากคำตอบที่สร้างครบ 240 ครั้ง ความคลาดเคลื่อนจากการสุ่มสำหรับสัดส่วนที่ใกล้ 70% ที่ขนาดตัวอย่างเท่านี้อยู่ที่ไม่กี่จุดเปอร์เซ็นต์ ซึ่งทำให้การขยับ 11 จุดเปอร์เซ็นต์อยู่นอกเหนือสัญญาณรบกวนอย่างสบาย หากตัวเลขทั้งสองมาจากชุดทดสอบเดียวกัน การปรับปรุงก็เกิดขึ้นจริงในงานนั้น

นี่คือสิ่งที่ทรงพลังที่สุดที่อาจกล่าวได้ และคุ้มค่าที่จะกล่าวอย่างชัดเจน เพราะข้อกล่าวอ้างช่วง day-zero ส่วนใหญ่ยังไม่ดีถึงระดับนี้ด้วยซ้ำ ต่อไปคือข้อจำกัด:

• ไม่มีคะแนน AIME ที่ Mistral เผยแพร่สำหรับโมเดลนี้ เส้นฐาน 64% เป็นการวัดของ SkyRL เองบนเช็กพอยต์ฐานโดยใช้ฮาร์เนสของตัวเอง ดังนั้นเดลตาจึงสอดคล้องกันภายในแต่ไม่มีจุดยึดอ้างอิงภายนอก — คุณไม่สามารถเทียบกับตัวเลขจากผู้จำหน่ายได้ เพราะไม่มีตัวเลขจากผู้จำหน่ายอยู่

• Average@8 ไม่ใช่ pass@1 การลองแปดครั้งต่อข้อทำให้โมเดลใด ๆ ดูดีเกินจริงเมื่อการกระจายการสุ่มตัวอย่างกว้าง และช่องว่างระหว่างสองเมตริกนี้มักอยู่ที่ห้าถึงสิบห้าคะแนนในโจทย์คณิตศาสตร์ระดับแข่งขัน ตัวเลขที่ตัดสินว่าคุณจะนำโมเดลไปใช้งานจริงหรือไม่ คือการลองเพียงครั้งเดียวที่คุณให้มันในสภาพแวดล้อมการใช้งานจริง

• AIME 2024 มีอายุสองปีครึ่ง และเป็นหนึ่งในชุดข้อสอบคณิตศาสตร์ที่มีการปรากฏมากที่สุดในข้อมูลหลังการฝึก การที่โมเดลปี 2026 ทำคะแนนได้ดีในชุดนี้เป็นหลักฐานของ checkpoint ที่ฝึกได้ ไม่ใช่คำตัดสินชี้ขาดเรื่องการให้เหตุผล ไม่มีส่วนใดในบันทึกที่รายงานการประเมินแบบ held-out หรือการประเมินที่ใหม่กว่า

• งานเดียว การรันหนึ่งครั้ง รางวัลเดียว RL กับคณิตศาสตร์ที่ตรวจสอบได้เป็นกรณีที่ง่ายที่สุด: รางวัลไม่ต้องอาศัยผู้ตัดสิน ไม่ต้องมีเกณฑ์การให้คะแนน และไม่ต้องใช้มนุษย์ ผลลัพธ์คือข้อความเกี่ยวกับว่าโมเดลนี้ก้าวไปได้ไกลเพียงใดภายใต้สัญญาณ RL ที่มีต้นทุนต่ำที่สุดเท่าที่เป็นไปได้ ซึ่งเป็นการทดลองแรกที่ถูกต้องอย่างแท้จริง และยังเป็นการทดลองที่ถ่ายโอนไปใช้กับกรณีอื่นได้น้อยที่สุดอีกด้วย

สิ่งที่คุณต้องใช้ในการทำซ้ำ และสิ่งที่ใบอนุญาตอนุญาตให้ทำได้

รายการซื้อของที่ใช้ได้จริง ซึ่งสร้างขึ้นใหม่จากบันทึกนั้น แทนที่จะเป็นสิ่งที่บันทึกนั้นเผยแพร่เอง

• เช็กพอยต์ NVFP4 — 610 GB, 32 ชาร์ด, ไม่มีข้อจำกัดการเข้าถึง, ดาวน์โหลดได้วันนี้โดยไม่ต้องมีบัญชี Hugging Face

• GPU ระดับ Blackwell ประมาณ 32 ตัวกระจายอยู่บนแปดโหนด พร้อมอินเทอร์คอนเนกต์เพื่อป้องกันไม่ให้การซิงโครไนซ์อะแดปเตอร์เข้ามากินเวลาในแต่ละสเต็ป

• บิลด์ vLLM ที่มีพาธ NVFP4 ที่ใช้งานได้สำหรับสถาปัตยกรรมนี้ การ์ดโมเดลแนะนำให้ใช้ vLLM พร้อมคอนเทนเนอร์ทางการและขนาด tensor-parallel เท่ากับแปด และระบุถึงหัว speculative decoding ที่ฝังมา ซึ่งผู้ขายอ้างว่าช่วยให้ได้ทรูพุตสูงถึง 1.9 เท่า — หัวดังกล่าวไม่ใช่สิ่งที่ลูป RL ต้องการ แต่คอนเทนเนอร์นั้นใช่

• คุณจะต้องเลือกอันดับของอะแดปเตอร์และรางวัลด้วยตนเอง เนื่องจากบันทึกไม่ได้ระบุไว้

คำถามเรื่องสัญญาอนุญาตมีคำตอบที่ชัดเจนกว่าคำถามเรื่องเทคนิค Mistral เผยแพร่สิ่งนี้ภายใต้ Mistral Ecosystem Open-Weight License ซึ่งเป็นข้อความ MIT ที่ดัดแปลงแล้ว อนุญาตให้ใช้เชิงพาณิชย์ ปรับแต่งละเอียด (fine-tuning) และสร้างงานต่อยอด (derivatives) และกำหนดให้ต้องมีสัญญาอนุญาตเชิงพาณิชย์แยกต่างหากเฉพาะเมื่อดำเนินธุรกิจแบบ model-as-a-service บนพื้นฐานของมัน การปรับแต่งละเอียดภายในองค์กร อะแดปเตอร์ส่วนตัว การรันประเมินผลบนโหนดที่เช่า ทั้งหมดนั้นอยู่ในขอบเขตที่ได้รับอนุญาต การตั้ง API แบบคิดตามโทเคนและขายการเข้าถึง fine-tune ของคุณไม่อยู่ในขอบเขตนั้น หากแผนของคุณคือแบบแรก licence ก็ไม่ใช่ปัญหาของคุณ หากเป็นแบบที่สอง มันคือปัญหาทั้งหมด และการปรับปรุง AIME ไม่ว่าจะมากแค่ไหนก็ไม่เปลี่ยนเรื่องนี้

ครึ่งหนึ่งของลูปที่จะกลายเป็นค่าใช้จ่ายสูงในภายหลัง

AIME เป็นเคสราคาถูกด้วยเหตุผลที่ควรพูดให้ชัดเจน รางวัลคือสตริงคำตอบที่สคริปต์นำไปเปรียบเทียบ ไม่มีผู้ตัดสิน ไม่มี rubric ไม่มีโมเดลที่สองอยู่ในลูป ดังนั้นต้นทุนส่วนเพิ่มของการ rollout หนึ่งครั้งจึงอยู่ที่การทำ inference และไม่มีอะไรอื่น ย้ายสูตรเดียวกันนี้ไปยังงานแบบ agentic การเขียนแบบเปิดกว้าง หรือสิ่งใดก็ตามที่ให้คะแนนด้วย preference รางวัลก็จะกลายเป็นการเรียกใช้โมเดล — ซึ่งถูกเรียกใช้ในระดับ rollout หลายพันครั้งต่อสเต็ปตลอดทั้งการรัน นั่นคือปัญหาการจัดซื้อที่ต่างจาก compute สำหรับการเทรน และเป็นปัญหาที่ทีมส่วนใหญ่เพิ่งค้นพบหลังจากที่ได้จอง GPU ไปแล้ว

Mistral Large 4 เองไม่ใช่โมเดลที่เราให้บริการ ชิ้นนี้จึงไม่ใช่เส้นทางไปสู่มัน — การโฮสต์มันเองหมายถึง repository บน Hugging Face และ API ของผู้จำหน่ายเอง สิ่งที่กำหนดเส้นทางได้คืออีกครึ่งหนึ่งของลูป ถ้า verifier ของคุณเป็นโมเดลผู้ตัดสินแทนที่จะเป็นสคริปต์ มันต้องทนต่อการถูกเรียกที่ปริมาณการ rollout: ปลายทางเดียวครอบคลุมกว่า 200+ โมเดล ราคาตามรายการของผู้ให้บริการที่ส่งผ่านโดยไม่มีมาร์กอัปเพิ่มเติม และ failover เมื่อปลายทางผู้ตัดสินเดียวติด rate limit กลางขั้นตอนการฝึก โมเดลที่คุณจะใช้เป็นผู้ตัดสินจริง ๆ นั้นระบุไว้พร้อมบริบทและราคาในแคตตาล็อกโมเดล OrcaRouter ประเด็นไม่ใช่ว่าการกำหนดเส้นทางทำให้ RL ถูก แต่คือสัญญาณรางวัลเป็นส่วนของการรัน RL ที่คุณจัดตารางหลบไม่ได้ จึงเป็นส่วนที่คุ้มค่าที่จะวางไว้หลังอินเทอร์เฟซที่เสถียร

สิ่งที่ควรดูต่อไป

สามสิ่งจะเปลี่ยนสิ่งนี้จากบันทึกที่มีแนวโน้มดีให้กลายเป็นผลลัพธ์จริงได้ การที่ทีม SkyRL เผยแพร่ adapter rank นิยามรางวัล และ learning curve ซึ่งจะทำให้กลุ่มอื่นลองรันแบบเดียวกันได้ แทนที่จะเพียงชื่นชมมัน งานที่สอง ซึ่ง ideally ควรเป็นงานที่รางวัลไม่ได้มาจากการเปรียบเทียบสตริง และจะแสดงให้เห็นว่าผลกระทบนี้ยังคงอยู่เมื่อเผชิญกับผู้ตัดสินหรือไม่ และการประเมิน checkpoint ที่เผยแพร่แล้วด้วย AIME หรือคณิตศาสตร์ที่ยากกว่านั้นอย่างเป็นอิสระ เพราะระดับขั้นต่ำ 64% ในปัจจุบันเป็นการวัดของพาร์ตเนอร์เอง และวิธีเดียวที่จะปลดข้อกังขานั้นได้คือให้คนอื่นเป็นผู้วัด

จนถึงตอนนั้น สรุปแบบตรงไปตรงมาก็สั้นเพียงเท่านี้ น้ำหนักโมเดลเพิ่งมีอายุหนึ่งวัน พาร์ตเนอร์รายหนึ่งขยับคะแนน benchmark คณิตศาสตร์ขึ้นสิบเอ็ดจุดบนโหนดเช่าแปดโหนดด้วยอะแดปเตอร์ LoRA และยังไม่มีใครทำซ้ำผลนั้นได้ นั่นมากกว่าสิ่งที่การเปิดตัวโมเดลแบบเปิดน้ำหนักส่วนใหญ่มีให้ในสัปดาห์แรก และน้อยกว่าที่พาดหัวสื่อความ