SkyRL Menaikkan Skor AIME Mistral Large 4 Sebesar Sebelas Poin pada Delapan Node: Apa yang Dibuktikan RL Day-0 pada MoE 1T

Mistral Large 4 diumumkan sebagai pratinjau API pada 6 Oktober 2026, dan bobotnya baru dapat diunduh pada 14.51 UTC tanggal 29 Oktober — yang membuat laporan pembelajaran penguatan yang diterbitkan pada hari yang sama patut diperhatikan karena alasan yang tidak diuraikan para penulisnya: sebelum sore itu, tidak ada orang di luar Mistral yang punya hasil fine-tuning untuk diterbitkan. Catatan itu berasal dari tim SkyRL di NovaSky. Delapan node NVIDIA GB200, pembelajaran penguatan LoRA pada checkpoint NVFP4, vLLM yang melayani rollout, dan AIME 2024 average@8 naik dari sekitar 64% menjadi sekitar 75% selama 75 langkah pelatihan. Sebelas poin pada benchmark yang biasanya ditentukan dalam persepuluhan adalah entah hasil hari peluncuran paling berguna pada kuartal ini atau yang paling sulit direproduksi, dan catatan sebagaimana tertulis tidak memberi tahu Anda yang mana.

Apa yang benar-benar diberitahukannya memang nyata, dan layak dipisahkan dari apa yang tidak. Perangkat kerasnya disebutkan. Checkpoint-nya disebutkan. Mesin rollout-nya disebutkan. Kerangka pelatihannya disebutkan sebagai salah satu dari dua. Yang hilang adalah fungsi reward, rank adaptor, harness evaluasi, dan kurva pembelajaran — empat hal yang dibutuhkan tim lain untuk mencoba menjalankan proses yang sama. Jadi ini adalah pengumuman resep dengan angka utama yang dilekatkan, bukan paket reproduksi. Bacalah sebagai yang pertama dan ini benar-benar informatif tentang biaya pasca-latih bagi campuran pakar triliun parameter pada akhir 2026. Bacalah sebagai yang kedua dan Anda akan melebih-lebihkan satu tolok ukur pada satu tugas.

Apa yang sebenarnya dikatakan oleh catatan SkyRL

Seluruh klaimnya muat dalam lima baris, jadi inilah dia tanpa pembingkaian:

• Perangkat keras — 8 node NVIDIA GB200, disewa bukan dimiliki, yang dengan empat GPU per node berarti 32 unit Blackwell dan sekitar 6,1 TB HBM agregat pada 192 GB per GPU.

• Checkpoint — versi kuantisasi NVFP4 dari rilis terbuka, 610,1 GB di 32 shard, bukan induk FP8 sebesar 1.060,6 GB. Pilihan itulah yang menjadi penopang utama: itulah yang membuat model 1T muat di delapan node dengan sisa ruang untuk aktivasi, cache KV, dan dua salinan bobot rollout engine.

• Metode — LoRA alih-alih RL parameter penuh. Hanya adapter yang menerima gradien, sehingga state optimizer tetap kecil dan base yang dibekukan dapat tetap berada dalam bentuk terkuantisasinya.

• Loop — vLLM menghasilkan rollout; FSDP2 atau Megatron menangani bagian pelatihan. Catatan tersebut menyebutkan keduanya sebagai opsi, yang menunjukkan bahwa backend pelatihan masih dalam proses pergantian saat hasil ditulis.

• Hasil — AIME 2024 average@8 dari sekitar 64% menjadi sekitar 75% dalam 75 langkah pelatihan.

Tidak ada satu pun dalam daftar itu yang merupakan spesifikasi dari run tersebut. Tidak ada ukuran batch, tidak ada panjang urutan, tidak ada laju pembelajaran, tidak ada ukuran grup untuk gradien kebijakan, tidak ada pernyataan tentang apa imbalannya selain yang tersirat bahwa "jawaban AIME dapat diperiksa". Angka 75 langkah itu presisi; hampir semua yang diperlukan untuk menafsirkannya tidak.

Mengapa jumlah node yang menjadi sorotan, bukan skor AIME

Satu triliun parameter adalah angka yang sebagian besar berfungsi sebagai penghalang. Checkpoint FP8 berukuran 1,06 TB, yang tidak masalah jika Anda memiliki pusat data dan menjadi masalah jika Anda hanya memiliki satu rak. Checkpoint NVFP4 memangkasnya menjadi separuh, yaitu 610 GB, dan 610 GB adalah jumlah yang dapat Anda distribusikan ke delapan node tanpa trik sharding yang biayanya lebih besar dalam hal komunikasi daripada penghematan memori yang dihasilkannya.

Itulah sebabnya kalimat menarik dalam catatan itu bukan kalimat yang memuat persentase. Hugging Face telah menerbitkan resep supervised fine-tuning untuk model ini — LoRA melalui SFT trainer milik TRL, pada satu node dengan delapan GPU B300, di atas bobot FP8. Jadi, SFT pada satu node sudah didokumentasikan bahkan sebelum bobot itu berumur sehari. Yang tidak didokumentasikan adalah reinforcement learning, dan alasannya bersifat struktural: RL memerlukan mesin inferensi yang berjalan bersama trainer, menghasilkan rollout cukup cepat sehingga waktu GPU untuk pelatihan tidak menjadi tidak berarti dibandingkan waktu GPU untuk sampling. SFT membaca dataset tetap. RL harus menghasilkan datanya sendiri.

Jadi selisih antara dua resep yang dipublikasikan bukanlah delapan node versus satu. Melainkan delapan node ditambah stack penyajian versus satu node tanpa stack penyajian, untuk tugas di mana model harus mencoba tiga puluh soal masing-masing delapan kali sebelum belajar apa pun. Mesin rollout adalah pusat biaya baru, dan menyebut vLLM sebagai generator adalah bagian dari catatan yang dapat ditindaklanjuti tim lain hari ini.

Perbandingan yang akan dibuat semua orang, dan mengapa itu tidak adil di kedua arah

Mistral menjalankan RL-nya sendiri pada model ini sebelum merilis bobotnya, dan perusahaan telah spesifik mengenai bentuknya: sekitar tiga minggu tambahan setelah pratinjau 6 Oktober, dijalankan pada komputasi Prancis yang perusahaan gambarkan dalam megawatt alih-alih GPU — sekitar 10 MW — dengan laporan lain menempatkan infrastruktur RL yang lebih luas pada skala 3.000 GPU. Hasil yang diterbitkannya dari proses tersebut:

• Terminal-Bench 4.0 — 28,3% sebelum RL tambahan, 41% sesudahnya.

• BrowseComp — 75% sebelumnya, 84,5% setelahnya.

• Suite keamanan agen B3 — 93,3% sebelumnya, 97,1% setelahnya.

• Panjang output — sekitar 30% lebih sedikit token per tugas setelah RL, yang lebih penting bagi pembeli daripada baris akurasi mana pun.

Membandingkannya dengan 64 hingga 75 pada AIME membuat kita tergoda untuk menghitung rasio jam-GPU per poin. Tahan dorongan itu, karena kedua proses hampir tidak berbagi variabel. Peningkatan Mistral terjadi pada kerja terminal agentik dan browsing, diukur oleh vendor yang merancang reward secara internal dan memiliki tiga minggu waktu nyata. Peningkatan SkyRL terjadi pada matematika kompetisi, diukur oleh mitra dengan klaster sewaan dan reward yang dapat diverifikasi oleh skrip. Kenaikan 13 poin pada Terminal-Bench dan kenaikan 11 poin pada AIME bukanlah pencapaian yang sama yang dinyatakan dalam satuan berbeda; keduanya adalah pencapaian berbeda yang kebetulan berukuran serupa.

Pembacaan yang adil lebih sempit dan lebih berguna: tiga minggu RL pada skala pusat data menggeser skor terminal Mistral sebesar tiga belas poin, dan beberapa jam LoRA RL pada skala delapan node menggeser skor matematika mitra sebesar sebelas. Kedua angka mengatakan hal yang sama — checkpoint ini merespons pembelajaran penguatan dengan mudah — dan tidak satu pun mengatakan apa pun tentang yang lain.

Apa yang dibuktikan dan tidak dibuktikan oleh 64 hingga 75 pada AIME 2024

Mulai dari aritmetika, karena ini satu-satunya bagian yang dapat diperiksa tanpa GPU. AIME 2024 terdiri dari tiga puluh soal. Average@8 berarti delapan percobaan sampel per soal, jadi angka yang dilaporkan bertumpu pada 240 penyelesaian. Kesalahan pengambilan sampel pada proporsi mendekati 70% dengan ukuran sampel tersebut adalah beberapa poin persentase, yang menempatkan pergeseran sebelas poin dengan aman di luar noise. Jika kedua angka berasal dari harness yang sama, peningkatan itu nyata pada tugas tersebut.

Itu adalah hal terkuat yang bisa dikatakan, dan layak dikatakan dengan jelas karena sebagian besar klaim hari-nol bahkan tidak sebaik ini. Sekarang batasannya:

• Tidak ada skor AIME yang diterbitkan Mistral untuk model ini. Baseline 64% merupakan pengukuran SkyRL sendiri terhadap checkpoint dasar menggunakan harness miliknya sendiri, sehingga selisih tersebut konsisten secara internal tetapi tidak memiliki acuan eksternal — Anda tidak dapat membandingkannya dengan angka dari vendor karena angka dari vendor tersebut tidak ada.

• Average@8 bukanlah pass@1. Delapan percobaan per soal membuat model apa pun dengan distribusi sampling yang lebar tampak lebih baik, dan selisih antara kedua metrik itu biasanya lima sampai lima belas poin pada matematika kompetisi. Angka yang menentukan apakah Anda akan men-deploy model adalah satu percobaan yang Anda berikan kepadanya di produksi.

• AIME 2024 sudah berusia dua setengah tahun dan termasuk kumpulan matematika yang paling banyak terwakili dalam data pasca-pelatihan. Model tahun 2026 yang mendapat skor baik pada tes ini adalah bukti dari checkpoint yang dapat dilatih, bukan vonis atas penalaran. Tidak ada bagian dalam catatan tersebut yang melaporkan evaluasi held-out atau evaluasi yang lebih baru.

• Satu tugas, satu eksekusi, satu reward. RL pada matematika yang dapat diverifikasi adalah kasus termudah yang ada: reward tidak memerlukan juri, rubrik, maupun manusia. Hasilnya adalah pernyataan tentang seberapa jauh model ini bergerak di bawah sinyal RL termurah yang mungkin, yang benar-benar merupakan eksperimen pertama yang tepat sekaligus yang paling tidak dapat ditransfer.

Apa yang Anda perlukan untuk mereproduksinya, dan apa yang diizinkan oleh lisensi tersebut

Daftar belanja praktis, yang direkonstruksi dari catatan itu alih-alih diterbitkan olehnya:

• Checkpoint NVFP4 — 610 GB, 32 shard, tanpa pembatasan, dapat diunduh hari ini tanpa syarat akun Hugging Face.

• Sekitar 32 GPU kelas Blackwell di delapan node, ditambah interkoneksi agar sinkronisasi adaptor tidak memakan waktu langkah.

• Build vLLM dengan jalur NVFP4 yang berfungsi untuk arsitektur ini. Kartu model merekomendasikan vLLM dengan container resmi dan ukuran tensor-parallel delapan, serta mencatat head speculative-decoding tertanam yang diklaim vendor bernilai hingga 1,9× throughput — head itu bukan yang dibutuhkan loop RL, tetapi containernya adalah.

• Peringkat adaptor dan hadiah harus Anda pilih sendiri, karena catatan itu tidak menyebutkannya.

Pertanyaan lisensi terselesaikan lebih bersih daripada pertanyaan teknis. Mistral merilis ini di bawah Mistral Ecosystem Open-Weight License, teks MIT yang dimodifikasi yang mengizinkan penggunaan komersial, fine-tuning, dan derivatif, serta mewajibkan lisensi komersial terpisah hanya untuk menjalankan bisnis model-as-a-service di atasnya. Fine-tuning internal, adapter privat, uji evaluasi pada node sewaan — semua itu termasuk dalam cakupan izin. Mendirikan API per-token dan menjual akses ke fine-tune Anda tidak termasuk. Jika rencana Anda adalah yang pertama, lisensi bukan masalah Anda. Jika yang kedua, itulah seluruh masalahnya, dan tidak ada peningkatan AIME sebesar apa pun yang mengubahnya.

Separuh loop yang nanti menjadi mahal

AIME adalah kasus murah karena alasan yang perlu dijelaskan. Imbalannya berupa string jawaban yang dibandingkan oleh skrip. Tidak ada juri, tidak ada rubrik, tidak ada model kedua dalam loop, sehingga biaya marginal sebuah rollout hanyalah inferensi dan tidak lebih. Pindahkan resep yang sama ke tugas agentik, penulisan terbuka, atau apa pun yang dinilai berdasarkan preferensi, dan imbalannya menjadi pemanggilan model — dilakukan pada skala rollout, ribuan kali per langkah, sepanjang seluruh proses. Itu adalah masalah pengadaan yang berbeda dari komputasi pelatihan, dan itulah yang ditemukan sebagian besar tim setelah mereka memesan GPU.

Mistral Large 4 sendiri bukan model yang kami layani, jadi artikel ini bukanlah jalan menuju model tersebut — melakukan self-hosting berarti menggunakan repositori Hugging Face dan API milik vendor itu sendiri. Yang dapat dirutekan adalah separuh lainnya dari loop tersebut. Jika verifier Anda adalah model judge dan bukan skrip, ia harus mampu bertahan saat dipanggil pada volume rollout: satu endpoint untuk 200+ model, harga daftar penyedia diteruskan tanpa markup tambahan, dan failover ketika satu endpoint judge terkena pembatasan laju di tengah langkah pelatihan. Model-model yang benar-benar akan Anda gunakan sebagai judge tercantum, lengkap dengan context dan harga, di katalog model OrcaRouter. Intinya bukanlah bahwa routing membuat RL menjadi murah. Intinya adalah bahwa sinyal reward adalah bagian dari proses RL yang tidak dapat Anda jadwalkan, sehingga itulah bagian yang layak ditempatkan di balik antarmuka yang stabil.

Tontonan Berikutnya

Tiga hal akan mengubah catatan yang menjanjikan ini menjadi sebuah hasil. Tim SkyRL menerbitkan peringkat adaptor, definisi reward, dan kurva pembelajaran, yang akan memungkinkan kelompok lain mencoba menjalankan eksperimen yang sama alih-alih sekadar mengaguminya. Tugas kedua, idealnya yang reward-nya bukan perbandingan string, yang akan menunjukkan apakah efek tersebut tetap bertahan saat berhadapan dengan penilai. Dan evaluasi independen AIME atau matematika yang lebih sulit terhadap checkpoint yang dirilis, karena batas bawah 64% saat ini merupakan pengukuran mitra sendiri dan satu-satunya cara untuk menghapus caveat itu adalah dengan orang lain mengukurnya.

Sampai saat itu, ringkasan jujurnya singkat. Bobotnya baru berumur satu hari, seorang mitra menggeser benchmark matematika sebesar sebelas poin pada delapan node sewaan dengan adapter LoRA, dan belum ada yang mereproduksinya. Itu lebih dari yang ditawarkan sebagian besar rilis open-weight pada minggu pertama mereka, dan kurang dari yang tersirat dalam judul berita.