Raon-1 mini: MoE 28,8B milik KRAFTON, dan PR vLLM yang Bertahan 184 Detik

Pada 06:34:19 UTC tanggal 28 Oktober, sebuah pull request berjudul "[Model] Add Raon-1-mini support" dibuka terhadap vllm-project/vllm. Itu bukan stub: 27 file, 3.971 baris ditambahkan, 22 dihapus, plus rangkaian tes dan halaman dokumentasi. Pada 06:37:23 — tiga menit empat detik kemudian — pull request itu ditutup, belum digabungkan, dan masih ditandai sebagai draf. KRAFTON, penerbit asal Korea Selatan di balik PUBG, telah mengusulkan untuk menempatkan model open-weight 28,8B barunya ke dalam mesin inferensi yang paling banyak digunakan di dunia, lalu menariknya kembali sebelum siapa pun meninjau satu baris pun.

Model di balik pull request itu nyata, dan sudah dapat diunduh sejak 21 Oktober. Raon-1 mini adalah model mixture-of-experts dengan hybrid attention yang mengaktifkan sekitar 4,3B parameter per token, dirilis di bawah Apache 2.0, dan pada 28 Oktober telah memiliki 2.208 unduhan dalam sebulan terakhir serta 221 suka di repositori Hugging Face-nya. Yang belum ada adalah jalur biasa: instalasi vLLM standar yang dapat menyajikannya tanpa wheel hasil fork. Celah itu — antara checkpoint di internet dan model yang dapat Anda masukkan ke manifes deployment — adalah inti ceritanya, dan liputan sejauh ini sebagian besar melewatkannya demi tabel benchmark.

Apa yang sebenarnya diterbitkan oleh KRAFTON

Artefaknya diunggah ke Hugging Face pada 21 Oktober pukul 00:14 UTC, dan tanggal itulah yang digunakan semua media dagang Korea pada hari yang sama. Indeks safetensors repositori utamanya melaporkan 28.783.218.402 parameter dalam BF16 — angka "kelas 30B" dalam rilis pers hanyalah pembulatan, dan 28,8B adalah angka yang harus dibawa ke dalam perencanaan kapasitas.

• Total dan parameter aktif — total 28,8B, ~4,3B aktif per token.

• Lisensi — {{1}}Apache 2.0{{/1}} untuk bobot, konfigurasi, dan komponen, dengan penggunaan komersial diizinkan.

• Akses — repositori dibatasi, tetapi akses diberikan berdasarkan permintaan melalui kotak centang dan tampaknya tidak ditinjau secara manual untuk sebagian besar permintaan.

• Varian — checkpoint MXFP8 dasar, build NVFP4, repositori GGUF, checkpoint MLX untuk Apple silicon, dan model draf DFlash2 terpisah untuk decoding spekulatif.

• Hosting — sidebar repositori melaporkan bahwa model tersebut "tidak di-deploy oleh Penyedia Inference mana pun". Kartu tersebut mengiklankan uji coba gratis untuk waktu terbatas di playground milik KRAFTON sendiri; tidak ada harga per-token yang dipublikasikan di mana pun.

• Apa yang tidak dicakup oleh lisensi — kumpulan data pelatihan KRAFTON, metodologi pelatihannya, perangkat lunak yang tidak didistribusikan, serta API dan playground yang dihosting, yang dijalankan berdasarkan ketentuan terpisah.

Ini adalah pratinjau, dan KRAFTON menyebutnya demikian di baris pembuka kartu. Perusahaan mengatakan rilis penuh direncanakan bersamaan dengan laporan teknis yang mencakup "proses pelatihan dan kinerja akhir". Tidak ada tanggal yang diberikan, dan jumlah token pelatihan tidak diungkapkan di mana pun dalam kartu — yang merupakan celah terbesar dalam klaim apa pun tentang seberapa efisien model ini untuk dilatih.

Perspektif dari pihak KRAFTON adalah soal biaya. Chief AI Officer Kangwook Lee menggambarkannya sebagai hasil dari "kemampuan R&D AI yang terakumulasi selama lebih dari 5 tahun" dan mengatakan perusahaan berniat menggunakan LLM yang lebih murah untuk "memperluas cakupan penggunaan AI di berbagai industri". Raon-1 mini adalah model bahasa pertama di bawah merek Raon, yang telah digunakan KRAFTON sejak April untuk rilis speech, TTS, dan vision-encoder.

Arsitektur adalah tempat taruhan sesungguhnya berada

Rasio 3:1 antara lapisan attention linear dan attention penuh adalah bagian yang perlu dipahami, karena segala hal lain tentang ekonomi serving model mengikuti darinya.

• Lapisan — total 25, terbagi menjadi 18 lapisan Raon Delta Attention (RDA) dan 7 lapisan MLA bergerbang.

• Pakar — total 128, 6 dirutekan ditambah 1 pakar bersama yang aktif per token, dengan ukuran perantara pakar sebesar 1.088.

• Dimensi — ukuran tersembunyi 2,560, 40 kepala atensi di kedua jenis lapisan, dimensi kepala RDA 128, MLA bergerbang pada 192 QK / 128 V dengan peringkat LoRA kueri dan KV 576 / 512.

• Pengkodean posisi — NoPE, tanpa rotary embedding di mana pun dalam stack.

• Kosakata — 259,840 token, dengan LM head yang tidak terikat.

• Aktivasi dan residual — SiTU-GLU, dengan koneksi residual Raon-mHC di seluruh empat aliran.

RDA adalah modifikasi KRAFTON terhadap Kimi Delta Attention, dan perubahan yang diuraikannya bersifat spesifik: memisahkan gerbang hapus dan tulis serta menerapkan penskalaan gerbang tulis independen setelah konvolusi, sehingga riwayat konvolusi mentah tetap terjaga, bukan tertimpa. Raon-mHC diuraikan sebagai implementasi yang lebih murah dari mHC milik DeepSeek. Keduanya bukan penemuan dari nol, dan itu bukanlah kritik — "trained from scratch" dalam kartu tersebut merujuk pada KRAFTON yang merancang dan mempralatih model menggunakan datanya sendiri, bukan pada menciptakan ulang setiap blok di dalamnya. Dua dari tiga teknik unggulan model itu adalah versi rekayasa ulang dari teknik yang telah dipublikasikan, dan yang ketiga adalah jadwal hibrida 3:1 yang juga telah dicapai oleh lab lain.

Manfaatnya adalah cache KV. Karena hanya 7 lapisan MLA bergerbang yang menyimpan cache, kartu tersebut memperkirakan biayanya sekitar 8 KiB per token dalam BF16. Pada konteks penuh 262.144 token, itu sekitar 2 GiB per sekuens — angka yang muat dengan nyaman pada satu kartu 32 GB dan sama sekali tidak akan muat jika semua 25 lapisan menyimpan cache. Inilah klaim produk sebenarnya yang tersembunyi di balik tabel benchmark: bukan bahwa Raon-1 mini lebih pintar daripada para pesaingnya, melainkan bahwa inferensi konteks panjang padanya cukup murah untuk dijalankan pada perangkat keras yang mungkin sudah Anda miliki.

Tabel tolok ukur, dihitung bukan diringkas

Setiap angka di bawah ini milik KRAFTON. Tidak ada entri Artificial Analysis untuk Raon-1 mini per 28 Oktober — model tersebut sama sekali tidak muncul dalam daftar model situs itu — tidak ada penempatan arena, dan tidak ada reproduksi pihak ketiga. Evaluasi pada kartu tersebut menggunakan gpt-5.6-luna sebagai juri dan simulator pengguna sepanjang proses, yang diungkapkan tetapi tidak independen. Bacalah angka-angka itu sebagai klaim vendor dengan lampiran yang luar biasa rinci.

Tabel tersebut memiliki 18 baris dan lima kolom: Raon-1 mini preview dibandingkan dengan Qwen3.6-35B-A3B dan Gemma 4 26B-A4B sebagai sesama model MoE, dengan Qwen3.8-27B dan Muse Glimmer 30B ditampilkan sebagai referensi dense. Penyorotan merah KRAFTON menandai skor terbaik di dalam kelompok MoE, yang merupakan klaim lebih sempit daripada "terbaik" dan itulah sebabnya pernyataan pers tentang mengalahkan "model luar negeri berukuran serupa" perlu berhati-hati.

Jika dihitung dengan benar, Raon-1 mini adalah yang terbaik secara mutlak di antara kelima kolom pada empat baris:

• AA-Omniscience — 3,5, dibandingkan −7,2 untuk Qwen3.6-35B-A3B, −0,5 untuk Qwen3.8-27B, −34,7 untuk Muse Glimmer 30B dan −46,6 untuk Gemma 4 26B-A4B. Ini adalah satu-satunya skor positif di kolom tersebut, yang menunjukkan sesuatu yang nyata tentang kalibrasi meskipun angka absolutnya kecil.

• IFBench — 84,2, dibandingkan dengan 82,4 untuk Qwen3.8-27B dan 66,6 untuk Qwen3.6-35B-A3B. Selisih 17,6 poin atas rekan MoE terdekatnya dalam hal mengikuti instruksi merupakan hasil tunggal terkuat dalam tabel tersebut.

LiveCodeBench v6 — 81,6, unggul atas 81,2, 83,4, 79,3, dan 77,4. Selisih tipis, dan kemenangan sebesar empat persepuluh poin atas Qwen3.6-35B-A3B.

• Chatbot Korean — 92,9, dibandingkan dengan 90,6, 90,1, 87,0, dan 74,5. Ini adalah tolok ukur internal KRAFTON sendiri, yang secara eksplisit tidak dirilis ke publik, sehingga menjadi angka yang paling sulit diverifikasi di halaman ini dan angka yang menjadi landasan posisi model tersebut.

Model ini juga memuncaki kelompok MoE pada GPQA Diamond (84,3) dan SWE-Verified (70,8, selisih coding-agent terlebarnya sebesar 7,6 poin di atas Qwen3.6-35B-A3B), namun kalah pada keduanya dari Qwen3.8-27B dengan 89,7 dan 74,6. Pola itu — mengalahkan model di kelas bobotnya sendiri, tetapi kalah dari model dense satu tingkat ukuran di atasnya — terulang di sepanjang tabel.

Kerugiannya tidak marginal dan justru mengelompok di satu tempat:

• Terminal-Bench Lite — 47,0. Ini adalah skor terburuk dalam baris perbandingannya sendiri, tertinggal 16,3 poin dari Qwen3.6-35B-A3B dan 23,7 poin dari Muse Glimmer 30B.

• MMLU Pro — 76,5, terakhir dari lima, tertinggal 9,4 poin dari Qwen3.6-35B-A3B.

• BFCL v4 — 59.8, tertinggal dari ketiga pesaing MoE-dan-dense kecuali Muse Glimmer, yaitu function calling bukanlah keunggulan model ini.

• AutomationBench — 29,7, hanya unggul dari Qwen3.6-35B-A3B dengan 24,9 dan tertinggal 29 poin dari Qwen3.8-27B.

• GDP.pdf — 5.8, hanya sedikit di atas 3.6 milik Gemma 4 26B-A4B.

Secara keseluruhan, ringkasan jujurnya lebih sempit dan lebih berguna daripada siaran pers: Raon-1 mini kompetitif dalam mengikuti instruksi, percakapan bahasa Korea, kalibrasi, dan penjelajahan bergaya pencarian, serta lemah dalam mengingat pengetahuan, pekerjaan terminal, dan pemanggilan alat. Jika beban kerja Anda adalah agen yang harus merangkai pemanggilan fungsi secara andal, tabel tersebut menjadi alasan untuk menolaknya. Jika beban kerja Anda adalah asisten bahasa Korea berkonteks panjang yang mengikuti instruksi secara tepat, tabel tersebut menjadi alasan untuk mengujinya.

Apa yang diusulkan pull request vLLM, dan apa yang ditarik kembali

Pull request tersebut berasal dari fork KRAFTON — cabang feat/raon-public-candidate ke vllm-project/vllm:main — dan catatan penulis sendiri menjelaskan penutupannya lebih baik daripada dugaan apa pun: "Saya sedang berupaya membuat kode yang sederhana & bersih. Saat saya siap, saya akan membuka kembali PR ini." Badan PR juga mengungkapkan bahwa OpenAI Codex membantu implementasi dan bahwa "tinjauan manusia baris demi baris serta konfirmasi validasi end-to-end masih tertunda."

Isinya penting meskipun tidak berhasil masuk, karena itu adalah peta tentang apa yang dibutuhkan untuk meng-upstream arsitektur ini:

Registrasi model dan konfigurasi, plus pemuatan checkpoint untuk 18 lapisan RDA dan 7 lapisan NoPE MLA.

• adaptor parser penalaran dan pemanggilan alat raon_1 — bagian yang membuat model dapat digunakan di balik endpoint yang kompatibel dengan OpenAI, bukan API completion mentah.

• Penggunaan kembali jalur MXFP8/NVFP4 ModelOpt upstream, MLA, penanganan status hibrida, dan antarmuka DFlash2, tanpa memaksakan backend MoE.

• Kernel raon_fast opsional untuk RDA dan mHC, plus tes konfigurasi dan parser serta dokumentasi.

Sekitar setengah pekerjaan divalidasi dan setengahnya tidak, dan PR menyatakannya secara terus terang. Lulus: 11 tes config CPU dan parser, hook pre-commit, build dan instalasi wheel exact-base, impor model native, tokenizer, dan parser, pemeriksaan integritas checkpoint yang dipin, pemasangan config target/draft, dan resolusi config presisi campuran NVFP4. Tertunda, dalam kata-kata PR itu sendiri: "generasi GPU nyata, perbandingan numerik/kualitas model, eksekusi backend/kernel, regresi KDA bersama, kebenaran DFlash2/cache/graph, dan benchmark serving." PR itu menambahkan, "Tidak ada klaim percepatan atau paritas produksi yang dibuat."

Batasan kernel adalah detail yang paling mungkin merepotkan tim yang membaca "dukungan vLLM" dan mengasumsikan skalabilitasnya. Kernel cepat opsional memerlukan SM10x — perangkat keras kelas Blackwell — plus paralelisme tensor tepat satu, riwayat konvolusi BF16, status rekuren FP32, dan rantai alat build CUDA/C++. Paralelisme pipeline, paralelisme pakar, dan RecoverSSM tidak didukung. Dalam praktiknya, itu berarti jalur cepat adalah jalur GPU tunggal, yang konsisten dengan seluruh nilai jual model ini tetapi tidak kompatibel dengan cara kebanyakan orang benar-benar melayani model 28.8B.

Apa yang bisa Anda jalankan minggu ini

KRAFTON merilis fork vLLM miliknya sendiri yang dipin pada ref raon-1-mini-preview, didokumentasikan untuk NVIDIA B300 dan disajikan melalui API yang kompatibel dengan OpenAI dengan tool calling. Peluncuran yang didokumentasikan menggunakan --max-model-len 262144. Setiap rute di bawah ini adalah milik KRAFTON sendiri, dan tidak ada satu pun yang merupakan upstream:

• vLLM — pasang dari github.com/krafton-ai/vllm pada ref yang dipatok dengan VLLM_USE_PRECOMPILED=1. Ini adalah satu-satunya jalur ke adapter parser dan dukungan DFlash2 milik fork tersebut.

• Transformers — 5.16.1 dengan accelerate 1.15.0, device_map="auto", dan CPU offload yang layak pada GPU 32 GB.

• RTX 5090 — checkpoint NVFP4, konteks 32.768 token, 2.048 token dalam batch, 8 sekuens, dan cache KV FP8 3 GiB; ini memerlukan CUDA Toolkit 13 dengan nvcc yang tersedia.

• DGX Spark — kontainer ARM64 di ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, menjalankan konteks 128K pada tidak lebih dari 8 sekuens.

• llama.cpp — cabang KRAFTON dan build GGUF Q4_K_M, dengan dukungan upstream yang tercantum sebagai tertunda.

• MLX — mlx 0.32.4 dan mlx-lm 0.32.2 terhadap checkpoint MLX yang terpisah.

Model draft untuk speculative decoding layak dicatat karena 2,18× adalah angka yang akan dikutip. KRAFTON mengukurnya pada satu B300 dengan model target MXFP8 dan vLLM 0.28.0 pada block size 8, dan menyebutnya sebagai "hingga" 2,18× throughput keluaran lebih tinggi daripada decoding autoregresif, bervariasi menurut perangkat keras dan beban kerja. Itu adalah tolok ukur dari vendor pada perangkat keras yang tidak dimiliki sebagian besar pembaca. Ini juga jenis klaim yang sangat bergantung pada tingkat penerimaan, yang bergantung pada distribusi prompt Anda.

Sampling bukan default yang biasa dan layak disalin persis: temperature 1.0, top_p 0.95, top_k 20, tanpa penalti repetition atau frequency, dan presence penalty 0 untuk coding dan matematika sedangkan 1.5 untuk semua lainnya. Mode thinking aktif secara default dan kartu menyarankan agar tidak mematikannya. Jika presence penalty salah, Anda akan menyimpulkan model lebih buruk daripada sebenarnya.

Satu catatan operasional yang tidak ada hubungannya dengan kualitas: pin fork adalah keputusan rantai pasok. Anda mendapatkan build vLLM dari KRAFTON, bukan jalur rilis upstream — tidak ada CI upstream untuk konfigurasi Anda, tidak ada patch keamanan upstream sampai seseorang melakukan rebase, dan setiap peningkatan vLLM menjadi merge, bukan sekadar kenaikan versi. Untuk model pratinjau yang sedang dievaluasi, itu adalah trade-off yang wajar. Untuk dependensi produksi, itulah hal yang harus dimasukkan ke daftar risiko di samping model itu sendiri.

Bagaimana cara mengujinya tanpa bertaruh pada itu

Raon-1 mini tidak ada dalam katalog OrcaRouter, dan tidak ada apa pun di sini yang boleh ditafsirkan sebagai klaim sebaliknya — kami tidak menyediakannya. Yang kami sediakan adalah kumpulan pembandingnya, yang kebetulan merupakan kelompok kontrol yang tepat: Gemma 4 26B-A4B dengan $0.06 per juta token input dan $0.33 per juta token output, Qwen3.6-35B-A3B dengan $0.248 dan $1.485, serta Qwen3.8-27B dengan $0.33 dan $2.40, semuanya pada harga daftar penyedia tanpa markup. Itu adalah model-model yang menjadi pembanding pengukurannya, yang dapat diakses melalui satu kunci, sehingga eksperimen yang berguna menjadi murah: jalankan prompt milik KRAFTON sendiri terhadap baseline yang dihosting dan jalankan prompt yang sama terhadap pratinjau lokal, lalu lihat apakah tabel vendor itu tetap bertahan dengan data Anda.

Itu penggunaan waktu seminggu yang lebih baik daripada menelaah tabel lebih keras. Instalasi fork hanya butuh satu sore; perbandingannya justru yang memberi tahu apakah model dengan 4,3B parameter aktif, keunggulan 17,6 poin di IFBench, dan defisit 16,3 poin di Terminal-Bench cocok untuk beban kerja Anda. Jika baseline yang di-host sudah menangani lalu lintas, merutekannya bersama pratinjau melalui satu endpoint dengan failover otomatis berarti checkpoint yang belum terbukti tidak pernah berdiri sendiri di jalur kritis — evaluasi dapat berjalan dalam bentuk produksi tanpa risiko produksi.

Apa yang akan mengubah penilaian ini?

Empat hal, kira-kira dalam urutan konsekuensinya.

Sebuah merge vLLM upstream, karena hal itu mengubah pin fork menjadi nomor versi dan menarik model tersebut ke setiap alat pengemasan, kuantisasi, dan serving downstream yang mengasumsikan dukungan mainline. KRAFTON telah mengatakan akan membuka kembali PR tersebut ketika kodenya siap; daftar validasi GPU yang tertunda di PR yang ditutup itu merupakan deskripsi yang tepat tentang apa yang harus dimaknai oleh "siap".

Evaluasi independen, karena delapan belas baris vendor yang dinilai oleh satu model adalah opini satu penulis dalam skala besar. Hasil AA-Omniscience adalah angka paling menarik dalam tabel justru karena itulah jenis hal yang akan dengan cepat dikonfirmasi atau dihancurkan oleh harness independen.

Rilis lengkap dan laporan teknis, karena pratinjau tanpa jumlah token pelatihan yang diungkapkan tidak dapat mendukung klaim apa pun tentang efisiensi pelatihan, dan efisiensi adalah seluruh argumennya. Sampai itu tersedia, "dilatih dari nol" adalah pernyataan tentang asal-usul, bukan tentang biaya.

Dan endpoint yang dihosting dengan harga yang dipublikasikan, karena saat ini satu-satunya cara menggunakan Raon-1 mini adalah menjalankannya, dan satu-satunya cara menetapkan harganya adalah mengamortisasi jam GPU Anda sendiri.

Untuk sekarang, deskripsi yang akurat itu singkat. Raon-1 mini adalah model nyata yang dapat diunduh, berlisensi Apache-2.0, dengan total 28,8B/4,3B aktif, dirilis pada 21 Oktober, dengan cerita KV-cache yang sungguh menarik, tabel benchmark vendor yang membuatnya tampak unggul di empat baris dan mempermalukannya di tiga baris, stack serving yang hanya ada sebagai fork KRAFTON, dan pull request upstream yang hanya bertahan 184 detik. Itu lebih berguna daripada "KRAFTON baru saja merilis model frontier secara gratis" atau "tidak ada yang perlu dilihat sampai vLLM merge".