Raon-1 mini: MoE ขนาด 28.8B ของ KRAFTON และ PR ของ vLLM ที่คงอยู่ได้เพียง 184 วินาที

เมื่อเวลา 06:34:19 UTC วันที่ 28 ตุลาคม มี pull request ชื่อ "[Model] Add Raon-1-mini support" ถูกเปิดใน vllm-project/vllm ไม่ใช่โครงร่างเปล่า ๆ: มี 27 ไฟล์ เพิ่ม 3,971 บรรทัด ลบ 22 บรรทัด พร้อมชุดทดสอบและหน้าเอกสารหนึ่งหน้า เมื่อเวลา 06:37:23 — สามนาทีสี่วินาทีถัดมา — มันถูกปิดโดยไม่ได้ merge และยังคงถูกทำเครื่องหมายว่าเป็นฉบับร่าง KRAFTON ผู้เผยแพร่เกมสัญชาติเกาหลีใต้ที่อยู่เบื้องหลัง PUBG ได้เสนอที่จะนำโมเดล open-weight ขนาด 28.8B ตัวใหม่ของตนใส่เข้าไปในเอนจิน inference ที่ถูกติดตั้งใช้งานแพร่หลายที่สุดในโลก แล้วถอนข้อเสนอนั้นกลับก่อนที่ใครจะได้รีวิวสักบรรทัด

โมเดลที่อยู่เบื้องหลังพูลรีเควสต์นั้นมีอยู่จริง และสามารถดาวน์โหลดได้ตั้งแต่วันที่ 21 ตุลาคม Raon-1 mini เป็นโมเดลมิกซ์เจอร์ออฟเอ็กซ์เพิร์ตแบบแอตเทนชันผสมที่เปิดใช้งานพารามิเตอร์ประมาณ 4.3B ต่อโทเคน เผยแพร่ภายใต้ Apache 2.0 และ ณ วันที่ 28 ตุลาคม มีดาวน์โหลด 2,208 ครั้งในเดือนย้อนหลัง และมีไลก์ 221 ครั้งบนรีโพซิทอรี Hugging Face ของโมเดล สิ่งที่ยังไม่มีคือเส้นทางปกติ นั่นคือการติดตั้ง vLLM มาตรฐานที่สามารถให้บริการโมเดลนี้ได้โดยไม่ต้องใช้ wheel ที่ถูกฟอร์ก ช่องว่างนั้น — ระหว่างเช็กพอยต์บนอินเทอร์เน็ตกับโมเดลที่คุณนำไปใส่ในแมนิเฟสต์การดีพลอยได้ — คือเรื่องทั้งหมด และการรายงานข่าวที่ผ่านมาส่วนใหญ่ก็มองข้ามช่องว่างนี้ไป โดยหันไปสนใจตาราง benchmark แทน

สิ่งที่ KRAFTON เผยแพร่จริง ๆ

อาร์ติแฟกต์ถูกอัปโหลดขึ้น Hugging Face เมื่อวันที่ 21 ตุลาคม เวลา 00:14 UTC ซึ่งเป็นวันที่สำนักข่าวสายการค้าของเกาหลีทุกแห่งใช้ในวันเดียวกัน ดัชนี safetensors ของคลังหลักรายงานพารามิเตอร์ 28,783,218,402 ตัวใน BF16 — ตัวเลข "ระดับ 30B" ในข่าวประชาสัมพันธ์เป็นการปัดเศษ และ 28.8B คือตัวเลขที่ต้องนำไปใช้ในแผนกำลังความจุ

• พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งาน — ทั้งหมด 28.8B, ใช้งานประมาณ ~4.3B ต่อโทเค็น

• ใบอนุญาต — Apache 2.0 สำหรับเวท การกำหนดค่า และองค์ประกอบ โดยอนุญาตให้ใช้ในเชิงพาณิชย์

• การเข้าถึง — รีโพซิทอรีถูกจำกัดสิทธิ์การเข้าถึง แต่สามารถขอเข้าถึงได้ผ่านช่องทำเครื่องหมาย และดูเหมือนว่าจะไม่มีการตรวจสอบด้วยตนเองสำหรับคำขอส่วนใหญ่

• เวอร์ชันต่าง ๆ — เช็กพอยต์ MXFP8 พื้นฐาน, บิลด์ NVFP4, รีโพซิทอรี GGUF, เช็กพอยต์ MLX สำหรับ Apple silicon และโมเดลฉบับร่าง DFlash2 แยกต่างหากสำหรับการถอดรหัสแบบ speculative

• การโฮสต์ — แถบด้านข้างของรีโพซิทอรีรายงานว่าโมเดล "ไม่ได้ถูกติดตั้งใช้งานโดย Inference Provider รายใด" การ์ดโฆษณาการทดลองใช้ฟรีแบบจำกัดเวลาใน playground ของ KRAFTON เอง และไม่มีราคาต่อโทเคนที่เผยแพร่ไว้ที่ใดเลย

• สิ่งที่สัญญาอนุญาตไม่ครอบคลุม — ชุดข้อมูลการฝึกของ KRAFTON วิธีการฝึก ซอฟต์แวร์ที่ไม่ได้แจกจ่าย และ API กับ playground ที่โฮสต์ไว้ ซึ่งดำเนินการภายใต้ข้อกำหนดแยกต่างหาก

มันเป็นเวอร์ชันพรีวิว และ KRAFTON ระบุไว้เช่นนั้นในบรรทัดเปิดของการ์ด บริษัทกล่าวว่ามีแผนจะเปิดตัวฉบับเต็มพร้อมรายงานทางเทคนิคที่ครอบคลุม "กระบวนการฝึกและประสิทธิภาพสุดท้าย" ไม่มีการระบุวันที่ และจำนวนโทเค็นที่ใช้ในการฝึกไม่ถูกเปิดเผยที่ใดในการ์ด ซึ่งเป็นช่องโหว่ที่ใหญ่ที่สุดในข้อกล่าวอ้างใด ๆ เกี่ยวกับความมีประสิทธิภาพในการฝึกของโมเดลนี้

การวางกรอบของฝั่ง KRAFTON คือเรื่องต้นทุน Kangwook Lee ประธานเจ้าหน้าที่ฝ่าย AI อธิบายว่าเป็นผลผลิตจาก "ขีดความสามารถด้านการวิจัยและพัฒนา AI ที่สะสมมากว่า 5 ปี" และกล่าวว่าบริษัทตั้งใจจะใช้ LLM ที่มีต้นทุนต่ำกว่าเพื่อ "ขยายขอบเขตการใช้ AI ไปสู่อุตสาหกรรมต่างๆ" Raon-1 mini เป็นโมเดลภาษาตัวแรกภายใต้แบรนด์ Raon ซึ่ง KRAFTON ใช้มาตั้งแต่เดือนเมษายนสำหรับการเปิดตัวผลิตภัณฑ์ด้านเสียงพูด TTS และ vision-encoder

สถาปัตยกรรมคือจุดที่การเดิมพันที่แท้จริงตั้งอยู่

อัตราส่วน 3:1 ของเลเยอร์ linear attention ต่อ full attention คือส่วนที่ควรทำความเข้าใจ เพราะทุกอย่างอื่นเกี่ยวกับเศรษฐศาสตร์การให้บริการของโมเดลล้วนเป็นผลสืบเนื่องมาจากสิ่งนี้

• เลเยอร์ — รวม 25 เลเยอร์ แบ่งเป็น 18 เลเยอร์ Raon Delta Attention (RDA) และ 7 เลเยอร์ MLA แบบมีเกต

• ผู้เชี่ยวชาญ — ทั้งหมด 128 ตัว โดยต่อโทเค็นจะมี 6 ตัวที่ถูกจัดเส้นทาง (routed) บวกกับอีก 1 ตัวที่แชร์กันและทำงานอยู่ โดยมีขนาด intermediate ของผู้เชี่ยวชาญอยู่ที่ 1,088

• มิติ — ขนาดซ่อน 2,560, หัวแอตเทนชัน 40 หัวในเลเยอร์ทั้งสองประเภท, มิติหัว RDA 128, MLA แบบเกตที่ 192 QK / 128 V พร้อมอันดับ LoRA ของ query และ KV ที่ 576 / 512

• การเข้ารหัสตำแหน่ง — NoPE โดยไม่มีการฝังแบบโรตารีในส่วนใดของสแต็กเลย

• คำศัพท์ — 259,840 โทเค็น พร้อม LM head ที่ไม่ผูกน้ำหนัก

• การเปิดใช้งานและค่าคงเหลือ — SiTU-GLU พร้อมการเชื่อมต่อแบบเรซิดิว Raon-mHC ทั่วทั้งสี่สตรีม

RDA คือการดัดแปลง Kimi Delta Attention ของ KRAFTON และสิ่งที่การเปลี่ยนแปลงนี้อธิบายนั้นเจาะจงมาก: การแยกเกตลบและเกตเขียนออกจากกัน และการปรับสเกลเกตเขียนอย่างอิสระหลังคอนโวลูชัน เพื่อให้ประวัติคอนโวลูชันดิบถูกเก็บรักษาไว้แทนที่จะถูกเขียนทับ Raon-mHC ถูกอธิบายว่าเป็นการนำ mHC ของ DeepSeek ไปใช้ในรูปแบบที่ต้นทุนต่ำกว่า ทั้งสองอย่างไม่ใช่สิ่งประดิษฐ์ที่สร้างขึ้นใหม่ทั้งหมด และนั่นไม่ใช่คำวิจารณ์ — “trained from scratch” ในการ์ดหมายถึง KRAFTON ออกแบบและ pretrain โมเดลบนข้อมูลของตนเอง ไม่ใช่การคิดค้นทุกบล็อกในโมเดลขึ้นใหม่ สองในสามเทคนิคหลักของโมเดลเป็นเวอร์ชันที่ถูกวิศวกรรมใหม่จากเทคนิคที่เผยแพร่แล้ว และเทคนิคที่สามคือตารางแบบไฮบริด 3:1 ซึ่งห้องปฏิบัติการอื่นก็มาบรรจบกับแนวทางนี้เช่นกัน

สิ่งที่ได้กลับมาคือ KV cache เนื่องจากมีเพียง {{1}}7 เลเยอร์ MLA แบบ gated{{/1}} เท่านั้นที่เก็บแคชไว้ การ์ดจึงประเมินต้นทุนไว้ที่ประมาณ 8 KiB ต่อโทเคนใน BF16 ที่บริบทเต็ม 262,144 โทเคน นั่นคือประมาณ 2 GiB ต่อลำดับ — ตัวเลขที่ใส่ได้สบาย ๆ บนการ์ด 32 GB เพียงใบเดียว และจะไม่พอเลยหากทั้ง {{2}}25 เลเยอร์{{/2}} เก็บแคชไว้ นี่คือคำกล่าวอ้างเชิงผลิตภัณฑ์จริงที่ซ่อนอยู่ใต้ตาราง benchmark: ไม่ใช่ว่า Raon-1 mini ฉลาดกว่าคู่แข่ง แต่คือการทำ inference บริบทطولบนโมเดลนี้มีต้นทุนต่ำพอที่จะรันบนฮาร์ดแวร์ที่คุณอาจมีอยู่แล้ว

ตารางเกณฑ์มาตรฐานที่นับเป็นจำนวน แทนที่จะสรุปเป็นภาพรวม

ตัวเลขทุกตัวด้านล่างนี้เป็นของ KRAFTON ณ วันที่ 28 ตุลาคม ไม่มีรายการของ Raon-1 mini ใน Artificial Analysis — โมเดลนี้ไม่ปรากฏอยู่ในรายชื่อโมเดลของเว็บไซต์เลย — ไม่มีการจัดอันดับในอารีนา และไม่มีการทำซ้ำโดยบุคคลที่สาม การประเมินบนการ์ดใช้ gpt-5.6-luna เป็นผู้ตัดสินและผู้จำลองผู้ใช้ตลอดทั้งกระบวนการ ซึ่งเปิดเผยไว้แต่ไม่ใช่การประเมินที่เป็นอิสระ ควรอ่านตัวเลขเหล่านี้เป็นคำกล่าวอ้างของผู้จำหน่ายที่มีภาคผนวกอย่างละเอียดผิดปกติ

ตารางนี้มี 18 แถวและห้าคอลัมน์: Raon-1 mini preview เทียบกับ Qwen3.6-35B-A3B และ Gemma 4 26B-A4B ในฐานะโมเดล MoE ที่อยู่ในกลุ่มเดียวกัน โดยมี Qwen3.8-27B และ Muse Glimmer 30B แสดงเป็นข้อมูลอ้างอิงแบบ dense การไฮไลต์สีแดงของ KRAFTON ทำเครื่องหมายคะแนนที่ดีที่สุด ภายในกลุ่ม MoE ซึ่งเป็นข้อกล่าวอ้างที่แคบกว่า "ดีที่สุด" และเป็นเหตุผลว่าทำไมถ้อยแถลงข่าวเกี่ยวกับการเอาชนะ "โมเดลต่างประเทศที่มีขนาดใกล้เคียงกัน" จึงต้องระมัดระวัง

หากนับอย่างถูกต้อง Raon-1 mini คือที่สุดในทั้งห้าคอลัมน์บนสี่แถวอย่างชัดเจน:

• AA-Omniscience — 3.5 เทียบกับ −7.2 สำหรับ Qwen3.6-35B-A3B, −0.5 สำหรับ Qwen3.8-27B, −34.7 สำหรับ Muse Glimmer 30B และ −46.6 สำหรับ Gemma 4 26B-A4B เป็นคะแนนบวกเพียงค่าเดียวในคอลัมน์ ซึ่งบอกอะไรบางอย่างที่เป็นจริงเกี่ยวกับการปรับเทียบ แม้ว่าตัวเลขสัมบูรณ์จะน้อยก็ตาม

• IFBench — 84.2 เทียบกับ 82.4 สำหรับ Qwen3.8-27B และ 66.6 สำหรับ Qwen3.6-35B-A3B ช่องว่าง 17.6 จุดเหนือคู่เทียบ MoE ที่ใกล้ที่สุดในการทำตามคำสั่งถือเป็นผลลัพธ์เดี่ยวที่แข็งแกร่งที่สุดในตาราง

LiveCodeBench v6 — 81.6 นำหน้า 81.2, 83.4, 79.3 และ 77.4 ช่องว่างแคบ และเป็นชัยชนะเหนือ Qwen3.6-35B-A3B อยู่ 0.4 คะแนน

• แชทบอทภาษาเกาหลี — 92.9 เทียบกับ 90.6, 90.1, 87.0 และ 74.5 นี่คือเบนช์มาร์กภายในของ KRAFTON เอง ซึ่งระบุชัดเจนว่าไม่ได้เผยแพร่ต่อสาธารณะ ดังนั้นจึงเป็นตัวเลขที่ตรวจสอบได้น้อยที่สุดบนหน้านี้ และเป็นตัวเลขที่การวางตำแหน่งของโมเดลตั้งอยู่บนตัวเลขนี้

นอกจากนี้ยังเป็นอันดับหนึ่งในกลุ่ม MoE บน GPQA Diamond (84.3) และ SWE-Verified (70.8 ซึ่งเป็นส่วนต่างสูงสุดด้าน coding agent ที่ 7.6 คะแนนเหนือ Qwen3.6-35B-A3B) แต่แพ้ทั้งสองรายการให้กับ Qwen3.8-27B ที่ 89.7 และ 74.6 รูปแบบนี้ — ชนะในระดับขนาดของตัวเอง แต่แพ้โมเดล dense ที่ใหญ่ขึ้นหนึ่งขนาด — เกิดขึ้นซ้ำทั่วทั้งตาราง

ความสูญเสียเหล่านั้นไม่ได้เล็กน้อย และกระจุกตัวอยู่ในจุดเดียว:

• Terminal-Bench Lite — 47.0 นี่คือคะแนนที่แย่ที่สุดในแถวการเปรียบเทียบของตัวเอง โดยต่ำกว่า Qwen3.6-35B-A3B อยู่ 16.3 คะแนน และต่ำกว่า Muse Glimmer 30B อยู่ 23.7 คะแนน

• MMLU Pro — 76.5 เป็นอันดับสุดท้ายในห้ารุ่น ตามหลัง Qwen3.6-35B-A3B อยู่ 9.4 คะแนน

• BFCL v4 — 59.8 ตามหลังคู่แข่งที่เป็น MoE และ dense ทั้งสามราย ยกเว้น Muse Glimmer กล่าวคือ การเรียกใช้ฟังก์ชันไม่ใช่จุดแข็งของโมเดลนี้

• AutomationBench — 29.7 นำหน้าเพียง Qwen3.6-35B-A3B ที่ 24.9 และตามหลัง Qwen3.8-27B อยู่ 29 คะแนน

• GDP.pdf — 5.8 ซึ่งสูงกว่า 3.6 ของ Gemma 4 26B-A4B เพียงเล็กน้อย

เมื่อนำมารวมกัน สรุปที่ตรงไปตรงมาจึงแคบและมีประโยชน์กว่าข่าวประชาสัมพันธ์: Raon-1 mini มีความสามารถแข่งขันได้ในด้านการปฏิบัติตามคำสั่ง การสนทนาภาษาเกาหลี การสอบเทียบ และการท่องเว็บในลักษณะการค้นหา แต่ยังอ่อนด้านการเรียกคืนความรู้ งานบนเทอร์มินัล และการเรียกใช้เครื่องมือ หากภาระงานของคุณคือเอเจนต์ที่ต้องเรียกใช้ฟังก์ชันต่อเนื่องกันอย่างเชื่อถือได้ ตารางนี้ชี้ว่าอาจไม่เหมาะ แต่หากเป็นผู้ช่วยภาษาเกาหลีที่รองรับบริบทขนาดยาวและปฏิบัติตามคำสั่งอย่างแม่นยำ ตารางนี้ชี้ว่าควรทดลอง

สิ่งที่ pull request ของ vLLM เสนอ และสิ่งที่ถูกถอนกลับ

พูลรีเควสต์นี้มาจากฟอร์กของ KRAFTON — สาขา feat/raon-public-candidate เข้าไปยัง vllm-project/vllm:main — และโน้ตของผู้เขียนเองอธิบายการปิดได้ดีกว่าการอนุมานใด ๆ: "ฉันกำลังพยายามทำให้โค้ดเรียบง่ายและสะอาด เมื่อพร้อมแล้ว ฉันจะเปิด PR นี้อีกครั้ง" เนื้อหาของ PR ยังเปิดเผยว่า OpenAI Codex ช่วยในการนำไปใช้งาน และ "การตรวจทานทีละบรรทัดโดยมนุษย์และการยืนยันผลการตรวจสอบแบบ end-to-end ยังคงอยู่ระหว่างดำเนินการ"

สิ่งที่มันบรรจุอยู่มีความสำคัญ แม้ว่ามันจะไม่ได้ถูกนำไปใช้จริง เพราะมันเป็นแผนที่ของสิ่งที่การ upstream สถาปัตยกรรมนี้ต้องใช้:

• การลงทะเบียนโมเดลและการกำหนดค่า รวมถึงการโหลด checkpoint สำหรับเลเยอร์ RDA จำนวน 18 ชั้น และเลเยอร์ NoPE MLA จำนวน 7 ชั้น

• อะแดปเตอร์ตัวแยกวิเคราะห์ reasoning และ tool-call ของ raon_1 — ชิ้นส่วนที่ทำให้โมเดลใช้งานได้ผ่าน endpoint ที่เข้ากันได้กับ OpenAI แทนที่จะเป็น raw completion API

• นำเส้นทาง ModelOpt MXFP8/NVFP4, MLA, การจัดการสถานะแบบไฮบริด และอินเทอร์เฟซ DFlash2 จาก upstream กลับมาใช้ซ้ำ โดยไม่บังคับแบ็กเอนด์ MoE ใด ๆ

• เคอร์เนล raon_fast แบบเลือกได้สำหรับ RDA และ mHC พร้อมการทดสอบ config และ parser และเอกสารประกอบ

งานประมาณครึ่งหนึ่งได้รับการตรวจสอบแล้วและอีกครึ่งหนึ่งยังไม่ได้ตรวจสอบ และ PR ระบุไว้อย่างชัดเจน สิ่งที่ผ่าน: การทดสอบคอนฟิกซีพียูและตัวแยกวิเคราะห์ 11 รายการ, pre-commit hooks, การสร้างและติดตั้ง wheel จากฐานที่ตรงกันทุกประการ, การนำเข้าโมเดลเนทีฟ ตัวแยกโทเค็น และตัวแยกวิเคราะห์, การตรวจสอบความสมบูรณ์ของเช็กพอยต์ที่ปักหมุดไว้, การจับคู่คอนฟิกระหว่างเป้าหมาย/ดราฟต์ และการแก้ไขคอนฟิก mixed-precision แบบ NVFP4 สิ่งที่ยังค้างอยู่ ตามถ้อยคำใน PR เอง: "การสร้างผลลัพธ์จริงบน GPU, การเปรียบเทียบเชิงตัวเลข/คุณภาพของโมเดล, การทำงานของแบ็กเอนด์/เคอร์เนล, การทดสอบการถดถอยของ KDA แบบใช้ร่วม, ความถูกต้องของ DFlash2/แคช/กราฟ และการทดสอบประสิทธิภาพการให้บริการ" PR ยังเสริมว่า "ไม่มีการอ้างสิทธิ์เรื่องความเร็วที่เพิ่มขึ้นหรือความเท่าเทียมระดับโปรดักชัน"

ข้อจำกัดของ kernel คือรายละเอียดที่มักสร้างปัญหาให้ทีมที่อ่านว่า "รองรับ vLLM" แล้วคิดว่าจะขยายขนาดได้ทันที kernel แบบเร็วที่เป็นออปชันต้องใช้ SM10x ซึ่งเป็นฮาร์ดแวร์ระดับ Blackwell พร้อมกับ tensor parallelism ที่มีค่าเท่ากับหนึ่งเท่านั้น, BF16 convolution history, FP32 recurrent state และ toolchain สำหรับ build ด้วย CUDA/C++ ทั้งนี้ไม่รองรับ pipeline parallelism, expert parallelism และ RecoverSSM ในทางปฏิบัติ นั่นหมายความว่าเส้นทางแบบเร็วเป็นเส้นทางแบบ single-GPU ซึ่งสอดคล้องกับจุดขายโดยรวมของโมเดล แต่ไม่เข้ากับวิธีที่คนส่วนใหญ่ให้บริการโมเดลขนาด 28.8B จริง ๆ

สิ่งที่คุณสามารถรันได้ในสัปดาห์นี้

KRAFTON เผยแพร่ vLLM fork ของตนเองที่ปักหมุดไว้ที่ ref raon-1-mini-preview โดยมีเอกสารอ้างอิงกับ NVIDIA B300 และให้บริการผ่าน API ที่เข้ากันได้กับ OpenAI พร้อมการเรียกใช้เครื่องมือ การเปิดใช้งานที่ระบุในเอกสารใช้ --max-model-len 262144 ทุกเส้นทางด้านล่างเป็นของ KRAFTON เอง และไม่มีเส้นทางใดเป็น upstream:

• vLLM — ติดตั้งจาก github.com/krafton-ai/vllm ที่ ref ที่กำหนดไว้ โดยใช้ VLLM_USE_PRECOMPILED=1 นี่เป็นวิธีเดียวที่จะเข้าถึง parser adapters ของ fork นี้และการรองรับ DFlash2

• Transformers — 5.16.1 พร้อม accelerate 1.15.0, device_map="auto" และ CPU offload ที่สามารถใช้งานได้บน GPU ขนาด 32 GB

• RTX 5090 — checkpoint NVFP4, คอนเท็กซ์ 32,768 โทเคน, โทเคนแบบแบตช์ 2,048, 8 ซีเควนซ์ และแคช KV FP8 ขนาด 3 GiB; ต้องใช้ CUDA Toolkit 13 พร้อมมี nvcc

• DGX Spark — คอนเทนเนอร์ ARM64 ที่ ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534 ซึ่งรันบริบท 128K ด้วยจำนวนลำดับไม่เกิน 8

• llama.cpp — สาขา KRAFTON และบิลด์ GGUF Q4_K_M โดยระบุว่าการรองรับอัปสตรีมยังอยู่ระหว่างดำเนินการ

• MLX — mlx 0.32.4 และ mlx-lm 0.32.2 เทียบกับเช็กพอยต์ MLX แยกต่างหาก

โมเดลร่างสำหรับ speculative decoding น่าจดบันทึกไว้ เพราะ 2.18× คือตัวเลขที่จะถูกยกมาอ้างถึง KRAFTON วัดค่านี้บน B300 เครื่องเดียว ด้วยโมเดลเป้าหมาย MXFP8 และ vLLM 0.28.0 ที่ block size 8 และอธิบายว่าเป็นอัตรา throughput เอาต์พุตที่สูงกว่าการถอดรหัสแบบ autoregressive "สูงถึง" 2.18× โดยแปรผันตามฮาร์ดแวร์และปริมาณงาน นี่คือ benchmark จากผู้ผลิตบนฮาร์ดแวร์ที่ผู้อ่านส่วนใหญ่ไม่มี และยังเป็นคำกล่าวอ้างประเภทที่ขึ้นอยู่กับ acceptance rate อย่างมาก ซึ่งขึ้นอยู่กับการกระจายของพรอมป์ตของคุณ

การตั้งค่าการสุ่มไม่ใช่ค่าเริ่มต้นตามปกติ และควรคัดลอกให้ตรงทุกค่า: temperature 1.0, top_p 0.95, top_k 20, ไม่มี repetition หรือ frequency penalty และ presence penalty 0 สำหรับการเขียนโค้ดและคณิตศาสตร์ เทียบกับ 1.5 สำหรับอย่างอื่น โหมดคิดเปิดเป็นค่าเริ่มต้น และการ์ดแนะนำไม่ให้ปิดโหมดนี้ หากตั้ง presence penalty ผิด คุณจะสรุปว่าโมเดลแย่กว่าที่เป็นจริง

ข้อควรระวังเชิงปฏิบัติการข้อหนึ่งที่ไม่เกี่ยวกับคุณภาพเลย: การปักหมุด fork เป็นการตัดสินใจด้านซัพพลายเชน คุณจะได้บิลด์ vLLM ของ KRAFTON ไม่ใช่ release train ต้นน้ำ — ไม่มี CI ต้นน้ำบนคอนฟิกของคุณ ไม่มีแพตช์ความปลอดภัยต้นน้ำจนกว่าจะมีคน rebase และทุกการอัปเกรด vLLM จะกลายเป็นการ merge แทนที่จะเป็นการ bump เวอร์ชัน สำหรับโมเดลพรีวิวที่กำลังประเมินอยู่ นั่นถือเป็นการแลกเปลี่ยนที่สมเหตุสมผล แต่สำหรับ dependency ระดับโปรดักชัน มันคือสิ่งที่ต้องใส่ไว้ใน risk register ข้างๆ โมเดลเอง

ทดสอบมันได้อย่างไรโดยไม่ต้องเดิมพันกับมัน

Raon-1 mini ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter และไม่ควรตีความสิ่งใดในที่นี้ว่าเป็นการอ้างเช่นนั้น — เราไม่ได้ให้บริการรุ่นนี้ สิ่งที่เราให้บริการคือชุดเปรียบเทียบของมัน ซึ่งบังเอิญเป็นกลุ่มควบคุมที่เหมาะสม: Gemma 4 26B-A4B ที่ $0.06 ต่อล้านโทเค็นอินพุต และ $0.33 ต่อล้านโทเค็นเอาต์พุต, Qwen3.6-35B-A3B ที่ $0.248 และ $1.485, และ Qwen3.8-27B ที่ $0.33 และ $2.40 ทั้งหมดในราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม เหล่านั้นคือ โมเดลที่มันถูกวัดเทียบด้วย ซึ่งเข้าถึงได้ผ่านคีย์เดียว ทำให้การทดลองที่มีประโยชน์นั้นมีต้นทุนต่ำ: รันพรอมป์ของ KRAFTON เองกับเส้นฐานที่โฮสต์ไว้ และรันพรอมป์เดียวกันกับพรีวิวในเครื่อง แล้วดูว่าตารางของผู้ขายจะยังคงทนกับข้อมูลของคุณหรือไม่

นั่นคือการใช้เวลาหนึ่งสัปดาห์ที่คุ้มค่ากว่าการนั่งเพ่งตารางให้หนักขึ้น การติดตั้ง fork ใช้เวลาแค่ครึ่งวันบ่าย ส่วนการเปรียบเทียบต่างหากที่จะบอกคุณว่าโมเดลที่ active 4.3B ซึ่งนำอยู่ 17.6 คะแนนใน IFBench แต่ตามอยู่ 16.3 คะแนนใน Terminal-Bench นั้นเหมาะกับ workload ของคุณหรือไม่ หากมี baseline แบบ hosted ที่รับทราฟฟิกอยู่แล้ว การ route มันเคียงข้างพรีวิวผ่าน endpoint เดียวที่มี automatic failover หมายความว่า checkpoint ที่ยังไม่ผ่านการพิสูจน์จะไม่ต้องอยู่ลำพังบน critical path — การประเมินจึงรันในรูปแบบเดียวกับ production ได้โดยไม่ต้องแบกความเสี่ยงของ production

อะไรจะทำให้การประเมินนี้เปลี่ยนไป

สี่เรื่อง โดยเรียงตามน้ำหนักความสำคัญคร่าว ๆ

การ merge vLLM เข้า upstream เพราะมันเปลี่ยนการปักหมุด fork ให้กลายเป็นหมายเลขเวอร์ชัน และดึงโมเดลนี้เข้าสู่เครื่องมือ downstream ทั้งหมดด้าน packaging, quantization และ serving ที่ถือว่ามีการรองรับจาก mainline KRAFTON กล่าวว่าจะเปิด PR ใหม่เมื่อโค้ดพร้อม รายการตรวจสอบ GPU ที่ยังค้างอยู่ใน PR ที่ปิดไปแล้วถือเป็นคำอธิบายที่เหมาะสมว่าคำว่า "พร้อม" ต้องหมายถึงอะไร

การประเมินที่เป็นอิสระ เพราะแถวข้อมูลผู้จำหน่ายสิบแปดแถวที่ถูกตัดสินโดยโมเดลเดียวคือความคิดเห็นของผู้เขียนคนเดียวในระดับที่ขยายใหญ่ ผลลัพธ์ของ AA-Omniscience เป็นตัวเลขที่น่าสนใจที่สุดในตาราง เพราะมันเป็นสิ่งที่ฮาร์เนสอิสระจะยืนยันหรือหักล้างได้อย่างรวดเร็ว

การเปิดตัวฉบับเต็มและรายงานทางเทคนิค เพราะตัวอย่างก่อนเปิดตัวที่ไม่เปิดเผยจำนวนโทเค็นที่ใช้ในการฝึกไม่สามารถสนับสนุนข้อกล่าวอ้างใดๆ เกี่ยวกับประสิทธิภาพในการฝึกได้ และประสิทธิภาพคือประเด็นสำคัญทั้งหมด จนกว่าสิ่งนั้นจะออกมา “ฝึกตั้งแต่เริ่มต้น” จึงเป็นคำกล่าวเกี่ยวกับที่มา ไม่ใช่เกี่ยวกับต้นทุน

และเอนด์พอยต์แบบโฮสต์พร้อมราคาที่ประกาศไว้ เพราะตอนนี้วิธีเดียวที่จะใช้ Raon-1 mini คือรันมันเอง และวิธีเดียวที่จะคิดราคามันคือการเฉลี่ยต้นทุนชั่วโมง GPU ของคุณเอง

สำหรับตอนนี้ คำอธิบายที่แม่นยำนั้นสั้น Raon-1 mini เป็นโมเดลจริงที่ดาวน์โหลดได้ อยู่ภายใต้ Apache-2.0 มีขนาด 28.8B-total/4.3B-active เปิดตัวเมื่อวันที่ 21 ตุลาคม พร้อมเรื่องราว KV-cache ที่น่าสนใจจริง ๆ ตาราง benchmark จากผู้ขายที่ทำให้มันดูดีในสี่แถวและทำให้มันอับอายในสามแถว สแต็กสำหรับให้บริการที่มีอยู่เพียงในรูปแบบ KRAFTON fork และ pull request ต้นทางที่คงอยู่ได้ 184 วินาที นั่นมีประโยชน์กว่าทั้งคำกล่าวที่ว่า “KRAFTON เพิ่งปล่อยโมเดลระดับแนวหน้าออกมาฟรี” หรือ “ยังไม่มีอะไรน่าดูจนกว่า vLLM จะ merge”