Raon-1 mini: MoE 28,8 tỷ tham số của KRAFTON và PR vLLM chỉ kéo dài 184 giây

Vào 06:34:19 UTC ngày 28 tháng 10, một pull request có tiêu đề "[Model] Add Raon-1-mini support" đã được mở trên vllm-project/vllm. Đó không phải là một bản sơ khai: 27 tệp, thêm 3.971 dòng, xóa 22 dòng, cùng một bộ kiểm thử và một trang tài liệu. Lúc 06:37:23 — ba phút bốn giây sau đó — nó đã bị đóng, chưa được hợp nhất và vẫn bị gắn cờ là bản nháp. KRAFTON, nhà phát hành Hàn Quốc đứng sau PUBG, đã đề xuất đưa mô hình trọng số mở 28.8B mới của mình vào engine suy luận được triển khai rộng rãi nhất trên thế giới, rồi rút lại trước khi bất kỳ ai xem xét dù chỉ một dòng.

Mô hình đằng sau pull request là có thật, và nó đã có thể tải xuống từ ngày 21 tháng 10. Raon-1 mini là một mô hình hỗn hợp chuyên gia với cơ chế chú ý lai, kích hoạt khoảng 4,3 tỷ tham số mỗi token, được phát hành theo Apache 2.0, và tính đến ngày 28 tháng 10 đã có 2.208 lượt tải xuống trong tháng trước đó cùng 221 lượt thích trên kho lưu trữ Hugging Face của nó. Điều chưa tồn tại là con đường thông thường: một bản cài vLLM nguyên bản có thể phục vụ nó mà không cần wheel đã fork. Khoảng trống đó — giữa một checkpoint trên internet và một mô hình bạn có thể đưa vào manifest triển khai — chính là toàn bộ câu chuyện, và các bài đưa tin cho đến nay phần lớn đã bỏ qua nó để chạy theo bảng benchmark.

KRAFTON thực sự đã công bố gì

Các artifact đã được đưa lên Hugging Face vào ngày 21 tháng 10 lúc 00:14 UTC, đây là ngày mà mọi trang tin ngành của Hàn Quốc đều dùng trong cùng ngày hôm đó. Chỉ mục safetensors của kho chính báo cáo 28.783.218.402 tham số ở BF16 — con số "30B-class" trong các thông cáo báo chí là đã làm tròn, và 28,8B là con số cần đưa vào kế hoạch công suất.

• Tổng và tham số hoạt động — tổng 28,8B, ~4,3B hoạt động trên mỗi token.

• Giấy phép — Apache 2.0 áp dụng cho trọng số, cấu hình và các thành phần, được phép sử dụng cho mục đích thương mại.

• Quyền truy cập — các kho lưu trữ được kiểm soát, nhưng quyền truy cập được cấp theo yêu cầu thông qua một hộp kiểm và dường như không được xem xét thủ công đối với hầu hết các yêu cầu.

Các biến thể — checkpoint MXFP8 cơ sở, bản dựng NVFP4, kho GGUF, checkpoint MLX dành cho Apple silicon, và một mô hình nháp DFlash2 riêng cho giải mã suy đoán.

• Lưu trữ — thanh bên của kho lưu trữ báo cáo rằng mô hình "không được triển khai bởi bất kỳ Nhà cung cấp Suy luận nào". Thẻ này quảng cáo chương trình dùng thử miễn phí có thời hạn trong sân chơi của chính KRAFTON; không có giá công bố trên mỗi token ở bất kỳ đâu.

• Những gì giấy phép không bao gồm — bộ dữ liệu huấn luyện của KRAFTON, phương pháp huấn luyện của KRAFTON, phần mềm chưa được phân phối, cùng API và playground được lưu trữ, vốn hoạt động theo các điều khoản riêng.

Đây là bản xem trước, và KRAFTON ghi nhãn như vậy ngay ở dòng mở đầu của thẻ. Công ty cho biết một bản phát hành đầy đủ được lên kế hoạch cùng với một báo cáo kỹ thuật bao gồm “quá trình huấn luyện và hiệu năng cuối cùng”. Không có ngày nào được đưa ra, và số token huấn luyện không được tiết lộ ở bất kỳ đâu trong thẻ — đây là lỗ hổng lớn nhất trong mọi tuyên bố về mức độ hiệu quả khi huấn luyện mô hình này.

Cách lý giải từ phía KRAFTON là chi phí. Giám đốc AI Kangwook Lee mô tả đây là sản phẩm của “năng lực R&D AI được tích lũy trong hơn 5 năm” và cho biết công ty dự định sử dụng một LLM rẻ hơn để “mở rộng phạm vi sử dụng AI trên nhiều ngành khác nhau”. Raon-1 mini là mô hình ngôn ngữ đầu tiên thuộc thương hiệu Raon, thương hiệu mà KRAFTON đã sử dụng từ tháng 4 cho các bản phát hành về giọng nói, TTS và bộ mã hóa thị giác.

Kiến trúc mới là nơi đặt cược thực sự.

Tỷ lệ 3:1 giữa các lớp attention tuyến tính và các lớp attention đầy đủ là phần đáng để hiểu, vì mọi khía cạnh khác trong kinh tế phục vụ của mô hình đều bắt nguồn từ đó.

• Các lớp — tổng cộng 25, được chia thành 18 lớp Raon Delta Attention (RDA) và 7 lớp MLA có cổng.

• Chuyên gia — tổng cộng 128, 6 chuyên gia được định tuyến cộng 1 chuyên gia chia sẻ đang hoạt động trên mỗi token, với kích thước trung gian của chuyên gia là 1.088.

• Kích thước — kích thước ẩn 2.560, 40 đầu chú ý trên cả hai loại lớp, kích thước đầu RDA 128, MLA có cổng tại 192 QK / 128 V với hạng LoRA truy vấn và KV là 576 / 512.

• Mã hóa vị trí — NoPE, không có rotary embedding ở bất kỳ đâu trong toàn bộ ngăn xếp.

• Từ vựng — 259.840 token, với LM head không chia sẻ trọng số.

• Kích hoạt và phần dư — SiTU-GLU, với các kết nối dư Raon-mHC trên bốn luồng.

RDA là bản sửa đổi của KRAFTON đối với Kimi Delta Attention, và thay đổi mà nó mô tả rất cụ thể: tách rời cổng xóa và cổng ghi, đồng thời áp dụng việc nhân tỉ lệ độc lập cho cổng ghi sau tích chập, nhờ đó lịch sử tích chập thô được giữ nguyên thay vì bị ghi đè. Raon-mHC được mô tả là một cách hiện thực rẻ hơn đối với mHC của DeepSeek. Cả hai đều không phải là phát minh từ đầu, và đó không phải là lời chê — “trained from scratch” trong thẻ đề cập đến việc KRAFTON tự thiết kế và tiền huấn luyện mô hình trên dữ liệu của chính mình, chứ không phải việc phát minh lại từng khối trong đó. Hai trong ba kỹ thuật chủ lực của mô hình là các phiên bản được tái thiết kế từ những kỹ thuật đã công bố, và kỹ thuật thứ ba là một lịch trình lai 3:1 mà các phòng thí nghiệm khác cũng đã hội tụ về.

Lợi ích nằm ở KV cache. Vì chỉ có 7 lớp MLA có cổng lưu giữ nó, card ước tính chi phí vào khoảng 8 KiB mỗi token ở BF16. Ở ngữ cảnh đầy đủ 262.144 token, con số đó là khoảng 2 GiB mỗi chuỗi — một con số vừa vặn thoải mái trên một card 32 GB và sẽ hoàn toàn không vừa nếu cả 25 lớp đều lưu cache. Đây chính là tuyên bố sản phẩm thực sự ẩn dưới bảng benchmark: không phải Raon-1 mini thông minh hơn các đối thủ cùng phân khúc, mà là suy luận ngữ cảnh dài trên nó đủ rẻ để chạy trên phần cứng bạn có thể đã sở hữu.

Bảng điểm chuẩn, được đếm chứ không phải tóm tắt

Mọi con số dưới đây đều là của KRAFTON. Không có mục Artificial Analysis nào cho Raon-1 mini tính đến ngày 28 tháng 10 — mô hình này thậm chí không xuất hiện trong danh sách mô hình của trang — không có vị trí trên đấu trường và không có bản tái lập nào từ bên thứ ba. Các đánh giá của thẻ mô hình đã dùng gpt-5.6-luna làm giám khảo và trình mô phỏng người dùng xuyên suốt, điều này được công bố nhưng không độc lập. Hãy đọc các con số như một tuyên bố của nhà cung cấp với phần phụ lục chi tiết một cách bất thường.

Bảng có 18 hàng và năm cột: Raon-1 mini preview đối chiếu với Qwen3.6-35B-A3B và Gemma 4 26B-A4B với tư cách các mô hình MoE cùng nhóm, còn Qwen3.8-27B và Muse Glimmer 30B được hiển thị làm tham chiếu dense. Phần tô đỏ của KRAFTON đánh dấu điểm số tốt nhất trong nhóm MoE, đây là một khẳng định hẹp hơn "tốt nhất" và là lý do câu trong thông cáo báo chí về việc đánh bại "các mô hình nước ngoài có kích thước tương đương" cần được cẩn trọng.

Tính đúng thì Raon-1 mini là tốt nhất tuyệt đối trong cả năm cột ở bốn hàng:

• AA-Omniscience — 3,5, so với −7,2 của Qwen3.6-35B-A3B, −0,5 của Qwen3.8-27B, −34,7 của Muse Glimmer 30B và −46,6 của Gemma 4 26B-A4B. Đây là điểm số dương duy nhất trong cột, điều cho thấy một điều thực sự về hiệu chuẩn dù con số tuyệt đối vẫn nhỏ.

• IFBench — 84,2, so với 82,4 của Qwen3.8-27B và 66,6 của Qwen3.6-35B-A3B. Khoảng cách 17,6 điểm so với đối thủ MoE gần nhất về khả năng tuân thủ chỉ dẫn là kết quả đơn lẻ mạnh nhất trong bảng.

• LiveCodeBench v6 — 81.6, vượt qua 81.2, 83.4, 79.3 và 77.4. Sát nút, và là chiến thắng với cách biệt bốn phần mười điểm trước Qwen3.6-35B-A3B.

• Chatbot tiếng Hàn — 92.9, so với 90.6, 90.1, 87.0 và 74.5. Đây là bài benchmark nội bộ của chính KRAFTON, được nêu rõ là không công bố ra công chúng, nên đây là con số khó kiểm chứng nhất trên trang và cũng là con số mà toàn bộ định vị của mô hình dựa vào.

Nó cũng đứng đầu nhóm MoE ở GPQA Diamond (84,3) và SWE-Verified (70,8, mức chênh lệch rộng nhất của nó ở nhóm tác nhân lập trình, hơn Qwen3.6-35B-A3B 7,6 điểm), trong khi thua cả hai trước Qwen3.8-27B với 89,7 và 74,6. Kiểu đó — vượt cùng hạng cân của mình, thua mô hình dense lớn hơn một cỡ — lặp lại khắp bảng.

Những tổn thất không hề nhỏ và chúng tập trung ở một chỗ:

• Terminal-Bench Lite — 47.0. Đây là điểm số tệ nhất trong chính hàng so sánh của nó, thấp hơn Qwen3.6-35B-A3B 16,3 điểm và thấp hơn Muse Glimmer 30B 23,7 điểm.

• MMLU Pro — 76,5, đứng cuối trong số năm, kém Qwen3.6-35B-A3B 9,4 điểm.

• BFCL v4 — 59.8, đứng sau cả ba đối thủ MoE và dense ngoại trừ Muse Glimmer, tức là gọi hàm không phải là điểm mạnh của mô hình này.

• AutomationBench — 29.7, chỉ đứng trên 24.9 của Qwen3.6-35B-A3B và kém Qwen3.8-27B 29 điểm.

• GDP.pdf — 5.8, chỉ cao hơn 3.6 của Gemma 4 26B-A4B một chút.

Ghép lại, bản tóm tắt trung thực thì hẹp hơn và hữu ích hơn thông cáo báo chí: Raon-1 mini cạnh tranh ở khả năng tuân theo chỉ dẫn, hội thoại tiếng Hàn, hiệu chuẩn và duyệt web kiểu tìm kiếm, và yếu ở khả năng truy hồi kiến thức, thao tác terminal và gọi công cụ. Nếu khối lượng công việc của bạn là một agent phải chuỗi các lệnh gọi hàm một cách đáng tin cậy, bảng này cho thấy không nên dùng nó. Nếu đó là một trợ lý tiếng Hàn ngữ cảnh dài tuân theo chỉ dẫn chính xác, bảng này cho thấy nên thử nghiệm.

Những gì pull request của vLLM đề xuất và những gì nó đã rút lại

Pull request đến từ một bản fork của KRAFTON — nhánh feat/raon-public-candidate vào vllm-project/vllm:main — và ghi chú của chính tác giả giải thích việc đóng PR rõ hơn bất kỳ suy đoán nào: "Tôi đang cố gắng làm cho mã đơn giản và sạch sẽ. Khi tôi sẵn sàng, tôi sẽ mở lại PR này." Phần thân PR cũng cho biết OpenAI Codex đã hỗ trợ triển khai và rằng "việc con người xem xét từng dòng và xác nhận kiểm chứng đầu cuối vẫn đang chờ xử lý."

Những gì nó chứa đựng vẫn quan trọng dù nó không được hợp nhất, vì nó là bản đồ cho thấy cần những gì để đưa kiến trúc này lên nguồn chính:

• Đăng ký mô hình và cấu hình, cùng với việc tải checkpoint cho 18 lớp RDA và 7 lớp NoPE MLA.

• các adapter phân tích lý luận và lệnh gọi công cụ của raon_1 — thành phần giúp mô hình có thể được sử dụng phía sau một endpoint tương thích OpenAI thay vì API completion thô.

• Tái sử dụng các đường dẫn ModelOpt MXFP8/NVFP4, MLA, xử lý trạng thái lai và giao diện DFlash2 từ thượng nguồn, không buộc backend MoE nào.

• Các kernel raon_fast tùy chọn cho RDA và mHC, cùng với các bài kiểm thử cấu hình và trình phân tích cú pháp, và tài liệu.

Khoảng một nửa công việc đã được xác thực và một nửa thì chưa, và PR nói rõ điều đó. Đạt: 11 bài kiểm thử cấu hình CPU và bộ phân tích cú pháp, hook pre-commit, bản dựng và cài đặt wheel từ base chính xác, việc nhập mô hình gốc, tokenizer và bộ phân tích cú pháp, kiểm tra tính toàn vẹn của checkpoint đã ghim, ghép cặp cấu hình target/draft, và phân giải cấu hình độ chính xác hỗn hợp NVFP4. Đang chờ xử lý, theo đúng lời trong PR: “sinh thực tế trên GPU, so sánh số trị/chất lượng mô hình, thực thi backend/kernel, hồi quy KDA dùng chung, tính đúng đắn của DFlash2/cache/graph, và các benchmark phục vụ.” Nó nói thêm: “Không đưa ra tuyên bố nào về tăng tốc hay tương đương với môi trường sản xuất.”

Các ràng buộc về kernel là chi tiết dễ khiến một nhóm đọc “hỗ trợ vLLM” và cho rằng nó có thể mở rộng quy mô nhất. Các kernel nhanh tùy chọn yêu cầu SM10x — phần cứng cấp Blackwell — cùng với song song tensor đúng bằng một, lịch sử tích chập BF16, trạng thái hồi quy FP32 và bộ công cụ build CUDA/C++. Song song pipeline, song song chuyên gia và RecoverSSM không được hỗ trợ. Trên thực tế, điều đó có nghĩa đường nhanh là đường một GPU, phù hợp với toàn bộ thông điệp giới thiệu của mô hình nhưng không tương thích với cách hầu hết mọi người thực sự phục vụ một mô hình 28.8B.

Bạn có thể chạy gì trong tuần này

KRAFTON phát hành bản fork vLLM riêng của mình được ghim tại ref raon-1-mini-preview, được ghi tài liệu dựa trên NVIDIA B300 và phục vụ qua API tương thích OpenAI có gọi công cụ. Lệnh khởi chạy được ghi tài liệu sử dụng --max-model-len 262144. Mọi route bên dưới đều là của riêng KRAFTON, và không route nào là upstream:

• vLLM — cài đặt từ github.com/krafton-ai/vllm tại ref được ghim với VLLM_USE_PRECOMPILED=1. Đây là cách duy nhất để sử dụng các adapter parser của bản fork và hỗ trợ DFlash2.

• Transformers — 5.16.1 với accelerate 1.15.0, device_map="auto", và tính năng CPU offload khả dụng trên GPU 32 GB.

• RTX 5090 — checkpoint NVFP4, ngữ cảnh 32,768 token, 2,048 token theo lô, 8 chuỗi và bộ đệm KV FP8 3 GiB; cần CUDA Toolkit 13 với nvcc hiện diện.

• DGX Spark — một container ARM64 tại ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, chạy ngữ cảnh 128K với không quá 8 chuỗi.

• llama.cpp — một nhánh KRAFTON và bản dựng GGUF Q4_K_M, với hỗ trợ upstream được ghi là đang chờ xử lý.

• MLX — mlx 0.32.4 và mlx-lm 0.32.2 so với checkpoint MLX riêng.

Mô hình nháp cho giải mã suy đoán đáng để lưu ý vì 2.18× là con số sẽ được trích dẫn. KRAFTON đo nó trên một B300 đơn lẻ với mô hình đích MXFP8 và vLLM 0.28.0 ở block size 8, và mô tả đây là thông lượng đầu ra cao hơn "lên tới" 2.18× so với giải mã tự hồi quy, thay đổi tùy theo phần cứng và khối lượng công việc. Đó là một benchmark của nhà cung cấp trên phần cứng mà hầu hết độc giả không có. Đây cũng là kiểu tuyên bố phụ thuộc rất nhiều vào tỷ lệ chấp nhận, mà tỷ lệ này lại phụ thuộc vào phân phối prompt của bạn.

Sampling không phải là các giá trị mặc định thông thường và đáng được sao chép chính xác: temperature 1.0, top_p 0.95, top_k 20, không có hình phạt lặp lại hay tần suất, và hình phạt hiện diện là 0 cho lập trình và toán so với 1.5 cho mọi thứ khác. Chế độ suy nghĩ được bật theo mặc định và thẻ khuyến nghị không nên tắt nó. Nếu đặt sai hình phạt hiện diện, bạn sẽ kết luận mô hình tệ hơn so với thực tế.

Một lưu ý vận hành không liên quan gì đến chất lượng: ghim bản fork là một quyết định chuỗi cung ứng. Bạn nhận được bản build vLLM của KRAFTON, không phải dòng phát hành upstream — không có CI upstream cho cấu hình của bạn, không có bản vá bảo mật upstream cho đến khi ai đó rebase, và mỗi lần nâng cấp vLLM trở thành một lần merge thay vì chỉ tăng phiên bản. Với một mô hình preview đang được đánh giá, đó là một đánh đổi hợp lý. Với một phụ thuộc production, đó là điều cần đưa vào sổ rủi ro bên cạnh chính mô hình.

Làm thế nào để kiểm thử nó mà không đặt cược vào nó

Raon-1 mini không có trong danh mục OrcaRouter, và không có gì ở đây nên được hiểu là khẳng định điều ngược lại — chúng tôi không phục vụ mô hình đó. Thứ chúng tôi phục vụ là nhóm so sánh của nó, mà tình cờ lại chính là nhóm đối chứng phù hợp: Gemma 4 26B-A4B với $0.06 mỗi triệu token đầu vào và $0.33 mỗi triệu token đầu ra, Qwen3.6-35B-A3B với $0.248 và $1.485, và Qwen3.8-27B với $0.33 và $2.40, tất cả theo giá niêm yết của nhà cung cấp, không cộng thêm. Đó là những mô hình mà nó được so sánh cùng, có thể truy cập qua một khóa, điều này khiến thử nghiệm hữu ích trở nên rẻ: chạy chính các prompt của KRAFTON với các baseline được lưu trữ và chạy cùng các prompt đó với bản xem trước cục bộ, rồi xem liệu bảng của nhà cung cấp có trụ vững với dữ liệu của bạn hay không.

Đó là cách tận dụng một tuần tốt hơn là cố đọc bảng kỹ hơn. Việc cài đặt bản fork chỉ mất một buổi chiều; phép so sánh mới là thứ cho bạn biết liệu một mô hình có 4,3B tham số hoạt động, với lợi thế 17,6 điểm trên IFBench và mức thiếu hụt 16,3 điểm trên Terminal-Bench, có phù hợp với khối lượng công việc của bạn hay không. Nếu một baseline được host sẵn đã đang gánh lưu lượng, việc định tuyến nó song song với bản preview qua một endpoint duy nhất với chuyển đổi dự phòng tự động nghĩa là một checkpoint chưa được kiểm chứng sẽ không bao giờ đứng một mình trên đường dẫn quan trọng — đánh giá có thể chạy theo hình thức production mà không gặp rủi ro production.

Điều gì sẽ thay đổi đánh giá này?

Bốn điều, theo thứ tự đại khái về mức độ hệ trọng.

Việc hợp nhất vào vLLM thượng nguồn, vì nó biến một bản ghim fork thành một số phiên bản và kéo mô hình vào mọi công cụ đóng gói, lượng tử hóa và phục vụ hạ nguồn vốn giả định có hỗ trợ nhánh chính. KRAFTON cho biết sẽ mở lại PR khi mã sẵn sàng; danh sách xác thực GPU còn chờ trong PR đã đóng là một mô tả khá chính xác về ý nghĩa bắt buộc của “sẵn sàng”.

Một đánh giá độc lập, bởi vì mười tám dòng nhà cung cấp được một mô hình duy nhất đánh giá chỉ là ý kiến của một tác giả nhân lên theo quy mô. Kết quả AA-Omniscience là con số thú vị nhất trong bảng, chính xác là vì đó là kiểu thứ mà một bộ khung đánh giá độc lập sẽ nhanh chóng xác nhận hoặc đập tan.

Bản phát hành đầy đủ và báo cáo kỹ thuật, vì một bản xem trước không công bố số lượng token huấn luyện thì không thể hỗ trợ bất kỳ tuyên bố nào về hiệu quả huấn luyện, mà hiệu quả chính là toàn bộ lập luận. Cho đến khi điều đó được công bố, "được huấn luyện từ đầu" là một tuyên bố về nguồn gốc, không phải về chi phí.

Và một endpoint được lưu trữ với mức giá được công bố, vì hiện tại cách duy nhất để dùng Raon-1 mini là tự chạy nó, và cách duy nhất để định giá nó là khấu hao số giờ GPU của chính bạn.

Hiện tại, mô tả chính xác thì ngắn gọn. Raon-1 mini là một mô hình thực sự, có thể tải xuống, Apache-2.0, 28.8B-total/4.3B-active, được phát hành vào ngày 21 tháng 10, với một câu chuyện KV-cache thực sự thú vị, một bảng benchmark của nhà cung cấp tâng bốc nó ở bốn dòng và làm nó bẽ mặt ở ba dòng, một ngăn xếp phục vụ chỉ tồn tại dưới dạng bản fork của KRAFTON, và một pull request upstream chỉ kéo dài 184 giây. Điều đó hữu ích hơn cả "KRAFTON vừa tung ra một mô hình tiên phong miễn phí" lẫn "chẳng có gì đáng xem cho đến khi vLLM hợp nhất".