Raon-1 mini: ה-MoE של KRAFTON עם 28.8B, וה-PR של vLLM שנמשך 184 שניות

ב-06:34:19 UTC ב-28 באוקטובר נפתחה בקשת pull שכותרתה "[Model] Add Raon-1-mini support" כנגד vllm-project/vllm. היא לא הייתה בסך הכול שלד: 27 קבצים, 3,971 שורות נוספו, 22 הוסרו, ובצדם חבילת בדיקות ועמוד תיעוד. ב-06:37:23 — שלוש דקות וארבע שניות לאחר מכן — היא נסגרה, בלי שמוזגה, ועדיין סומנה כטיוטה. KRAFTON, המוציאה לאור הדרום-קוריאנית שמאחורי PUBG, הציעה להכניס את המודל החדש שלה בעל 28.8B משקלים פתוחים למנוע ההסקה הפרוס ביותר בעולם, ואז משכה אותו בחזרה לפני שמישהו סקר אפילו שורה.

המודל שמאחורי ה-pull request הוא אמיתי, והוא ניתן להורדה מאז 21 באוקטובר. Raon-1 mini הוא מודל תערובת מומחים עם קשב היברידי שמפעיל כ-4.3B פרמטרים לכל טוקן, מופץ תחת Apache 2.0, ועד 28 באוקטובר היו לו 2,208 הורדות ב-30 הימים האחרונים ו-221 לייקים במאגר Hugging Face שלו. מה שעדיין לא קיים הוא המסלול הרגיל: התקנת vLLM סטנדרטית שיכולה לשרת אותו בלי wheel מסועף. הפער הזה — בין checkpoint באינטרנט לבין מודל שאפשר לשים במניפסט פריסה — הוא כל הסיפור, והסיקור עד כה בעיקר דילג עליו לטובת טבלת הבנצ'מרקים.

מה ש-KRAFTON פרסמה בפועל

הארטיפקטים עלו ל-Hugging Face ב-21 באוקטובר בשעה 00:14 UTC, וזה התאריך שבו השתמשו כל כלי התקשורת המקצועיים בקוריאה באותו יום. אינדקס ה-safetensors של המאגר הראשי מדווח על 28,783,218,402 פרמטרים ב-BF16 — הנתון „בדרגת 30B” בהודעות לעיתונות הוא עיגול, והמספר 28.8B הוא זה שצריך להעביר לתכנון קיבולת.

• סך הפרמטרים והפרמטרים הפעילים — 28.8B בסך הכול, ~4.3B פעילים לכל טוקן.

• רישיון — Apache 2.0 על המשקלים, התצורה והרכיבים, כאשר שימוש מסחרי מותר.

• גישה — המאגרים מוגנים, אך הגישה ניתנת לפי בקשה באמצעות תיבת סימון, ונראה שהיא אינה נבדקת ידנית ברוב הבקשות.

• וריאנטים — צ'קפוינט MXFP8 הבסיסי, בילד NVFP4, מאגר GGUF, צ'קפוינט MLX עבור Apple silicon, ומודל טיוטה נפרד DFlash2 לפענוח ספקולטיבי.

• אחסון — סרגל הצד של המאגר מדווח שהמודל "אינו פרוס על ידי אף Inference Provider". הכרטיס מפרסם התנסות חינם לזמן מוגבל ב-Playground של KRAFTON עצמה; אין בשום מקום מחיר מפורסם לכל טוקן.

• מה שהרישיון אינו מכסה — מערכי נתוני האימון של KRAFTON, שיטת האימון שלה, תוכנה שאינה מופצת, וכן ה-API וה-playground המתארחים, הכפופים לתנאים נפרדים.

זוהי תצוגה מקדימה, ו-KRAFTON מגדירה אותה כך בשורה הפותחת של הכרטיס. החברה אומרת ששחרור מלא מתוכנן לצד דוח טכני שיכסה את "תהליך האימון והביצועים הסופיים". לא ניתן תאריך, ומספר אסימוני האימון אינו נחשף בשום מקום בכרטיס — וזהו הפער הגדול ביותר בכל טענה לגבי מידת היעילות של אימון המודל הזה.

המסגור מצד KRAFTON הוא עלות. קצין ה-AI הראשי קאנגווק לי תיאר זאת כתוצר של "יכולות מו״פ ב-AI שנצברו במשך יותר מ-5 שנים" ואמר כי החברה מתכוונת להשתמש ב-LLM זול יותר כדי "להרחיב את היקף השימוש ב-AI בתעשיות שונות". Raon-1 mini הוא מודל השפה הראשון תחת המותג Raon, שבו KRAFTON משתמשת מאז אפריל עבור השקות של דיבור, TTS ומקודדי ראייה.

הארכיטקטורה היא המקום שבו טמון ההימור האמיתי.

יחס של 3:1 בין שכבות קשב לינארי לשכבות קשב מלא הוא החלק שכדאי להבין, משום שכל שאר ההיבטים של כלכלת ההגשה של המודל נגזרים ממנו.

• שכבות — 25 בסך הכול, מחולקות ל־18 שכבות Raon Delta Attention (RDA) ול־7 שכבות MLA עם שער.

• מומחים — 128 בסך הכול, 6 מנותבים ועוד 1 משותף פעיל לכל טוקן, עם גודל ביניים של מומחה של 1,088.

• ממדים — גודל נסתר 2,560, 40 ראשי קשב בשני סוגי השכבות, ממד ראש RDA 128, MLA עם שער ב־192 QK / 128 V עם דירוג LoRA של 576 לשאילתה ו-512 ל-KV.

• קידוד מיקום — NoPE, ללא הטמעה רוטציונית בשום מקום בסטאק.

• אוצר מילים — 259,840 טוקנים, עם ראש LM לא קשור.

• הפעלה ושאריות — SiTU-GLU, עם חיבורי שאריות Raon-mHC על פני ארבעה זרמים.

RDA היא הגרסה של KRAFTON ל-Kimi Delta Attention, והשינוי שהיא מתארת ספציפי: ניתוק שערי המחיקה והכתיבה והחלת סקיילינג עצמאי לשער הכתיבה לאחר הקונבולוציה, כך שהיסטוריית הקונבולוציה הגולמית נשמרת ולא נדרסת. Raon-mHC מתואר כמימוש זול יותר של mHC של DeepSeek. אף אחד מהם אינו המצאה מאפס, וזו אינה ביקורת — "trained from scratch" בכרטיס מתייחס לכך ש-KRAFTON עיצבה ואימנה מראש את המודל על הנתונים שלה, ולא להמציא מחדש כל בלוק בו. שתיים משלוש הטכניקות המרכזיות של המודל הן גרסאות מהונדסות מחדש של טכניקות שפורסמו, והשלישית היא לוח זמנים היברידי 3:1 שגם מעבדות אחרות התכנסו אליו.

התמורה היא מטמון ה-KV. מכיוון שרק 7 שכבות ה-MLA המגודרות שומרות מטמון כזה, הכרטיס מעמיד את העלות על כ-8 KiB לאסימון ב-BF16. בהקשר המלא של 262,144 אסימונים זה כ-2 GiB לכל רצף — מספר שנכנס בנוחות בכרטיס בודד של 32 GB, ולא היה נכנס כלל אילו כל 25 השכבות היו שומרות מטמון. זו הטענה המוצרית האמיתית שמסתתרת מתחת לטבלת הבנצ'מארקים: לא ש-Raon-1 mini חכם יותר מעמיתיו, אלא שהסקה בהקשר ארוך עליו זולה מספיק כדי לרוץ על חומרה שאולי כבר יש לך.

טבלת הבנצ'מרק, נספרת ולא מסוכמת

כל נתון להלן הוא של KRAFTON. נכון ל-28 באוקטובר אין רשומה של Raon-1 mini ב-Artificial Analysis — המודל כלל אינו מופיע ברשימת המודלים של האתר — אין מיקום בזירה, ואין שחזור מצד צד שלישי. ההערכות בכרטיס המודל השתמשו ב-gpt-5.6-luna כשופט וכמדמה משתמש לאורך כל הדרך, מה שמצוין בגילוי נאות אך אינו בלתי תלוי. יש לקרוא את המספרים כטענת ספק עם נספח מפורט באופן חריג.

לטבלה 18 שורות וחמש עמודות: Raon-1 mini preview מול Qwen3.6-35B-A3B ו-Gemma 4 26B-A4B כעמיתי MoE, כאשר Qwen3.8-27B ו-Muse Glimmer 30B מוצגים כהפניות dense. ההדגשה האדומה של KRAFTON מסמנת את הציון הטוב ביותר בתוך קבוצת ה-MoE, וזו טענה מצומצמת יותר מ"הטוב ביותר", ולכן השורה לעיתונות על ניצחון על "מודלים זרים בגודל דומה" דורשת זהירות.

בספירה נכונה, Raon-1 mini הוא הטוב ביותר באופן מובהק מבין כל חמש העמודות בארבע שורות:

• AA-Omniscience — 3.5, לעומת −7.2 עבור Qwen3.6-35B-A3B, −0.5 עבור Qwen3.8-27B, −34.7 עבור Muse Glimmer 30B ו־−46.6 עבור Gemma 4 26B-A4B. זהו הציון החיובי היחיד בעמודה, וזה אומר משהו אמיתי על כיול אף שהמספר המוחלט קטן.

• IFBench — 84.2, לעומת 82.4 עבור Qwen3.8-27B ו-66.6 עבור Qwen3.6-35B-A3B. פער של 17.6 נקודות לעומת עמית ה-MoE הקרוב ביותר שלו בביצוע הוראות הוא התוצאה הבודדת החזקה ביותר בטבלה.

• LiveCodeBench v6 — 81.6, לפני 81.2, 83.4, 79.3 ו-77.4. פער צר, וניצחון בארבע עשיריות הנקודה על Qwen3.6-35B-A3B.

• צ׳אטבוט קוריאני — 92.9, לעומת 90.6, 90.1, 87.0 ו-74.5. זהו בנצ׳מרק פנימי של KRAFTON עצמה, אשר במפורש לא פורסם לציבור, ולכן זהו המספר שהכי קשה לבדוק בעמוד, וזה שעליו נשען מיצוב המודל.

הוא גם מוביל את קבוצת ה-MoE ב-GPQA Diamond (84.3) וב-SWE-Verified (70.8, הפער הרחב ביותר שלו בסוכן קידוד — 7.6 נקודות מעל Qwen3.6-35B-A3B), אך מפסיד בשניהם ל-Qwen3.8-27B עם 89.7 ו-74.6. הדפוס הזה — מנצח בקטגוריית המשקל של עצמו, מפסיד למודל ה-dense בגודל אחד מעל — חוזר על עצמו לאורך הטבלה.

ההפסדים אינם שוליים והם מתקבצים במקום אחד:

• Terminal-Bench Lite — 47.0. זהו הציון הגרוע ביותר בשורת ההשוואה שלו, כשהוא מפגר ב-16.3 נקודות אחרי Qwen3.6-35B-A3B וב-23.7 נקודות אחרי Muse Glimmer 30B.

• MMLU Pro — 76.5, האחרון מבין החמישה, בפיגור של 9.4 נקודות אחרי Qwen3.6-35B-A3B.

• BFCL v4 — 59.8, מאחורי כל שלושת המתחרים מסוג MoE ו-dense מלבד Muse Glimmer, כלומר קריאה לפונקציות אינה התחום שבו המודל הזה חזק.

• AutomationBench — 29.7, מקדים רק את ה-24.9 של Qwen3.6-35B-A3B ופער של 29 נקודות מאחורי Qwen3.8-27B.

• GDP.pdf — 5.8, בקושי מעל 3.6 של Gemma 4 26B-A4B.

בסך הכול, הסיכום הכנה הוא צר יותר ושימושי יותר מהודעה לעיתונות: Raon-1 mini תחרותי בביצוע הוראות, בשיחה בקוריאנית, בכיול ובגלישה בסגנון חיפוש, וחלש בשליפת ידע, בעבודה בטרמינל ובקריאה לכלים. אם עומס העבודה שלך הוא סוכן שצריך לשרשר קריאות פונקציה באופן אמין, הטבלה מצביעה נגדו. אם מדובר בעוזר בשפה הקוריאנית עם הקשר ארוך שמבצע הוראות במדויק, הטבלה מצביעה בעד בדיקה.

מה הציע ה-pull request של vLLM, וממה הוא נסוג

ה-pull request הגיע מפורק של KRAFTON — ענף feat/raon-public-candidate אל vllm-project/vllm:main — וההערה של המחבר עצמו מסבירה את הסגירה טוב יותר מכל הסקה: "אני עובד על כך שהקוד יהיה פשוט ונקי. כשאהיה מוכן, אפתח מחדש את ה-PR הזה." גוף ה-PR גם חושף ש-OpenAI Codex סייע במימוש ושה"סקירה אנושית שורה-אחר-שורה ואישור אימות מקצה-לקצה עדיין בהמתנה."

יש חשיבות למה שהוא הכיל, למרות שהוא לא נקלט, כי זהו מפה של מה שנדרש כדי להעלות את הארכיטקטורה הזו במעלה הזרם:

• רישום מודל ותצורה, וכן טעינת צ'קפוינט עבור 18 שכבות RDA ו-7 שכבות NoPE MLA.

• מתאמי מנתח reasoning וקריאות לכלים של raon_1 — החלק שהופך את המודל לשימושי מאחורי נקודת קצה תואמת OpenAI ולא כ-API השלמה גולמי.

• שימוש חוזר בנתיבי ה-upstream של ModelOpt MXFP8/NVFP4, ב-MLA, בטיפול במצב היברידי ובממשקי DFlash2, ללא כפיית backend של MoE.

• קרנלים אופציונליים של raon_fast עבור RDA ו-mHC, וכן בדיקות תצורה ופרסר ותיעוד.

בערך מחצית מהעבודה אומתה ומחצית לא, וה-PR אומר זאת בגלוי. עוברים: 11 בדיקות תצורה ופרסר של CPU, ווי pre-commit, בנייה והתקנה של wheel מבסיס מדויק, ייבוא מודל native, tokenizer ופרסר, בדיקות שלמות של checkpoint מוצמד, התאמת תצורות target/draft, ופתרון תצורת דיוק מעורב NVFP4. בהמתנה, בלשונו של ה-PR: „יצירת GPU אמיתית, השוואות מספריות/איכות מודל, הרצת backend/kernel, רגרסיות KDA משותפות, נכונות DFlash2/cache/graph, ובנצ'מרקים של serving.” הוא מוסיף, „לא נטענת טענה של האצה או שוויון לייצור.”

אילוצי הקרנל הם הפרט שסביר ביותר שיתפס צוות שקורא "תמיכת vLLM" ומניח שזה מתרחב בקנה מידה. הקרנלים המהירים האופציונליים דורשים SM10x — חומרה ממחלקת Blackwell — ובנוסף לכך מקביליות טנזורית של בדיוק אחד, היסטוריית קונבולוציה ב-BF16, מצב רקורנטי ב-FP32 ומערכת כלים לבנייה ב-CUDA/C++. אין תמיכה בפראלליזם צינורי, בפראלליזם מומחים וב-RecoverSSM. בפועל, המשמעות היא שהמסלול המהיר הוא מסלול של GPU בודד, מה שעולה בקנה אחד עם כל המסר השיווקי של המודל, אך אינו תואם את האופן שבו רוב האנשים למעשה מריצים מודל של 28.8B.

מה תוכלו להריץ השבוע

KRAFTON מספקת fork משלה של vLLM המוצמד ל-ref raon-1-mini-preview, מתועד מול NVIDIA B300 ומוגש דרך API תואם OpenAI עם קריאה לכלים. ההפעלה המתועדת משתמשת ב---max-model-len 262144. כל מסלול להלן הוא של KRAFTON עצמה, ואף אחד מהם אינו upstream:

• vLLM — התקנה מ-github.com/krafton-ai/vllm ב-ref המוצמד עם VLLM_USE_PRECOMPILED=1. זהו הנתיב היחיד למתאמי הפרסר של ה-fork ולתמיכה ב-DFlash2.

• Transformers — 5.16.1 עם accelerate 1.15.0, ‏device_map="auto", ו-CPU offload אפשרי על GPU של 32 GB.

• RTX 5090 — צ'קפוינט NVFP4, הקשר של 32,768 טוקנים, 2,048 טוקנים באצווה, 8 רצפים ומטמון KV FP8 בנפח 3 GiB; נדרש CUDA Toolkit 13 עם nvcc זמין.

• DGX Spark — מכולת ARM64 בכתובת ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, הפועלת עם חלון הקשר של 128K ובלא יותר מ-8 רצפים.

• llama.cpp — ענף של KRAFTON ובנייה של GGUF Q4_K_M, כאשר תמיכת upstream רשומה כממתינה.

• MLX — mlx 0.32.4 ו-mlx-lm 0.32.2 מול נקודת השמירה הנפרדת של MLX.

מודל הטיוטה לפענוח ספקולטיבי שווה אזכור, מפני ש-2.18× הוא המספר שיצוטט. KRAFTON מדדה אותו על B300 בודד עם מודל יעד MXFP8 ו-vLLM 0.28.0 בגודל בלוק 8, ומתארת אותו כ"עד" 2.18× תפוקת פלט גבוהה יותר מאשר פענוח אוטורגרסיבי, בהשתנות לפי חומרה ועומס עבודה. זהו מדד של ספק על חומרה שרוב הקוראים אינם מחזיקים בה. זו גם סוג הטענה שתלויה מאוד בשיעור הקבלה, שתלוי בהתפלגות הפרומפטים שלך.

ברירות המחדל של הדגימה אינן ברירות המחדל הרגילות, ושווה להעתיק אותן בדיוק: temperature 1.0, top_p 0.95, top_k 20, ללא ענישת חזרה או תדירות, ו-presence penalty של 0 לקידוד ומתמטיקה לעומת 1.5 לכל השאר. מצב חשיבה פעיל כברירת מחדל, והכרטיס ממליץ לא לכבות אותו. אם תטעו בערך של presence penalty, תסיקו שהמודל גרוע מכפי שהוא.

הסתייגות תפעולית אחת שאין לה דבר עם איכות: נעיצת פורק היא החלטת שרשרת אספקה. אתם מקבלים את ה-build של KRAFTON ל-vLLM, לא את רכבת השחרורים במעלה הזרם — אין CI במעלה הזרם על התצורה שלכם, אין עדכוני אבטחה במעלה הזרם עד שמישהו יבצע rebase, וכל שדרוג של vLLM הופך למיזוג ולא להקפצת גרסה. עבור מודל בתצוגה מקדימה שנמצא בהערכה, זו פשרה סבירה. עבור תלות בייצור, זה הדבר שצריך לרשום במרשם הסיכונים לצד המודל עצמו.

איך לבדוק את זה בלי להמר על זה

Raon-1 mini אינו בקטלוג של OrcaRouter, ואין לקרוא את האמור כאן כטענה אחרת — איננו מספקים אותו. מה שכן אנו מספקים הוא קבוצת ההשוואה שלו, שבמקרה היא קבוצת הבקרה הנכונה: Gemma 4 26B-A4B במחיר $0.06 למיליון טוקני קלט ו-$0.33 למיליון טוקני פלט, Qwen3.6-35B-A3B ב-$0.248 וב-$1.485, ו-Qwen3.8-27B ב-$0.33 וב-$2.40, הכול במחיר המחירון של הספק וללא תוספת. אלה הם המודלים שמולם הוא נמדד, נגישים דרך מפתח אחד, מה שהופך את הניסוי המועיל לזול: הריצו את הפרומפטים של KRAFTON עצמה מול קווי הבסיס המתארחים והריצו את אותם פרומפטים מול התצוגה המקדימה המקומית, ובדקו אם טבלת הספק עומדת במבחן הנתונים שלכם.

זה שימוש טוב יותר בשבוע מאשר לקרוא את הטבלה ביתר מאמץ. התקנת הפורק היא עניין של אחר צהריים; ההשוואה היא זו שאומרת לך אם מודל עם 4.3B פרמטרים פעילים, יתרון של 17.6 נקודות ב-IFBench וגירעון של 16.3 נקודות ב-Terminal-Bench מתאים לעומס העבודה שלך. אם קו בסיס מתארח כבר נושא תעבורה, ניתוב שלו לצד התצוגה המקדימה דרך נקודת קצה אחת עם מעבר כשל אוטומטי פירושו שצ'קפוינט לא מוכח לעולם לא יושב לבדו בנתיב הקריטי — ההערכה יכולה לרוץ בתצורת ייצור בלי סיכון הייצור.

מה ישנה את ההערכה הזו?

ארבעה דברים, בקירוב לפי סדר החשיבות.

מיזוג upstream של vLLM, מפני שהוא הופך נעיצת fork למספר גרסה ומכניס את המודל לכל כלי אריזה, כימות והגשה במורד הזרם שמניחים תמיכה ב-mainline. KRAFTON מסרה שהיא תפתח מחדש את ה-PR כשהקוד יהיה מוכן; רשימת אימותי ה-GPU הממתינים ב-PR הסגור היא תיאור הוגן של מה ש"מוכן" חייב לכלול.

הערכה בלתי־תלויה, מפני ששמונה־עשרה שורות של ספקים שנשפטו בידי מודל אחד הן בסך הכול דעתו של מחבר יחיד בקנה מידה רחב. תוצאת AA-Omniscience היא המספר המעניין ביותר בטבלה, בדיוק מפני שזהו מסוג הדברים שמערכת בדיקה בלתי־תלויה תאשר או תפורר במהירות.

הפרסום המלא והדוח הטכני, כי תצוגה מקדימה בלי מספר אסימוני אימון שנחשף אינה יכולה לבסס שום טענה בדבר יעילות האימון, והיעילות היא כל הטיעון. עד שזה ייצא לאור, "אומן מאפס" הוא אמירה על מקור, לא על עלות.

ונקודת קצה מתארחת עם מחיר מפורסם, כי נכון לעכשיו הדרך היחידה להשתמש ב-Raon-1 mini היא להריץ אותו, והדרך היחידה לתמחר אותו היא לפרוס את שעות ה-GPU שלך.

לעת עתה התיאור המדויק קצר. Raon-1 mini הוא מודל אמיתי, ניתן להורדה, ברישיון Apache-2.0, עם 28.8B פרמטרים בסך הכול ו-4.3B פעילים, שיצא ב-21 באוקטובר, עם סיפור KV-cache שבאמת מעניין, טבלת בנצ'מרקים של הספק שמחמיאה לו בארבע שורות ומביכה אותו בשלוש, מחסנית הגשה שקיימת רק כפורק של KRAFTON, ובקשת משיכה במעלה הזרם שנמשכה 184 שניות. זה שימושי יותר מאשר "KRAFTON רק שחררה מודל חזיתי בחינם" או "אין מה לראות עד ש-vLLM תמזג".