Raon-1 mini: نموذج KRAFTON من نوع MoE بحجم 28.8 مليار، وvLLM PR الذي استمر 184 ثانية

في الساعة 06:34:19 UTC من يوم 28 أكتوبر، فُتح طلب سحب بعنوان «[Model] إضافة دعم Raon-1-mini» على مستودع vllm-project/vllm. لم يكن مجرد هيكل مبدئي: 27 ملفًا، و3,971 سطرًا مضافًا، و22 سطرًا محذوفًا، إضافة إلى مجموعة اختبارات وصفحة توثيق. وفي الساعة 06:37:23 — بعد ثلاث دقائق وأربع ثوانٍ — أُغلق دون دمجه، وظل موسومًا كمسودة. كان KRAFTON، الناشر الكوري الجنوبي وراء PUBG، قد اقترح إدراج نموذجه الجديد المفتوح الأوزان البالغ 28.8B في أكثر محركات الاستدلال انتشارًا في العالم، ثم سحبه قبل أن يراجع أحد سطرًا واحدًا.

النموذج الذي يقف خلف طلب السحب حقيقي، وقد كان قابلاً للتنزيل منذ 21 أكتوبر. وRaon-1 mini نموذج خليط خبراء ببنية انتباه هجينة يفعّل نحو 4.3 مليار معلمة لكل رمز، ويُوزَّع بموجب Apache 2.0، وبحلول 28 أكتوبر كان قد حصل على 2,208 تنزيلات خلال الشهر المنقضي و221 إعجابًا على مستودعه في Hugging Face. أما ما لا يوجد بعد فهو المسار العادي: تثبيت vLLM قياسي يمكنه تقديمه دون حزمة wheel متفرعة. تلك الفجوة — بين نقطة حفظ على الإنترنت ونموذج يمكنك وضعه في بيان نشر — هي القصة كلها، وقد تجاوزتها التغطية حتى الآن في الأغلب لصالح جدول المقارنات المعيارية.

ما نشرته KRAFTON فعليًا

نُشرت المخرجات على Hugging Face في 21 أكتوبر عند الساعة 00:14 بالتوقيت العالمي المنسق، وهو التاريخ نفسه الذي استخدمته كل منافذ التجارة الكورية في ذلك اليوم. ويُظهر فهرس safetensors في المستودع الرئيسي 28,783,218,402 معامل بصيغة BF16 — أما رقم «فئة 30B» الوارد في البيانات الصحفية فهو تقريب، والرقم الذي ينبغي اعتماده في خطة السعة هو 28.8 مليار.

• إجمالي المعاملات والمعاملات النشطة — 28.8B إجمالاً، ~4.3B نشطة لكل رمز.

• الترخيص — Apache 2.0 على الأوزان والتهيئة والمكوّنات، مع السماح بالاستخدام التجاري.

• الوصول — المستودعات مقيّدة، غير أنّ الوصول يُمنح عند الطلب عبر مربّع اختيار، ولا يبدو أنه يخضع لمراجعة يدوية في معظم الطلبات.

• المتغيرات — نقطة التحقق الأساسية MXFP8، وبناء NVFP4، ومستودع GGUF، ونقطة تحقق MLX لمعالجات Apple silicon، ونموذج مسودة DFlash2 منفصل لفك التشفير التخميني.

• الاستضافة — يُفيد الشريط الجانبي للمستودع بأن النموذج «غير منشور من قبل أي مزوّد استدلال». تُعلن البطاقة عن تجربة مجانية لفترة محدودة في ساحة تجارب KRAFTON الخاصة؛ ولا يوجد سعر منشور لكل رمز في أي مكان.

• ما لا تغطيه الرخصة — مجموعات بيانات التدريب الخاصة بـ KRAFTON، ومنهجية التدريب لديها، والبرمجيات غير الموزَّعة، وواجهة API وبيئة playground المستضافتين، التي تعمل بموجب شروط منفصلة.

إنه إصدار معاينة، وتصفه KRAFTON بهذا الوصف في السطر الافتتاحي من البطاقة. وتقول الشركة إن إصدارًا كاملًا مخطط له إلى جانب تقرير تقني يغطي "عملية التدريب والأداء النهائي". لم يُذكر أي تاريخ، ولم يُفصح عن عدد رموز التدريب في أي مكان من البطاقة — وهو أكبر ثغرة منفردة في أي ادعاء بشأن مدى كفاءة تدريب هذا النموذج.

يتمحور الطرح من جانب KRAFTON حول التكلفة. ووصفه كانغووك لي، الرئيس التنفيذي للذكاء الاصطناعي، بأنه نتاج "قدرات البحث والتطوير في الذكاء الاصطناعي المتراكمة على مدى أكثر من 5 سنوات"، وقال إن الشركة تعتزم استخدام نموذج لغوي كبير (LLM) أقل تكلفة "لتوسيع نطاق استخدام الذكاء الاصطناعي عبر مختلف الصناعات". وRaon-1 mini هو أول نموذج لغوي تحت علامة Raon التجارية، التي استخدمتها KRAFTON منذ أبريل لإصدارات الكلام وTTS ومُرمِّز الرؤية.

المعمارية هي حيث يكمن الرهان الحقيقي.

إن نسبة 3:1 لطبقات الانتباه الخطي مقابل طبقات الانتباه الكامل هي الجزء الجدير بالفهم، لأن كل ما عدا ذلك من اقتصاديات تقديم الخدمة لهذا النموذج يتبع منها.

• الطبقات — 25 إجمالًا، مقسمة إلى 18 طبقة Raon Delta Attention (RDA) و7 طبقات MLA ذات بوابات.

• الخبراء — 128 إجمالًا، 6 موجّهين بالإضافة إلى 1 مشترك نشط لكل رمز، بحجم وسيط للخبير يبلغ 1,088.

• الأبعاد — حجم مخفي 2,560، و40 رأس انتباه عبر نوعي الطبقات، وبُعد رأس RDA 128، وMLA مُبوّب عند 192 QK / 128 V مع رتبة LoRA للاستعلام وKV مقدارها 576 / 512.

• ترميز الموضع — NoPE، دون أي تضمين دوراني في أي مكان من المكدّس.

• المفردات — 259,840 رمزًا، مع رأس نموذج لغوي غير موصول.

• التنشيط والاتصالات المتبقية — SiTU-GLU، مع اتصالات متبقية Raon-mHC عبر أربعة تدفقات.

RDA هو تعديل أجرته KRAFTON على Kimi Delta Attention، والتغيير الذي يصفه محدد: فصل بوابتي المحو والكتابة وتطبيق قياس مستقل لبوابة الكتابة بعد الالتفاف، بحيث يُحفظ سجل الالتفاف الخام بدلاً من الكتابة فوقه. ويُوصف Raon-mHC بأنه تنفيذ أقل تكلفة لـ mHC من DeepSeek. ولا يُعد أيٌّ منهما اختراعًا من الصفر، وهذا ليس انتقادًا — فـ «التدريب من الصفر» في البطاقة يشير إلى قيام KRAFTON بتصميم النموذج وتدريبه مسبقًا على بياناتها الخاصة، لا إلى إعادة اختراع كل كتلة فيه. اثنتان من التقنيات الثلاث الرئيسية في النموذج هما نسختان معاد هندستهما من تقنيات منشورة، والثالثة هي جدول هجين بنسبة 3:1 توصلت إليه مختبرات أخرى أيضًا.

المكسب هو ذاكرة KV cache. ولأن 7 طبقات gated MLA فقط هي التي تحتفظ بواحدة، فإن البطاقة تضع التكلفة عند نحو 8 KiB لكل token في BF16. وعند السياق الكامل البالغ 262,144 token، يبلغ ذلك نحو 2 GiB لكل تسلسل — وهو رقم يتسع بارتياح على بطاقة واحدة بسعة 32 GB، ولن يتسع إطلاقًا لو خزّنت جميع الطبقات الـ25. هذا هو الادعاء الفعلي للمنتج المختبئ تحت جدول القياسات المعيارية: ليس أن Raon-1 mini أذكى من أقرانه، بل أن الاستدلال بالسياق الطويل عليه رخيص بما يكفي لتشغيله على عتاد قد تملكه بالفعل.

جدول المعايير، مُحصى لا مُلخَّص.

كل رقم أدناه هو رقم KRAFTON. لا يوجد مدخل لـ Raon-1 mini في Artificial Analysis حتى 28 أكتوبر — فالنموذج لا يظهر إطلاقًا في قائمة النماذج على الموقع — ولا يوجد له موضع في الساحة، ولا إعادة إنتاج من طرف ثالث. استخدمت تقييمات البطاقة gpt-5.6-luna بوصفه الحَكَم ومحاكي المستخدم طوال الوقت، وهو أمر مُفصح عنه لكنه ليس مستقلًا. اقرأ الأرقام باعتبارها ادعاءً من مورّد مرفقًا بملحق مفصل على نحو غير معتاد.

يحتوي الجدول على 18 صفًا وخمسة أعمدة: معاينة Raon-1 mini مقابل Qwen3.6-35B-A3B وGemma 4 26B-A4B بوصفهما نظيرين من فئة MoE، مع عرض Qwen3.8-27B وMuse Glimmer 30B كمراجع من فئة dense. ويشير إبراز KRAFTON الأحمر إلى أفضل نتيجة ضمن مجموعة MoE، وهو ادعاء أضيق نطاقًا من «الأفضل»، ولهذا تحتاج العبارة الصحفية بشأن التغلب على «نماذج أجنبية مماثلة الحجم» إلى الحذر.

بالحساب الدقيق، يُعد Raon-1 mini الأفضل بلا منازع من بين جميع الأعمدة الخمسة في أربعة صفوف:

• AA-Omniscience — 3.5، مقابل −7.2 لـ Qwen3.6-35B-A3B، و−0.5 لـ Qwen3.8-27B، و−34.7 لـ Muse Glimmer 30B و−46.6 لـ Gemma 4 26B-A4B. وهي النتيجة الإيجابية الوحيدة في العمود، وهو ما يقول شيئًا حقيقيًا عن المعايرة رغم أن الرقم المطلق صغير.

• {{1}}IFBench{{/1}} — 84.2، مقابل 82.4 لـ {{2}}Qwen3.8-27B{{/2}} و66.6 لـ {{3}}Qwen3.6-35B-A3B{{/3}}. وتُعدّ فجوة الـ 17.6 نقطة عن أقرب نظير له من نوع {{4}}MoE{{/4}} في اتباع التعليمات أقوى نتيجة فردية في الجدول.

• LiveCodeBench v6 — 81.6، متقدّمًا على 81.2 و83.4 و79.3 و77.4. الفارق ضيّق، وهو فوز بأربعة أعشار نقطة على Qwen3.6-35B-A3B.

• الروبوت المحادثي الكوري — 92.9، مقابل 90.6 و90.1 و87.0 و74.5. هذا معيار داخلي خاص بـ KRAFTON، غير مُعلن للعامة صراحةً، لذا فهو الرقم الأقل قابلية للتحقق في الصفحة، وهو الرقم الذي يستند إليه تموضع النموذج.

كما تتصدّر مجموعة MoE في GPQA Diamond (84.3) وSWE-Verified (70.8، وهو أوسع فارق لها في وكلاء البرمجة بواقع 7.6 نقاط على Qwen3.6-35B-A3B)، بينما تخسر كلتيهما لصالح Qwen3.8-27B عند 89.7 و74.6. هذا النمط — يتفوّق على فئته الوزنية، ويخسر أمام النموذج الكثيف الأكبر بدرجة واحدة — يتكرر عبر الجدول.

الخسائر ليست هامشية، وهي تتجمع في مكان واحد:

• Terminal-Bench Lite — 47.0. هذه أسوأ درجة في صف المقارنة الخاص بها، متأخرة بـ16.3 نقطة عن Qwen3.6-35B-A3B و23.7 نقطة عن Muse Glimmer 30B.

• MMLU Pro — 76.5، الأخير من بين الخمسة، بفارق 9.4 نقطة عن Qwen3.6-35B-A3B.

• BFCL v4 — 59.8، متأخرًا عن جميع المنافسين الثلاثة من نوع MoE والكثيفين باستثناء Muse Glimmer، أي أن استدعاء الدوال ليس موضع قوة هذا النموذج.

• AutomationBench — 29.7، متقدمًا فقط على نتيجة Qwen3.6-35B-A3B البالغة 24.9، ومتأخرًا بـ29 نقطة عن Qwen3.8-27B.

• GDP.pdf — 5.8، بالكاد يتجاوز 3.6 لدى Gemma 4 26B-A4B.

عند جمعها، تكون الخلاصة الصادقة أضيق وأكثر فائدة من البيان الصحفي: إن Raon-1 mini منافس في اتباع التعليمات والمحادثة بالكورية والمعايرة والتصفح على نمط البحث، وضعيف في استرجاع المعرفة والعمل في الطرفية واستدعاء الأدوات. إذا كان عبء عملك وكيلًا عليه أن يربط استدعاءات الدوال بشكل موثوق، فإن الجدول يرجّح ضده. وإذا كان مساعدًا كوريًا طويل السياق يتبع التعليمات بدقة، فإن الجدول يرجّح إجراء اختبار.

ما الذي اقترحه طلب السحب الخاص بـ vLLM، وما الذي تراجع عنه

جاء طلب السحب من تفرّع KRAFTON — الفرع feat/raon-public-candidate إلى vllm-project/vllm:main — وتشرح ملاحظة المؤلف نفسه الإغلاق على نحو أفضل من أي استنتاج: "أعمل على جعل الشيفرة بسيطة ونظيفة. وعندما أصبح جاهزًا، سأعيد فتح طلب السحب هذا." ويكشف نص طلب السحب أيضًا أن OpenAI Codex ساعد في التنفيذ وأن "المراجعة البشرية سطرًا بسطر وتأكيد التحقق من الصحة من طرف إلى طرف لا يزالان معلّقين."

ما احتواه يهم حتى وإن لم ينجح، لأنه خريطة لما يتطلبه رفع هذه البنية إلى المنبع:

• تسجيل النموذج والإعدادات، إضافةً إلى تحميل نقاط التحقق لطبقات RDA الـ18 وطبقات NoPE MLA الـ7.

• محولات تحليل الاستدلال واستدعاء الأدوات في raon_1 — الجزء الذي يجعل النموذج قابلاً للاستخدام خلف نقطة نهاية متوافقة مع OpenAI بدلاً من واجهة برمجة إكمال خام.

• إعادة استخدام مسارات ModelOpt MXFP8/NVFP4 وMLA ومعالجة الحالة الهجينة وواجهات DFlash2 من المنبع الأعلى، دون فرض أي خلفية MoE.

• نوى raon_fast الاختيارية لـ RDA وmHC، بالإضافة إلى اختبارات الإعدادات والمحلل والتوثيق.

تم التحقق من نحو نصف العمل ولم يتم التحقق من النصف الآخر، ويقول طلب السحب (PR) ذلك بصراحة. الاختبارات الناجحة: 11 اختبارًا لإعدادات CPU والمحلل، وخطافات pre-commit، وبناء عجلة wheel وتثبيتها من قاعدة دقيقة، واستيرادات النموذج والمُرمِّز والمحلل الأصلية، وفحوص سلامة نقاط التفتيش المثبتة، وإقران إعدادات الهدف/المسودة، وحل إعدادات الدقة المختلطة NVFP4. قيد الانتظار، بعبارة طلب السحب نفسه: "التوليد الفعلي على GPU، ومقارنات رقمية/جودة النموذج، وتنفيذ الواجهة الخلفية/النواة، وانحدارات KDA المشتركة، وصحة DFlash2/الذاكرة المؤقتة/الرسم، ومعايير الأداء للخدمة." ويضيف: "لا يتم تقديم أي ادعاء بتسريع أو تكافؤ مع بيئة الإنتاج."

قيود النواة (kernel) هي التفصيل الأكثر ترجيحًا لأن يوقع فريقًا يقرأ "دعم vLLM" ويفترض أنه يتوسّع. تتطلب النوى السريعة الاختيارية SM10x — أي عتاد من فئة Blackwell — إضافةً إلى توازٍ معالجة واحد بالضبط، وسجل التفاف BF16، وحالة تكرارية FP32، وسلسلة أدوات بناء CUDA/C++. أما التوازي على مستوى الأنابيب (pipeline parallelism) والتوازي الخبير (expert parallelism) وRecoverSSM فغير مدعومة. عمليًا، يعني ذلك أن المسار السريع مسار أحادي وحدة معالجة رسومية (GPU)، وهو ما يتوافق مع الطرح العام للنموذج كله لكنه غير متوافق مع الطريقة التي يخدم بها معظم الناس نموذجًا بحجم 28.8B فعليًا.

ما يمكنك تشغيله هذا الأسبوع

تطرح KRAFTON نسختها المتفرعة الخاصة من vLLM مثبتة عند المرجع raon-1-mini-preview، وموثّقة بالاستناد إلى NVIDIA B300 وتُقدَّم عبر واجهة برمجة تطبيقات متوافقة مع OpenAI مع استدعاء الأدوات. يستخدم التشغيل الموثّق --max-model-len 262144. كل مسار أدناه هو مسار KRAFTON الخاص، ولا يوجد أي منها في upstream:

• vLLM — ثبّته من github.com/krafton-ai/vllm عند المرجع المثبّت مع VLLM_USE_PRECOMPILED=1. هذا هو المسار الوحيد إلى محولات المحلل الخاصة بالفرع ودعم DFlash2.

• Transformers — 5.16.1 مع accelerate 1.15.0، وdevice_map="auto"، وCPU offload قابل للتطبيق على GPU بسعة 32 GB.

• RTX 5090 — نقطة التحقق NVFP4، وسياق من 32,768 رمزًا، و2,048 رمزًا مجمّعًا، و8 تسلسلات، وذاكرة تخزين مؤقت KV من نوع FP8 بسعة 3 GiB؛ وتحتاج إلى CUDA Toolkit 13 مع توفر nvcc.

• DGX Spark — حاوية ARM64 على ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534، تعمل بسياق 128K بما لا يزيد عن 8 تسلسلات.

• llama.cpp — فرع KRAFTON وبنية GGUF Q4_K_M، مع إدراج دعم upstream كقيد الانتظار.

• MLX — mlx 0.32.4 وmlx-lm 0.32.2 مقابل نقطة التحقق المنفصلة الخاصة بـ MLX.

يستحق نموذج المسودة الخاص بفك التشفير التخميني ملاحظةً لأن 2.18× هو الرقم الذي سيُقتبس. قاسه KRAFTON على وحدة B300 واحدة مع نموذج هدف MXFP8 وvLLM 0.28.0 بحجم كتلة 8، ويصفه بأنه «يصل إلى» 2.18× إنتاجية إخراج أعلى من فك التشفير الانحداري التلقائي، مع تفاوت حسب العتاد وحمل العمل. هذا معيار بائع على عتاد لا يملكه معظم القراء. وهو أيضًا من نوع الادعاءات التي تعتمد بشدة على معدل القبول، الذي يعتمد على توزيع المطالبات لديك.

أخذ العينات ليس الإعدادات الافتراضية المعتادة، ويستحق النسخ حرفيًا: درجة الحرارة 1.0، وtop_p 0.95، وtop_k 20، دون عقوبة تكرار أو تردد، وعقوبة الحضور 0 للبرمجة والرياضيات مقابل 1.5 لكل شيء آخر. وضع التفكير مفعّل افتراضيًا، وتنصح البطاقة بعدم إيقاف تشغيله. إذا أخطأت في ضبط عقوبة الحضور، فستستنتج أن النموذج أسوأ مما هو عليه.

ملاحظة تشغيلية واحدة لا علاقة لها بالجودة: تثبيت نسخة متفرعة (fork pin) هو قرار يخص سلسلة التوريد. فأنت تحصل على نسخة KRAFTON من vLLM، وليس على مسار الإصدارات في المستودع الأصلي (upstream) — فلا يوجد تكامل مستمر (CI) من upstream على إعدادك، ولا تصحيحات أمنية من upstream حتى يقوم أحدهم بإعادة الأساس (rebase)، وكل ترقية لـ vLLM تصبح عملية دمج (merge) بدلاً من مجرد رفع رقم الإصدار. بالنسبة لنموذج معاينة قيد التقييم، هذه مقايضة معقولة. أما بالنسبة لاعتماد إنتاجي، فهذا هو البند الذي يجب وضعه في سجل المخاطر إلى جانب النموذج نفسه.

كيف تختبره دون المراهنة عليه؟

لا يظهر Raon-1 mini في كتالوج OrcaRouter، ولا ينبغي فهم أي شيء هنا على أنه ادعاء بخلاف ذلك — فنحن لا نقدّمه. ما نقدّمه هو مجموعة المقارنة الخاصة به، والتي تصادف أنها مجموعة الضبط الصحيحة: Gemma 4 26B-A4B بسعر 0.06 دولار لكل مليون توكن إدخال و0.33 دولار لكل مليون توكن إخراج، وQwen3.6-35B-A3B بسعر 0.248 و1.485 دولارًا، وQwen3.8-27B بسعر 0.33 و2.40 دولارًا، وكلها بسعر قائمة المزوّد دون أي هامش ربح. وتلك هي النماذج التي قيس عليها، ويمكن الوصول إليها عبر مفتاح واحد، ما يجعل التجربة المفيدة رخيصة: شغّل مطالبات KRAFTON الخاصة على الخطوط الأساسية المستضافة وشغّل المطالبات نفسها على المعاينة المحلية، وانظر هل يصمد جدول المورّد أمام بياناتك.

هذا استغلال أفضل لأسبوع من إمعان النظر في الجدول. تثبيت التفرع يستغرق أمسية واحدة؛ أما المقارنة فهي ما يخبرك ما إذا كان نموذج نشط بحجم 4.3B، بتفوقه البالغ 17.6 نقطة في IFBench وعجزه البالغ 16.3 نقطة في Terminal-Bench، يناسب عبء عملك. إذا كان خط أساس مستضاف يحمل حركة المرور بالفعل، فإن توجيهه إلى جانب الإصدار التجريبي عبر نقطة نهاية واحدة مع تجاوز فشل تلقائي يعني أن نقطة تحقق غير مثبتة لن تبقى وحدها أبدًا على المسار الحرج — ويمكن تشغيل التقييم بهيئة الإنتاج دون مخاطر الإنتاج.

ما الذي قد يغيّر هذا التقييم؟

أربعة أمور، بترتيب تقريبي حسب الأهمية.

دمج vLLM في المنبع، لأنه يحوّل تثبيت نسخة متفرعة إلى رقم إصدار، ويسحب النموذج إلى كل أداة لاحقة للتغليف والتكميم والخدمة تفترض دعم الخط الرئيسي. قالت KRAFTON إنها ستعيد فتح طلب السحب (PR) عندما تصبح الشيفرة جاهزة؛ وقائمة التحقق من GPU المعلّقة في الطلب المغلق وصف منصف لما يجب أن يعنيه «جاهز».

تقييم مستقل، لأن ثمانية عشر صفًا لموردين يحكم عليها نموذج واحد ما هي إلا رأي مؤلف واحد على نطاق واسع. ونتيجة AA-Omniscience هي الرقم الأكثر إثارة للاهتمام في الجدول تحديدًا لأنها من النوع الذي قد يؤكده أو يبطله إطار اختبار مستقل بسرعة.

الإصدار الكامل والتقرير الفني، لأن نسخة معاينة لا يُفصح فيها عن عدد رموز التدريب لا يمكنها أن تدعم أي ادعاء بشأن كفاءة التدريب، والكفاءة هي الحجة بأكملها. وإلى أن يتحقق ذلك، فإن «التدريب من الصفر» بيان عن المنشأ، لا عن التكلفة.

ونقطة نهاية مستضافة بسعر معلن، لأنه في الوقت الحالي الطريقة الوحيدة لاستخدام Raon-1 mini هي تشغيله، والطريقة الوحيدة لتسعيره هي توزيع تكلفة ساعات GPU الخاصة بك.

في الوقت الحالي، الوصف الدقيق قصير. Raon-1 mini نموذج حقيقي قابل للتنزيل، بترخيص Apache-2.0، بإجمالي 28.8B و4.3B نشطة، صدر في 21 أكتوبر، وله قصة KV-cache مثيرة للاهتمام حقًا، وجدول قياسات أداء من المورّد يجعله يبدو أفضل في أربعة صفوف ويحرجه في ثلاثة، ومكدس تقديم لا يوجد إلا كنسخة fork من KRAFTON، وطلب سحب upstream استمر 184 ثانية. ذلك أنفع من أي من القولين: «KRAFTON أطلقت للتو نموذجًا متقدمًا مجانًا» أو «لا شيء يستحق النظر حتى يُدمج في vLLM».