Raon-1 mini : le MoE 28,8 Md de KRAFTON, et la PR vLLM qui n’a duré que 184 secondes

Le 28 octobre à 06:34:19 UTC, une pull request intitulée « [Model] Add Raon-1-mini support » a été ouverte sur vllm-project/vllm. Ce n'était pas un simple squelette : 27 fichiers, 3 971 lignes ajoutées, 22 supprimées, ainsi qu'une suite de tests et une page de documentation. À 06:37:23 — trois minutes et quatre secondes plus tard — elle a été fermée, non fusionnée et toujours marquée comme brouillon. KRAFTON, l'éditeur sud-coréen derrière PUBG, avait proposé d'intégrer son nouveau modèle à poids ouverts de 28,8 milliards de paramètres au moteur d'inférence le plus largement déployé au monde, puis avait retiré sa proposition avant que quiconque n'ait examiné une seule ligne.

Le modèle derrière la pull request est réel, et il est téléchargeable depuis le 21 octobre. Raon-1 mini est un modèle mixture-of-experts à attention hybride qui active environ 4,3 Md de paramètres par token, est distribué sous Apache 2.0 et, au 28 octobre, comptait 2 208 téléchargements sur le mois écoulé et 221 mentions J’aime sur son dépôt Hugging Face. Ce qui n’existe pas encore, c’est le chemin ordinaire : une installation vLLM standard capable de le servir sans wheel forquée. Cet écart — entre un checkpoint sur Internet et un modèle que l’on peut inscrire dans un manifeste de déploiement — constitue toute l’histoire, et la couverture dont il a fait l’objet jusqu’ici l’a surtout ignoré au profit du tableau de benchmarks.

Ce que KRAFTON a réellement publié

Les artefacts ont été mis en ligne sur Hugging Face le 21 octobre à 00:14 UTC, soit la date reprise le jour même par tous les médias spécialisés coréens. L’index safetensors du dépôt principal indique 28 783 218 402 paramètres en BF16 — le chiffre « classe 30B » des communiqués de presse est un arrondi, et 28,8 B est le nombre à retenir pour un plan de capacité.

• Paramètres totaux et actifs — 28,8 B au total, ~4,3 B actifs par token.

• Licence — Apache 2.0 sur les poids, la configuration et les composants, avec utilisation commerciale autorisée.

• Accès — les dépôts sont protégés, mais l’accès est accordé sur demande via une case à cocher et ne semble pas être examiné manuellement pour la plupart des demandes.

• Variantes — le point de contrôle MXFP8 de base, une version NVFP4, un dépôt GGUF, un point de contrôle MLX pour Apple silicon, et un modèle draft DFlash2 distinct pour le décodage spéculatif.

• Hébergement — la barre latérale du dépôt indique que le modèle « n'est déployé par aucun fournisseur d'inférence ». La fiche annonce un essai gratuit à durée limitée dans le playground de KRAFTON ; aucun prix par token publié n'est disponible nulle part.

• Ce que la licence ne couvre pas — les jeux de données d’entraînement de KRAFTON, sa méthodologie d’entraînement, les logiciels non distribués, ainsi que l’API et le playground hébergés, qui sont régis par des conditions distinctes.

Il s'agit d'un aperçu, et KRAFTON le présente ainsi dans la première ligne de la fiche. L'entreprise indique qu'une sortie complète est prévue, accompagnée d'un rapport technique couvrant « le processus d'entraînement et les performances finales ». Aucune date n'a été donnée, et le nombre de tokens d'entraînement n'est divulgué nulle part dans la fiche — ce qui constitue la plus grande lacune de toute affirmation sur l'efficacité d'entraînement de ce modèle.

Du côté de KRAFTON, l’argument mis en avant est le coût. Kangwook Lee, directeur de l’IA, l’a décrit comme le fruit de « capacités de R&D en IA accumulées pendant plus de 5 ans » et a indiqué que l’entreprise comptait utiliser un LLM moins coûteux afin de « élargir le champ d’utilisation de l’IA dans divers secteurs ». Raon-1 mini est le premier modèle linguistique de la marque Raon, que KRAFTON utilise depuis avril pour des publications liées à la parole, à la synthèse vocale et aux encodeurs visuels.

C'est dans l'architecture que se situe le véritable pari

Un ratio de 3:1 entre les couches d'attention linéaire et les couches d'attention complète est l'élément qui mérite d'être compris, car tout le reste de l'économie de service du modèle en découle.

• Couches — 25 au total, réparties en 18 couches Raon Delta Attention (RDA) et 7 couches MLA à portes.

• Experts — 128 au total, 6 routés plus 1 partagé actifs par token, avec une taille intermédiaire d’expert de 1 088.

• Dimensions — taille cachée 2 560, 40 têtes d’attention sur les deux types de couches, dimension de tête RDA 128, MLA à portes à 192 QK / 128 V avec un rang LoRA de requête et KV de 576 / 512.

• Encodage positionnel — NoPE, sans aucun encodage rotatif nulle part dans la pile.

• Vocabulaire — 259 840 tokens, avec une tête de LM non liée.

• Activation et résidus — SiTU-GLU, avec des connexions résiduelles Raon-mHC sur quatre flux.

RDA est la modification par KRAFTON de Kimi Delta Attention, et le changement qu’elle décrit est précis : le découplage des portes d’effacement et d’écriture et l’application d’une mise à l’échelle indépendante de la porte d’écriture après la convolution, afin que l’historique brut de convolution soit préservé plutôt qu’écrasé. Raon-mHC est décrit comme une implémentation moins coûteuse du mHC de DeepSeek. Ni l’une ni l’autre n’est une invention conçue de zéro, et ce n’est pas une critique — « trained from scratch » sur la fiche fait référence au fait que KRAFTON a conçu et préentraîné le modèle sur ses propres données, et non à la réinvention de chacun de ses blocs. Deux des trois techniques phares du modèle sont des versions réingénierées de techniques publiées, et la troisième est un programme hybride 3:1 sur lequel d’autres laboratoires ont également convergé.

Le gain, c’est le cache KV. Comme seules les 7 couches MLA à portes en conservent un, la carte chiffre le coût à environ 8 Kio par token en BF16. Sur toute la fenêtre de contexte de 262 144 tokens, cela représente environ 2 Gio par séquence — un chiffre qui tient confortablement sur une seule carte de 32 Go et ne tiendrait pas du tout si les 25 couches tenaient un cache. C’est la véritable promesse produit cachée sous le tableau de benchmarks : non pas que Raon-1 mini soit plus intelligent que ses pairs, mais que l’inférence à long contexte y soit suffisamment bon marché pour tourner sur du matériel que vous possédez peut-être déjà.

Le tableau de référence, compté plutôt que résumé

Tous les chiffres ci-dessous sont ceux de KRAFTON. Il n’existe aucune entrée Artificial Analysis pour Raon-1 mini au 28 octobre — le modèle n’apparaît pas du tout dans la liste des modèles du site — aucun placement en arène, et aucune reproduction par un tiers. Les évaluations de la fiche ont utilisé gpt-5.6-luna comme juge et simulateur utilisateur tout au long, ce qui est divulgué mais non indépendant. Lisez ces chiffres comme une allégation de fournisseur accompagnée d’une annexe inhabituellement détaillée.

Le tableau comporte 18 lignes et cinq colonnes : Raon-1 mini preview face à Qwen3.6-35B-A3B et Gemma 4 26B-A4B comme homologues MoE, avec Qwen3.8-27B et Muse Glimmer 30B présentés comme références denses. La surbrillance rouge de KRAFTON marque le meilleur score au sein du groupe MoE, ce qui est une affirmation plus restrictive que « meilleur » et explique pourquoi la formule de presse sur le fait de battre des « modèles étrangers de taille similaire » demande de la prudence.

Si l’on compte correctement, le Raon-1 mini est le meilleur absolu des cinq colonnes sur quatre lignes :

• AA-Omniscience — 3,5, contre −7,2 pour Qwen3.6-35B-A3B, −0,5 pour Qwen3.8-27B, −34,7 pour Muse Glimmer 30B et −46,6 pour Gemma 4 26B-A4B. C’est le seul score positif de la colonne, ce qui dit quelque chose de réel sur la calibration même si le nombre absolu est petit.

• IFBench — 84,2, contre 82,4 pour Qwen3.8-27B et 66,6 pour Qwen3.6-35B-A3B. Un écart de 17,6 points avec son homologue MoE le plus proche sur le suivi d’instructions constitue le résultat individuel le plus fort du tableau.

• LiveCodeBench v6 — 81,6, devant 81,2, 83,4, 79,3 et 77,4. De justesse, et une victoire de quatre dixièmes de point sur Qwen3.6-35B-A3B.

• Chatbot coréen — 92,9, contre 90,6, 90,1, 87,0 et 74,5. Il s’agit du benchmark interne de KRAFTON, explicitement non publié, donc c’est le chiffre le moins vérifiable de la page et celui sur lequel repose le positionnement du modèle.

Il arrive également en tête du groupe MoE sur GPQA Diamond (84,3) et SWE-Verified (70,8, sa plus large marge en tant qu'agent de codage, avec 7,6 points d'avance sur Qwen3.6-35B-A3B), tout en perdant les deux face à Qwen3.8-27B, à 89,7 et 74,6. Ce schéma — battre sa propre catégorie de poids, perdre face au modèle dense d'une taille au-dessus — se répète dans l'ensemble du tableau.

Les pertes ne sont pas marginales et elles se concentrent en un seul endroit :

• Terminal-Bench Lite — 47,0. C’est le pire score de sa propre ligne de comparaison, soit 16,3 points derrière Qwen3.6-35B-A3B et 23,7 points derrière Muse Glimmer 30B.

• MMLU Pro — 76,5, dernier des cinq, 9,4 points derrière Qwen3.6-35B-A3B.

• BFCL v4 — 59.8, en retrait par rapport aux trois concurrents MoE et denses, à l’exception de Muse Glimmer, autrement dit, l’appel de fonctions n’est pas le point fort de ce modèle.

• AutomationBench — 29,7, devant uniquement les 24,9 de Qwen3.6-35B-A3B et 29 points derrière Qwen3.8-27B.

• GDP.pdf — 5,8, à peine au-dessus du 3,6 de Gemma 4 26B-A4B.

Pris dans leur ensemble, le résumé honnête est plus restrictif et plus utile que le communiqué de presse : Raon-1 mini est compétitif sur le suivi d’instructions, la conversation en coréen, la calibration et la navigation de type recherche, et faible sur le rappel de connaissances, le travail dans le terminal et l’appel d’outils. Si votre charge de travail est un agent qui doit enchaîner des appels de fonctions de manière fiable, le tableau plaide contre. S’il s’agit d’un assistant en coréen à long contexte qui suit précisément les instructions, le tableau plaide pour un test.

Ce que proposait la pull request vLLM, et sur quoi elle a fait marche arrière

La pull request provenait d'un fork KRAFTON — branche feat/raon-public-candidate vers vllm-project/vllm:main — et la note de l'auteur lui-même explique la fermeture mieux que toute supposition : « Je travaille à rendre le code simple et propre. Quand je serai prêt, je rouvrirai cette PR. » Le corps de la PR indique également qu'OpenAI Codex a contribué à l'implémentation et que « la relecture humaine ligne par ligne et la confirmation de validation de bout en bout sont encore en attente ».

Ce qu’il contenait compte même s’il n’a pas été accepté, car c’est une carte de ce qu’implique l’intégration en amont de cette architecture :

• Enregistrement du modèle et de la configuration, ainsi que le chargement des checkpoints pour les 18 couches RDA et les 7 couches NoPE MLA.

• adaptateurs de parseur de raisonnement et d’appels d’outils raon_1 — l’élément qui rend le modèle utilisable derrière un point de terminaison compatible OpenAI plutôt qu’une API de complétion brute.

• Réutilisation des chemins MXFP8/NVFP4 de ModelOpt en amont, de MLA, de la gestion des états hybrides et des interfaces DFlash2, sans imposer de backend MoE.

• Noyaux raon_fast facultatifs pour RDA et mHC, ainsi que des tests de configuration et d'analyseur, et de la documentation.

Environ la moitié du travail a été validée et l’autre moitié ne l’a pas été, et la PR le dit clairement. Réussi : 11 tests de configuration CPU et de parseur, hooks pre-commit, une compilation et une installation de wheel sur base exacte, les imports natifs du modèle, du tokenizer et du parseur, les contrôles d’intégrité des checkpoints épinglés, l’appariement des configurations cible/draft, et la résolution de configuration en précision mixte NVFP4. En attente, selon les propres termes de la PR : « génération réelle sur GPU, comparaisons numériques et de qualité de modèle, exécution backend/kernel, régressions KDA partagées, correction DFlash2/cache/graphe, et benchmarks de serving. » Elle ajoute : « Aucune allégation d’accélération ou de parité avec la production n’est formulée. »

Les contraintes liées aux kernels sont le détail qui risque le plus de piéger une équipe qui lit « prise en charge de vLLM » et suppose que cela passe à l'échelle. Les kernels rapides optionnels exigent SM10x — du matériel de classe Blackwell — ainsi qu'un parallélisme tensoriel strictement égal à un, un historique de convolution en BF16, un état récurrent en FP32 et une chaîne d'outils de compilation CUDA/C++. Le parallélisme de pipeline, le parallélisme d'experts et RecoverSSM ne sont pas pris en charge. En pratique, cela signifie que le chemin rapide est un chemin mono-GPU, ce qui est cohérent avec l'argumentaire global du modèle, mais incompatible avec la façon dont la plupart des gens servent réellement un modèle de 28,8B.

Ce que vous pouvez exécuter cette semaine

KRAFTON livre son propre fork de vLLM épinglé sur la ref raon-1-mini-preview, documenté pour un NVIDIA B300 et servi via une API compatible OpenAI avec appels d'outils. Le lancement documenté utilise --max-model-len 262144. Toutes les routes ci-dessous sont celles de KRAFTON, et aucune d'entre elles n'est en amont :

• vLLM — installez-le depuis github.com/krafton-ai/vllm à la réf épinglée avec VLLM_USE_PRECOMPILED=1. C'est la seule voie d'accès aux adaptateurs de parseur du fork et à la prise en charge de DFlash2.

• Transformers — 5.16.1 avec accelerate 1.15.0, device_map="auto", et l'offload CPU viable sur un GPU de 32 Go.

• RTX 5090 — le checkpoint NVFP4, un contexte de 32 768 tokens, 2 048 tokens par lot, 8 séquences et un cache KV FP8 de 3 GiB ; il nécessite CUDA Toolkit 13 avec nvcc présent.

• DGX Spark — un conteneur ARM64 sur ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, fonctionnant avec un contexte de 128K sur au maximum 8 séquences.

• llama.cpp — une branche KRAFTON et une compilation GGUF Q4_K_M, avec la prise en charge en amont indiquée comme en attente.

• MLX — mlx 0.32.4 et mlx-lm 0.32.2 face au checkpoint MLX séparé.

Le modèle de brouillon du décodage spéculatif mérite d’être mentionné, car 2,18× est le chiffre qui sera cité. KRAFTON l’a mesuré sur un seul B300 avec un modèle cible MXFP8 et vLLM 0.28.0 à une taille de bloc de 8, et le décrit comme « jusqu’à » 2,18× de débit de sortie supérieur à celui du décodage autorégressif, variable selon le matériel et la charge de travail. Il s’agit d’un benchmark de fournisseur sur du matériel que la plupart des lecteurs ne possèdent pas. C’est aussi le genre d’affirmation qui dépend fortement du taux d’acceptation, lequel dépend de la distribution de vos prompts.

L’échantillonnage n’utilise pas les valeurs par défaut habituelles et mérite d’être copié exactement : température 1,0, top_p 0,95, top_k 20, aucune pénalité de répétition ni de fréquence, et une pénalité de présence de 0 pour le code et les mathématiques contre 1,5 pour tout le reste. Le mode réflexion est activé par défaut et la fiche déconseille de le désactiver. Si vous vous trompez sur la pénalité de présence, vous conclurez que le modèle est moins bon qu’il ne l’est.

Une mise en garde opérationnelle qui n’a rien à voir avec la qualité : l’épinglage d’un fork est une décision de chaîne d’approvisionnement. Vous obtenez la version de vLLM construite par KRAFTON, pas le train de versions upstream — pas de CI upstream sur votre configuration, pas de correctifs de sécurité upstream tant que quelqu’un n’a pas rebasé, et chaque mise à niveau de vLLM devient une fusion plutôt qu’un simple changement de version. Pour un modèle de préversion en cours d’évaluation, c’est un compromis raisonnable. Pour une dépendance de production, c’est l’élément à inscrire au registre des risques à côté du modèle lui-même.

Comment le tester sans parier dessus

Raon-1 mini ne figure pas dans le catalogue OrcaRouter, et rien ici ne doit être interprété comme affirmant le contraire — nous ne le proposons pas. Ce que nous proposons, c’est son ensemble de comparaison, qui se trouve être le bon groupe témoin : Gemma 4 26B-A4B à 0,06 $ par million de tokens d’entrée et 0,33 $ par million de tokens de sortie, Qwen3.6-35B-A3B à 0,248 $ et 1,485 $, et Qwen3.8-27B à 0,33 $ et 2,40 $, tous au prix catalogue du fournisseur, sans majoration. Ce sont les modèles auxquels il a été comparé, accessibles avec une seule clé, ce qui rend l’expérience utile peu coûteuse : exécutez les prompts propres à KRAFTON sur les modèles de référence hébergés et exécutez les mêmes prompts sur l’aperçu local, puis voyez si le tableau du fournisseur tient face à vos données.

C'est un meilleur emploi d'une semaine que de s'acharner sur le tableau. L'installation du fork prend un après-midi ; c'est la comparaison qui vous dit si un modèle à 4,3 B de paramètres actifs, avec 17,6 points d'avance sur IFBench et 16,3 points de retard sur Terminal-Bench, convient à votre charge de travail. Si une solution de référence hébergée porte déjà du trafic, la router aux côtés de la preview via un point de terminaison unique avec basculement automatique garantit qu'un checkpoint non éprouvé ne se retrouve jamais seul sur le chemin critique — l'évaluation peut ainsi se dérouler dans les conditions de la production sans en porter le risque.

Qu’est-ce qui changerait cette évaluation ?

Quatre choses, dans un ordre approximatif d'importance.

Une fusion en amont dans vLLM, car elle transforme un fork épinglé en numéro de version et fait entrer le modèle dans tous les outils en aval d’empaquetage, de quantification et de serving qui supposent une prise en charge mainline. KRAFTON a indiqué qu’elle rouvrirait la PR lorsque le code serait prêt ; la liste des validations GPU en attente dans celle qui est fermée décrit assez bien ce que « prêt » doit vouloir dire.

Une {{1}}évaluation indépendante{{/1}}, car dix-huit lignes de fournisseurs jugées par un seul modèle, c’est l’opinion d’un seul auteur à grande échelle. Le {{2}}résultat AA-Omniscience{{/2}} est le chiffre le plus intéressant du tableau, précisément parce que c’est le genre de chose qu’un banc d’évaluation indépendant confirmerait ou détruirait rapidement.

La publication complète et le rapport technique, parce qu’un aperçu sans nombre de tokens d’entraînement divulgué ne peut étayer aucune affirmation sur l’efficacité de l’entraînement, et l’efficacité est tout l’argument. Tant que cela n’est pas publié, « entraîné de zéro » est une affirmation sur la provenance, pas sur le coût.

Et un point de terminaison hébergé avec un tarif publié, car actuellement la seule façon d’utiliser Raon-1 mini est de l’exécuter, et la seule façon d’en fixer le prix est d’amortir vos propres heures de GPU.

Pour l'instant, la description exacte est brève. Raon-1 mini est un véritable modèle téléchargeable, sous Apache-2.0, de 28,8B au total / 4,3B actifs, publié le 21 octobre, avec une histoire de cache KV vraiment intéressante, un tableau de benchmarks fournisseur qui le flatte sur quatre lignes et le met en difficulté sur trois, une pile de serving qui n'existe que sous la forme d'un fork KRAFTON, et une pull request en amont qui a duré 184 secondes. C'est plus utile que « KRAFTON vient de publier gratuitement un modèle de pointe » ou « rien à voir tant que vLLM n'a pas fusionné ».