Raon-1 mini: KRAFTON's 28,8B MoE, en de vLLM-PR die het 184 seconden volhield

Op 28 oktober om 06:34:19 UTC werd een pull request met de titel "[Model] Ondersteuning voor Raon-1-mini toevoegen" geopend voor vllm-project/vllm. Het was geen stub: 27 bestanden, 3.971 toegevoegde regels, 22 verwijderde, plus een testsuite en een documentatiepagina. Om 06:37:23 — drie minuten en vier seconden later — werd het gesloten, niet samengevoegd en nog steeds als concept gemarkeerd. KRAFTON, de Zuid-Koreaanse uitgever achter PUBG, had voorgesteld om zijn nieuwe open-weightmodel van 28,8B op te nemen in de meest wijdverbreide inferentie-engine ter wereld, en het daarna terug te trekken voordat iemand ook maar één regel had beoordeeld.

Het model achter de pull request is echt en is sinds 21 oktober te downloaden. Raon-1 mini is een hybride-attention mixture-of-experts-model dat per token ongeveer 4,3 miljard parameters activeert, onder Apache 2.0 wordt uitgebracht en op 28 oktober in de afgelopen maand 2.208 downloads en 221 likes op zijn Hugging Face-repository had. Wat nog niet bestaat, is het gewone pad: een standaard vLLM-installatie die het kan serveren zonder een geforkte wheel. Die kloof — tussen een checkpoint op internet en een model dat je in een deploymentmanifest kunt zetten — is het hele verhaal, en de berichtgeving tot nu toe heeft die grotendeels overgeslagen ten gunste van de benchmarktabel.

Wat KRAFTON daadwerkelijk heeft gepubliceerd

De artefacten verschenen op 21 oktober om 00:14 UTC op Hugging Face, de datum die elke Koreaanse vakpublicatie diezelfde dag gebruikte. De safetensors-index van de hoofdrepository meldt 28.783.218.402 parameters in BF16 — het cijfer "30B-klasse" in de persberichten is een afronding, en 28,8B is het getal dat je in een capaciteitsplan moet meenemen.

• Totale en actieve parameters — 28,8B totaal, ~4,3B actief per token.

• Licentie — Apache 2.0 op de gewichten, configuratie en componenten, met commercieel gebruik toegestaan.

• Toegang — de repositories zijn afgeschermd, maar toegang wordt op verzoek verleend via een selectievakje en lijkt voor de meeste verzoeken niet handmatig te worden beoordeeld.

• Varianten — het basis-MXFP8-checkpoint, een NVFP4-build, een GGUF-repository, een MLX-checkpoint voor Apple silicon, en een afzonderlijk DFlash2-draftmodel voor speculatieve decoding.

• Hosting — de zijbalk van de repository meldt dat het model "niet door enige Inference Provider is gedeployed". De kaart adverteert een tijdelijke gratis proefperiode in KRAFTON's eigen playground; er is nergens een gepubliceerde prijs per token.

• Wat de licentie niet dekt — KRAFTON's trainingsdatasets, de trainingsmethodologie, niet-gedistribueerde software, en de gehoste API en playground, die onder afzonderlijke voorwaarden vallen.

Het is een preview, en KRAFTON noemt het zo in de eerste regel van de kaart. Het bedrijf zegt dat een volledige release gepland staat samen met een technisch rapport over "het trainingsproces en de uiteindelijke prestaties". Er is geen datum genoemd, en het aantal trainingstokens wordt nergens in de kaart bekendgemaakt — dat is het grootste hiaat in elke bewering over hoe efficiënt dit model te trainen is.

De insteek van KRAFTON is kosten. Chief AI Officer Kangwook Lee beschreef het als het product van "meer dan 5 jaar opgebouwde AI-R&D-capaciteiten" en zei dat het bedrijf van plan is een goedkoper LLM te gebruiken om "het gebruik van AI in verschillende sectoren uit te breiden". Raon-1 mini is het eerste taalmodel onder het merk Raon, dat KRAFTON sinds april gebruikt voor spraak-, TTS- en vision-encoder-releases.

De architectuur is waar de echte inzet zit

Een verhouding van 3:1 tussen linear-attention- en full-attention-lagen is het onderdeel dat de moeite waard is om te begrijpen, omdat al het overige rond de serving-economie van het model daaruit voortvloeit.

• Lagen — 25 in totaal, opgesplitst in 18 Raon Delta Attention (RDA)-lagen en 7 gegate MLA-lagen.

• Experts — 128 in totaal, 6 gerouteerd plus 1 gedeeld actief per token, met een tussenliggende expertafmeting van 1.088.

• Afmetingen — verborgen grootte 2.560, 40 attention-heads over beide laagtypen, RDA-headdimensie 128, gated MLA met 192 QK / 128 V en 576 / 512 query- en KV-LoRA-rang.

• Positie-encoding — NoPE, zonder enige vorm van roterende embedding in de hele stack.

• Vocabulaire — 259.840 tokens, met een niet-gekoppelde LM-head.

• Activatie en residuen — SiTU-GLU, met Raon-mHC-residuele verbindingen over vier stromen.

RDA is KRAFTONs aanpassing van Kimi Delta Attention, en de wijziging die het beschrijft is specifiek: het loskoppelen van de erase- en write-gates en het toepassen van onafhankelijke write-gate-schaling na de convolutie, zodat de ruwe convolutiegeschiedenis behouden blijft in plaats van overschreven te worden. Raon-mHC wordt beschreven als een goedkopere implementatie van DeepSeeks mHC. Geen van beide is een uitvinding vanaf nul, en dat is geen kritiek — "trained from scratch" op de kaart verwijst naar het feit dat KRAFTON het model ontwerpt en vooraf traint op zijn eigen data, niet naar het opnieuw uitvinden van elk blok erin. Twee van de drie belangrijkste technieken van het model zijn herontworpen versies van gepubliceerde technieken, en de derde is een 3:1 hybride schema waar andere labs ook op zijn uitgekomen.

De winst zit in de KV-cache. Omdat alleen de 7 gated MLA-lagen er een behouden, schat de kaart de kosten op ongeveer 8 KiB per token in BF16. Bij de volledige context van 262.144 tokens is dat ongeveer 2 GiB per sequentie — een aantal dat comfortabel op één kaart van 32 GB past en helemaal niet zou passen als alle 25 lagen cacheten. Dit is de eigenlijke productbelofte die onder de benchmarktabel schuilgaat: niet dat Raon-1 mini slimmer is dan zijn concurrenten, maar dat lange-contextinferentie ermee goedkoop genoeg is om te draaien op hardware die je misschien al bezit.

De benchmarktabel, geteld in plaats van samengevat

Alle onderstaande cijfers zijn afkomstig van KRAFTON. Er is per 28 oktober geen Artificial Analysis-vermelding voor Raon-1 mini — het model komt helemaal niet voor in de modellenlijst van de site — geen arenaplaatsing en geen reproductie door derden. De evaluaties op de kaart gebruikten doorlopend gpt-5.6-luna als beoordelaar en gebruikerssimulator, wat wel wordt vermeld, maar niet onafhankelijk is. Beschouw de cijfers als een leveranciersclaim met een ongewoon gedetailleerde bijlage.

De tabel heeft 18 rijen en vijf kolommen: Raon-1 mini preview tegenover Qwen3.6-35B-A3B en Gemma 4 26B-A4B als MoE-genoten, met Qwen3.8-27B en Muse Glimmer 30B weergegeven als dense referentiemodellen. De rode markering van KRAFTON geeft de beste score aan binnen de MoE-groep, wat een beperktere claim is dan "de beste" en daarom vereist de passage in het persbericht over het verslaan van "vergelijkbaar grote buitenlandse modellen" de nodige zorg.

Correct geteld is Raon-1 mini de absolute beste van alle vijf kolommen op vier rijen:

• AA-Omniscience — 3,5, tegen −7,2 voor Qwen3.6-35B-A3B, −0,5 voor Qwen3.8-27B, −34,7 voor Muse Glimmer 30B en −46,6 voor Gemma 4 26B-A4B. Het is de enige positieve score in de kolom, wat echt iets zegt over de kalibratie, ook al is het absolute getal klein.

• IFBench — 84,2, tegenover 82,4 voor Qwen3.8-27B en 66,6 voor Qwen3.6-35B-A3B. Een verschil van 17,6 punten met zijn dichtstbijzijnde MoE-concurrent op het gebied van instructieopvolging is het sterkste afzonderlijke resultaat in de tabel.

• LiveCodeBench v6 — 81,6, voor op 81,2, 83,4, 79,3 en 77,4. Krappe marge, en een overwinning met vier tienden van een punt op Qwen3.6-35B-A3B.

• Chatbot Korean — 92,9, tegenover 90,6, 90,1, 87,0 en 74,5. Dit is KRAFTON's eigen interne benchmark, expliciet niet openbaar vrijgegeven, dus het is het minst controleerbare getal op de pagina en het getal waarop de positionering van het model berust.

Het voert ook de MoE-groep aan op GPQA Diamond (84.3) en SWE-Verified (70.8, zijn breedste voorsprong als coding-agent met 7,6 punten op Qwen3.6-35B-A3B), maar verliest beide van Qwen3.8-27B met 89,7 en 74,6. Dat patroon — wint van zijn eigen gewichtsklasse, verliest van het dense model één maat groter — herhaalt zich in de hele tabel.

De verliezen zijn niet marginaal en ze concentreren zich op één plek:

• Terminal-Bench Lite — 47,0. Dit is de slechtste score in zijn eigen vergelijkingsrij, 16,3 punten achter Qwen3.6-35B-A3B en 23,7 achter Muse Glimmer 30B.

• MMLU Pro — 76,5, laatste van de vijf, 9,4 punten achter Qwen3.6-35B-A3B.

• BFCL v4 — 59,8, achter alle drie de MoE- en dense-concurrenten, met uitzondering van Muse Glimmer; dat wil zeggen dat functieaanroepen niet het sterke punt van dit model zijn.

• AutomationBench — 29,7, alleen voor op de 24,9 van Qwen3.6-35B-A3B en 29 punten achter Qwen3.8-27B.

GDP.pdf — 5,8, nauwelijks boven de 3,6 van Gemma 4 26B-A4B.

Alles samengenomen is de eerlijke samenvatting beperkter en nuttiger dan het persbericht: Raon-1 mini is competitief op het volgen van instructies, Koreaanse gesprekken, kalibratie en browsen in zoekstijl, en zwak op kennis ophalen, werk in de terminal en tool calling. Als je werklast een agent is die functieaanroepen betrouwbaar moet koppelen, pleit de tabel tegen die keuze. Als het een Koreaansassistent met lange context is die instructies nauwkeurig opvolgt, pleit de tabel voor een test.

Wat de vLLM-pullrequest voorstelde, en wat er werd teruggedraaid

De pull request kwam van een KRAFTON-fork — branch feat/raon-public-candidate naar vllm-project/vllm:main — en de eigen opmerking van de auteur verklaart de sluiting beter dan welke gevolgtrekking dan ook: "Ik werk eraan om eenvoudige en schone code te maken. Wanneer ik er klaar voor ben, zal ik deze PR opnieuw openen." De PR-body vermeldt ook dat OpenAI Codex heeft geholpen bij de implementatie en dat "een menselijke regel-voor-regel-review en bevestiging van end-to-end-validatie nog steeds in afwachting zijn."

Wat het bevatte is belangrijk, ook al is het niet geland, omdat het een kaart is van wat het upstreamen van deze architectuur vergt:

• Registratie van model en configuratie, plus het laden van checkpoints voor de 18 RDA- en 7 NoPE MLA-lagen.

• raon_1 reasoning- en tool-call-parser-adapters — het onderdeel dat het model bruikbaar maakt achter een OpenAI-compatibele endpoint in plaats van een ruwe completion-API.

• Hergebruik van upstream ModelOpt MXFP8/NVFP4-paden, MLA, hybrid-state-afhandeling en DFlash2-interfaces, zonder dat een MoE-backend wordt geforceerd.

• Optionele raon_fast-kernels voor RDA en mHC, plus configuratie- en parsertests en documentatie.

Ongeveer de helft van het werk was gevalideerd en de helft niet, en de PR zegt dat ronduit. Geslaagd: 11 CPU-configuratie- en parsertests, pre-commit hooks, een exact-base wheel-build en -installatie, native model-, tokenizer- en parserimports, integriteitscontroles van gepinde checkpoints, configuratiekoppeling voor target/draft, en resolutie van NVFP4 mixed-precision-configuratie. Nog openstaand, in de woorden van de PR zelf: "echte GPU-generatie, numerieke/modelkwaliteitsvergelijkingen, backend-/kerneluitvoering, gedeelde KDA-regressies, DFlash2/cache/graph-correctheid en serving-benchmarks." Er wordt aan toegevoegd: "Er wordt geen claim over snelheidswinst of productiepariteit gemaakt."

De kernelbeperkingen zijn het detail waar een team het meest last van zal krijgen als het "vLLM-ondersteuning" leest en ervan uitgaat dat het schaalt. De optionele snelle kernels vereisen SM10x — hardware uit de Blackwell-klasse — plus tensorparallelisme van precies één, BF16-convolutiegeschiedenis, FP32-recurrente toestand en een CUDA/C++-buildtoolchain. Pipelineparallelisme, expertparallelisme en RecoverSSM worden niet ondersteund. In de praktijk betekent dit dat het snelle pad een single-GPU-pad is, wat consistent is met de hele propositie van het model, maar onverenigbaar met de manier waarop de meeste mensen daadwerkelijk een model van 28,8B serveren.

Wat je deze week kunt uitvoeren

KRAFTON levert zijn eigen vLLM-fork, vastgezet op ref raon-1-mini-preview, gedocumenteerd voor een NVIDIA B300 en geserveerd via een OpenAI-compatibele API met tool calling. De gedocumenteerde start gebruikt --max-model-len 262144. Elke route hieronder is van KRAFTON zelf, en geen ervan is upstream:

• vLLM — installeer vanaf github.com/krafton-ai/vllm op de vastgezette ref met VLLM_USE_PRECOMPILED=1. Dit is de enige route naar de parser-adapters en DFlash2-ondersteuning van de fork.

• Transformers — 5.16.1 met accelerate 1.15.0, device_map="auto", en CPU-offload haalbaar op een GPU van 32 GB.

• RTX 5090 — het NVFP4-checkpoint, een context van 32.768 tokens, 2.048 gebatchte tokens, 8 sequenties en een FP8-KV-cache van 3 GiB; CUDA Toolkit 13 met nvcc is vereist.

• DGX Spark — een ARM64-container op ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, met 128K-context en niet meer dan 8 sequenties.

• llama.cpp — een KRAFTON-branch en een GGUF Q4_K_M-build, met upstream-ondersteuning vermeld als in afwachting.

• MLX — mlx 0.32.4 en mlx-lm 0.32.2 ten opzichte van de afzonderlijke MLX-checkpoint.

Het speculatieve-decodering-conceptmodel is het vermelden waard, omdat 2.18× het getal is dat geciteerd zal worden. KRAFTON heeft dit gemeten op één B300 met een MXFP8-doelmodel en vLLM 0.28.0 bij blokgrootte 8, en beschrijft het als "tot" 2.18× hogere outputthroughput dan autoregressief decoderen, afhankelijk van hardware en workload. Dat is een leveranciersbenchmark op hardware die de meeste lezers niet hebben. Het is ook het soort claim dat sterk afhangt van de acceptatiegraad, die weer afhangt van je promptverdeling.

De samplinginstellingen zijn niet de gebruikelijke standaardwaarden en het is de moeite waard ze exact over te nemen: temperatuur 1.0, top_p 0.95, top_k 20, geen repetition- of frequency-penalty, en presence penalty 0 voor programmeren en wiskunde tegenover 1.5 voor al het overige. De denkmodus staat standaard aan en de kaart raadt af om die uit te zetten. Zet je de presence penalty verkeerd, dan concludeer je dat het model slechter is dan het is.

Eén operationele kanttekening die niets met kwaliteit te maken heeft: een fork-pin is een beslissing in de toeleveringsketen. Je krijgt de build van vLLM van KRAFTON, niet de upstream-releasecyclus — geen upstream-CI op jouw configuratie, geen upstream-beveiligingspatches tot iemand rebaset, en elke vLLM-upgrade wordt een merge in plaats van een versieverhoging. Voor een previewmodel dat wordt geëvalueerd, is dat een redelijke afweging. Voor een productieafhankelijkheid is het iets om in het risicoregister te zetten, naast het model zelf.

Hoe kun je het testen zonder erop te wedden

Raon-1 mini staat niet in de OrcaRouter-catalogus, en niets hier mag worden gelezen als een claim dat dit wel zo is — we bieden het niet aan. Wat we wel aanbieden, is de vergelijkingsset ervan, die toevallig de juiste controlegroep is: Gemma 4 26B-A4B voor $0,06 per miljoen input- en $0,33 per miljoen outputtokens, Qwen3.6-35B-A3B voor $0,248 en $1,485, en Qwen3.8-27B voor $0,33 en $2,40, allemaal tegen de lijstprijs van de provider zonder opslag. Dat zijn de modellen waarmee het is vergeleken, bereikbaar via één sleutel, wat het nuttige experiment goedkoop maakt: voer KRAFTON's eigen prompts uit tegen de gehoste baselines en voer dezelfde prompts uit tegen de lokale preview, en kijk of de vendortabel je data overleeft.

Dat is een betere besteding van een week dan nog harder naar de tabel staren. De fork-installatie kost een middag; de vergelijking is wat je vertelt of een model met 4,3B actieve parameters, een voorsprong van 17,6 punten op IFBench en een achterstand van 16,3 punten op Terminal-Bench, bij je workload past. Als een gehoste baseline al verkeer afhandelt, zorgt het routeren daarvan naast de preview via één endpoint met automatische failover dat een onbewezen checkpoint nooit alleen op het kritieke pad staat — de evaluatie kan in productievorm draaien zonder het productierisico.

Wat zou deze beoordeling veranderen?

Vier dingen, ruwweg in volgorde van belangrijkheid.

Een upstream vLLM-merge, omdat die een fork-pin omzet in een versienummer en het model binnenbrengt in elke downstream packaging-, kwantisatie- en servingtool die mainline-ondersteuning veronderstelt. KRAFTON heeft gezegd dat het de PR opnieuw zal openen wanneer de code klaar is; de lijst met nog openstaande GPU-validaties in de gesloten PR is een redelijke beschrijving van wat "klaar" moet betekenen.

Een onafhankelijke evaluatie, want achttien leveranciersrijen beoordeeld door één enkel model is de mening van één auteur op schaal. Het AA-Omniscience-resultaat is het interessantste getal in de tabel, juist omdat het precies het soort ding is dat een onafhankelijke testomgeving snel zou bevestigen of vernietigen.

De volledige release en het technisch rapport, want een preview zonder bekendgemaakt aantal trainingstokens kan geen enkele bewering over trainingsefficiëntie ondersteunen, en efficiëntie is het hele argument. Totdat dat er is, is "from scratch getraind" een uitspraak over herkomst, niet over kosten.

En een gehoste endpoint met een gepubliceerde prijs, want op dit moment is de enige manier om Raon-1 mini te gebruiken, het zelf te draaien, en de enige manier om er een prijs voor te bepalen, is je eigen GPU-uren te amortiseren.

Voorlopig is de accurate beschrijving kort. Raon-1 mini is een echt, downloadbaar Apache-2.0-model met 28,8B totaal/4,3B actief, uitgebracht op 21 oktober, met een werkelijk interessant KV-cacheverhaal, een benchmarktabel van de leverancier die het op vier rijen vleit en op drie rijen in verlegenheid brengt, een servingstack die alleen bestaat als een KRAFTON-fork, en een upstream pull request die 184 seconden duurde. Dat is nuttiger dan zowel "KRAFTON heeft zojuist gratis een frontiermodel uitgebracht" als "niets te zien tot vLLM dit merge't".