Raon-1 mini: KRAFTON:s 28,8B MoE, och vLLM-PR:en som varade i 184 sekunder

Klockan 06:34:19 UTC den 28 oktober öppnades en pull request med titeln "[Model] Add Raon-1-mini support" mot vllm-project/vllm. Det var ingen stubbe: 27 filer, 3 971 tillagda rader, 22 borttagna, plus en testsvit och en dokumentationssida. Klockan 06:37:23 – tre minuter och fyra sekunder senare – stängdes den utan att ha slagits samman och var fortfarande markerad som utkast. KRAFTON, den sydkoreanska utgivaren bakom PUBG, hade föreslagit att sätta sin nya öppna modell med 28,8B parametrar i den mest utbredda inferensmotorn i världen och sedan dragit tillbaka förslaget innan någon hade granskat en enda rad.

Modellen bakom pull requesten är verklig, och den har kunnat laddas ned sedan 21 oktober. Raon-1 mini är en hybrid-attention mixture-of-experts-modell som aktiverar cirka 4,3B parametrar per token, distribueras under Apache 2.0 och hade den 28 oktober 2 208 nedladdningar under den senaste månaden och 221 gillningar på sitt Hugging Face-repositorium. Det som ännu inte finns är den vanliga vägen: en standardinstallation av vLLM som kan servera den utan ett forkad wheel-paket. Det gapet – mellan en checkpoint på internet och en modell som du kan lägga in i ett deployment manifest – är hela historien, och rapporteringen hittills har mest hoppat över det till förmån för benchmark-tabellen.

Vad KRAFTON faktiskt publicerade

Artifakterna lades upp på Hugging Face den 21 oktober kl. 00:14 UTC, vilket är det datum som alla koreanska branschmedier använde samma dag. Huvudrepots safetensors-index anger 28,783,218,402 parametrar i BF16 – siffran "30B-klass" i pressmeddelandena är en avrundning, och 28,8B är talet att ta med i en kapacitetsplan.

• Totala och aktiva parametrar — 28,8B totalt, ~4,3B aktiva per token.

• Licens — Apache 2.0 på vikterna, konfigurationen och komponenterna, med kommersiell användning tillåten.

• Åtkomst — repona är spärrade, men åtkomst beviljas på begäran via en kryssruta och verkar inte granskas manuellt för de flesta förfrågningar.

• Varianter – bascheckpointen MXFP8, en NVFP4-version, ett GGUF-repository, en MLX-checkpoint för Apple silicon och en separat DFlash2-utkastmodell för spekulativ avkodning.

• Hosting — sidofältet i repot rapporterar att modellen "inte är driftsatt av någon Inference Provider". Kortet annonserar en tidsbegränsad gratis provperiod i KRAFTON:s egen playground; det finns inget publicerat pris per token någonstans.

• Vad licensen inte omfattar — KRAFTONs träningsdataset, dess träningsmetodik, icke-distribuerad programvara samt det värdbaserade API:et och playground-miljön, vilka omfattas av separata villkor.

Det är en förhandsvisning, och KRAFTON betecknar den så i kortets inledande rad. Företaget säger att en fullständig lansering planeras tillsammans med en teknisk rapport som täcker "träningsprocessen och slutlig prestanda". Inget datum angavs, och antalet träningstokens avslöjas inte någonstans i kortet – vilket är det enskilt största hålet i varje påstående om hur effektiv den här modellen är att träna.

KRAFTON ramar in det hela som en kostnadsfråga. Chief AI Officer Kangwook Lee beskrev det som resultatet av "AI-FoU-kapaciteter som ackumulerats under mer än 5 år" och sade att företaget avser att använda en billigare LLM för att "utöka omfattningen av AI-användning inom olika branscher". Raon-1 mini är den första språkmodellen under varumärket Raon, som KRAFTON har använt sedan april för släpp inom tal, TTS och vision-encoder.

Arkitekturen är där det verkliga vadet ligger

Ett förhållande på 3:1 mellan lager med linjär uppmärksamhet och lager med full uppmärksamhet är det som är värt att förstå, eftersom allt annat i modellens serveringsekonomi följer av det.

• Lager — 25 totalt, uppdelade i 18 Raon Delta Attention (RDA)-lager och 7 gated MLA-lager.

• Experter – 128 totalt, 6 routade plus 1 delad expert aktiva per token, med en mellanstorlek per expert på 1 088.

• Dimensioner – dold storlek 2 560, 40 uppmärksamhetshuvuden över båda lagertyperna, RDA-huvuddimension 128, gated MLA vid 192 QK / 128 V med 576 / 512 query- och KV-LoRA-rank.

• Positionskodning — NoPE, utan roterande inbäddning någonstans i stacken.

• Ordförråd — 259,840 tokens, med ett obundet LM-huvud.

• Aktivering och residualer — SiTU-GLU, med Raon-mHC-residualanslutningar över fyra strömmar.

RDA är KRAFTON:s modifiering av Kimi Delta Attention, och förändringen som beskrivs är specifik: att frikoppla raderings- och skrivgrindarna och tillämpa oberoende skalning av skrivgrinden efter konvolutionen, så att den råa konvolutionshistoriken bevaras i stället för att skrivas över. Raon-mHC beskrivs som en billigare implementering av DeepSeeks mHC. Ingen av dem är en uppfinning från grunden, och det är ingen kritik – "trained from scratch" i kortet syftar på att KRAFTON designade och förtränade modellen på sina egna data, inte på att uppfinna varje block i den på nytt. Två av modellens tre huvudtekniker är omarbetade versioner av publicerade sådana, och den tredje är ett 3:1-hybridschema som andra labb också har landat i.

Vinsten är KV-cachen. Eftersom endast de 7 gated MLA-lagren behåller en sådan, anger kortet kostnaden till ungefär 8 KiB per token i BF16. Vid den fulla kontexten på 262 144 token är det cirka 2 GiB per sekvens – en siffra som bekvämt ryms på ett enda 32 GB-kort och inte alls skulle rymmas om alla 25 lager cachades. Det här är det faktiska produktpåståendet som gömmer sig under benchmarktabellen: inte att Raon-1 mini är smartare än sina jämlikar, utan att långkontextinferens på den är billig nog att köra på hårdvara du kanske redan äger.

Benchmark-tabellen, räknad snarare än sammanfattad

Varje siffra nedan är KRAFTON:s. Det finns ingen Artificial Analysis-post för Raon-1 mini per den 28 oktober — modellen förekommer inte alls i webbplatsens modelllista — ingen arenaplacering och ingen tredjepartsreproduktion. Modellkortets utvärderingar använde gpt-5.6-luna som domare och användarsimulator genomgående, vilket redovisas men inte är oberoende. Läs siffrorna som ett leverantörspåstående med en ovanligt detaljerad bilaga.

Tabellen har 18 rader och fem kolumner: Raon-1 mini preview mot Qwen3.6-35B-A3B och Gemma 4 26B-A4B som MoE-jämlikar, med Qwen3.8-27B och Muse Glimmer 30B visade som densa referenser. KRAFTONs röda markering anger den bästa poängen inom MoE-gruppen, vilket är ett snävare påstående än "bäst" och är anledningen till att pressraden om att slå "utländska modeller av liknande storlek" kräver försiktighet.

Om man räknar ordentligt är Raon-1 mini utan tvekan bäst av alla fem kolumner på fyra rader:

• AA-Omniscience — 3,5, jämfört med −7,2 för Qwen3.6-35B-A3B, −0,5 för Qwen3.8-27B, −34,7 för Muse Glimmer 30B och −46,6 för Gemma 4 26B-A4B. Det är den enda positiva poängen i kolumnen, vilket säger något verkligt om kalibreringen även om det absoluta talet är litet.

• IFBench — 84,2, jämfört med 82,4 för Qwen3.8-27B och 66,6 för Qwen3.6-35B-A3B. En skillnad på 17,6 punkter mot dess närmaste MoE-konkurrent när det gäller instruktionsföljning är det starkaste enskilda resultatet i tabellen.

• LiveCodeBench v6 — 81,6, före 81,2, 83,4, 79,3 och 77,4. Knappt, och en seger med fyra tiondels poäng över Qwen3.6-35B-A3B.

• Chatbot Korean — 92,9 mot 90,6, 90,1, 87,0 och 74,5. Detta är KRAFTON:s eget interna benchmark, uttryckligen inte offentliggjort, så det är den minst kontrollerbara siffran på sidan och den som modellens positionering vilar på.

Den toppar också MoE-gruppen på GPQA Diamond (84,3) och SWE-Verified (70,8, dess största marginal för kodningsagent på 7,6 poäng över Qwen3.6-35B-A3B), medan den förlorar båda mot Qwen3.8-27B på 89,7 respektive 74,6. Det mönstret – slår sin egen viktklass, förlorar mot den täta modellen ett snäpp större – upprepas i hela tabellen.

Förlusterna är inte marginella och de klumpar sig på ett ställe:

• Terminal-Bench Lite — 47,0. Detta är det sämsta resultatet i dess egen jämförelserad, 16,3 poäng bakom Qwen3.6-35B-A3B och 23,7 bakom Muse Glimmer 30B.

• MMLU Pro — 76,5, sist av de fem, 9,4 poäng efter Qwen3.6-35B-A3B.

• BFCL v4 — 59,8, efter alla tre MoE- och dense-rivalerna utom Muse Glimmer, dvs. funktionsanrop är inte där den här modellen är stark.

AutomationBench — 29,7, endast före Qwen3.6-35B-A3B:s 24,9 och 29 poäng efter Qwen3.8-27B.

• GDP.pdf — 5,8, knappt över Gemma 4 26B-A4B:s 3,6.

Sammantaget är den ärliga sammanfattningen snävare och mer användbar än pressmeddelandet: Raon-1 mini är konkurrenskraftig när det gäller instruktionsföljning, koreansk konversation, kalibrering och sökbaserat surfande, och svag när det gäller kunskapsåterkallning, terminalarbete och verktygsanrop. Om din arbetsbelastning är en agent som måste kedja funktionsanrop på ett tillförlitligt sätt, talar tabellen emot det. Om den är en koreanskspråkig assistent med lång kontext som följer instruktioner exakt, talar tabellen för ett test.

Vad vLLM:s pull request föreslog, och vad den tog tillbaka

Pull requesten kom från en KRAFTON-fork – grenen feat/raon-public-candidate till vllm-project/vllm:main – och författarens egen kommentar förklarar stängningen bättre än någon slutledning: "Jag arbetar på att göra koden enkel och ren. När jag är klar kommer jag att öppna denna PR igen." PR-beskrivningen avslöjar också att OpenAI Codex hjälpte till med implementeringen och att "mänsklig rad-för-rad-granskning och bekräftelse av end-to-end-validering fortfarande återstår."

Vad det innehöll spelar roll även om det inte landade, eftersom det är en karta över vad det krävs för att upstreama den här arkitekturen:

• Modell- och konfigurationsregistrering samt inläsning av checkpoints för de 18 RDA- och 7 NoPE MLA-lagren.

• raon_1 adaptrar för resonemang- och verktygsanropsparsning — delen som gör modellen användbar bakom en OpenAI-kompatibel endpoint i stället för ett rått completion-API.

• Återanvändning av uppströms ModelOpt MXFP8/NVFP4-kodvägar, MLA, hantering av hybridtillstånd och DFlash2-gränssnitt, utan att någon MoE-backend tvingas.

• Valfria raon_fast-kärnor för RDA och mHC, samt konfigurations- och parsertester och dokumentation.

Ungefär hälften av arbetet validerades och hälften gjordes inte, och PR:en säger det rakt ut. Godkända: 11 CPU-konfigurations- och parsertester, pre-commit-krokar, en wheel-byggnad och -installation från exakt bas, importer av native-modell, tokenizer och parser, integritetskontroller för pinnade checkpoints, parkoppling av mål- och draft-konfiguration samt konfigurationsupplösning för NVFP4 med blandad precision. Väntande, med PR:ens egna ord: ”riktig GPU-generering, numeriska jämförelser/modellkvalitetsjämförelser, backend-/kernelkörning, delade KDA-regressioner, DFlash2/cache/graph-korrekthet och serving-benchmarks.” Den tillägger: ”Inget anspråk på hastighetsökning eller produktionsparitet görs.”

Kernel-begränsningarna är den detalj som mest sannolikt ställer till det för ett team som läser "vLLM-stöd" och antar att det skalar. De valfria snabba kernels kräver SM10x – hårdvara i Blackwell-klass – plus tensor-parallellism på exakt ett, BF16-konvolutionshistorik, FP32-recurrent-tillstånd och en CUDA/C++-byggverktygskedja. Pipeline-parallellism, expert-parallellism och RecoverSSM stöds inte. I praktiken innebär det att den snabba vägen är en single-GPU-väg, vilket stämmer med modellens hela säljargument men är oförenligt med hur de flesta faktiskt servar en 28,8B-modell.

Det du kan köra den här veckan

KRAFTON levererar sin egen vLLM-fork låst vid ref raon-1-mini-preview, dokumenterad mot en NVIDIA B300 och serverad via ett OpenAI-kompatibelt API med tool calling. Den dokumenterade starten använder --max-model-len 262144. Alla rutter nedan är KRAFTONs egna, och ingen av dem är upstream:

• vLLM — installera från github.com/krafton-ai/vllm vid den fastnålade ref:en med VLLM_USE_PRECOMPILED=1. Detta är den enda vägen till forkens parseradaptrar och DFlash2-stöd.

• Transformers — 5.16.1 med accelerate 1.15.0, device_map="auto" och CPU-offload möjligt på en GPU med 32 GB.

• RTX 5090 — NVFP4-checkpointen, kontext på 32 768 tokens, 2 048 batchade tokens, 8 sekvenser och en 3 GiB FP8 KV-cache; den kräver CUDA Toolkit 13 med nvcc installerat.

• DGX Spark — en ARM64-container på ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534 som kör 128K-kontext med högst 8 sekvenser.

• llama.cpp — en KRAFTON-gren och en GGUF Q4_K_M-bygge, med uppströmsstöd listat som väntande.

• MLX — mlx 0.32.4 och mlx-lm 0.32.2 mot den separata MLX-checkpointen.

Draftmodellen för spekulativ avkodning är värd en kommentar eftersom 2.18× är siffran som kommer att citeras. KRAFTON mätte den på en enda B300 med en MXFP8-målmodell och vLLM 0.28.0 vid blockstorlek 8, och beskriver den som "upp till" 2.18× högre utdatagenomströmning än autoregressiv avkodning, varierande beroende på hårdvara och arbetsbelastning. Det är ett leverantörsbenchmark på hårdvara som de flesta läsare inte har. Det är också den typen av påstående som är starkt beroende av acceptansgraden, som i sin tur beror på din promptfördelning.

Samplingen använder inte de vanliga standardvärdena och är värd att kopiera exakt: temperature 1,0, top_p 0,95, top_k 20, inget repetitions- eller frekvensstraff, och presence penalty 0 för kodning och matematik mot 1,5 för allt annat. Tankeläget är aktiverat som standard och modellkortet avråder från att stänga av det. Har du fel värde på presence penalty kommer du att dra slutsatsen att modellen är sämre än den är.

Ett operativt förbehåll som inte har något med kvaliteten att göra: en fork-pin är ett beslut som rör leveranskedjan. Du får KRAFTONs bygge av vLLM, inte upstream-release-tåget – ingen upstream-CI för din konfiguration, inga upstream-säkerhetsuppdateringar förrän någon gör en rebase, och varje vLLM-uppgradering blir en merge i stället för en versionshöjning. För en modell i förhandsversion som utvärderas är det en rimlig avvägning. För ett produktionsberoende är det den post som ska stå i riskregistret bredvid själva modellen.

Hur man testar det utan att satsa på det

Raon-1 mini finns inte i OrcaRouter-katalogen, och inget här bör tolkas som ett påstående om motsatsen – vi tillhandahåller den inte. Det vi däremot tillhandahåller är dess jämförelseuppsättning, som råkar vara rätt kontrollgrupp: Gemma 4 26B-A4B till $0,06 per miljon indatatoken och $0,33 per miljon utdatatoken, Qwen3.6-35B-A3B till $0,248 och $1,485, och Qwen3.8-27B till $0,33 och $2,40, alla till leverantörens listpris utan påslag. Det är de modeller som den mättes mot, tillgängliga via en enda nyckel, vilket gör det användbara experimentet billigt: kör KRAFTON:s egna prompter mot de värdbaserade baslinjerna och kör samma prompter mot den lokala förhandsversionen, och se om leverantörens tabell står sig mot era data.

Det är ett bättre sätt att använda en vecka på än att stirra ännu hårdare på tabellen. Fork-installationen tar en eftermiddag; jämförelsen är det som avgör om en modell med 4,3B aktiva parametrar, med 17,6 punkters försprång i IFBench och 16,3 punkters underskott i Terminal-Bench, passar din arbetsbelastning. Om en hostad baslinje redan hanterar trafik innebär det att routa den vid sidan av förhandsversionen via en enda endpoint med automatisk failover att en oprövad checkpoint aldrig står ensam på den kritiska vägen – utvärderingen kan köras i produktionsform utan produktionsrisken.

Vad skulle förändra den här bedömningen?

Fyra saker, i ungefärlig ordning efter konsekvens.

{{1}}En upstream-sammanslagning i vLLM{{/1}}, eftersom den förvandlar en fork-pin till ett versionsnummer och drar in modellen i alla nedströms paketerings-, kvantiserings- och servingverktyg som förutsätter stöd i mainline. {{2}}KRAFTON har sagt att de kommer att öppna PR:en igen när koden är redo; listan över väntande GPU-valideringar i den stängda PR:en är en rimlig beskrivning av vad ”redo” måste innebära.{{/2}}

En oberoende utvärdering, eftersom arton leverantörsrader bedömda av en enda modell är en författares åsikt i skala. AA-Omniscience-resultatet är det mest intressanta talet i tabellen just för att det är den sortens sak som en oberoende testrigg snabbt skulle bekräfta eller förkasta.

Den fullständiga lanseringen och den tekniska rapporten, eftersom en förhandsversion utan redovisat antal träningstoken inte kan stödja något påstående om träningseffektivitet, och effektivitet är hela argumentet. Tills det finns på plats är "tränad från grunden" ett påstående om proveniens, inte om kostnad.

Och en hostad endpoint med ett publicerat pris, för just nu är det enda sättet att använda Raon-1 mini att köra den, och det enda sättet att prissätta den är att slå ut kostnaden för dina egna GPU-timmar.

För närvarande är den korrekta beskrivningen kort. Raon-1 mini är en verklig, nedladdningsbar Apache-2.0-modell med 28,8B totalt/4,3B aktiva parametrar som släpptes den 21 oktober, med en genuint intressant KV-cache-historia, en leverantörsbenchmarktabel som smickrar den på fyra rader och gör den generad på tre, en serveringsstack som bara finns som en KRAFTON-fork, och en upstream-pullförfrågan som varade i 184 sekunder. Det är mer användbart än antingen "KRAFTON har precis släppt en frontiermodell gratis" eller "inget att se förrän vLLM mergar".