Raon-1 mini: il MoE da 28,8 miliardi di KRAFTON, e la PR di vLLM che è durata 184 secondi

Alle 06:34:19 UTC del 28 ottobre, una pull request intitolata "[Model] Aggiungi supporto per Raon-1-mini" è stata aperta su vllm-project/vllm. Non era uno stub: 27 file, 3.971 righe aggiunte, 22 rimosse, oltre a una suite di test e una pagina di documentazione. Alle 06:37:23 — tre minuti e quattro secondi dopo — era stata chiusa, senza essere unita, e ancora contrassegnata come bozza. KRAFTON, l'editore sudcoreano dietro PUBG, aveva proposto di inserire il suo nuovo modello open-weight da 28,8B nel motore di inferenza più diffuso al mondo, per poi ritirarla prima che qualcuno revisionasse una singola riga.

Il modello alla base della pull request è reale, ed è scaricabile dal 21 ottobre. Raon-1 mini è un modello mixture-of-experts con attenzione ibrida che attiva circa 4,3 miliardi di parametri per token, è distribuito con licenza Apache 2.0 e, al 28 ottobre, aveva 2.208 download nell'ultimo mese e 221 like sul suo repository Hugging Face. Ciò che non esiste ancora è il percorso ordinario: un'installazione standard di vLLM in grado di servirlo senza una wheel forkata. Quel divario — tra un checkpoint su Internet e un modello che puoi inserire in un manifest di deployment — è tutta la storia, e finora la copertura lo ha per lo più saltato in favore della tabella dei benchmark.

Cosa ha effettivamente pubblicato KRAFTON

Gli artefatti sono stati pubblicati su Hugging Face il 21 ottobre alle 00:14 UTC, la data che ogni testata commerciale coreana ha usato lo stesso giorno. L'indice safetensors del repository principale riporta 28.783.218.402 parametri in BF16 — la cifra "classe 30B" nei comunicati stampa è un arrotondamento, e 28,8B è il numero da portare in un piano di capacità.

• Parametri totali e attivi — 28,8B totali, ~4,3B attivi per token.

• Licenza — Apache 2.0 sui pesi, sulla configurazione e sui componenti, con uso commerciale consentito.

• Accesso — i repository sono ad accesso limitato, ma l'accesso viene concesso su richiesta tramite una casella di controllo e non sembra essere sottoposto a revisione manuale per la maggior parte delle richieste.

• Varianti — il checkpoint base MXFP8, una build NVFP4, un repository GGUF, un checkpoint MLX per Apple silicon e un modello draft DFlash2 separato per il decoding speculativo.

• Hosting — la barra laterale del repository segnala che il modello "non è implementato da alcun Inference Provider". La scheda pubblicizza una prova gratuita a tempo limitato nel playground di KRAFTON; non è pubblicato da nessuna parte alcun prezzo per token.

• Cosa non copre la licenza — i dataset di addestramento di KRAFTON, la sua metodologia di addestramento, il software non distribuito e l'API e il playground ospitati, che sono regolati da termini separati.

È un'anteprima, e KRAFTON lo etichetta così nella riga di apertura della scheda. L'azienda afferma che è previsto un rilascio completo insieme a un rapporto tecnico che copre "il processo di addestramento e le prestazioni finali". Non è stata fornita alcuna data, e il numero di token di addestramento non è divulgato da nessuna parte nella scheda — che è la lacuna più grande in qualsiasi affermazione sull'efficienza dell'addestramento di questo modello.

La logica di KRAFTON è il costo. Il Chief AI Officer Kangwook Lee l'ha descritto come il prodotto di «capacità di ricerca e sviluppo nel campo dell'IA accumulate in oltre 5 anni» e ha affermato che l'azienda intende utilizzare un LLM più economico per «ampliare la portata dell'uso dell'IA in vari settori». Raon-1 mini è il primo modello linguistico del marchio Raon, che KRAFTON utilizza da aprile per rilasci relativi a parlato, TTS e encoder visivi.

L'architettura è il punto in cui si gioca la vera scommessa

Un rapporto 3:1 tra livelli di attenzione lineare e livelli di attenzione completa è l'aspetto che vale la pena comprendere, perché tutto il resto dell'economia di serving del modello ne deriva.

• Livelli — 25 in totale, suddivisi in 18 livelli Raon Delta Attention (RDA) e 7 livelli MLA con gating.

• Esperti — 128 in totale, 6 instradati più 1 condiviso attivo per token, con una dimensione intermedia dell'esperto di 1.088.

• Dimensioni — hidden size 2.560, 40 attention head in entrambi i tipi di layer, dimensione della testa RDA pari a 128, MLA con gating a 192 QK / 128 V con rango LoRA di query e KV pari a 576 / 512.

• Codifica posizionale — NoPE, senza alcun embedding rotatorio in nessun punto dello stack.

• Vocabolario — 259.840 token, con un LM head non condiviso.

• Attivazione e residui — SiTU-GLU, con connessioni residue Raon-mHC attraverso quattro flussi.

RDA è la modifica di KRAFTON della Kimi Delta Attention, e il cambiamento che descrive è specifico: disaccoppiare i gate di cancellazione e scrittura e applicare una scalatura indipendente del gate di scrittura dopo la convoluzione, così la cronologia grezza della convoluzione viene preservata anziché sovrascritta. Raon-mHC è descritto come un'implementazione più economica dell'mHC di DeepSeek. Nessuno dei due è un'invenzione da zero, e non è una critica — "trained from scratch" nella scheda si riferisce al fatto che KRAFTON progetta e preaddestra il modello sui propri dati, non a reinventare ogni blocco che lo compone. Due delle tre tecniche di punta del modello sono versioni riprogettate di tecniche già pubblicate, e la terza è un programma ibrido 3:1 su cui anche altri laboratori sono convergiti.

Il vantaggio è la KV cache. Poiché solo i 7 layer MLA con gating ne mantengono una, la scheda stima il costo in circa 8 KiB per token in BF16. Con l'intera finestra di contesto di 262.144 token, ciò equivale a circa 2 GiB per sequenza — un valore che entra comodamente in una singola scheda da 32 GB e non entrerebbe affatto se tutti i 25 layer mantenessero la cache. Questa è la vera promessa di prodotto nascosta sotto la tabella dei benchmark: non che Raon-1 mini sia più intelligente dei suoi pari, ma che l'inferenza a contesto lungo su di esso sia abbastanza economica da girare su hardware che potresti già possedere.

La tabella dei benchmark, contata invece che riassunta

Ogni dato riportato di seguito è di KRAFTON. Non esiste alcuna voce di Artificial Analysis per Raon-1 mini al 28 ottobre — il modello non compare affatto nell'elenco dei modelli del sito — nessun posizionamento nell'arena e nessuna riproduzione da parte di terzi. Le valutazioni della scheda hanno usato gpt-5.6-luna come giudice e simulatore utente per tutto il processo, il che è dichiarato ma non indipendente. Leggi i numeri come una dichiarazione del fornitore con un'appendice insolitamente dettagliata.

La tabella ha 18 righe e cinque colonne: Raon-1 mini preview a confronto con Qwen3.6-35B-A3B e Gemma 4 26B-A4B come modelli MoE comparabili, con Qwen3.8-27B e Muse Glimmer 30B presentati come riferimenti dense. L'evidenziazione in rosso di KRAFTON indica il punteggio migliore all'interno del gruppo MoE, che è un'affermazione più limitata di "migliore" ed è il motivo per cui la formulazione per la stampa sul superamento di "modelli esteri di dimensioni simili" richiede cautela.

Contando correttamente, Raon-1 mini è di gran lunga il migliore di tutte e cinque le colonne su quattro righe:

• AA-Omniscience — 3,5, rispetto a −7,2 per Qwen3.6-35B-A3B, −0,5 per Qwen3.8-27B, −34,7 per Muse Glimmer 30B e −46,6 per Gemma 4 26B-A4B. È l'unico punteggio positivo nella colonna, il che dice qualcosa di reale sulla calibrazione anche se il numero assoluto è piccolo.

• IFBench — 84,2, contro 82,4 di Qwen3.8-27B e 66,6 di Qwen3.6-35B-A3B. Un divario di 17,6 punti rispetto al suo peer MoE più vicino sull'aderenza alle istruzioni è il singolo risultato più forte della tabella.

• LiveCodeBench v6 — 81,6, davanti a 81,2, 83,4, 79,3 e 77,4. Di stretta misura, e una vittoria di quattro decimi di punto su Qwen3.6-35B-A3B.

• Chatbot coreano — 92,9, contro 90,6, 90,1, 87,0 e 74,5. Si tratta di un benchmark interno di KRAFTON, esplicitamente non reso pubblico, quindi è il numero meno verificabile della pagina e quello su cui poggia il posizionamento del modello.

Guida anche il gruppo MoE su GPQA Diamond (84,3) e SWE-Verified (70,8, il suo margine più ampio come coding agent, con 7,6 punti su Qwen3.6-35B-A3B), pur perdendo entrambi contro Qwen3.8-27B a 89,7 e 74,6. Quel pattern — batte la propria categoria di peso, perde contro il modello denso di una taglia superiore — si ripete in tutta la tabella.

Le perdite non sono marginali e si concentrano in un unico punto:

Terminal-Bench Lite — 47,0. Questo è il punteggio peggiore nella propria riga di confronto, 16,3 punti dietro Qwen3.6-35B-A3B e 23,7 dietro Muse Glimmer 30B.

• MMLU Pro — 76,5, ultimo dei cinque, 9,4 punti dietro a Qwen3.6-35B-A3B.

• BFCL v4 — 59.8, dietro a tutti e tre i rivali MoE e dense eccetto Muse Glimmer, ovvero il function calling non è il punto forte di questo modello.

• AutomationBench — 29,7, davanti solo al 24,9 di Qwen3.6-35B-A3B e 29 punti dietro Qwen3.8-27B.

• GDP.pdf — 5,8, appena sopra il 3,6 di Gemma 4 26B-A4B.

Messi insieme, il riassunto onesto è più ristretto e più utile del comunicato stampa: Raon-1 mini è competitivo nell'adesione alle istruzioni, nella conversazione in coreano, nella calibrazione e nella navigazione in stile ricerca, ed è debole nel recupero delle conoscenze, nel lavoro da terminale e nella chiamata di strumenti. Se il vostro carico di lavoro è un agente che deve concatenare chiamate di funzione in modo affidabile, la tabella depone contro. Se è un assistente in lingua coreana a contesto lungo che segue le istruzioni con precisione, la tabella suggerisce di fare una prova.

Cosa proponeva la pull request di vLLM e cosa ha ritrattato

La pull request è arrivata da un fork KRAFTON — dal branch feat/raon-public-candidate a vllm-project/vllm:main — e la nota dell'autore stesso spiega la chiusura meglio di qualsiasi inferenza: "Sto lavorando per rendere il codice semplice e pulito. Quando sarò pronto, riaprirò questa PR." Il corpo della PR rivela inoltre che OpenAI Codex ha contribuito all'implementazione e che "la revisione umana riga per riga e la conferma della validazione end-to-end sono ancora in sospeso".

Ciò che conteneva conta anche se non è stato accolto, perché è una mappa di ciò che comporta portare questa architettura upstream:

• Registrazione del modello e della configurazione, oltre al caricamento dei checkpoint per i 18 layer RDA e i 7 layer NoPE MLA.

• {{1}}adattatori del parser per reasoning e tool call di raon_1{{/1}} — {{2}}il componente che rende il modello utilizzabile dietro un endpoint compatibile con OpenAI anziché un'API di completamento grezza.{{/2}}

Riutilizzo dei percorsi MXFP8/NVFP4 di ModelOpt upstream, di MLA, della gestione dello stato ibrido e delle interfacce DFlash2, senza forzare alcun backend MoE.

• Kernel raon_fast opzionali per RDA e mHC, oltre a test per configurazione e parser e documentazione.

Circa metà del lavoro è stato validato e metà no, e la PR lo dice chiaramente. Superati: 11 test di configurazione CPU e del parser, hook pre-commit, una build e installazione della wheel exact-base, import nativi di modello, tokenizer e parser, controlli di integrità dei checkpoint pinned, abbinamento delle configurazioni target/draft e risoluzione della configurazione a precisione mista NVFP4. In sospeso, secondo le parole della PR: «generazione reale su GPU, confronti numerici/di qualità del modello, esecuzione backend/kernel, regressioni KDA condivise, correttezza di DFlash2/cache/graph e benchmark di serving». Aggiunge: «Non viene avanzata alcuna pretesa di speedup o di parità con la produzione».

I vincoli del kernel sono il dettaglio che più probabilmente creerà problemi a un team che legge «supporto vLLM» e dà per scontato che scali. I kernel veloci opzionali richiedono SM10x — hardware di classe Blackwell — oltre a tensor parallelism esattamente pari a uno, cronologia delle convoluzioni in BF16, stato ricorrente in FP32 e una toolchain di compilazione CUDA/C++. Pipeline parallelism, expert parallelism e RecoverSSM non sono supportati. In pratica ciò significa che il percorso veloce è un percorso a singola GPU, il che è coerente con l'intera proposta del modello ma incompatibile con il modo in cui la maggior parte delle persone serve effettivamente un modello da 28,8B.

Cosa puoi eseguire questa settimana

KRAFTON distribuisce il proprio fork di vLLM fissato al ref raon-1-mini-preview, documentato su una NVIDIA B300 e servito tramite un'API compatibile con OpenAI con supporto al tool calling. Il comando di avvio documentato utilizza --max-model-len 262144. Tutte le route seguenti sono di KRAFTON e nessuna di esse è upstream:

• vLLM — installa da github.com/krafton-ai/vllm alla revisione bloccata con VLLM_USE_PRECOMPILED=1. Questo è l'unico modo per ottenere gli adattatori del parser del fork e il supporto per DFlash2.

• Transformers — 5.16.1 con accelerate 1.15.0, device_map="auto" e offload su CPU fattibile su una GPU da 32 GB.

• RTX 5090 — il checkpoint NVFP4, contesto da 32.768 token, 2.048 token raggruppati in batch, 8 sequenze e una cache KV FP8 da 3 GiB; richiede CUDA Toolkit 13 con nvcc presente.

• DGX Spark — un container ARM64 su ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, che gestisce un contesto di 128K con non più di 8 sequenze.

• llama.cpp — un ramo KRAFTON e una build GGUF Q4_K_M, con il supporto upstream indicato come in attesa.

• MLX — mlx 0.32.4 e mlx-lm 0.32.2 rispetto al checkpoint MLX separato.

Il modello draft di speculative decoding merita una menzione perché 2,18× è il numero che verrà citato. KRAFTON lo ha misurato su una singola B300 con un modello target MXFP8 e vLLM 0.28.0 con block size 8, e lo descrive come "fino a" 2,18× di throughput in output superiore rispetto al decoding autoregressivo, variabile in base a hardware e carico di lavoro. Si tratta di un benchmark del fornitore su hardware che la maggior parte dei lettori non possiede. È anche il tipo di affermazione che dipende fortemente dal tasso di accettazione, che dipende dalla distribuzione dei tuoi prompt.

Il campionamento non usa i valori predefiniti abituali e vale la pena copiarlo esattamente: temperature 1.0, top_p 0.95, top_k 20, nessuna penalità di ripetizione o frequenza, e penalità di presenza 0 per coding e matematica contro 1,5 per tutto il resto. La modalità di pensiero è attiva per impostazione predefinita e la scheda sconsiglia di disattivarla. Se sbagli la penalità di presenza, concluderai che il modello è peggiore di quanto non sia.

Un'avvertenza operativa che non ha nulla a che vedere con la qualità: fissare un fork è una decisione di supply chain. Si ottiene la build di vLLM di KRAFTON, non il ramo di rilascio upstream — nessuna CI upstream sulla propria configurazione, nessuna patch di sicurezza upstream finché qualcuno non effettua un rebase, e ogni aggiornamento di vLLM diventa un merge anziché un semplice incremento di versione. Per un modello di anteprima in fase di valutazione, si tratta di un compromesso ragionevole. Per una dipendenza di produzione, è l'elemento da inserire nel registro dei rischi accanto al modello stesso.

Come testarlo senza scommetterci sopra

Raon-1 mini non è nel catalogo di OrcaRouter, e nulla di quanto scritto qui va interpretato come un'asserzione contraria: non lo forniamo. Ciò che forniamo è il suo set di confronto, che per l'appunto è il gruppo di controllo adatto: Gemma 4 26B-A4B a $0,06 per milione di token in input e $0,33 per milione di token in output, Qwen3.6-35B-A3B a $0,248 e $1,485, e Qwen3.8-27B a $0,33 e $2,40, tutti al prezzo di listino del provider, senza ricarico. Quelli sono i modelli rispetto ai quali è stato misurato, raggiungibili tramite un'unica chiave, il che rende economico l'esperimento utile: esegui i prompt di KRAFTON sui baseline ospitati ed esegui gli stessi prompt sull'anteprima locale, e verifica se la tabella del fornitore regge ai tuoi dati.

È un uso migliore di una settimana che leggere la tabella con più attenzione. L'installazione del fork richiede un pomeriggio; è il confronto a dirti se un modello con 4,3B di parametri attivi, con un vantaggio di 17,6 punti su IFBench e un deficit di 16,3 punti su Terminal-Bench, è adatto al tuo carico di lavoro. Se una baseline ospitata sta già gestendo traffico, instradarla insieme all'anteprima attraverso un unico endpoint con failover automatico significa che un checkpoint non ancora collaudato non resta mai da solo sul percorso critico — la valutazione può girare nella forma della produzione senza il rischio della produzione.

Cosa cambierebbe questa valutazione?

Quattro cose, in ordine approssimativo di importanza.

Un merge upstream in vLLM, perché trasforma un pin a un fork in un numero di versione e trascina il modello in ogni strumento downstream di packaging, quantizzazione e serving che presuppone il supporto mainline. KRAFTON ha dichiarato che riaprirà la PR quando il codice sarà pronto; l'elenco delle validazioni GPU in sospeso in quella chiusa è una descrizione adeguata di ciò che "pronto" deve significare.

Una valutazione indipendente, perché diciotto righe di fornitori giudicate da un unico modello sono l'opinione di un solo autore su larga scala. Il risultato di AA-Omniscience è il numero più interessante della tabella proprio perché è il tipo di dato che un sistema di test indipendente confermerebbe o distruggerebbe rapidamente.

Il rilascio completo e il rapporto tecnico, perché un'anteprima senza il numero di token di addestramento divulgato non può suffragare alcuna affermazione sull'efficienza dell'addestramento, e l'efficienza è l'intero argomento. Finché non arriva, "addestrato da zero" è un'affermazione sulla provenienza, non sul costo.

E un endpoint ospitato con un prezzo pubblicato, perché al momento l'unico modo per usare Raon-1 mini è eseguirlo, e l'unico modo per calcolarne il prezzo è ammortizzare le tue ore di GPU.

Per ora la descrizione accurata è breve. Raon-1 mini è un modello reale, scaricabile, con licenza Apache-2.0, da 28,8B totali/4,3B attivi, rilasciato il 21 ottobre, con una storia davvero interessante legata alla KV-cache, una tabella di benchmark del fornitore che lo lusinga su quattro righe e lo mette in imbarazzo su tre, uno stack di serving che esiste solo come fork di KRAFTON e una pull request upstream durata 184 secondi. Questo è più utile sia di "KRAFTON ha appena rilasciato gratuitamente un modello di frontiera" sia di "non c'è nulla da vedere finché vLLM non esegue il merge".