Raon-1 mini: el MoE de 28.8B de KRAFTON y el PR de vLLM que duró 184 segundos

A las 06:34:19 UTC del 28 de octubre, se abrió un pull request titulado "[Model] Add Raon-1-mini support" contra vllm-project/vllm. No era un esbozo: 27 archivos, 3.971 líneas añadidas, 22 eliminadas, además de una suite de pruebas y una página de documentación. A las 06:37:23 —tres minutos y cuatro segundos después— se cerró, sin fusionar y aún marcado como borrador. KRAFTON, la editora surcoreana detrás de PUBG, había propuesto incluir su nuevo modelo de pesos abiertos de 28,8B en el motor de inferencia más ampliamente desplegado del mundo, y luego lo retiró antes de que nadie revisara una sola línea.

El modelo que hay detrás del pull request es real, y se puede descargar desde el 21 de octubre. Raon-1 mini es un modelo de mezcla de expertos con atención híbrida que activa unos 4,3B parámetros por token, se distribuye bajo Apache 2.0 y, para el 28 de octubre, tenía 2.208 descargas en el último mes y 221 me gusta en su repositorio de Hugging Face. Lo que aún no existe es el camino ordinario: una instalación estándar de vLLM que pueda servirlo sin una wheel procedente de un fork. Esa brecha —entre un checkpoint en internet y un modelo que puedes incluir en un manifiesto de despliegue— es toda la historia, y, hasta ahora, la cobertura se ha saltado esa brecha en gran medida en favor de la tabla de benchmarks.

Lo que KRAFTON realmente publicó

Los artefactos se publicaron en Hugging Face el 21 de octubre a las 00:14 UTC, que es la fecha que todos los medios especializados coreanos usaron ese mismo día. El índice de safetensors del repositorio principal indica 28.783.218.402 parámetros en BF16 — la cifra de «clase 30B» que aparece en los comunicados de prensa es un redondeo, y 28,8B es el número que hay que trasladar a un plan de capacidad.

• Parámetros totales y activos: 28.8B en total, ~4.3B activos por token.

• Licencia — Apache 2.0 en los pesos, la configuración y los componentes, con uso comercial permitido.

• Acceso — los repositorios tienen acceso restringido, pero el acceso se concede mediante solicitud a través de una casilla de verificación y no parece revisarse manualmente para la mayoría de las solicitudes.

• Variantes: el checkpoint base MXFP8, una compilación NVFP4, un repositorio GGUF, un checkpoint MLX para Apple silicon y un modelo borrador DFlash2 independiente para decodificación especulativa.

• Alojamiento — la barra lateral del repositorio indica que el modelo «no está desplegado por ningún proveedor de inferencia». La tarjeta anuncia una prueba gratuita por tiempo limitado en el propio entorno de pruebas de KRAFTON; no hay ningún precio por token publicado en ningún sitio.

• Lo que la licencia no cubre: los conjuntos de datos de entrenamiento de KRAFTON, su metodología de entrenamiento, el software no distribuido y la API y el playground alojados, que se rigen por términos separados.

Es una vista previa, y KRAFTON lo etiqueta así en la primera línea de la ficha. La compañía dice que se planea un lanzamiento completo junto con un informe técnico que abarca «el proceso de entrenamiento y el rendimiento final». No se dio ninguna fecha, y el número de tokens de entrenamiento no se divulga en ningún lugar de la ficha, lo cual es el mayor vacío en cualquier afirmación sobre la eficiencia de entrenamiento de este modelo.

El planteamiento de KRAFTON es el costo. El director de IA, Kangwook Lee, lo describió como el producto de «capacidades de I+D de IA acumuladas durante más de 5 años» y dijo que la empresa tiene la intención de usar un LLM más económico para «ampliar el alcance del uso de la IA en diversas industrias». Raon-1 mini es el primer modelo de lenguaje de la marca Raon, que KRAFTON ha utilizado desde abril para lanzamientos de voz, TTS y codificadores de visión.

La arquitectura es donde radica la verdadera apuesta

Una proporción de 3:1 entre capas de atención lineal y de atención completa es la parte que vale la pena entender, porque todo lo demás acerca de la economía de servicio del modelo se deriva de ella.

• Capas — 25 en total, divididas en 18 capas Raon Delta Attention (RDA) y 7 capas MLA con compuerta.

• Expertos — 128 en total, 6 enrutados más 1 compartido activo por token, con un tamaño intermedio de experto de 1.088.

• Dimensiones — tamaño oculto 2.560, 40 cabezas de atención en ambos tipos de capa, dimensión de cabeza RDA 128, MLA con compuerta a 192 QK / 128 V con rango LoRA de consulta y KV de 576 / 512.

• Codificación de posición — NoPE, sin embedding rotatorio en ninguna parte de la pila.

• Vocabulario — 259.840 tokens, con una cabeza LM independiente.

• Activación y residuales — SiTU-GLU, con conexiones residuales Raon-mHC a través de cuatro flujos.

RDA es la modificación que KRAFTON hace de Kimi Delta Attention, y el cambio que describe es específico: desacoplar las compuertas de borrado y escritura y aplicar un escalado independiente de la compuerta de escritura después de la convolución, de modo que se preserva el historial de convolución sin procesar en lugar de sobrescribirse. Se describe Raon-mHC como una implementación más económica del mHC de DeepSeek. Ninguna de las dos es una invención desde cero, y eso no es una crítica: «trained from scratch» en la ficha se refiere a que KRAFTON diseñó y preentrenó el modelo con sus propios datos, no a reinventar cada bloque que lo compone. Dos de las tres técnicas destacadas del modelo son versiones rediseñadas de otras ya publicadas, y la tercera es un esquema híbrido 3:1 al que otros laboratorios también han convergido.

El beneficio es la caché KV. Como solo las 7 capas MLA con compuerta retienen una, la tarjeta sitúa el coste en aproximadamente 8 KiB por token en BF16. Con el contexto completo de 262.144 tokens, eso supone unos 2 GiB por secuencia —una cifra que cabe cómodamente en una sola tarjeta de 32 GB y que no cabría en absoluto si las 25 capas almacenaran caché. Esta es la verdadera afirmación de producto que se esconde bajo la tabla de benchmarks: no que Raon-1 mini sea más inteligente que sus rivales, sino que la inferencia con contexto largo en él es lo bastante barata como para ejecutarse en hardware que quizá ya tengas.

La tabla de evaluación comparativa, contada en lugar de resumida

Todas las cifras que aparecen a continuación son de KRAFTON. A fecha de 28 de octubre, no existe ninguna entrada de Artificial Analysis para Raon-1 mini —el modelo no aparece en absoluto en la lista de modelos del sitio—, no tiene posición en la arena ni reproducción por parte de terceros. Las evaluaciones de la ficha utilizaron gpt-5.6-luna como juez y como simulador de usuario en todo momento, algo que se declara, pero que no es independiente. Conviene leer las cifras como una afirmación del proveedor con un apéndice inusualmente detallado.

La tabla tiene 18 filas y cinco columnas: Raon-1 mini preview frente a Qwen3.6-35B-A3B y Gemma 4 26B-A4B como pares MoE, con Qwen3.8-27B y Muse Glimmer 30B mostrados como referencias densas. El resaltado en rojo de KRAFTON marca la mejor puntuación dentro del grupo MoE, lo cual es una afirmación más restringida que "mejor" y por eso la frase de prensa sobre superar a "modelos extranjeros de tamaño similar" requiere cuidado.

Si se cuenta correctamente, Raon-1 mini es el mejor absoluto de las cinco columnas en cuatro filas:

• AA-Omniscience — 3,5, frente a −7,2 de Qwen3.6-35B-A3B, −0,5 de Qwen3.8-27B, −34,7 de Muse Glimmer 30B y −46,6 de Gemma 4 26B-A4B. Es la única puntuación positiva de la columna, lo que dice algo real sobre la calibración aunque la cifra absoluta sea pequeña.

• IFBench — 84,2, frente a 82,4 de Qwen3.8-27B y 66,6 de Qwen3.6-35B-A3B. Una diferencia de 17,6 puntos respecto a su par MoE más cercano en seguimiento de instrucciones es el resultado individual más sólido de la tabla.

• LiveCodeBench v6 — 81,6, por delante de 81,2, 83,4, 79,3 y 77,4. Ajustado, y una victoria por cuatro décimas de punto sobre Qwen3.6-35B-A3B.

• Chatbot en coreano — 92,9, frente a 90,6, 90,1, 87,0 y 74,5. Este es el benchmark interno propio de KRAFTON, explícitamente no publicado al público, por lo que es la cifra menos verificable de la página y en la que se basa el posicionamiento del modelo.

También encabeza el grupo MoE en GPQA Diamond (84.3) y SWE-Verified (70.8, su mayor margen en agentes de programación, con 7.6 puntos de ventaja sobre Qwen3.6-35B-A3B), aunque pierde ambas frente a Qwen3.8-27B con 89.7 y 74.6. Ese patrón —vence en su propia categoría de peso y pierde ante el modelo denso una talla superior— se repite en toda la tabla.

Las pérdidas no son marginales y se concentran en un solo lugar:

• Terminal-Bench Lite — 47,0. Esta es la peor puntuación de su propia fila de comparación, 16,3 puntos por detrás de Qwen3.6-35B-A3B y 23,7 por detrás de Muse Glimmer 30B.

• MMLU Pro — 76.5, último de los cinco, 9,4 puntos por detrás de Qwen3.6-35B-A3B.

• BFCL v4 — 59.8, por detrás de los tres rivales MoE y densos salvo Muse Glimmer, es decir, el llamado a funciones no es el punto fuerte de este modelo.

• AutomationBench — 29,7, por delante únicamente de los 24,9 de Qwen3.6-35B-A3B y 29 puntos por detrás de Qwen3.8-27B.

• GDP.pdf — 5.8, apenas por encima del 3.6 de Gemma 4 26B-A4B.

En conjunto, el resumen honesto es más limitado y más útil que la nota de prensa: Raon-1 mini es competitivo en seguimiento de instrucciones, conversación en coreano, calibración y navegación tipo búsqueda, y es débil en recuperación de conocimiento, trabajo en terminal y llamadas a herramientas. Si tu carga de trabajo es un agente que debe encadenar llamadas a funciones de forma fiable, la tabla argumenta en contra. Si es un asistente en coreano de contexto largo que sigue las instrucciones con precisión, la tabla argumenta a favor de probarlo.

Qué proponía la pull request de vLLM y de qué se retractó

La pull request provino de un {{1}}fork de KRAFTON{{/1}} —rama {{2}}feat/raon-public-candidate{{/2}} hacia {{3}}vllm-project/vllm:main{{/3}}— y la propia nota del autor explica el cierre mejor que cualquier inferencia: «Estoy trabajando en hacer un código simple y limpio. Cuando esté listo, volveré a abrir este PR». El cuerpo del PR también indica que {{4}}OpenAI Codex{{/4}} ayudó con la implementación y que «la revisión humana línea por línea y la confirmación de validación de extremo a extremo aún están pendientes».

Lo que contenía importa aunque no llegara a integrarse, porque es un mapa de lo que implica llevar esta arquitectura upstream:

• Registro del modelo y de la configuración, además de la carga de checkpoints para las 18 capas RDA y las 7 capas NoPE MLA.

• adaptadores de análisis de razonamiento y de llamadas a herramientas de raon_1: la pieza que hace que el modelo sea utilizable detrás de un endpoint compatible con OpenAI en lugar de una API de completado sin procesar.

• Reutilización de las rutas upstream de ModelOpt MXFP8/NVFP4, MLA, la gestión de estado híbrido y las interfaces de DFlash2, sin forzar ningún backend de MoE.

• Kernels opcionales de raon_fast para RDA y mHC, además de pruebas de configuración y del parser, y documentación.

Aproximadamente la mitad del trabajo se validó y la otra mitad no, y el PR lo dice claramente. Aprobado: 11 pruebas de configuración de CPU y del parser, hooks de pre-commit, una compilación e instalación de wheel desde la base exacta, importaciones del modelo nativo, el tokenizador y el parser, comprobaciones de integridad de checkpoints fijados, emparejamiento de configuración target/draft y resolución de configuración de precisión mixta NVFP4. Pendiente, en palabras del propio PR: «generación real en GPU, comparaciones numéricas/de calidad del modelo, ejecución de backend/kernel, regresiones compartidas de KDA, corrección de DFlash2/caché/grafo y benchmarks de servicio». Añade: «No se hace ninguna afirmación de aceleración ni de paridad con producción».

Las restricciones de los kernels son el detalle que con mayor probabilidad acabará pasando factura a un equipo que lea «compatible con vLLM» y dé por hecho que escala. Los kernels rápidos opcionales requieren SM10x —hardware de clase Blackwell—, además de paralelismo tensorial de exactamente uno, historial de convolución en BF16, estado recurrente en FP32 y una cadena de herramientas de compilación de CUDA/C++. No se admiten el paralelismo de pipeline, el paralelismo de expertos ni RecoverSSM. En la práctica, eso significa que la ruta rápida es una ruta de una sola GPU, lo que encaja con el planteamiento general del modelo, pero es incompatible con la forma en que la mayoría de la gente sirve realmente un modelo de 28,8B.

Qué puedes correr esta semana

KRAFTON distribuye su propio fork de vLLM fijado en la referencia raon-1-mini-preview, documentado para una NVIDIA B300 y servido mediante una API compatible con OpenAI con llamada a herramientas. El lanzamiento documentado usa --max-model-len 262144. Todas las rutas siguientes son propias de KRAFTON, y ninguna de ellas es upstream:

• vLLM — instalar desde github.com/krafton-ai/vllm en el ref fijado con VLLM_USE_PRECOMPILED=1. Esta es la única vía para acceder a los adaptadores de parser del fork y al soporte de DFlash2.

• Transformers — 5.16.1 con accelerate 1.15.0, device_map="auto" y offload a CPU viable en una GPU de 32 GB.

• RTX 5090 — el checkpoint NVFP4, contexto de 32.768 tokens, 2.048 tokens por lote, 8 secuencias y una caché KV FP8 de 3 GiB; requiere CUDA Toolkit 13 con nvcc disponible.

• DGX Spark — un contenedor ARM64 en ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, que ejecuta un contexto de 128K con no más de 8 secuencias.

• llama.cpp — una rama de KRAFTON y una compilación GGUF Q4_K_M, con el soporte upstream indicado como pendiente.

• MLX — mlx 0.32.4 y mlx-lm 0.32.2 con el checkpoint separado de MLX.

El modelo draft de decodificación especulativa merece una nota porque 2,18× es la cifra que se citará. KRAFTON lo midió en una única B300 con un modelo objetivo MXFP8 y vLLM 0.28.0 con tamaño de bloque 8, y lo describe como "hasta" 2,18× más rendimiento de salida que la decodificación autoregresiva, variando según el hardware y la carga de trabajo. Es un benchmark de fabricante en hardware que la mayoría de los lectores no tiene. También es el tipo de afirmación que depende en gran medida de la tasa de aceptación, que depende de la distribución de tus prompts.

El muestreo no usa los valores predeterminados habituales y merece la pena copiarlo exactamente: temperatura 1.0, top_p 0.95, top_k 20, sin penalización por repetición ni por frecuencia, y penalización de presencia 0 para programación y matemáticas frente a 1,5 para todo lo demás. El modo de pensamiento está activado de forma predeterminada y la tarjeta recomienda no desactivarlo. Si te equivocas con la penalización de presencia, concluirás que el modelo es peor de lo que es.

Una advertencia operativa que no tiene nada que ver con la calidad: fijar un fork es una decisión de cadena de suministro. Obtienes la compilación de vLLM de KRAFTON, no el tren de versiones upstream: no hay CI upstream para tu configuración, no hay parches de seguridad upstream hasta que alguien haga rebase, y cada actualización de vLLM se convierte en una fusión en lugar de un cambio de versión. Para un modelo de vista previa que se está evaluando, es un compromiso razonable. Para una dependencia de producción, es lo que hay que poner en el registro de riesgos junto al modelo en sí.

Cómo probarlo sin apostar por ello

Raon-1 mini no está en el catálogo de OrcaRouter, y nada de lo que aquí se dice debe interpretarse como una afirmación en sentido contrario: no lo servimos. Lo que sí servimos es su conjunto de comparación, que resulta ser el grupo de control adecuado: Gemma 4 26B-A4B a $0.06 por millón de tokens de entrada y $0.33 por millón de tokens de salida, Qwen3.6-35B-A3B a $0.248 y $1.485, y Qwen3.8-27B a $0.33 y $2.40, todos al precio de lista del proveedor y sin recargo. Esos son los modelos con los que se lo comparó, accesibles a través de una sola clave, lo que abarata el experimento útil: ejecutar los propios prompts de KRAFTON contra las líneas base alojadas y ejecutar esos mismos prompts contra la vista previa local, y comprobar si la tabla del proveedor se sostiene con sus datos.

Eso es un mejor uso de una semana que leer la tabla con más detenimiento. La instalación del fork es cosa de una tarde; la comparación es lo que te dice si un modelo con 4.3B activos, una ventaja de 17.6 puntos en IFBench y una desventaja de 16.3 puntos en Terminal-Bench se ajusta a tu carga de trabajo. Si una línea base alojada ya está gestionando tráfico, enrutarla junto con la preview a través de un único endpoint con conmutación por error automática significa que un checkpoint no probado nunca queda solo en la ruta crítica: la evaluación puede ejecutarse con la forma de producción sin el riesgo de producción.

¿Qué cambiaría esta evaluación?

Cuatro cosas, en un orden aproximado de importancia.

Una fusión upstream en vLLM, porque convierte un pin de fork en un número de versión y arrastra el modelo a todas las herramientas downstream de empaquetado, cuantización y serving que asumen soporte de la línea principal. KRAFTON ha dicho que reabrirá el PR cuando el código esté listo; la lista de validaciones de GPU pendientes en el PR cerrado es una descripción justa de lo que tiene que significar «listo».

Una evaluación independiente, porque dieciocho filas de proveedores juzgadas por un solo modelo son la opinión de un autor a escala. El resultado de AA-Omniscience es el número más interesante de la tabla precisamente porque es el tipo de cosa que un arnés independiente confirmaría o destruiría rápidamente.

El lanzamiento completo y el informe técnico, porque una vista previa que no revela el número de tokens de entrenamiento no puede respaldar ninguna afirmación sobre la eficiencia del entrenamiento, y la eficiencia es todo el argumento. Hasta que eso llegue, «entrenado desde cero» es una afirmación sobre la procedencia, no sobre el costo.

Y un endpoint alojado con un precio publicado, porque ahora mismo la única forma de usar Raon-1 mini es ejecutarlo, y la única forma de ponerle precio es amortizar tus propias horas de GPU.

Por ahora, la descripción precisa es breve. Raon-1 mini es un modelo real, descargable, con licencia Apache-2.0, de 28,8B en total y 4,3B activos, publicado el 21 de octubre, con una historia genuinamente interesante en torno a la caché KV, una tabla de benchmarks del proveedor que lo favorece en cuatro filas y lo deja en evidencia en tres, una pila de servicio que solo existe como fork de KRAFTON y una solicitud de extracción upstream que duró 184 segundos. Eso es más útil que tanto «KRAFTON acaba de lanzar gratis un modelo de frontera» como «nada que ver hasta que vLLM lo integre».