Raon-1 mini: KRAFTON의 28.8B MoE, 그리고 184초 만에 끝난 vLLM PR

10월 28일 06:34:19 UTC에 vllm-project/vllm 저장소를 대상으로 "[모델] Raon-1-mini 지원 추가"라는 제목의 풀 리퀘스트가 열렸습니다. 스텁이 아니었습니다. 파일 27개, 3,971줄 추가, 22줄 삭제에 테스트 스위트와 문서 페이지까지 갖추고 있었습니다. 그로부터 3분 4초 뒤인 06:37:23에 이 PR은 병합되지 않은 채 닫혔고, 여전히 초안으로 표시되어 있었습니다. PUBG의 한국 퍼블리셔인 KRAFTON은 자사의 새로운 28.8B 오픈 웨이트 모델을 세계에서 가장 널리 배포된 추론 엔진에 넣자고 제안했다가, 누구도 단 한 줄도 검토하기 전에 철회한 것입니다.

풀 리퀘스트 뒤에 있는 모델은 실재하며, 10월 21일부터 다운로드할 수 있었다. Raon-1 mini는 토큰당 약 43억 개의 파라미터를 활성화하는 하이브리드 어텐션 전문가 혼합 모델로, Apache 2.0 라이선스로 배포되며, 10월 28일 기준 최근 한 달 동안 2,208회 다운로드와 Hugging Face 저장소에서 221개의 좋아요를 기록했다. 아직 존재하지 않는 것은 평범한 경로, 즉 포크된 휠 없이 이 모델을 서빙할 수 있는 표준 vLLM 설치다. 인터넷상의 체크포인트와 배포 매니페스트에 넣을 수 있는 모델 사이의 그 간극이 이야기의 전부인데, 지금까지의 보도는 대부분 벤치마크 표에 밀려 그 간극을 건너뛰었다.

KRAFTON이 실제로 공개한 것

아티팩트는 10월 21일 00:14 UTC에 Hugging Face에 공개되었으며, 이는 국내 모든 업계 매체가 같은 날 사용한 날짜입니다. 메인 저장소의 safetensors 인덱스는 BF16 기준 28,783,218,402개의 파라미터를 보고합니다 — 보도자료의 "30B급" 수치는 반올림한 것이며, 용량 계획에 반영해야 할 수치는 28.8B입니다.

• 전체 및 활성 파라미터 — 총 28.8B, 토큰당 활성 파라미터 약 4.3B.

• 라이선스 — 가중치, 구성, 구성 요소에 Apache 2.0이 적용되며 상업적 사용이 허용됩니다.

• 접근 권한 — 리포지토리는 제한되어 있으나, 체크박스를 통해 요청하면 접근 권한이 부여되며, 대부분의 요청은 수동으로 검토되지 않는 것으로 보입니다.

• 변형 — 기본 MXFP8 체크포인트, NVFP4 빌드, GGUF 저장소, Apple 실리콘용 MLX 체크포인트, 그리고 추측성 디코딩을 위한 별도의 DFlash2 드래프트 모델.

• 호스팅 — 저장소 사이드바에는 해당 모델이 "어떤 Inference Provider에 의해서도 배포되지 않았다"고 표시됩니다. 카드에는 KRAFTON 자체 플레이그라운드에서 제공되는 기간 한정 무료 체험이 광고되어 있으며, 어디에도 공개된 토큰당 가격은 없습니다.

• 라이선스가 다루지 않는 범위 — KRAFTON의 학습 데이터셋, 학습 방법론, 배포되지 않은 소프트웨어, 그리고 별도의 약관에 따라 운영되는 호스팅 API와 플레이그라운드.

이것은 프리뷰이며, KRAFTON은 카드의 첫 줄에서 그렇게 표기한다. 회사는 "학습 과정과 최종 성능"을 다루는 기술 보고서와 함께 정식 출시가 계획되어 있다고 밝혔다. 날짜는 제시되지 않았고, 학습 토큰 수는 카드 어디에도 공개되지 않았다. 이는 이 모델의 학습 효율성에 관한 어떤 주장에서도 가장 큰 결점이다.

KRAFTON 측의 프레이밍은 비용이다. 최고 AI 책임자(Chief AI Officer) 이강욱은 이를 "5년 넘게 축적된 AI R&D 역량"의 산물이라고 설명하며, 회사는 더 저렴한 LLM을 사용해 "다양한 산업 전반에서 AI 활용 범위를 확장"할 계획이라고 말했다. Raon-1 mini는 KRAFTON이 지난 4월부터 음성, TTS, 비전 인코더 출시에 사용해 온 Raon 브랜드의 첫 언어 모델이다.

아키텍처가 바로 진짜 승부가 걸린 곳이다

선형 어텐션 레이어 대 전체 어텐션 레이어의 3:1 비율이 이해할 가치가 있는 부분입니다. 모델의 서빙 경제성에 관한 나머지 모든 것이 여기에서 비롯되기 때문입니다.

• 레이어 — 총 25개로, 18개의 Raon Delta Attention(RDA) 레이어와 7개의 게이트형 MLA 레이어로 나뉩니다.

• 전문가 — 총 128개, 토큰당 6개 라우팅 + 1개 공유 활성, 전문가 중간 크기 1,088.

• 차원 — 히든 크기 2,560, 두 레이어 유형 모두에서 40개의 어텐션 헤드, RDA 헤드 차원 128, 192 QK / 128 V의 게이트된 MLA, 쿼리 및 KV LoRA 랭크 576 / 512.

• 위치 인코딩 — NoPE를 사용하며, 스택 전체 어디에도 회전 임베딩이 존재하지 않습니다.

• 어휘 — 259,840개 토큰, LM 헤드는 분리됨.

• 활성화 및 잔차 — SiTU-GLU, 4개 스트림에 걸친 Raon-mHC 잔차 연결 포함.

RDA는 KRAFTON이 Kimi Delta Attention을 수정한 것이며, 그것이 설명하는 변경은 구체적입니다: erase 게이트와 write 게이트를 분리하고 컨볼루션 이후에 독립적인 write-gate 스케일링을 적용하여, 원시 컨볼루션 이력이 덮어써지지 않고 보존되도록 하는 것입니다. Raon-mHC는 DeepSeek의 mHC를 더 저렴하게 구현한 것으로 설명됩니다. 둘 다 처음부터 새로 발명한 것은 아니며, 그것이 비판은 아닙니다 — 카드에서 "trained from scratch"는 KRAFTON이 자체 데이터로 모델을 설계하고 사전학습했다는 뜻이지, 그 안의 모든 블록을 새로 발명했다는 뜻은 아닙니다. 모델의 세 가지 대표 기법 중 두 가지는 공개된 기법을 재설계한 버전이고, 세 번째는 다른 연구소들도 수렴한 3:1 하이브리드 스케줄입니다.

이득은 KV 캐시에서 나온다. 게이트된 MLA 레이어 7개만 KV 캐시를 유지하기 때문에, 이 카드는 비용을 BF16에서 토큰당 약 8 KiB로 제시한다. 전체 262,144토큰 컨텍스트에서는 시퀀스당 약 2 GiB가 되는데, 이 수치는 32 GB 카드 한 장에 충분히 들어가며, 25개 레이어가 모두 캐시한다면 전혀 들어가지 않을 것이다. 이것이 벤치마크 표 아래에 숨어 있는 실제 제품 주장이다. Raon-1 mini가 경쟁 모델보다 더 똑똑하다는 것이 아니라, 그 모델에서의 긴 컨텍스트 추론이 이미 보유하고 있을 수도 있는 하드웨어에서 실행할 수 있을 만큼 저렴하다는 것이다.

요약하지 않고 집계한 벤치마크 표

아래의 모든 수치는 KRAFTON의 것입니다. 10월 28일 현재 Artificial Analysis에는 Raon-1 mini 항목이 없습니다 — 이 모델은 사이트의 모델 목록에 아예 나타나지 않으며 — 아레나 배치도, 제3자 재현도 없습니다. 카드의 평가는 전반에 걸쳐 gpt-5.6-luna를 심사자 및 사용자 시뮬레이터로 사용했으며, 이는 공개되어 있으나 독립적이지 않습니다. 이 수치들은 이례적으로 상세한 부록이 딸린 공급업체의 주장으로 읽어야 합니다.

표는 18개 행과 5개 열로 구성된다: Raon-1 mini 프리뷰를 MoE 동급 모델인 Qwen3.6-35B-A3B 및 Gemma 4 26B-A4B와 비교해 보여주고, Qwen3.8-27B와 Muse Glimmer 30B는 dense 참조 모델로 제시한다. KRAFTON의 빨간 강조 표시는 최고 점수를 MoE 그룹 내에서표시하며, 이는 “최고”보다 좁은 주장이므로 “비슷한 크기의 해외 모델”을 이겼다는 보도 문구에는 주의가 필요하다.

제대로 따져 보면, Raon-1 mini는 네 개 행에서 다섯 개 열 전체를 통틀어 단연 최고입니다:

• AA-Omniscience — 3.5, Qwen3.6-35B-A3B의 −7.2, Qwen3.8-27B의 −0.5, Muse Glimmer 30B의 −34.7, Gemma 4 26B-A4B의 −46.6과 대비된다. 이 열에서 유일한 양수 점수이며, 절대 수치는 작지만 보정(calibration)에 관해 실질적인 의미를 전해준다.

• IFBench — 84.2로, Qwen3.8-27B의 82.4, Qwen3.6-35B-A3B의 66.6과 대비됩니다. 지시 수행에서 가장 가까운 MoE 피어보다 17.6점 앞선 이 결과는 표에서 가장 강력한 단일 결과입니다.

• LiveCodeBench v6 — 81.6으로, 81.2, 83.4, 79.3, 77.4보다 앞섰습니다. 근소한 차이이며, Qwen3.6-35B-A3B보다 0.4점 앞선 승리입니다.

• 챗봇 한국어 — 92.9, 90.6, 90.1, 87.0, 74.5와 비교. 이는 KRAFTON 자체 내부 벤치마크로, 명시적으로 공개되지 않았기에 페이지에서 가장 검증하기 어려운 수치이며, 모델의 포지셔닝이 기대고 있는 수치다.

또한 GPQA Diamond(84.3)와 SWE-Verified(70.8, Qwen3.6-35B-A3B를 7.6점 차로 앞선 코딩 에이전트 부문 최대 격차)에서 MoE 그룹을 1위로 차지하지만, 둘 다 Qwen3.8-27B에 89.7과 74.6으로 뒤진다. 자신의 체급은 이기고 한 단계 위의 dense 모델에는 지는 이 패턴이 표 전체에서 반복된다.

손실은 미미한 수준이 아니며 한 곳에 집중되어 있습니다:

• Terminal-Bench Lite — 47.0. 이는 해당 비교 행에서 가장 낮은 점수로, Qwen3.6-35B-A3B보다 16.3점, Muse Glimmer 30B보다 23.7점 낮습니다.

• MMLU Pro — 76.5, 다섯 개 중 최하위, Qwen3.6-35B-A3B보다 9.4점 뒤처짐.

• BFCL v4 — 59.8로, Muse Glimmer를 제외한 세 가지 MoE 및 dense 경쟁 모델 모두에 뒤처짐. 즉, 함수 호출은 이 모델이 강점을 보이는 영역이 아님.

• AutomationBench — 29.7로, Qwen3.6-35B-A3B의 24.9보다만 앞서고 Qwen3.8-27B보다는 29점 뒤처집니다.

• GDP.pdf — 5.8, Gemma 4 26B-A4B의 3.6보다 겨우 높은 수준.

종합해 보면, 솔직한 요약은 보도자료보다 범위가 좁고 더 유용합니다. Raon-1 mini는 지시 따르기, 한국어 대화, 캘리브레이션, 검색형 브라우징에서는 경쟁력이 있고, 지식 회상, 터미널 작업, 도구 호출에서는 약합니다. 워크로드가 함수 호출을 안정적으로 연쇄해야 하는 에이전트라면, 이 표는 그 선택에 반대하는 근거를 제시합니다. 정확히 지시를 따르는 장문 맥락 한국어 어시스턴트라면, 이 표는 테스트해 볼 근거를 제시합니다.

vLLM 풀 리퀘스트가 제안했던 것과 철회한 것

풀 리퀘스트는 KRAFTON 포크에서 나왔습니다 — feat/raon-public-candidate 브랜치를 vllm-project/vllm:main으로 — 그리고 작성자 본인의 메모가 어떤 추측보다도 이 종료 사유를 잘 설명합니다: "간단하고 깔끔한 코드를 만들기 위해 작업 중입니다. 준비되면 이 PR을 다시 열겠습니다." PR 본문은 또한 OpenAI Codex가 구현을 도왔으며 "사람의 줄별 검토와 엔드투엔드 검증 확인은 아직 대기 중입니다."라고 밝히고 있습니다.

비록 그것이 받아들여지지는 않았지만, 그 안에 담긴 내용은 중요하다. 왜냐하면 그것은 이 아키텍처를 업스트림하는 데 무엇이 필요한지를 보여주는 지도이기 때문이다:

• 모델 및 구성 등록과 18개 RDA 및 7개 NoPE MLA 레이어에 대한 체크포인트 로딩.

• {{1}}raon_1 추론 및 도구 호출 파서 어댑터{{/1}} — 원시 컴플리션 API가 아니라 OpenAI 호환 엔드포인트 뒤에서 모델을 사용할 수 있게 해주는 부분입니다.

• 업스트림 ModelOpt MXFP8/NVFP4 경로, MLA, 하이브리드 상태 처리 및 DFlash2 인터페이스를 재사용하며, MoE 백엔드를 강제하지 않습니다.

• RDA 및 mHC용 선택적 raon_fast 커널과 구성 및 파서 테스트 및 문서.

작업의 약 절반은 검증되었고 절반은 검증되지 않았으며, PR은 이를 분명히 밝히고 있습니다. 통과: 11개의 CPU 구성 및 파서 테스트, pre-commit 훅, 정확한 베이스(exact-base) 휠 빌드 및 설치, 네이티브 모델, 토크나이저 및 파서 임포트, 고정된 체크포인트 무결성 검사, 타깃/드래프트 구성 페어링, NVFP4 혼합 정밀도 구성 해석. 보류 중인 항목은 PR 자체의 표현대로: "실제 GPU 생성, 수치/모델 품질 비교, 백엔드/커널 실행, 공유 KDA 회귀, DFlash2/캐시/그래프 정확성, 서빙 벤치마크." 또한 "속도 향상이나 프로덕션 동등성 주장은 하지 않습니다."라고 덧붙입니다.

커널 제약 조건은 "vLLM 지원"이라는 문구를 보고 확장성이 있다고 가정하는 팀이 가장 크게 발목 잡힐 수 있는 세부 사항입니다. 선택적 고속 커널은 SM10x, 즉 Blackwell급 하드웨어와 정확히 1인 텐서 병렬 처리, BF16 컨볼루션 이력, FP32 리커런트 상태, CUDA/C++ 빌드 툴체인을 요구합니다. 파이프라인 병렬 처리, 전문가 병렬 처리, RecoverSSM은 지원되지 않습니다. 실제로 이는 고속 경로가 단일 GPU 경로임을 의미하며, 이는 모델의 전체적인 판매 포인트와는 일치하지만 대부분의 사람이 실제로 28.8B 모델을 서비스하는 방식과는 호환되지 않습니다.

이번 주에 실행할 수 있는 것

KRAFTON은 ref raon-1-mini-preview에 고정된 자체 vLLM 포크를 배포하며, 이는 NVIDIA B300을 기준으로 문서화되어 있고 도구 호출을 지원하는 OpenAI 호환 API를 통해 제공됩니다. 문서화된 실행은 --max-model-len 262144를 사용합니다. 아래의 모든 라우트는 KRAFTON 자체 것이며, 그중 어느 것도 업스트림이 아닙니다:

• vLLM — github.com/krafton-ai/vllm의 고정된 ref에서 VLLM_USE_PRECOMPILED=1로 설치하세요. 이 경로만이 포크의 파서 어댑터와 DFlash2 지원을 이용할 수 있는 유일한 방법입니다.

• Transformers — 5.16.1, accelerate 1.15.0, device_map="auto" 및 CPU 오프로드를 사용하면 32GB GPU에서 실행 가능합니다.

• RTX 5090 — NVFP4 체크포인트, 32,768토큰 컨텍스트, 2,048 배치 토큰, 8개 시퀀스 및 3 GiB FP8 KV 캐시; nvcc가 포함된 CUDA Toolkit 13이 필요합니다.

• DGX Spark — ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534의 ARM64 컨테이너로, 최대 8개 시퀀스에서 128K 컨텍스트를 실행합니다.

• llama.cpp — KRAFTON 브랜치 및 GGUF Q4_K_M 빌드이며, 업스트림 지원은 보류 중으로 표시되어 있습니다.

• MLX — 별도의 MLX 체크포인트를 대상으로 mlx 0.32.4 및 mlx-lm 0.32.2.

투기적 디코딩 드래프트 모델은 주목할 만한데, 2.18×가 인용될 숫자이기 때문이다. KRAFTON은 MXFP8 타깃 모델과 vLLM 0.28.0, 블록 크기 8로 단일 B300에서 이를 측정했으며, 하드웨어와 워크로드에 따라 달라지지만 자기회귀 디코딩보다 출력 처리량이 "최대" 2.18× 더 높다고 설명한다. 이는 대부분의 독자가 보유하지 않은 하드웨어에서 나온 벤더 벤치마크다. 또한 수용률에 크게 의존하는 종류의 주장이며, 수용률은 프롬프트 분포에 달려 있다.

샘플링은 일반적인 기본값이 아니며 그대로 복사할 가치가 있습니다: temperature 1.0, top_p 0.95, top_k 20, 반복 또는 빈도 페널티 없음, 그리고 코딩과 수학에는 presence penalty 0, 그 외 모든 경우에는 1.5입니다. Thinking 모드는 기본적으로 켜져 있으며 카드에서는 이를 끄지 말라고 권고합니다. presence penalty를 잘못 설정하면 모델을 실제보다 더 나쁘다고 결론 내리게 됩니다.

품질과는 무관한 운영상 주의점이 하나 있습니다. 포크 고정(fork pin)은 공급망 결정입니다. 여러분은 업스트림 릴리스 트레인이 아니라 KRAFTON이 빌드한 vLLM을 사용하게 됩니다. 즉, 여러분의 구성에 대한 업스트림 CI가 없고, 누군가 리베이스하기 전까지는 업스트림 보안 패치도 없으며, vLLM을 업그레이드할 때마다 버전 범프가 아니라 병합이 필요해집니다. 평가 중인 프리뷰 모델이라면 이는 합리적인 트레이드오프입니다. 프로덕션 의존성이라면 이는 모델 자체와 나란히 리스크 레지스터에 올려야 할 항목입니다.

그것에 베팅하지 않고 어떻게 테스트하나요?

Raon-1 mini는 OrcaRouter 카탈로그에 없으며, 이 글의 어떤 내용도 그와 반대로 주장하는 것으로 읽혀서는 안 됩니다 — 우리는 이를 제공하지 않습니다. 우리가 제공하는 것은 그것의 비교 세트이며, 이는 마침 적절한 통제군입니다: Gemma 4 26B-A4B는 백만 입력 토큰당 $0.06, 백만 출력 토큰당 $0.33, Qwen3.6-35B-A3B는 $0.248 및 $1.485, Qwen3.8-27B는 $0.33 및 $2.40이며, 모두 마크업 없이 제공업체 정가입니다. 그것들은 바로 그것이 측정 대상으로 삼았던 모델들이며, 하나의 키로 접근할 수 있어 유용한 실험을 저렴하게 만듭니다: KRAFTON 자체 프롬프트를 호스팅된 베이스라인에 대해 실행하고 동일한 프롬프트를 로컬 프리뷰에 대해 실행하여, 벤더 표가 여러분의 데이터에서도 살아남는지 확인해 보십시오.

그것이 표를 더 들여다보는 것보다 일주일을 더 잘 쓰는 방법이다. 포크 설치는 오후 하나면 되고, 비교가 바로 17.6포인트의 IFBench 우위와 16.3포인트의 Terminal-Bench 열세를 지닌 4.3B 활성 모델이 당신의 워크로드에 맞는지를 알려주는 것이다. 호스팅된 베이스라인이 이미 트래픽을 처리하고 있다면, 자동 페일오버가 있는 하나의 엔드포인트를 통해 프리뷰와 나란히 라우팅하는 것은 검증되지 않은 체크포인트가 크리티컬 패스에 홀로 놓이는 일이 없음을 뜻한다 — 평가는 프로덕션 위험 없이 프로덕션 형태로 돌릴 수 있다.

이 평가를 바꿀 수 있는 것은 무엇입니까

네 가지를, 대략적인 중요도 순으로.

업스트림 vLLM 병합은 포크 핀을 버전 번호로 바꾸고, 해당 모델을 메인라인 지원을 전제로 하는 모든 다운스트림 패키징, 양자화, 서빙 도구로 끌어들이기 때문에 필요합니다. KRAFTON은 코드가 준비되면 PR을 다시 열겠다고 밝혔으며, 닫힌 PR에 남아 있는 GPU 검증 대기 목록은 "준비됨"이 무엇을 의미해야 하는지를 잘 보여줍니다.

독립적인 평가입니다. 단일 모델이 판정한 18개의 벤더 행은 규모만 키운 한 저자의 의견에 불과하기 때문입니다. AA-Omniscience 결과는 표에서 가장 흥미로운 수치입니다. 바로 그것이 독립적인 하네스가 신속하게 확인하거나 무너뜨릴 수 있는 종류의 것이기 때문입니다.

전체 공개와 기술 보고서입니다. 왜냐하면 학습 토큰 수를 공개하지 않은 프리뷰는 학습 효율성에 관한 어떤 주장도 뒷받침할 수 없고, 효율성이 바로 논리의 전부이기 때문입니다. 그것이 나오기 전까지 "처음부터 학습"은 비용이 아니라 출처에 관한 진술입니다.

그리고 공개된 가격이 책정된 호스팅 엔드포인트입니다. 현재 Raon-1 mini를 사용하는 유일한 방법은 직접 실행하는 것이고, 비용을 산정하는 유일한 방법은 자신의 GPU 시간을 감가상각하는 것이기 때문입니다.

당장은 정확한 설명이 짧다. Raon-1 mini는 실제로 다운로드 가능한 Apache-2.0 모델로, 총 28.8B/활성 4.3B이며 10월 21일 공개됐다. 여기에는 정말 흥미로운 KV-cache 이야기, 네 개 행에서는 이 모델을 띄워주고 세 개 행에서는 망신시키는 벤더 벤치마크 표, KRAFTON 포크로만 존재하는 서빙 스택, 그리고 184초만 지속된 업스트림 풀 리퀘스트가 있다. 이는 “KRAFTON이 프런티어 모델을 그냥 무료로 내놨다”거나 “vLLM이 병합될 때까지는 볼 게 없다”는 말보다 더 유용하다.