Raon-1 mini: MoE-модель KRAFTON на 28,8 млрд параметров и PR в vLLM, продержавшийся 184 секунды

В 06:34:19 UTC 28 октября в vllm-project/vllm был открыт пул-реквест под названием «[Model] Add Raon-1-mini support». Это была не заглушка: 27 файлов, добавлено 3 971 строка, удалено 22, плюс набор тестов и страница документации. В 06:37:23 — через три минуты и четыре секунды — его закрыли без слияния, и он всё ещё был помечен как черновик. KRAFTON, южнокорейский издатель PUBG, предложил добавить свою новую модель с открытыми весами на 28,8 млрд параметров в самый широко используемый в мире движок инференса, а затем отозвал предложение ещё до того, как кто-либо просмотрел хоть строку.

Модель, стоящая за пул-реквестом, реальна, и она доступна для скачивания с 21 октября. Raon-1 mini — это гибридная модель mixture-of-experts с гибридным вниманием, которая активирует около 4,3 млрд параметров на токен, распространяется под Apache 2.0, а к 28 октября имела 2208 скачиваний за последний месяц и 221 лайк в своём репозитории на Hugging Face. Чего пока не существует — так это обычного пути: стандартной установки vLLM, способной обслуживать её без форкнутого wheel. Этот разрыв — между чекпоинтом в интернете и моделью, которую можно внести в манифест развертывания — и есть вся суть, а освещение до сих пор в основном обходило его стороной в пользу таблицы бенчмарков.

Что KRAFTON на самом деле опубликовал

Артефакты были выложены на Hugging Face 21 октября в 00:14 UTC — именно эту дату в тот же день использовало каждое корейское отраслевое издание. Индекс safetensors основного репозитория указывает 28 783 218 402 параметра в BF16 — цифра «30B-class» в пресс-релизах является округлением, и 28,8B — это число, которое следует закладывать в план мощности.

• Всего и активных параметров — 28,8 млрд всего, ~4,3 млрд активных на токен.

• Лицензия — Apache 2.0 на веса, конфигурацию и компоненты, коммерческое использование разрешено.

• Доступ — репозитории закрыты, но доступ предоставляется по запросу через флажок, и, судя по всему, большинство запросов не проверяется вручную.

• Варианты — базовый чекпоинт MXFP8, сборка NVFP4, репозиторий GGUF, чекпоинт MLX для Apple silicon и отдельная драфт-модель DFlash2 для спекулятивного декодирования.

• Хостинг — в боковой панели репозитория указано, что модель «не развёрнута ни одним Inference Provider». В карточке рекламируется ограниченный по времени бесплатный пробный период в собственном плейграунде KRAFTON; опубликованной цены за токен нигде нет.

• Что не покрывает лицензия — наборы данных KRAFTON для обучения, методологию обучения, нераспространяемое программное обеспечение, а также hosted API и playground, которые работают на отдельных условиях.

Это превью, и KRAFTON обозначает его именно так в первой строке карточки. Компания сообщает, что полноценный релиз планируется вместе с техническим отчётом, освещающим «процесс обучения и итоговые показатели». Дата не указана, а количество обучающих токенов нигде в карточке не раскрывается — и это самый большой пробел в любых утверждениях о том, насколько эффективно обучать эту модель.

Со стороны KRAFTON акцент делается на стоимости. Chief AI Officer Kangwook Lee описал это как продукт «возможностей в области ИИ-исследований и разработок, накопленных за более чем 5 лет» и заявил, что компания намерена использовать более дешёвую LLM, чтобы «расширить сферу применения ИИ в различных отраслях». Raon-1 mini — первая языковая модель под брендом Raon, который KRAFTON использует с апреля для выпусков решений в области речи, TTS и vision-encoder.

Архитектура — вот где заключается настоящая ставка

Соотношение 3:1 между слоями линейного внимания и полного внимания — это то, что стоит понять, потому что вся остальная экономика обслуживания модели вытекает из него.

• Слои — всего 25, разделённые на 18 слоёв Raon Delta Attention (RDA) и 7 слоёв MLA с гейтированием.

• Эксперты — всего 128, на каждый токен активно 6 маршрутизируемых и 1 общий, при промежуточном размере эксперта 1 088.

• Размерности — скрытая размерность 2,560, 40 голов внимания в обоих типах слоёв, размерность головы RDA 128, гейтированная MLA при 192 QK / 128 V с рангами LoRA запросов и KV 576 / 512.

• Позиционное кодирование — NoPE, без роторного эмбеддинга где-либо в стеке.

• Словарь — 259,840 токенов, с несвязанной LM-головой.

• Активация и остаточные связи — SiTU-GLU, с остаточными связями Raon-mHC по четырём потокам.

RDA — это модификация Kimi Delta Attention от KRAFTON, и описываемое изменение конкретно: развязывание гейтов стирания и записи и применение независимого масштабирования гейта записи после свёртки, благодаря чему исходная история свёртки сохраняется, а не перезаписывается. Raon-mHC описывается как более дешёвая реализация mHC от DeepSeek. Ни то, ни другое не является изобретением с нуля, и это не критика — «обученная с нуля» в карточке относится к тому, что KRAFTON сама разработала и предварительно обучила модель на собственных данных, а не к переизобретению каждого блока в ней. Две из трёх главных техник модели — это переработанные версии опубликованных, а третья — гибридное расписание 3:1, к которому также пришли другие лаборатории.

Выигрыш — в KV-кэше. Поскольку только 7 слоёв gated MLA хранят его, в карточке модели затраты оцениваются примерно в 8 КиБ на токен в BF16. При полном контексте в 262 144 токена это около 2 ГиБ на последовательность — число, которое комфортно помещается на одной карте с 32 ГБ и совсем не поместилось бы, если бы кэшировались все 25 слоёв. Вот настоящий продуктовый аргумент, скрытый под таблицей бенчмарков: не то, что Raon-1 mini умнее конкурентов, а то, что вывод с длинным контекстом на нём достаточно дёшев, чтобы работать на оборудовании, которое у вас, возможно, уже есть.

Таблица бенчмарков: подсчитано, а не обобщено

Все приведённые ниже показатели принадлежат KRAFTON. По состоянию на 28 октября в Artificial Analysis нет записи для Raon-1 mini — модель вообще отсутствует в списке моделей на сайте — нет позиции на арене и нет стороннего воспроизведения. В оценках из карточки на протяжении всего процесса использовались gpt-5.6-luna в качестве судьи и симулятора пользователя, что раскрыто, но не является независимым. Рассматривайте эти числа как заявление вендора с необычно подробным приложением.

В таблице 18 строк и пять столбцов: Raon-1 mini preview в сравнении с Qwen3.6-35B-A3B и Gemma 4 26B-A4B как MoE-аналогами, при этом Qwen3.8-27B и Muse Glimmer 30B показаны как эталонные dense-модели. Красная подсветка KRAFTON отмечает лучший результат в группе MoE, что является более узким утверждением, чем «лучший результат», и поэтому фраза из пресс-релиза о превосходстве над «зарубежными моделями сопоставимого размера» требует осторожности.

При правильном подсчёте Raon-1 mini — безусловно лучший среди всех пяти столбцов по четырём строкам:

• AA-Omniscience — 3,5 против −7,2 у Qwen3.6-35B-A3B, −0,5 у Qwen3.8-27B, −34,7 у Muse Glimmer 30B и −46,6 у Gemma 4 26B-A4B. Это единственный положительный результат в столбце, что действительно кое-что говорит о калибровке, хотя абсолютное число невелико.

• IFBench — 84,2 против 82,4 у Qwen3.8-27B и 66,6 у Qwen3.6-35B-A3B. Разрыв в 17,6 пункта с ближайшим конкурентом среди MoE-моделей по следованию инструкциям — самый сильный отдельный результат в таблице.

• LiveCodeBench v6 — 81,6, впереди 81,2, 83,4, 79,3 и 77,4. Разрыв небольшой, но это победа с отрывом в четыре десятых пункта над Qwen3.6-35B-A3B.

• Чат-бот, корейский — 92,9 против 90,6, 90,1, 87,0 и 74,5. Это собственный внутренний бенчмарк KRAFTON, который, как прямо указано, не опубликован публично, поэтому это наименее проверяемое число на странице и то, на котором держится позиционирование модели.

Он также возглавляет {{1}}группу MoE{{/1}} по GPQA Diamond (84.3) и SWE-Verified (70.8 — его наибольший отрыв в категории coding-agent: 7.6 балла от Qwen3.6-35B-A3B), но уступает Qwen3.8-27B по обоим показателям с 89.7 и 74.6. Эта закономерность — превосходит модели своего весового класса, но проигрывает плотной модели на размер крупнее — повторяется по всей таблице.

Потери отнюдь не незначительны, и все они сосредоточены в одном месте:

Terminal-Bench Lite — 47.0. Это худший результат в собственной строке сравнения: на 16,3 балла меньше, чем у Qwen3.6-35B-A3B, и на 23,7 меньше, чем у Muse Glimmer 30B.

• MMLU Pro — 76,5, последний из пяти, на 9,4 балла позади Qwen3.6-35B-A3B.

• BFCL v4 — 59,8; уступает всем трём конкурентам — как MoE, так и dense, — кроме Muse Glimmer, то есть вызов функций — не сильная сторона этой модели.

• AutomationBench — 29,7, впереди только Qwen3.6-35B-A3B с 24,9 и на 29 баллов позади Qwen3.8-27B.

• GDP.pdf — 5,8, едва превышает показатель 3,6 у Gemma 4 26B-A4B.

Если собрать всё вместе, честное резюме получается более узким и полезным, чем пресс-релиз: Raon-1 mini конкурентоспособен в следовании инструкциям, корейской беседе, калибровке и поисковом просмотре, но слаб в припоминании знаний, работе в терминале и вызове инструментов. Если ваша нагрузка — это агент, которому нужно надёжно выстраивать цепочки вызовов функций, таблица свидетельствует против него. Если это корейскоязычный ассистент с длинным контекстом, который точно следует инструкциям, таблица говорит в пользу теста.

Что предлагал пул-реквест vLLM и от чего в итоге отказались

Этот пул-реквест пришёл из форка KRAFTON — ветка feat/raon-public-candidate в vllm-project/vllm:main — и собственная заметка автора объясняет закрытие лучше любого предположения: «Я работаю над тем, чтобы сделать код простым и чистым. Когда буду готов, я снова открою этот PR». В описании PR также сообщается, что OpenAI Codex помогал с реализацией и что «построчная проверка человеком и подтверждение сквозной валидации всё ещё ожидаются».

То, что в нём содержалось, важно, даже если оно не прижилось, потому что это карта того, что требуется для продвижения этой архитектуры в upstream:

• Регистрация модели и конфигурации, а также загрузка контрольных точек для 18 слоёв RDA и 7 слоёв NoPE MLA.

• адаптеры парсера рассуждений и вызовов инструментов raon_1 — компонент, благодаря которому модель можно использовать за OpenAI-совместимой конечной точкой, а не через API необработанных завершений.

• Повторное использование upstream-путей ModelOpt MXFP8/NVFP4, MLA, обработки гибридных состояний и интерфейсов DFlash2 без принудительного выбора бэкенда MoE.

• Опциональные ядра raon_fast для RDA и mHC, а также тесты конфигурации и парсера и документация.

Примерно половина работы была проверена, а половина — нет, и в PR это прямо сказано. Проходит: 11 тестов конфигурации CPU и парсера, pre-commit-хуки, сборка и установка wheel на точной базе, импорт нативной модели, токенизатора и парсера, проверки целостности закреплённых чекпойнтов, сопряжение конфигураций target/draft и разрешение конфигурации смешанной точности NVFP4. Ожидает проверки, по словам самого PR: «реальная генерация на GPU, сравнения чисел/качества модели, выполнение бэкенда/ядер, регрессии shared KDA, корректность DFlash2/cache/graph и бенчмарки сервинга». Там добавляется: «Никаких заявлений об ускорении или паритете с production не делается».

Ограничения ядер — это та деталь, которая с наибольшей вероятностью ударит по команде, которая видит «поддержку vLLM» и предполагает, что всё масштабируется. Опциональные быстрые ядра требуют SM10x — оборудования класса Blackwell — а также тензорного параллелизма ровно на единицу, истории свёртки BF16, рекуррентного состояния FP32 и цепочки сборки CUDA/C++. Конвейерный параллелизм, экспертный параллелизм и RecoverSSM не поддерживаются. На практике это означает, что быстрый путь — это путь для одного GPU, что согласуется с общим позиционированием модели, но несовместимо с тем, как большинство людей на самом деле обслуживают модель на 28,8B.

Что можно запустить на этой неделе

KRAFTON поставляет собственный форк vLLM, закреплённый на ref raon-1-mini-preview, документированный для NVIDIA B300 и обслуживаемый через OpenAI-совместимый API с вызовом инструментов. В документированном запуске используется --max-model-len 262144. Все приведённые ниже маршруты являются собственными для KRAFTON, и ни один из них не относится к upstream:

• vLLM — установите из github.com/krafton-ai/vllm на закреплённом ref с VLLM_USE_PRECOMPILED=1. Это единственный путь к адаптерам парсеров форка и поддержке DFlash2.

• Transformers — 5.16.1 с accelerate 1.15.0, device_map="auto" и выгрузкой на CPU, возможной на GPU с 32 ГБ.

• RTX 5090 — контрольная точка NVFP4, контекст на 32 768 токенов, 2 048 токенов в пакете, 8 последовательностей и кэш KV FP8 объёмом 3 ГиБ; требуется CUDA Toolkit 13 с установленным nvcc.

• DGX Spark — ARM64-контейнер по адресу ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, работающий с контекстом 128K при не более чем 8 последовательностях.

• llama.cpp — ветка KRAFTON и сборка GGUF Q4_K_M, а поддержка в upstream указана как ожидающая.

• MLX — mlx 0.32.4 и mlx-lm 0.32.2 с отдельным чекпоинтом MLX.

Черновая модель для спекулятивного декодирования заслуживает упоминания, потому что именно число 2.18× будут цитировать. KRAFTON измерила его на одном B300 с целевой моделью MXFP8 и vLLM 0.28.0 при размере блока 8 и описывает результат как «до» 2.18× более высокую пропускную способность вывода по сравнению с авторегрессионным декодированием, зависящую от оборудования и рабочей нагрузки. Это вендорный бенчмарк на оборудовании, которого у большинства читателей нет. Это также утверждение, которое сильно зависит от доли принятия, а она зависит от распределения ваших промптов.

Сэмплирование здесь не с обычными значениями по умолчанию, и их стоит скопировать точно: temperature 1.0, top_p 0.95, top_k 20, без repetition penalty и frequency penalty, а presence penalty — 0 для кода и математики против 1.5 для всего остального. Режим размышления включён по умолчанию, и в карточке не рекомендуется его отключать. Ошибётесь с presence penalty — и решите, что модель хуже, чем есть на самом деле.

Одна эксплуатационная оговорка, не имеющая отношения к качеству: закрепление форка — это решение в цепочке поставок. Вы получаете сборку vLLM от KRAFTON, а не upstream-релизный поток — никакого upstream CI для вашей конфигурации, никаких upstream-патчей безопасности, пока кто-нибудь не выполнит rebase, и каждое обновление vLLM становится слиянием, а не простым повышением версии. Для preview-модели, которая оценивается, это разумный компромисс. Для production-зависимости это то, что стоит внести в реестр рисков рядом с самой моделью.

Как проверить это, не ставя на это

Raon-1 mini отсутствует в каталоге OrcaRouter, и ничто здесь не должно восприниматься как утверждение об обратном — мы его не предоставляем. А предоставляем мы его набор для сравнения, который, как оказалось, является правильной контрольной группой: Gemma 4 26B-A4B по цене $0.06 за миллион входных и $0.33 за миллион выходных токенов, Qwen3.6-35B-A3B по $0.248 и $1.485, а также Qwen3.8-27B по $0.33 и $2.40, всё по цене из прайс-листа провайдера без наценки. Это модели, с которыми его сравнивали, доступные через один ключ, что делает полезный эксперимент недорогим: прогнать собственные промпты KRAFTON на размещённых базовых моделях и те же промпты на локальной предварительной версии и посмотреть, выдержит ли таблица поставщика проверку вашими данными.

Это более разумное использование недели, чем ещё внимательнее вчитываться в таблицу. Установка форка занимает полдня; именно сравнение показывает, подходит ли вашей нагрузке модель с 4.3B активных параметров, которая лидирует по IFBench на 17.6 пункта и отстаёт по Terminal-Bench на 16.3 пункта. Если хостинговый baseline уже обслуживает трафик, его маршрутизация вместе с preview через один эндпоинт с автоматическим переключением при сбое означает, что непроверенный чекпоинт никогда не остаётся один на критическом пути — оценку можно провести в боевой конфигурации без риска для продакшена.

Что изменило бы эту оценку?

Четыре вещи, примерно в порядке значимости.

Слияние в upstream vLLM, потому что оно превращает пин форка в номер версии и втягивает модель во все нижестоящие инструменты упаковки, квантизации и обслуживания, которые рассчитывают на поддержку в основной ветке. KRAFTON заявила, что заново откроет PR, когда код будет готов; список ожидающих GPU-валидации в закрытом PR — вполне точное описание того, что должно означать «готов».

Независимая проверка — ведь восемнадцать строк от поставщиков, оценённых одной моделью, — это мнение одного автора, размноженное в масштабе. Результат AA-Omniscience — самое интересное число в таблице именно потому, что это как раз тот случай, который независимый испытательный стенд либо подтвердит, либо быстро развенчает.

Полный релиз и технический отчёт, потому что предварительная версия без раскрытого количества токенов обучения не может подкрепить никакое утверждение об эффективности обучения, а эффективность — это весь аргумент. Пока это не выйдет, «обучена с нуля» — это утверждение о происхождении, а не о затратах.

И хостинговый эндпоинт с опубликованной ценой, потому что сейчас единственный способ использовать Raon-1 mini — запустить её, а единственный способ оценить её стоимость — амортизировать собственные GPU-часы.

Пока точное описание коротко. Raon-1 mini — это реальная, доступная для скачивания модель под Apache-2.0 с 28.8B-total/4.3B-active, выпущенная 21 октября, с по-настоящему интересной историей про KV-cache, таблицей бенчмарков от вендора, которая льстит ей в четырех строках и ставит её в неловкое положение в трех, стеком обслуживания, существующим только как форк KRAFTON, и upstream-пул-реквестом, который продержался 184 секунды. Это полезнее, чем любое из утверждений: «KRAFTON просто бесплатно выпустила фронтирную модель» или «смотреть не на что, пока vLLM не выполнит слияние».