Raon-1 mini: MoE 28,8B firmy KRAFTON i PR do vLLM, który trwał 184 sekundy

28 października o 06:34:19 UTC wobec vllm-project/vllm otwarto pull request zatytułowany „[Model] Dodanie obsługi Raon-1-mini”. Nie był to szkielet: 27 plików, 3971 dodanych linii, 22 usunięte, do tego zestaw testów i strona dokumentacji. O 06:37:23 — trzy minuty i cztery sekundy później — został zamknięty bez scalenia i nadal oznaczony jako wersja robocza. KRAFTON, południowokoreański wydawca stojący za PUBG, zaproponował umieszczenie swojego nowego modelu o otwartych wagach i 28,8 mld parametrów w najszerzej wdrażanym silniku wnioskowania na świecie, po czym wycofał go, zanim ktokolwiek przejrzał choćby jedną linię.

Model stojący za pull requestem jest prawdziwy i można go pobrać od 21 października. Raon-1 mini to hybrydowy model typu mixture-of-experts z hybrydową uwagą, który aktywuje około 4,3 mld parametrów na token, jest udostępniany na licencji Apache 2.0, a do 28 października miał 2208 pobrań w ciągu ostatniego miesiąca i 221 polubień w swoim repozytorium na Hugging Face. Nie istnieje jeszcze zwyczajna ścieżka: standardowa instalacja vLLM, która potrafi go serwować bez zforkowanej paczki wheel. Ta luka — między checkpointem w internecie a modelem, który można umieścić w manifeście wdrożeniowym — to cała historia, a dotychczasowe relacje w większości ją pomijały na rzecz tabeli benchmarków.

Co KRAFTON faktycznie opublikował

Artefakty opublikowano na Hugging Face 21 października o 00:14 UTC — tę samą datę tego samego dnia podały wszystkie koreańskie portale branżowe. Indeks safetensors głównego repozytorium podaje 28 783 218 402 parametrów w BF16 — wartość „klasy 30B” w komunikatach prasowych to zaokrąglenie, a 28,8B to liczba, którą należy przyjąć do planowania pojemności.

• Łączna liczba parametrów i parametry aktywne — łącznie 28,8 mld, ~4,3 mld aktywnych na token.

• Licencja — Apache 2.0 na wagi, konfigurację i komponenty, z dozwolonym wykorzystaniem komercyjnym.

• Dostęp — repozytoria są zamknięte, ale dostęp przyznaje się na wniosek za pomocą pola wyboru i wygląda na to, że w przypadku większości wniosków nie jest on weryfikowany ręcznie.

• Warianty — bazowy checkpoint MXFP8, kompilacja NVFP4, repozytorium GGUF, checkpoint MLX dla Apple silicon oraz osobny model szkicujący DFlash2 do dekodowania spekulacyjnego.

• Hosting — pasek boczny repozytorium informuje, że model „nie jest wdrożony przez żadnego Inference Provider”. Karta reklamuje ograniczoną czasowo darmową wersję próbną we własnym playgroundzie KRAFTON; nigdzie nie opublikowano ceny za token.

• Czego licencja nie obejmuje — zbiorów danych treningowych KRAFTON, jego metodologii trenowania, nieudostępnianego oprogramowania oraz hostowanego API i playgroundu, które działają na odrębnych warunkach.

To wersja zapowiedzinowa i KRAFTON określa ją w ten sposób w pierwszym wierszu karty. Firma twierdzi, że pełne wydanie zaplanowano wraz z raportem technicznym obejmującym „proces szkolenia i końcową wydajność”. Nie podano daty, a liczba tokenów szkoleniowych nie jest ujawniona nigdzie w karcie — co jest największą luką w każdym twierdzeniu o tym, jak efektywne jest szkolenie tego modelu.

Z perspektywy KRAFTON kluczowym aspektem są koszty. Chief AI Officer Kangwook Lee opisał go jako produkt „zdolności badawczo-rozwojowych w zakresie AI gromadzonych przez ponad 5 lat” i stwierdził, że firma zamierza wykorzystać tańszy LLM, aby „rozszerzyć zakres wykorzystania AI w różnych branżach”. Raon-1 mini to pierwszy model językowy w ramach marki Raon, której KRAFTON używa od kwietnia do publikacji związanych z mową, TTS i enkoderami wizyjnymi.

To w architekturze leży prawdziwy zakład.

Stosunek warstw uwagi liniowej do warstw pełnej uwagi wynoszący 3:1 to element wart zrozumienia, ponieważ wszystkie pozostałe aspekty ekonomiki obsługi modelu wynikają właśnie z niego.

• Warstwy — łącznie 25, podzielone na 18 warstw Raon Delta Attention (RDA) i 7 warstw gated MLA.

• Eksperci — łącznie 128, 6 routowanych plus 1 współdzielony aktywny na token, z rozmiarem pośrednim eksperta wynoszącym 1088.

• Wymiary — rozmiar ukryty 2,560, 40 głowic uwagi w obu typach warstw, wymiar głowicy RDA 128, bramkowana MLA przy 192 QK / 128 V z rangą LoRA zapytań i KV wynoszącą 576 / 512.

• Kodowanie pozycji — NoPE, bez żadnego osadzania obrotowego w całym stosie.

• Słownictwo — 259 840 tokenów, z niepowiązaną głową LM.

• Aktywacja i połączenia rezydualne — SiTU-GLU, z połączeniami rezydualnymi Raon-mHC w czterech strumieniach.

RDA to modyfikacja Kimi Delta Attention autorstwa KRAFTON, a opisana w niej zmiana jest konkretna: rozdzielenie bramek kasowania i zapisu oraz zastosowanie niezależnego skalowania bramki zapisu po konwolucji, dzięki czemu surowa historia konwolucji jest zachowywana, a nie nadpisywana. Raon-mHC opisano jako tańszą implementację mHC od DeepSeek. Żadne z nich nie jest wynalazkiem od podstaw i nie jest to zarzut — „trained from scratch” w karcie odnosi się do tego, że KRAFTON projektuje i wstępnie trenuje model na własnych danych, a nie do wymyślania od nowa każdego bloku w nim. Dwie z trzech głównych technik modelu to przeprojektowane wersje opublikowanych rozwiązań, a trzecia to harmonogram hybrydowy 3:1, do którego inne laboratoria również doszły.

Cały zysk tkwi w pamięci podręcznej KV. Ponieważ tylko 7 bramkowanych warstw MLA ją przechowuje, karta szacuje koszt na około 8 KiB na token w BF16. Przy pełnym kontekście 262,144 tokenów to około 2 GiB na sekwencję — liczba, która z łatwością mieści się na jednej karcie 32 GB, a w ogóle by się nie zmieściła, gdyby pamięć podręczną utrzymywało wszystkie 25 warstw. To jest rzeczywista obietnica produktu ukryta pod tabelą benchmarków: nie to, że Raon-1 mini jest mądrzejszy od konkurentów, lecz to, że wnioskowanie na długim kontekście jest na nim wystarczająco tanie, by uruchomić je na sprzęcie, który być może już posiadasz.

Tabela benchmarków — policzona, a nie podsumowana

Każda poniższa liczba pochodzi od KRAFTON. Na dzień 28 października nie ma wpisu Artificial Analysis dla Raon-1 mini — model w ogóle nie pojawia się na liście modeli tej witryny — brak miejsca w arenie i brak niezależnego odtworzenia przez strony trzecie. W ewaluacjach z karty przez cały czas używano gpt-5.6-luna jako sędziego i symulatora użytkownika, co jest ujawnione, ale nie niezależne. Odczytuj te liczby jako twierdzenie dostawcy z nietypowo szczegółowym aneksem.

Tabela ma 18 wierszy i pięć kolumn: Raon-1 mini preview w zestawieniu z Qwen3.6-35B-A3B i Gemma 4 26B-A4B jako odpowiednikami MoE, przy czym Qwen3.8-27B i Muse Glimmer 30B pokazano jako odniesienia dense. Czerwone wyróżnienie KRAFTON oznacza najlepszy wynik w grupie MoE, co jest węższym twierdzeniem niż „najlepszy” i dlatego zdanie prasowe o pokonaniu „modeli zagranicznych o podobnej wielkości” wymaga ostrożności.

Policzone prawidłowo, Raon-1 mini jest bezapelacyjnie najlepszy spośród wszystkich pięciu kolumn w czterech wierszach:

• AA-Omniscience — 3,5 wobec −7,2 dla Qwen3.6-35B-A3B, −0,5 dla Qwen3.8-27B, −34,7 dla Muse Glimmer 30B i −46,6 dla Gemma 4 26B-A4B. To jedyny dodatni wynik w kolumnie, co mówi coś rzeczywistego o kalibracji, choć sama liczba bezwzględna jest niewielka.

• IFBench — 84,2, w porównaniu z 82,4 dla Qwen3.8-27B i 66,6 dla Qwen3.6-35B-A3B. Różnica 17,6 punktu względem najbliższego konkurenta MoE w zakresie przestrzegania instrukcji to najsilniejszy pojedynczy wynik w tabeli.

• LiveCodeBench v6 — 81,6, przed 81,2, 83,4, 79,3 i 77,4. Niewielka przewaga i zwycięstwo o cztery dziesiąte punktu nad Qwen3.6-35B-A3B.

• Chatbot Korean — 92,9 wobec 90,6, 90,1, 87,0 i 74,5. To własny wewnętrzny benchmark KRAFTON, który wyraźnie nie został opublikowany publicznie, więc jest to najmniej weryfikowalna liczba na stronie i ta, na której opiera się pozycjonowanie modelu.

Przewodzi również grupie MoE w GPQA Diamond (84,3) i SWE-Verified (70,8, jego największa przewaga wśród agentów kodujących wynosząca 7,6 punktu nad Qwen3.6-35B-A3B), ale w obu przegrywa z Qwen3.8-27B, który osiąga 89,7 i 74,6. Ten schemat — pokonuje modele w swojej klasie wagowej, przegrywa z modelem gęstym o jedną wielkość większym — powtarza się w całej tabeli.

Straty nie są marginalne i skupiają się w jednym miejscu:

• Terminal-Bench Lite — 47,0. To najgorszy wynik w swoim własnym wierszu porównania — o 16,3 punktu za Qwen3.6-35B-A3B i o 23,7 punktu za Muse Glimmer 30B.

• MMLU Pro — 76,5, ostatni z pięciu, 9,4 punktu za Qwen3.6-35B-A3B.

• BFCL v4 — 59,8, za wszystkimi trzema rywalami typu MoE i gęstymi, z wyjątkiem Muse Glimmer, czyli wywoływanie funkcji nie jest mocną stroną tego modelu.

• AutomationBench — 29,7, wyprzedzając jedynie Qwen3.6-35B-A3B (24,9) i pozostając o 29 punktów za Qwen3.8-27B.

• GDP.pdf — 5,8, zaledwie powyżej wyniku 3,6 modelu Gemma 4 26B-A4B.

W sumie uczciwe podsumowanie jest węższe i bardziej użyteczne niż komunikat prasowy: Raon-1 mini wypada konkurencyjnie pod względem podążania za instrukcjami, konwersacji po koreańsku, kalibracji i przeglądania w stylu wyszukiwania, a słabo pod względem przywoływania wiedzy, pracy w terminalu i wywoływania narzędzi. Jeśli Twoim obciążeniem jest agent, który musi niezawodnie łańcuchowo wywoływać funkcje, tabela przemawia przeciwko niemu. Jeśli jest to długokontekstowy asystent w języku koreańskim, który precyzyjnie podąża za instrukcjami, tabela przemawia za testem.

Co zaproponował pull request do vLLM i co z tego wycofał

Pull request pochodził z forka KRAFTON — gałąź feat/raon-public-candidate do vllm-project/vllm:main — a notatka samego autora wyjaśnia zamknięcie lepiej niż jakiekolwiek domysły: „Pracuję nad tym, aby kod był prosty i czysty. Gdy będę gotowy, ponownie otworzę ten PR”. Treść PR ujawnia również, że OpenAI Codex pomagał w implementacji oraz że „przegląd linia po linii przez człowieka i potwierdzenie walidacji end-to-end wciąż są oczekiwane”.

To, co zawierało, ma znaczenie, mimo że nie zostało przyjęte, ponieważ jest mapą tego, czego wymaga przeniesienie tej architektury do upstreamu:

• Rejestracja modelu i konfiguracji oraz ładowanie punktów kontrolnych dla 18 warstw RDA i 7 warstw NoPE MLA.

• adaptery parsera rozumowania i wywołań narzędzi raon_1 — element, dzięki któremu model można używać za punktem końcowym zgodnym z OpenAI, a nie poprzez surowe API uzupełnień.

• Ponowne wykorzystanie ścieżek ModelOpt MXFP8/NVFP4 z upstreamu, MLA, obsługi stanu hybrydowego i interfejsów DFlash2, bez wymuszania jakiegokolwiek backendu MoE.

• Opcjonalne jądra raon_fast dla RDA i mHC, a także testy konfiguracji i parsera oraz dokumentacja.

Z grubsza połowa pracy została zweryfikowana, a połowa nie, i PR mówi o tym wprost. Zaliczone: 11 testów konfiguracji CPU i parsera, hooki pre-commit, kompilacja i instalacja wheel z dokładnej wersji bazowej, importy natywnego modelu, tokenizera i parsera, kontrole integralności przypiętego checkpointu, parowanie konfiguracji target/draft oraz rozwiązywanie konfiguracji mieszanej precyzji NVFP4. Oczekuje – jak ujmuje to sam PR – „rzeczywiste generowanie na GPU, porównania numeryczne/jakości modelu, wykonanie backendu/jądra, regresje współdzielonego KDA, poprawność DFlash2/cache/graph i benchmarki serwowania”. Dodaje też: „Nie formułuje się żadnych twierdzeń o przyspieszeniu ani parytecie produkcyjnym”.

Ograniczenia jąder to szczegół, który najczęściej dotknie zespół, gdy ten czyta „wsparcie vLLM” i zakłada, że się to skaluje. Opcjonalne szybkie jądra wymagają SM10x — sprzętu klasy Blackwell — a także równoległości tensorowej wynoszącej dokładnie jeden, historii konwolucji w BF16, stanu rekurencyjnego FP32 i łańcucha narzędzi budowania CUDA/C++. Równoległość potokowa, równoległość ekspertów i RecoverSSM nie są obsługiwane. W praktyce oznacza to, że szybka ścieżka jest ścieżką na jednym GPU, co jest spójne z całą narracją modelu, ale niekompatybilne ze sposobem, w jaki większość ludzi faktycznie obsługuje model 28.8B.

Co możesz uruchomić w tym tygodniu

KRAFTON dostarcza własny fork vLLM przypięty do ref raon-1-mini-preview, udokumentowany dla NVIDIA B300 i udostępniany przez kompatybilny z OpenAI interfejs API z obsługą wywoływania narzędzi. Udokumentowane uruchomienie używa --max-model-len 262144. Każda z poniższych ścieżek jest własna KRAFTON i żadna z nich nie pochodzi z upstreamu:

• vLLM — zainstaluj z github.com/krafton-ai/vllm przy przypiętym refie z VLLM_USE_PRECOMPILED=1. To jedyna droga do adapterów parsera tego forka i obsługi DFlash2.

• Transformers — 5.16.1 z accelerate 1.15.0, device_map="auto" oraz możliwym odciążeniem na CPU na GPU 32 GB.

• RTX 5090 — checkpoint NVFP4, kontekst 32 768 tokenów, 2 048 tokenów w partii, 8 sekwencji oraz 3 GiB pamięci podręcznej KV w formacie FP8; wymaga CUDA Toolkit 13 z dostępnym nvcc.

• DGX Spark — kontener ARM64 w ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, obsługujący kontekst 128K przy nie więcej niż 8 sekwencjach.

• llama.cpp — gałąź KRAFTON i kompilacja GGUF Q4_K_M, ze wsparciem upstream wymienionym jako oczekujące.

• MLX — mlx 0.32.4 i mlx-lm 0.32.2 wobec oddzielnego checkpointu MLX.

Model szkicowy do dekodowania spekulatywnego wart jest wzmianki, ponieważ 2.18× to liczba, która będzie cytowana. KRAFTON zmierzył tę wartość na pojedynczym B300 z modelem docelowym MXFP8 i vLLM 0.28.0 przy wielkości bloku 8 i opisuje ją jako „do” 2.18× wyższą przepustowość wyjściową niż dekodowanie autoregresyjne, zależną od sprzętu i obciążenia. To benchmark dostawcy na sprzęcie, którego większość czytelników nie ma. To także rodzaj twierdzenia, które silnie zależy od współczynnika akceptacji, a ten zależy od rozkładu promptów.

Próbkowanie nie korzysta ze zwykłych ustawień domyślnych i warto je skopiować dokładnie: temperature 1.0, top_p 0.95, top_k 20, brak kary za powtarzanie lub częstotliwość, a presence penalty 0 dla kodowania i matematyki wobec 1.5 dla wszystkiego innego. Tryb myślenia jest domyślnie włączony, a karta odradza jego wyłączanie. Ustaw presence penalty nieprawidłowo, a uznasz, że model jest gorszy, niż jest w rzeczywistości.

Jedno zastrzeżenie operacyjne, które nie ma nic wspólnego z jakością: przypięcie forka to decyzja dotycząca łańcucha dostaw. Otrzymujesz kompilację vLLM od KRAFTON, a nie wydania z upstreamowego cyklu wydawniczego — żadnego upstreamowego CI dla Twojej konfiguracji, żadnych upstreamowych poprawek bezpieczeństwa, dopóki ktoś nie wykona rebase, a każda aktualizacja vLLM staje się mergem, a nie podbiciem wersji. W przypadku ocenianego modelu w wersji zapoznawczej to rozsądny kompromis. W przypadku zależności produkcyjnej to właśnie rzecz do wpisania do rejestru ryzyk obok samego modelu.

Jak to przetestować, nie stawiając na to

Raon-1 mini nie znajduje się w katalogu OrcaRouter i nic tutaj nie powinno być odczytywane jako twierdzenie, że jest inaczej — nie oferujemy go. Oferujemy natomiast jego zestaw porównawczy, który akurat jest właściwą grupą kontrolną: Gemma 4 26B-A4B po $0.06 za milion tokenów wejściowych i $0.33 za milion tokenów wyjściowych, Qwen3.6-35B-A3B po $0.248 i $1.485 oraz Qwen3.8-27B po $0.33 i $2.40, wszystko w cenie katalogowej dostawcy bez marży. To są modele, względem których go mierzono, dostępne przez jeden klucz, co sprawia, że przydatny eksperyment jest tani: uruchom własne prompty KRAFTON względem hostowanych modeli referencyjnych i te same prompty względem lokalnej wersji zapoznawczej, i sprawdź, czy tabela dostawcy przetrwa Twoje dane.

To lepsze wykorzystanie tygodnia niż wytęższe wczytywanie się w tabelę. Instalacja forka to jedno popołudnie; to porównanie mówi ci, czy model z 4,3 mld aktywnych parametrów, mający 17,6 pkt przewagi w IFBench i 16,3 pkt straty w Terminal-Bench, pasuje do twojego obciążenia. Jeśli hostowana linia bazowa już obsługuje ruch, skierowanie jej razem z wersją zapoznawczą przez jeden punkt końcowy z automatycznym przełączaniem awaryjnym sprawia, że nieprzetestowany checkpoint nigdy nie stoi sam na ścieżce krytycznej — ocena może przebiegać w produkcyjnej formie, bez produkcyjnego ryzyka.

Co mogłoby zmienić tę ocenę?

Cztery rzeczy, w przybliżonej kolejności ważności.

Merge do upstreamowego vLLM, ponieważ zamienia przypięcie forka w numer wersji i wciąga model do każdego downstreamowego narzędzia do pakowania, kwantyzacji i serwowania, które zakłada wsparcie mainline. KRAFTON zapowiedział, że ponownie otworzy PR, gdy kod będzie gotowy; lista oczekujących walidacji GPU w zamkniętym PR jest trafnym opisem tego, co musi oznaczać „gotowy”.

Niezależna ocena, ponieważ osiemnaście pozycji dostawców ocenianych przez jeden model to opinia jednego autora w skali. Wynik AA-Omniscience jest najciekawszą liczbą w tabeli właśnie dlatego, że to coś, co niezależne narzędzie testowe szybko potwierdziłoby albo obaliło.

Pełne wydanie i raport techniczny, ponieważ wersja zapoznawcza bez ujawnionej liczby tokenów treningowych nie może uzasadniać żadnego twierdzenia o wydajności treningu, a wydajność to cały argument. Dopóki to nie nastąpi, „trenowany od zera” jest stwierdzeniem o pochodzeniu, a nie o koszcie.

I hostowany endpoint z opublikowaną ceną, ponieważ obecnie jedynym sposobem na korzystanie z Raon-1 mini jest uruchomienie go, a jedynym sposobem na wycenę jest amortyzowanie własnych godzin GPU.

Na razie trafny opis jest krótki. Raon-1 mini to prawdziwy, dostępny do pobrania model na licencji Apache-2.0, mający łącznie 28,8 mld parametrów i 4,3 mld aktywnych, wydany 21 października, z naprawdę interesującą historią dotyczącą KV-cache, tabelą benchmarków dostawcy, która w czterech wierszach przedstawia go w korzystnym świetle, a w trzech go kompromituje, stosem serwowania istniejącym wyłącznie jako fork KRAFTON oraz pull requestem do upstreamu, który przetrwał 184 sekundy. To jest bardziej użyteczne niż „KRAFTON właśnie udostępnił za darmo model klasy frontier” albo „nie ma na co patrzeć, dopóki vLLM nie scali zmian”.