Raon-1 mini: KRAFTONs 28,8B-MoE und der vLLM-PR, der 184 Sekunden hielt

Am 28. Oktober um 06:34:19 UTC wurde gegen vllm-project/vllm ein Pull Request mit dem Titel „[Modell] Unterstützung für Raon-1-mini hinzufügen“ eröffnet. Es war kein Stub: 27 Dateien, 3.971 hinzugefügte und 22 entfernte Zeilen, dazu eine Testsuite und eine Dokumentationsseite. Um 06:37:23 – drei Minuten und vier Sekunden später – wurde er geschlossen, ohne zusammengeführt zu werden, und war weiterhin als Entwurf markiert. KRAFTON, der südkoreanische Publisher hinter PUBG, hatte vorgeschlagen, sein neues Open-Weight-Modell mit 28,8B in die am weitesten verbreitete Inferenz-Engine der Welt aufzunehmen, und es dann zurückgezogen, bevor irgendjemand auch nur eine Zeile geprüft hatte.

Das Modell hinter dem Pull Request ist real, und es ist seit dem 21. Oktober herunterladbar. Raon-1 mini ist ein Hybrid-Attention-Mixture-of-Experts-Modell, das etwa 4,3 Mrd. Parameter pro Token aktiviert, unter Apache 2.0 vertrieben wird und bis zum 28. Oktober 2.208 Downloads im letzten Monat sowie 221 Likes auf seinem Hugging Face-Repository hatte. Was es noch nicht gibt, ist der übliche Weg: eine Standard-vLLM-Installation, die es ohne ein geforktes Wheel bedienen kann. Diese Lücke – zwischen einem Checkpoint im Internet und einem Modell, das man in ein Deployment-Manifest aufnehmen kann – ist die ganze Geschichte, und die bisherige Berichterstattung hat sie zugunsten der Benchmark-Tabelle meist übersprungen.

Was KRAFTON tatsächlich veröffentlicht hat

Die Artefakte wurden am 21. Oktober um 00:14 UTC auf Hugging Face veröffentlicht – das ist das Datum, das alle koreanischen Fachmedien noch am selben Tag verwendeten. Der safetensors-Index des Hauptrepositories weist 28.783.218.402 Parameter in BF16 aus; die Angabe „30B-Klasse“ in den Pressemitteilungen ist gerundet, und 28,8B ist die Zahl, die in eine Kapazitätsplanung einfließen sollte.

• Gesamt- und aktive Parameter — 28,8B insgesamt, ~4,3B aktiv pro Token.

• Lizenz — Apache 2.0 für die Gewichte, die Konfiguration und die Komponenten, wobei die kommerzielle Nutzung gestattet ist.

• Zugriff — die Repositories sind zugriffsbeschränkt, aber der Zugriff wird auf Anfrage über ein Kontrollkästchen gewährt und scheint bei den meisten Anfragen nicht manuell geprüft zu werden.

• Varianten — der MXFP8-Basis-Checkpoint, ein NVFP4-Build, ein GGUF-Repository, ein MLX-Checkpoint für Apple Silicon und ein separates DFlash2-Draft-Modell für spekulatives Decoding.

• Hosting — die Seitenleiste des Repositorys meldet, dass das Modell „von keinem Inference Provider bereitgestellt wird“. Die Karte bewirbt eine zeitlich begrenzte kostenlose Testphase in KRAFTONs eigenem Playground; ein veröffentlichter Preis pro Token ist nirgends zu finden.

• Was die Lizenz nicht abdeckt — KRAFTONs Trainingsdatensätze, seine Trainingsmethodik, nicht vertriebene Software sowie die gehostete API und der Playground, die unter separaten Bedingungen laufen.

Es handelt sich um eine Vorschau, und KRAFTON kennzeichnet sie in der ersten Zeile der Karte auch so. Das Unternehmen erklärt, eine vollständige Veröffentlichung sei zusammen mit einem technischen Bericht geplant, der „den Trainingsprozess und die endgültige Leistung“ abdeckt. Ein Datum wurde nicht genannt, und die Anzahl der Trainings-Tokens wird in der Karte an keiner Stelle offengelegt – was die größte Lücke in jeder Aussage darüber ist, wie effizient dieses Modell zu trainieren ist.

Von KRAFTONs Seite steht der Kostenaspekt im Vordergrund. Chief AI Officer Kangwook Lee bezeichnete es als Produkt von „über mehr als 5 Jahre angesammelten KI-F&E-Kapazitäten“ und sagte, das Unternehmen wolle ein günstigeres LLM einsetzen, um „den Einsatzbereich von KI über verschiedene Branchen hinweg auszuweiten“. Raon-1 mini ist das erste Sprachmodell unter der Marke Raon, die KRAFTON seit April für Sprach-, TTS- und Vision-Encoder-Veröffentlichungen verwendet.

Die Architektur ist der Punkt, an dem die eigentliche Wette liegt.

Das Verhältnis von 3:1 zwischen Linear-Attention- und Full-Attention-Schichten ist der Teil, den es zu verstehen lohnt, denn alles andere an der Serving-Ökonomie des Modells ergibt sich daraus.

• Schichten — insgesamt 25, aufgeteilt in 18 Raon Delta Attention (RDA)-Schichten und 7 gated MLA-Schichten.

Experten – insgesamt 128, pro Token 6 geroutete plus 1 gemeinsam genutzter aktiv, mit einer intermediären Expertengröße von 1.088.

• Dimensionen — Hidden Size 2.560, 40 Attention-Heads über beide Layer-Typen hinweg, RDA-Head-Dimension 128, gated MLA mit 192 QK / 128 V bei 576 / 512 Query- und KV-LoRA-Rang.

• Positionskodierung — NoPE, ohne Rotary-Embedding irgendwo im Stack.

• Vokabular — 259.840 Token, mit einem nicht gebundenen LM-Head.

• Aktivierung und Residualverbindungen — SiTU-GLU, mit Raon-mHC-Residualverbindungen über vier Streams.

RDA ist KRAFTONs Modifikation von Kimi Delta Attention, und die beschriebene Änderung ist spezifisch: die Entkopplung der Lösch- und Schreibgates und die Anwendung einer unabhängigen Skalierung des Schreibgates nach der Konvolution, sodass die rohe Konvolutionshistorie bewahrt statt überschrieben wird. Raon-mHC wird als kostengünstigere Implementierung von DeepSeeks mHC beschrieben. Keines von beiden ist eine von Grund auf neue Erfindung, und das ist keine Kritik – „trained from scratch“ auf der Karte bezieht sich darauf, dass KRAFTON das Modell mit eigenen Daten entwirft und vortrainiert, nicht darauf, jeden Block darin neu zu erfinden. Zwei der drei Haupttechniken des Modells sind neu umgesetzte Versionen bereits veröffentlichter Verfahren, und die dritte ist ein 3:1-Hybrid-Schedule, auf den auch andere Labore konvergiert sind.

Der Gewinn ist der KV-Cache. Da nur die 7 gated MLA-Schichten einen behalten, beziffert die Karte die Kosten auf rund 8 KiB pro Token in BF16. Bei vollem Kontext von 262.144 Token sind das etwa 2 GiB pro Sequenz – eine Zahl, die bequem auf eine einzelne 32-GB-Karte passt und überhaupt nicht passen würde, wenn alle 25 Schichten einen Cache hielten. Das ist die eigentliche Produktaussage, die unter der Benchmark-Tabelle steckt: nicht, dass Raon-1 mini klüger ist als seine Konkurrenten, sondern dass Long-Context-Inferenz damit günstig genug ist, um auf Hardware zu laufen, die man möglicherweise bereits besitzt.

Die Benchmark-Tabelle, gezählt statt zusammengefasst

Alle unten stehenden Zahlen stammen von KRAFTON. Für Raon-1 mini gibt es mit Stand 28. Oktober keinen Eintrag bei Artificial Analysis — das Modell taucht in der Modellliste der Website überhaupt nicht auf — keine Arena-Platzierung und keine Reproduktion durch Dritte. Die Bewertungen der Karte verwendeten durchgängig gpt-5.6-luna als Judge und Nutzersimulator, was offengelegt, aber nicht unabhängig ist. Betrachten Sie die Zahlen als Herstellerangabe mit einem ungewöhnlich detaillierten Anhang.

Die Tabelle hat 18 Zeilen und fünf Spalten: Raon-1 mini preview im Vergleich zu Qwen3.6-35B-A3B und Gemma 4 26B-A4B als MoE-Peers, wobei Qwen3.8-27B und Muse Glimmer 30B als Dense-Referenzen gezeigt werden. KRAFTONs rote Hervorhebung markiert die beste Punktzahl innerhalb der MoE-Gruppe, was eine engere Aussage als „best“ ist und weshalb die Pressezeile über das Übertreffen „ähnlich großer ausländischer Modelle“ mit Vorsicht zu behandeln ist.

Richtig gezählt ist Raon-1 mini in vier Zeilen der eindeutig beste in allen fünf Spalten:

• AA-Omniscience — 3,5, gegenüber −7,2 für Qwen3.6-35B-A3B, −0,5 für Qwen3.8-27B, −34,7 für Muse Glimmer 30B und −46,6 für Gemma 4 26B-A4B. Es ist der einzige positive Wert in der Spalte, was tatsächlich etwas über die Kalibrierung aussagt, auch wenn die absolute Zahl klein ist.

• IFBench — 84,2, gegenüber 82,4 für Qwen3.8-27B und 66,6 für Qwen3.6-35B-A3B. Ein Abstand von 17,6 Punkten zu seinem nächstgelegenen MoE-Peer bei der Anweisungsbefolgung ist das stärkste Einzelergebnis in der Tabelle.

• LiveCodeBench v6 — 81,6, vor 81,2, 83,4, 79,3 und 77,4. Knapp, und ein Sieg mit vier Zehntelpunkten Vorsprung vor Qwen3.6-35B-A3B.

• Chatbot Koreanisch — 92,9 gegenüber 90,6, 90,1, 87,0 und 74,5. Dies ist KRAFTONs eigener interner Benchmark, der ausdrücklich nicht öffentlich veröffentlicht wurde, also die am wenigsten überprüfbare Zahl auf der Seite und diejenige, auf der die Positionierung des Modells beruht.

Außerdem führt es die MoE-Gruppe bei GPQA Diamond (84,3) und SWE-Verified (70,8, sein größter Vorsprung bei Coding-Agenten mit 7,6 Punkten gegenüber Qwen3.6-35B-A3B) an, verliert bei beiden jedoch gegen Qwen3.8-27B mit 89,7 und 74,6. Dieses Muster – schlägt seine eigene Gewichtsklasse, unterliegt dem eine Nummer größeren dichten Modell – wiederholt sich über die gesamte Tabelle.

Die Verluste sind nicht marginal, und sie konzentrieren sich an einer Stelle:

• Terminal-Bench Lite — 47,0. Dies ist die schlechteste Punktzahl in der eigenen Vergleichszeile, 16,3 Punkte hinter Qwen3.6-35B-A3B und 23,7 hinter Muse Glimmer 30B.

• MMLU Pro — 76,5, Letzter der fünf, 9,4 Punkte hinter Qwen3.6-35B-A3B.

• BFCL v4 — 59,8, hinter allen drei MoE- und Dense-Rivalen außer Muse Glimmer, d. h. Function Calling ist nicht die Stärke dieses Modells.

AutomationBench — 29,7, nur vor Qwen3.6-35B-A3B mit 24,9 und 29 Punkte hinter Qwen3.8-27B.

GDP.pdf — 5,8, knapp über den 3,6 von Gemma 4 26B-A4B.

Zusammengenommen ist die ehrliche Zusammenfassung knapper und nützlicher als die Pressemitteilung: Raon-1 mini ist wettbewerbsfähig beim Befolgen von Anweisungen, bei koreanischen Konversationen, bei der Kalibrierung und bei suchorientiertem Browsen und schwach beim Wissensabruf, bei Terminal-Arbeit und bei Tool Calling. Wenn Ihre Workload ein Agent ist, der Funktionsaufrufe zuverlässig verketten muss, spricht die Tabelle dagegen. Wenn sie ein koreanischsprachiger Assistent mit langem Kontext ist, der Anweisungen präzise befolgt, spricht die Tabelle für einen Test.

Was der vLLM-Pull-Request vorschlug und was davon wieder zurückgenommen wurde

Der Pull Request stammte aus einem KRAFTON-Fork — Branch feat/raon-public-candidate in vllm-project/vllm:main — und die eigene Notiz des Autors erklärt die Schließung besser als jede Vermutung: „Ich arbeite daran, den Code einfach und sauber zu machen. Wenn ich so weit bin, werde ich diesen PR wieder öffnen.“ Im PR-Text wird außerdem offengelegt, dass OpenAI Codex bei der Implementierung unterstützt hat und dass „eine menschliche Prüfung Zeile für Zeile sowie die Bestätigung der End-to-End-Validierung noch ausstehen.“

Was es enthielt, ist wichtig, auch wenn es nicht gelandet ist, denn es ist eine Karte dessen, was nötig ist, um diese Architektur upstream zu bringen:

• Modell- und Konfigurationsregistrierung sowie Checkpoint-Laden für die 18 RDA- und 7 NoPE-MLA-Schichten.

• raon_1-Adapter für Reasoning- und Tool-Call-Parsing – der Baustein, der das Modell hinter einem OpenAI-kompatiblen Endpoint nutzbar macht statt als reine Completion-API.

• Wiederverwendung der Upstream-Pfade für ModelOpt MXFP8/NVFP4, MLA, Hybrid-State-Handling und DFlash2-Schnittstellen, ohne dass ein MoE-Backend erzwungen wird.

Optionale raon_fast-Kernel für RDA und mHC sowie Konfigurations- und Parser-Tests und Dokumentation.

Etwa die Hälfte der Arbeit wurde validiert und die Hälfte nicht, und der PR sagt das ganz offen. Bestanden: 11 CPU-Konfigurations- und Parsertests, Pre-Commit-Hooks, ein Wheel-Build und eine Installation auf exakter Basis, native Modell-, Tokenizer- und Parser-Importe, Integritätsprüfungen für gepinnte Checkpoints, die Paarung von Target-/Draft-Konfigurationen und die Auflösung der NVFP4-Gemischtpräzisionskonfiguration. Ausstehend, mit den Worten des PR selbst: „echte GPU-Generierung, numerische und Modellqualitäts-Vergleiche, Backend-/Kernel-Ausführung, Shared-KDA-Regressionen, DFlash2-/Cache-/Graph-Korrektheit und Serving-Benchmarks“. Es wird ergänzt: „Es wird kein Anspruch auf Speedup oder Produktionsparität erhoben.“

Die Kernel-Beschränkungen sind das Detail, das einem Team am ehesten zum Verhängnis wird, das „vLLM-Unterstützung“ liest und annimmt, dass es skaliert. Die optionalen schnellen Kernel erfordern SM10x – Hardware der Blackwell-Klasse – sowie Tensor-Parallelität von genau eins, BF16-Konvolutionsverlauf, FP32-Rekurrenzzustand und eine CUDA/C++-Build-Toolchain. Pipeline-Parallelismus, Experten-Parallelismus und RecoverSSM werden nicht unterstützt. In der Praxis bedeutet das, dass der schnelle Pfad ein Single-GPU-Pfad ist, was zum gesamten Pitch des Modells passt, aber nicht mit der Art und Weise vereinbar ist, wie die meisten Leute tatsächlich ein 28,8B-Modell bereitstellen.

Was Sie diese Woche ausführen können

KRAFTON liefert seinen eigenen vLLM-Fork aus, der auf den Ref raon-1-mini-preview festgelegt ist, für eine NVIDIA B300 dokumentiert und über eine OpenAI-kompatible API mit Tool Calling bereitgestellt wird. Der dokumentierte Start verwendet --max-model-len 262144. Alle unten aufgeführten Routen sind KRAFTONs eigene, und keine davon ist upstream:

• vLLM — Installation von github.com/krafton-ai/vllm am gepinnten Ref mit VLLM_USE_PRECOMPILED=1. Dies ist der einzige Weg zu den Parser-Adaptern und der DFlash2-Unterstützung des Forks.

• Transformers — 5.16.1 mit accelerate 1.15.0, device_map="auto" und CPU-Offload auf einer 32-GB-GPU machbar.

• RTX 5090 — der NVFP4-Checkpoint, 32.768-Token-Kontext, 2.048 gebatchte Token, 8 Sequenzen und ein 3 GiB großer FP8-KV-Cache; erforderlich ist das CUDA Toolkit 13 mit vorhandenem nvcc.

• DGX Spark — ein ARM64-Container unter ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534, der einen 128K-Kontext mit höchstens 8 Sequenzen ausführt.

• llama.cpp — ein KRAFTON-Branch und ein GGUF-Q4_K_M-Build, wobei die Upstream-Unterstützung als ausstehend aufgeführt ist.

• MLX — mlx 0.32.4 und mlx-lm 0.32.2 gegen den separaten MLX-Checkpoint.

Das Draft-Modell für spekulatives Dekodieren ist eine Anmerkung wert, denn 2,18× ist die Zahl, die zitiert werden wird. KRAFTON hat sie auf einem einzelnen B300 mit einem MXFP8-Zielmodell und vLLM 0.28.0 bei Blockgröße 8 gemessen und beschreibt sie als „bis zu“ 2,18× höheren Ausgabedurchsatz als bei autoregressiver Dekodierung, abhängig von Hardware und Workload. Das ist ein Hersteller-Benchmark auf Hardware, die die meisten Leser nicht besitzen. Es ist außerdem die Art von Behauptung, die stark von der Akzeptanzrate abhängt, die wiederum von der Verteilung Ihrer Prompts abhängt.

Die Sampling-Einstellungen entsprechen nicht den üblichen Standardwerten und sollten exakt übernommen werden: Temperatur 1.0, top_p 0.95, top_k 20, keine Repetition- oder Frequency-Penalty und Presence-Penalty 0 für Coding und Mathematik gegenüber 1.5 für alles andere. Der Denkmodus ist standardmäßig aktiviert, und die Karte rät davon ab, ihn auszuschalten. Wenn du die Presence-Penalty falsch einstellst, wirst du zu dem Schluss kommen, dass das Modell schlechter ist, als es tatsächlich ist.

Ein operativer Vorbehalt, der nichts mit Qualität zu tun hat: Ein Fork-Pin ist eine Supply-Chain-Entscheidung. Man erhält KRAFTONs Build von vLLM, nicht den Upstream-Release-Train – kein Upstream-CI für die eigene Konfiguration, keine Upstream-Sicherheitspatches, bis jemand rebased, und jedes vLLM-Upgrade wird zu einem Merge statt zu einem Versionssprung. Für ein Preview-Modell, das gerade evaluiert wird, ist das ein vertretbarer Kompromiss. Für eine Produktionsabhängigkeit ist es das, was im Risikoregister neben dem Modell selbst stehen sollte.

Wie man es testet, ohne darauf zu wetten

Raon-1 mini ist nicht im OrcaRouter-Katalog enthalten, und nichts hier sollte als gegenteilige Behauptung verstanden werden — wir bieten es nicht an. Was wir anbieten, ist die Vergleichsgruppe dafür, die zufällig die richtige Kontrollgruppe ist: Gemma 4 26B-A4B zu 0,06 $ pro Million Eingabe- und 0,33 $ pro Million Ausgabe-Tokens, Qwen3.6-35B-A3B zu 0,248 $ und 1,485 $ sowie Qwen3.8-27B zu 0,33 $ und 2,40 $, alle zum Listenpreis des Anbieters ohne Aufschlag. Das sind die Modelle, gegen die es gemessen wurde, erreichbar über einen einzigen Schlüssel, was das nützliche Experiment günstig macht: Führen Sie die eigenen Prompts von KRAFTON gegen die gehosteten Baselines aus und dieselben Prompts gegen die lokale Vorschau, und prüfen Sie, ob die Anbietertabelle Ihren Daten standhält.

Das ist ein besserer Einsatz einer Woche, als die Tabelle nur intensiver zu lesen. Die Fork-Installation dauert einen Nachmittag; der Vergleich zeigt dir, ob ein Modell mit 4,3 Mrd. aktiven Parametern, einem 17,6-Punkte-Vorsprung bei IFBench und einem 16,3-Punkte-Rückstand bei Terminal-Bench zu deiner Workload passt. Wenn eine gehostete Baseline bereits Traffic abwickelt, bedeutet das Routing daneben zusammen mit der Preview über einen einzigen Endpunkt mit automatischem Failover, dass ein unerprobter Checkpoint nie allein auf dem kritischen Pfad liegt – die Evaluierung kann in Produktionsform laufen, ohne das Produktionsrisiko.

Was würde diese Einschätzung ändern?

Vier Dinge, grob nach ihrer Tragweite geordnet.

Ein Upstream-vLLM-Merge, weil er einen Fork-Pin in eine Versionsnummer verwandelt und das Modell in jedes nachgelagerte Packaging-, Quantisierungs- und Serving-Tool zieht, das Mainline-Support voraussetzt. KRAFTON hat gesagt, dass es den PR wieder öffnen wird, sobald der Code bereit ist; die Liste der ausstehenden GPU-Validierungen im geschlossenen PR ist eine faire Beschreibung dessen, was „bereit“ bedeuten muss.

Eine unabhängige Bewertung, denn achtzehn Herstellerzeilen, die von einem einzigen Modell beurteilt werden, sind die Meinung eines einzelnen Autors im großen Maßstab. Das AA-Omniscience-Ergebnis ist die interessanteste Zahl in der Tabelle, gerade weil es die Art von Sache ist, die ein unabhängiger Prüfaufbau schnell bestätigen oder zerstören würde.

Die vollständige Veröffentlichung und der technische Bericht, denn eine Vorschau ohne offengelegte Trainings-Token-Anzahl kann keine Behauptung zur Trainingseffizienz stützen, und die Effizienz ist das ganze Argument. Bis das vorliegt, ist „von Grund auf trainiert“ eine Aussage über die Herkunft, nicht über die Kosten.

Und einen gehosteten Endpoint mit einem veröffentlichten Preis, denn derzeit besteht die einzige Möglichkeit, Raon-1 mini zu nutzen, darin, es auszuführen, und die einzige Möglichkeit, es zu bepreisen, darin, die eigenen GPU-Stunden zu amortisieren.

Vorerst ist die zutreffende Beschreibung kurz. Raon-1 mini ist ein echtes, herunterladbares Apache-2.0-Modell mit 28,8B Parametern insgesamt und 4,3B aktiven Parametern, veröffentlicht am 21. Oktober, mit einer wirklich interessanten KV-Cache-Geschichte, einer Anbieter-Benchmark-Tabelle, die ihm in vier Zeilen schmeichelt und es in drei Zeilen bloßstellt, einem Serving-Stack, der nur als KRAFTON-Fork existiert, und einem Upstream-Pull-Request, der 184 Sekunden Bestand hatte. Das ist nützlicher als sowohl „KRAFTON hat gerade ein Frontier-Modell kostenlos ausgeliefert“ als auch „nichts zu sehen, bis vLLM gemergt wird“.