Muse Glimmer erreicht 230 Token/s auf einer einzelnen RTX 5090: SGLang Day-0-Support ist die eigentliche Launch-Story

Zweihundertdreißig Tokens pro Sekunde ist ein schneller Wert für jedes Modell. Für Muse Glimmer — Metas dichtes 30B-Modell mit offenen Gewichten aus den Meta Superintelligence Labs, das am 10. August 2026 unter Apache 2.0 veröffentlicht wurde — ist es die Zahl, die ein „läuft auf meiner GPU“-Modell von einem „bedient einen echten Agenten“-Modell trennt. SGLang kündigte am selben Tag, an dem die Gewichte hochgeladen wurden, Day-0-Support für Muse Glimmer an, und seine veröffentlichte Messung auf einer einzelnen GeForce RTX 5090 beträgt 236,4 Tokens pro Sekunde pro Benutzer bei Batch 1, mit NVFP4-Quantisierung und Metas DFlash-Speculative-Decoding-Drafter, beide aktiviert.

Diese eine Zahl erzählt den Großteil der Geschichte dieses Releases, aber es lohnt sich, beim Rest zu verweilen, denn das Interessante ist nicht die Geschwindigkeit, die in der Schlagzeile steht. Das Interessante ist, dass das Modell auch sofort auf einer RTX PRO 6000, auf einem NVIDIA DGX Spark und auf Apple Silicon über MLX funktioniert – und dass SGLang die Arbeit als eine Zusammenarbeit mit Meta Superintelligence Labs bezeichnet, nicht als nachträgliches Anhängsel der Community. Dies ist das erste Frontier-nahe Meta-Modell seit Langem, das um den Serving-Stack herum entwickelt wurde, nicht nur um die Gewichte.

Was bedeutet „Day-0-Support“ hier tatsächlich?

Day-0-Unterstützung in SGLang v0.5.17 bedeutet, dass das Modell nicht nachträglich angeflanscht wurde: Die Laufzeit-Implementierung landete im selben Release-Zeitfenster wie die Gewichte, mit einem maßgeschneiderten Pfad für die Hardware, die Meta tatsächlich anvisiert. Das SM120-Backend von SGLang deckt die Blackwell-Desktop- und Workstation-Linie ab — die RTX 5090, die RTX PRO 6000 und der DGX Spark laufen alle über denselben optimierten Pfad — während Apple silicon ein natives MLX-Backend erhält, statt eines langsamen Ports.

Der Stack, den SGLang und Meta optimiert haben, ist spezifisch. Das Modell läuft als 18-GB-NVFP4-Checkpoint, gepaart mit einem 5-GB-BF16-DFlash-Drafter – dem spekulativen Dekodierungs-Begleitmodell, das Meta für Muse Glimmer trainiert hat. Diese Kombination passt mit Platzreserve in eine 32-GB-Karte, und der gesamte NVFP4-plus-MXFP8-Mischquantisierungspfad belegt rund 19,5 GB im Arbeitsspeicher. Auf der SGLang-Seite nennen die Release Notes drei Zuverlässigkeitsmechanismen als Teil derselben Geschichte: DFlash-Spekulative-Dekodierung, RadixAttention für Prefix-Caching und unterbrechbare CUDA-Graphen.

Die Zahl, und was sie ist und was nicht.

SGLangs veröffentlichte RTX-5090-Zahlen, alle mit NVFP4 und dem SM120-Pfad, gliedern sich wie folgt auf:

• Einzelbenutzer-Dekodierung (Batch 1) — 63,9 Tokens/s Standard, 236,4 Tokens/s mit DFlash spekulativer Dekodierung. Dieser 3,7-fache Anstieg ist die interaktive Zahl, die darüber entscheidet, ob sich ein lokaler Agent wie ein Gespräch oder wie eine Warteschlange anfühlt.

• Gesamtausgabe (Batch 8) — 501 Token/s Standard, 1.452 Token/s mit DFlash. Dies ist die Durchsatzrate für einen lokalen Server, der mehrere Anfragen gleichzeitig bedient.

Zum Vergleich: Ein GGUF q4_k_m auf derselben GPU — der Weg, den die meisten Nutzer mit llama.cpp-artigen Laufzeiten gehen werden — erreicht standardmäßig 72,6 Tokens/s und 140,7 Tokens/s mit DFlash. Der NVFP4-Pfad liegt deutlich vorn.

Dies sind SGLangs und Metas veröffentlichte Zahlen vom Starttag, keine unabhängigen Reproduktionen – die ehrliche Bezeichnung ist anbieter- und framework-gemeldet, und die Verifizierung durch die Community wird in den kommenden Wochen erfolgen. Aber das Muster über die beiden Stacks, die Zahlen angekündigt haben, ist konsistent. In llama.cpp meldete Meta 74,9 bis 233,4 Token/s auf einer RTX 5090 mit DFlash, eine 3,1-fache Steigerung; der M5 Max geht von 26,6 auf 50,2; der M4 Max von 23,7 auf 37,8. Zwei verschiedene Laufzeiten, zwei verschiedene Messstile, dieselbe Größenordnung: ein 30B-Modell, das mit über 200 Token pro Sekunde auf einer einzelnen Consumer-GPU dekodiert, und DFlash, das den Durchsatz auf jedem Nvidia-Setup, das Zahlen veröffentlicht hat, ungefähr verdreifacht.

Warum „serves“ wichtiger ist als „runs“

Metas Hardware-Blog stellt eine deutlichere Behauptung auf als die Desktop-Zahlen. Bei NVIDIA Blackwell Ultra – der Rechenzentrums-Generation, nicht der Desktop-Grafikkarte – nennt der Blog über 20.000 Tokens pro Sekunde pro GPU bei BF16/NVF4, wobei SGLang und vLLM beide als unterstützte Open-Source-Stacks genannt werden. Das ist eine andere Liga, und genau das verrät, was Meta tatsächlich baut: Dieselben Gewichte sollen überall laufen, vom Laptop bis zum GPU-Serverrack, und die Serving-Frameworks wurden von Anfang an als erstklassig behandelt, statt als Ports, die später geschrieben werden.

Die Zuverlässigkeit ist die halbe Geschichte und zählt genauso viel wie die Geschwindigkeit. Ein lokaler Agent, der mitten in der Aufgabe abstürzt, weil die Serving-Schicht ins Stocken geriet, ist nicht wirklich besser als ein Cloud-Agent, der gedrosselt wurde. Die Mechanismen im Day-0-Stack — unterbrechbares spekulatives Decoding, Prefix-Caching, das lange Agentenkontexte günstig wieder aufnehmbar macht, und ein auf das Basismodell abgestimmter Drafter — sind genau die Komponenten, die dauerhaft aktive lokale Agenten überlebensfähig machen. Das ist das „Geschwindigkeit und Zuverlässigkeit“, auf das der Launch hingewiesen hat, und es ist eine echte Engineering-Position, keine Marketingphrase.

Was du tatsächlich damit machen kannst

Muse Glimmer ist ein dichtes, multimodales 30B-Modell — Text- und Bildeingabe über einen eingefrorenen Perception-Encoder, Textausgabe — trainiert auf über 100 Sprachen, mit einem Kontextfenster von 131.072 Token und einem Wissensstand vom 4. Januar 2026. Sein Auftrag ist die unglamouröse Agentenarbeit: Function Calling, Tool-Nutzung, Termin- und Dateiverwaltung, LLM-as-a-Judge-Evaluation und mehrstufige Aufgaben mit Fehlerbehebung — wenn ein Tool-Aufruf fehlschlägt, ist das Modell darauf trainiert, zu diagnostizieren und es erneut zu versuchen, statt anzuhalten. Es bietet Reasoning-Aufwandstufen (von low bis xhigh), die Sie im System-Prompt festlegen — so tauschen Sie auf denselben Gewichten Latenz gegen Tiefe.

Die Zahl von 230 Tokens pro Sekunde macht das alles auf einer einzigen Maschine nutzbar. Bei weniger als etwa 50 Tokens/s fühlt sich ein interaktiver Agent wie eine Remote-Debugging-Sitzung an; bei über 200 fühlt er sich wie ein lokales Werkzeug an. Das ist das gesamte Argument für das Modell in einer einzigen Zahl, und es ist der Grund, warum die Hardwareliste – RTX 5090, RTX PRO 6000, DGX Spark, MLX Macs – eher wie ein Einkaufsführer für die Ära lokaler Agenten liest denn wie eine Kompatibilitätsfußnote.

Was es kostet

Muse Glimmer selbst ist kostenlos — Apache-2.0-Gewichte auf Hugging Face unter meta-models/Muse-Glimmer-30B, mit bereits veröffentlichten GGUF-Quantisierungen für llama.cpp-artige Laufzeitumgebungen und ohne öffentliche Meta-API. Die eigentlichen Kosten liegen in der Hardware darunter: Ein 18-GB-NVFP4-Checkpoint plus der 5-GB-Drafter bedeutet, dass du eine 24-GB- oder 32-GB-Grafikkarte oder einen High-End-Mac der M-Serie benötigst. Wenn du das bereits besitzt, sind die Grenzkosten eines dauerhaft laufenden lokalen Agents Strom. Wenn nicht, ist die GPU der Kostenpunkt — und das ist der ehrliche Weg, ein „kostenloses Modell“ mit einer gehosteten API zu vergleichen.

Wenn Sie diesen Vergleich anstellen, kalkulieren Sie beide Seiten ehrlich. Bei OrcaRouter ist der Preis, den Sie für eines der über 200 gehosteten Modelle sehen, der Listenpreis des Anbieters, der ohne Aufschlag durchgereicht wird, sodass eine Preissenkung des Anbieters hier am selben Tag wirksam wird – was die Rechnung zwischen lokal und gehostet ehrlich hält. Muse Glimmer selbst ist heute nicht bei OrcaRouter, weil noch kein Inferenzanbieter es bereitstellt; es wird als Download ausgeliefert. Sobald ein Anbieter es tatsächlich bereitstellt, wird derselbe Schlüssel, der für den Rest des Katalogs verwendet wird, auch für dieses Modell funktionieren, und automatisches Failover ist der Mechanismus, der es sicher macht, Produktionsverkehr auf ein brandneues, vom Anbieter gemeldetes Modell zu lenken, bevor es eine unabhängige Erfolgsbilanz hat.

Die größere Geschichte hinter der Geschwindigkeit

{{1}}Betrachtet man die SGLang-Arbeit ab Tag eins als Signal, ist das Release kein einzelnes Modell mehr.{{/1}} {{2}}Muse Glimmer ist eine destillierte Version von Metas proprietärem Flaggschiff Muse Spark 1.2, und Meta hat gesagt, die Gewichte des Teacher-Modells kämen „in den kommenden Wochen“.{{/2}} {{3}}Ein lokaler 30B-Agent mit einem optimierten Serving-Stack, ein Teacher-Modell, das bald Open Source wird, und ein zusammen mit dem Release angekündigter Community-Fonds über 1 Milliarde Dollar – das ist kein Punkt-Release.{{/3}} {{4}}Das ist der Anfang einer Open-Weight-Reihe, die gezielt auf den Markt für lokale Agenten abzielt, und die Framework-Unterstützung ab Tag eins zeigt: Meta will, dass die Leute das Modell tatsächlich ausführen – nicht nur herunterladen.{{/4}}

Der Vorbehalt, den man im Hinterkopf behalten sollte: Jede Geschwindigkeits- und Benchmark-Zahl, die bisher im Zusammenhang mit diesem Release genannt wurde, stammt vom Anbieter oder vom Framework. Die Durchsatzwerte sind über zwei unabhängige Stacks hinweg konsistent, was beruhigend ist. Doch erst unabhängiges Benchmarking, ein Eintrag bei Artificial Analysis und Reproduktionen unter realen Bedingungen werden die Geschichte von 230 Tokens pro Sekunde bestätigen – und die erscheinen in der Regel innerhalb von Wochen nach einer solchen Veröffentlichung.

Worauf man achten sollte, in grober Reihenfolge des Tempos: der Open-Weights-Drop von Muse Spark 1.2 (die strategische Einschätzung „Meta ist zurück“ hängt davon ab); die ersten unabhängigen Durchsatz-Reproduktionen auf Nicht-Nvidia-Hardware, wobei der MLX-Pfad der ist, auf den man achten sollte; und der erste Inferenz-Anbieter, der einen Glimmer-Endpoint aufsetzt – das ist der Moment, in dem die Argumente „kostenloses lokales Modell“ und „gehostete API“ aufhören, hypothetisch zu sein, und zu einer Wahl werden, die du mit einem einzigen Tastendruck treffen kannst.