MAGI-2-preview kommt zu SGLang: was der neue Serving-PR enthüllt

MAGI-2-preview, das 114-Milliarden-Parameter-Videogenerierungsmodell mit Mixture-of-Experts von Sand.ai, wurde am 5. August 2026 als Open Source veröffentlicht – und elf Tage später ist das erste Anzeichen dafür aufgetaucht, dass es bald eine produktionsreife Serving-Infrastruktur bekommen wird. Am 16. August wurde im SGLang-Repository ein Pull-Request mit dem Titel [diffusion][Model] Support MAGI-2-preview (sgl-project/sglang, PR #35014), und der Titel ist zutreffend: Er integriert native Serving-Unterstützung für das Modell in den Diffusion-Stack von SGLang. Er ist außerdem, zum Zeitpunkt dieses Textes, noch ein Pull-Request – offen, wartend auf die Code-Owner-Überprüfung, mit fehlgeschlagenen CI-Checks. Es wurde nichts gemergt, also ist noch nichts servierbar. Aber für alle, die abwägen, ob MAGI-2-preview von dem Referenz-Setup (Docker und torchrun) von Sand.ai auf eine verbreitete Serving-Runtime umziehen kann, ist der PR eine detaillierte Roadmap.

Betrachten Sie das also als eine Zusammenfassung des bisherigen Wissensstands, nicht als Versionshinweis. Das Modell ist real und veröffentlicht – das geschah am 5. August, mit Gewichten auf Hugging Face und Code auf GitHub unter einer Apache-2.0-Lizenz. Was unbestätigt ist, ist die Serving-Arbeit: Die SGLang-Integration ist ein einzelner offener Pull-Request, dessen Details sich im Review noch ändern können, und bis er gemerged wird, kann SGLang MAGI-2-preview nicht tatsächlich ausführen. Der Wert liegt darin, was der PR über das Modell und über den Weg zu seinem Einsatz in einer echten Laufzeitumgebung verrät.

Das Modell, für das der PR bestimmt ist, in einem Absatz.

MAGI-2-preview ist der Versuch von Sand.ai, Videogenerierung so zu skalieren, wie Sprachmodelle skaliert wurden — mit einem Mixture-of-Experts-Ansatz, und es ist der Nachfolger des quelloffenen MAGI-1 (eines autoregressiven Videomodells mit 24B Parametern vom April 2025). Das neue Modell umfasst insgesamt etwa 114B Parameter, aktiviert aber nur etwa 6B pro Token, mithilfe eines ultra-feinkörnigen Multi-Head-MoE: Ein 3.072-dimensionaler versteckter Zustand wird in zwölf 256-dimensionale Köpfe aufgeteilt, die jeweils an sechs von 256 Experten weiterleiten, was 3.072 Experten-Einheiten pro MoE-Schicht und 72 pro Token aktivierte Experten über 36 Schichten ergibt. Es ist ein einheitliches Single-Stream-Audio-Video-Modell — Text, Video und Audio durchlaufen denselben Transformer und tauschen auf jeder Ebene Informationen über Self-Attention aus, statt über eine separate Cross-Attention-Pipeline. Es unterstützt Text-zu-Video und Bild-zu-Video und erzeugt 10-Sekunden-Clips — die einzige unterstützte Dauer — mit einem synchronisierten Stereo-Soundtrack, der in derselben Denoising-Trajektorie erzeugt und in die Ausgabedatei gemuxt wird.

Die Generierung läuft in zwei Phasen ab. Eine magi2_preview-Phase führt ein Denoising bei 512×896 durch; danach eine magi2_refiner-Phase, die auf 1088×1920 hochskaliert. Die Basisversion verwendet 100 Denoising-Schritte in der Preview-Phase und 5 in der Refiner-Phase; Sand.ai kündigt eine destillierte Version mit deutlich weniger Schritten an. Das Checkpoint-Set ist ein einzelnes Hugging-Face-Repo von etwa 307 GB: die 228-GB-Preview-Phase, einen Qwen3.5-27B-Textencoder, den 14-GB-Refiner, eine 5-GB-Audio-VAE, eine von Wan2.2-TI2V-5B übernommene Video-VAE sowie einen destillierten Turbo-VAE-Decoder, der standardmäßig verwendet wird. Als Hardware werden acht NVIDIA-Hopper-GPUs (H100-Klasse) benötigt, wobei der Referenz-Launcher es ermöglicht, Textencoder, Preview, Refiner und VAE phasenweise zwischen CPU und GPU auszulagern.

Was die Leistung betrifft, sind die kursierenden Zahlen gemeldet, nicht unabhängig reproduziert. Die Behauptungen – ein VBench-Score von 86,54 %, vor Sora 2 (84,37 %) und Kling 2.0 (84,20 %) in derselben chinesischen Presseberichterstattung, sowie der 6. Platz auf der Artificial-Analysis-Bestenliste für Bild-zu-Video mit einem Elo von etwa 1106 – stammen vom Anbieter und aus der Startberichterstattung, und keiner dieser Werte wurde in den elf Tagen seit der Veröffentlichung von einem unabhängigen Dritten überprüft. Sand.ai nennt außerdem Inferenzkosten von etwa 0,5 Yuan (etwa 0,07 US-Dollar) pro 10-Sekunden-1080p-Clip auf acht H100s, also etwa ein Zehntel gängiger Videomodelle. Betrachten Sie das alles als Angaben von Anbieter und Presse, bis jemand sie misst.

Warum ein ausgelieferter Pull-Request die eigentliche Neuigkeit ist

Bislang gab es genau einen unterstützten Weg, MAGI-2-preview auszuführen: den eigenen Referenz-Stack von Sand.ai, ein Docker-Image plus torchrun, auf acht NVIDIA-Hopper-H100. Das ist ein praktikabler, aber maßgeschneiderter Weg – man übernimmt Sand.ais Launcher, dessen Offload-Entscheidungen und die eigenwillige Methode, den Text-Encoder, Preview, Refiner und die VAE zwischen Speicherebenen zu platzieren. Ein Pull-Request, der das Modell zu SGLang hinzufügt, ist wichtig, weil SGLang die Serving-Runtime ist, die ein großer Teil der selbst gehosteten Welt der generativen KI tatsächlich in der Produktion einsetzt. Erstklassige Unterstützung bedeutet, dass MAGI-2-preview in einer gängigen Runtime ausführbar wird, mit SGLangs Mechanismen im Hintergrund – Ulysses-Sequenzparallelität, Expertenparallelität, Aktivierungs-Offload, die VAE, der Scheduler und die Pipeline-Stufen-Infrastruktur. Das ist der Unterschied zwischen „Ich kann es auf deren Stack ausführen“ und „Ich kann es auf dem Stack ausführen, den mein Team bereits betreibt.“

Was der PR tatsächlich baut

{{1}}Die Integration basiert auf der bestehenden SGLang-Infrastruktur statt auf dem Referenzpfad über torchrun.{{/1}} {{2}}Der PR fügt eine Multi-Head-MoE-Schicht, Attention-Sink-Verkabelung, lokale Block-Window-Attention für die Refiner-Stufe und Multi-Stream-Hyperverbindungen hinzu — {{/2}}{{3}}die architektonischen Bausteine von MagiMoE, die in generischen Schichten nicht bereits enthalten sind.{{/3}} {{4}}Um sie herum werden die bestehenden Komponenten von SGLang – Ulysses-Sequenzparallelität, Expertenparallelität, Offload, VAE, Scheduler und Pipeline-Stage – wiederverwendet.{{/4}} {{5}}Außerdem werden Dokumentation (eine MAGI-2-Kochbuchseite für die Diffusionsdokumentation von SGLang) {{/5}}{{6}}und 47 GPU-freie Unit-Tests mitgeliefert, {{/6}}{{7}}was ein gutes Zeichen dafür ist, wie viel des Modellverhaltens verifiziert werden kann, ohne acht H100s mieten zu müssen.{{/7}}

Der PR macht auch die Einschränkungen des Modells explizit:

• Hardware — acht NVIDIA Hopper H100s, wobei die CPU-/GPU-/Roundtrip-Offload-Modi des Referenz-Stacks darauf abbilden, wo Text-Encoder, Vorschau, Refiner und VAE zwischen den Phasen sitzen.

• Parallelität — --num-gpus muss jede Kopfachse teilen, während --tp-size, --ring-degree und --enable-cfg-parallel abgelehnt werden. Dies ist ein Modell mit vielen Routing-Dimensionen, und das Parallelitätslayout muss mit ihnen übereinstimmen.

• Ausgaben — nur die Auflösungen {{1}}1920×1088{{/1}} und {{2}}896×512{{/2}} werden akzeptiert, und nur {{3}}10-Sekunden{{/3}}-Clips; torch.compile wird nicht unterstützt.

Der letzte Abschnitt ist es wert, zweimal gelesen zu werden, wenn Sie eine Bereitstellung planen: Dies ist ein Modell, das zumindest in dieser frühen Integration auf zwei Auflösungen und eine Dauer festgelegt ist.

Was ist noch unverifiziert?

Alles über die Serving-Arbeit. Der PR ist offen, wartet auf Reviews der Code-Owner, und die CI-Checks schlugen Stand 16. August fehl. Ein Pull-Request dieser Größe kann tagelang oder wochenlang im Review liegen; es gibt keinen gemergten Stand, kein Release und keine Ankündigung von SGLang. Und die modellseitigen Behauptungen – der VBench-Score, der Artificial-Analysis-Rang, die 0,5-Yuan-Kostenangabe – stammen von Anbietern und Presse und wurden nicht unabhängig reproduziert. Wenn du heute einen Workflow auf diesen PR aufbaust, baust du auf einer Roadmap auf, nicht auf einer Laufzeitumgebung.

Was das für die Kostenberechnung bedeutet

Der Grund, warum MAGI-2-preview Aufmerksamkeit erregt hat, ist seine Wirtschaftlichkeit. Ein Modell, das 6B Parameter pro Token aktiviert und dabei eine Kapazität von 114B hat, ist pro Clip günstig zu betreiben — Sand.ai beziffert die Kosten auf etwa 0.5 Yuan pro 10-Sekunden-1080p-Clip auf acht H100s — und das ist die Art von Zahl, die darüber entscheidet, ob kleine Teams sich Videogenerierung überhaupt leisten können. Aber die 0.5 Yuan setzen den Referenz-Stack, den H100-Cluster und keinen Serving-Overhead voraus. Der übliche Weg, wie ein offenes Modell wie dieses breit nutzbar wird, ist über eine verwaltete API: Jemand hostet es, berechnet pro Clip, und man mietet nicht acht H100s.

Wenn eine gehostete Route existiert, wird der Routing-Aspekt relevant. Auf einer Routing-Plattform zahlst du genau den Listenpreis, den der Anbieter für einen MAGI-2-preview-Clip festlegt – OrcaRouter gibt die Listenpreise der Anbieter ohne Aufschlag weiter, sodass eine Preissenkung des Anbieters bei uns noch am selben Tag live ist, an dem sie veröffentlicht wird – ohne Neuverhandlung. Und ein elf Tage alter Open-Weight-Checkpoint ohne unabhängige Benchmarks ist genau die Art von Modell, die man hinter automatischem Failover haben möchte: Richte eine Route zur Evaluierung darauf aus, behalte einen bewährten Fallback auf demselben Endpoint, und sobald der frühe Checkpoint ins Stocken gerät oder etwas Unbrauchbares erzeugt, wird der Aufruf umgeleitet – nicht deine Pipeline. So testest du ein unerprobtes Modell, ohne einen Produktionspfad darauf zu setzen.

Was wir gerade ansehen

• Ob der PR gemerged wird und was sich in der Review ändert. Die Liste der Einschränkungen — zwei Auflösungen, eine Dauer, kein torch.compile — ist möglicherweise nicht endgültig.

Der destillierte Checkpoint. Sand.ai sagt, dass Gewichte mit weniger Schritten kommen; das ist es, was die 0,5-Yuan-Zahl von einer Labormessung in realistische Kosten pro Clip verwandelt.

• Erste unabhängige Benchmarks. Die VBench- und Leaderboard-Zahlen stammen von Anbietern und der Presse; ein Test durch einen Dritten würde klären, wie es um die 6B-Active-Behauptung steht.

{{1}}Ob andere Laufzeitumgebungen folgen.{{/1}} SGLang ist {{KEEP}}the first major serving runtime to take MAGI-2-preview{{/KEEP}}; vLLM und andere könnten nicht weit dahinterliegen.

• Ob eine verwaltete API verfügbar wird. Das gesamte Wertversprechen des Modells sind niedrige Kosten bei Skalierung; sobald eine gehostete Route existiert, wird die oben beschriebene Durchreich-Preisberechnung wirksam.

Die ehrliche Zusammenfassung: MAGI-2-preview ist ein elf Tage altes Open Model, dessen Kostenstruktur relevant sein könnte, und der SGLang-PR ist das bislang klarste Signal, dass das Ökosystem es ernst nimmt. Aber der Serving-Support ist ein offener Pull-Request, keine ausgelieferte Funktion. Behandelt die Roadmap als real und die Runtime als noch nicht vorhanden — und wenn das Modell hinter einer echten API landet, ist der Failover-First-Ansatz der Weg, es zu übernehmen, ohne einen Produktionspfad auf einen Checkpoint zu stützen, den niemand unabhängig gebenchmarkt hat.