Kartu hero yang dihasilkan berjudul 'Muse Spark Open on AMD' dengan subjudul 'Gerbang akurasi setiap malam yang belum pernah dijalankan siapa pun'. Empat kartu membulat bertuliskan 'Signal — Ditambahkan 15 Okt 2026 / SGLang pull request 44586', 'Gerbang GSM8K — 0.93 / Ambang batas disalin dari tes B300', 'Gerbang MMMU — 0.50 / Placeholder, tidak ada pengukuran AMD', dan 'Jalannya perangkat keras — Belum ada / Tugas gagal sebelum mengevaluasi'. Baris footer menyatakan bahwa setiap angka berasal dari pull request terbuka dan tidak ada satu pun yang merupakan skor MI355X yang terukur.
Engineering & Research

Muse Spark Terbuka di AMD: Dukungan Hari Pertama, Ambang Placeholder, dan Gerbang yang Belum Pernah Dijalankan Siapa Pun

Penulis

Elias Hawthorne

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Meta merilis Muse Spark Open pada 15 Oktober 2026, dan pada malam yang sama sebuah draft pull request masuk ke SGLang yang judulnya terdengar kurang seperti fitur dan lebih seperti sebuah pengakuan: [AMD] Add a Muse Spark Open MI35x nightly GSM8K + MMMU accuracy gate. Alasan keberadaannya dijelaskan gamblang di badan PR. Pada HIP, kode model tersebut dialihkan ke implementasi ROCm terpisah — sglang.srt.rocm_muse_spark — dan tidak ada job continuous-integration di proyek itu yang mencakupnya. Menurut pengakuan penulisnya sendiri, gate baru itu belum pernah dijalankan di perangkat keras, salah satu dari dua ambang lulus/gagalnya adalah placeholder yang diciptakan karena tidak ada pengukuran AMD yang bisa dipakai, dan job CI tersebut lagipula akan gagal pada langkah pertamanya hari ini. Ini bukan kisah peluncuran. Ini jejak berbentuk kebocoran tentang bagaimana sebenarnya mengirimkan model open-weight 816 miliar parameter ke perangkat keras AMD, dilihat dari dalam sebuah framework serving.

Apa yang sebenarnya ditambahkan oleh pull request tersebut

Gate adalah satu pekerjaan malam yang mencakup kedua checkpoint FP4 dalam resep cookbook "Low Latency" MI355X milik proyek. Dalam istilah proyek itu sendiri:

• Suite — nightly-amd-4-gpu-mi35x-muse-spark-open, pekerjaan nightly-4-gpu-mi35x-muse-spark-open pada linux-mi35x-gpu-8 runner di TP4, dengan batas 21.600 detik per file.

• Dua server, dua kelas — satu per checkpoint, karena sel NVFP4 menempuh jalur pemuatan yang berbeda dari sel MXFP4. MXFP4 memuat amd/Muse-Spark-Open-816B-A42B-Quark-MXFP4; NVFP4 memuat checkpoint -NVFP4 dari repo Meta dengan --quantization quark_mxfp4, yang mengkuantisasi ulang ke MXFP4 saat pemuatan.

• Flag resep — TP4/EP4, atensi AITER pada ukuran halaman 16, MUSE_MOE_BACKEND=flydsl, DFlash2 dengan backend draft-attention Triton.

• Apa yang diukur — GSM8K split penuh melalui sgl-eval dengan thinking aktif, reasoning_effort=xhigh, 32,768 token maksimum, temperature 1.0, top_p 0.95, ditambah 100 sampel MMMU untuk jalur multimodal.

• Waktu berjalan — satu runner 8-GPU melayani kedua checkpoint satu demi satu, sekitar empat jam.

Penyertaan MMMU adalah detail yang membuat PR ini layak dibaca. Seperti yang dikatakan penulisnya, pada HIP model melakukan dispatch ke implementasi ROCm dan jalur gambar melalui implementasi tersebut tidak diuji dengan cara lain — jadi vision tower, pada saat ini ditulis, adalah bagian yang paling jarang dieksekusi dari Muse Spark Open pada silikon AMD.

Dua angka di PR, dan dari mana asalnya

Tidak ada satu pun di sini yang merupakan pengukuran Muse Spark Open pada perangkat keras AMD, dan PR tersebut menyatakan hal itu.

• GSM8K 0.93 — diambil mentah-mentah dari uji B300 Muse Spark dalam PR Day-0. B300 adalah NVIDIA Blackwell Ultra. Ambang batas, pengaturan sampling, dan penyiapan penskoran semuanya dibawa dari pekerjaan Hopper-class-ke-Blackwell ke tumpukan akselerator yang sama sekali berbeda.

• MMMU 0.50 — dijelaskan dalam PR sebagai "placeholder tanpa pengukuran AMD di baliknya." Itu sangat jujur untuk sebuah file CI, dan perlu dipahami mengapa hal itu lebih penting daripada yang terlihat. Gerbang dengan batas bawah yang diciptakan bukanlah pemeriksaan kebenaran; itu adalah tripwire. Ini akan menangkap regresi katastrofik dan akan diam-diam meloloskan regresi ringan. Jika skor MMMU MI355X yang sebenarnya ternyata 0.68, gerbang tersebut mengizinkan penurunan enam poin sebelum terpicu.

• panjang penerimaan DFlash2 — dilaporkan dalam ringkasan langkah job, sengaja tidak dijadikan gerbang. Jadi jalur speculative-decoding dapat diamati tetapi tidak terlindungi: model draf yang diam-diam berhenti memprediksi dengan baik akan muncul di ringkasan yang tidak dijadikan sumber peringatan oleh siapa pun.

Poin terakhir itu berlaku lebih luas daripada PR yang satu ini. Gerbang akurasi yang dijalankan setiap malam mengukur kode model yang dikirimkan framework, bukan model yang disajikan penyedia kepada Anda. Resep kuantisasi yang berbeda, ukuran halaman yang berbeda, backend attention yang berbeda, model draft yang berbeda, dan Anda berada di luar cakupan yang menjadi sasaran gerbang itu.

Gerbangnya terhalang, dan alasannya biasa saja.

PR tetap dalam status draft sampai PR dukungan Day-0 mendarat, yang merupakan dependensi normal. Penghambat yang lebih menarik adalah kumpulan patch AMD AITER. Patch-patch tersebut divalidasi terhadap satu revisi AITER (4ad9983), tetapi Dockerfile ROCm di mainmenyematkan revisi yang berbeda (2bb5491). Terhadap revisi yang disematkan tersebut, 04-aiter-muse-moe-flydsl.patchdapat diterapkan dengan bersih; bagian AITER dari 03-plan-b-aiter-unified-attention-3d.patchtidak dapat, karena aiter/ops/triton/attention/unified_attention.pytelah direfaktor setelah patch-patch tersebut dipotong. Penulis belum memeriksa patch ketiga, yang menyasar submodul composable_kernel. Sampai patch kedua dapat diterapkan, job gagal sebelum mengevaluasi apa pun.

Baca itu sebagai sinyal tentang kematangan, bukan sebagai dakwaan. Jalur penyajian AMD untuk model mixture-of-experts yang sangat besar terus dibangun ulang di upstream, dan lockfile vendor justru merupakan hal yang merusak kumpulan patch yang membuat model tersebut berjalan pada awalnya.

Hari pertama di AMD sebenarnya bukan hari pertama

Tidak dijalankannya gate bukanlah hal yang sama dengan barunya jalur AMD. Lini waktu di sekitarnya mengungkap cerita yang lebih utuh daripada yang disampaikan oleh postingan peluncuran maupun PR-nya.

• Artefak kuantisasi AMD mendahului peluncuran sekitar empat minggu — Quark-MXFP4 dan Quark-PTPC-FP8 checkpoint untuk Muse Spark Open dipublikasikan ke Hugging Face pada 2026-09-18, sekitar satu bulan sebelum Meta mengumumkan bobotnya.

• Dukungan framework dibuka pada hari peluncuran — PR [Day0] Support Muse Spark Open milik SGLang dan PR [Model] Add Muse Spark Open support milik vLLM keduanya dibuka hanya berselang dua belas menit satu sama lain pada 2026-10-15, dan seperti itulah wujud koordinasi day-zero yang sesungguhnya.

• Panduan build milik Meta sendiri menyertakan resep AMD — FP8 (Quark) untuk Instinct MI355X yang dilayani melalui vLLM, dan MXFP4 (Quark) untuk MI350X dan MI355X, bersama dengan jalur MXFP4 Intel yang disesuaikan untuk empat kartu 160 GB dan jalur INT4 Xeon 6 untuk penggunaan offline.

• Meta menerbitkan throughput khusus untuk AMD — model draf DFlash V2 memberikan throughput 3,7× untuk satu permintaan di MI355X dan 2,9× pada 16 permintaan bersamaan, dengan 6,4 token draf yang diterima per langkah; kernel Helion khusus di SGLang dikreditkan dengan percepatan tingkat kernel 1,03–3,95× di NVIDIA dan AMD serta peningkatan end-to-end 3% pada MI350.

Jadi, ceritanya bukanlah "dukungan AMD datang terlambat." Melainkan bahwa dukungan AMD datang sudah dipersiapkan dan belum terukur pada saat yang sama: artefak, resep, dan percepatannya semuanya sudah siap, sedangkan angka akurasinya belum, yang justru merupakan celah yang harus ditutup oleh gerbang nightly.

Apa kata angka-angka independen sementara itu

Meskipun akurasi AMD belum terselesaikan, gambaran agregatnya tidak demikian. Artificial Analysis mencantumkan Muse Spark Open pada Intelligence Index 39, peringkat kesembilan dari 118 model dalam kumpulan perbandingannya, dengan median 19 di antara model-model yang sebanding — hasil yang kuat. Letak kehati-hatiannya ada pada harganya: $1,25 per juta token input dan $4,25 per juta token output, dengan diskon cache 88%, tarif campuran $0,78, dan belanja $0,84 per tugas Intelligence Index, yang menempati peringkat ke-32 dari 40 pada ukuran efisiensi tersebut. Kecepatan output tercantum sebagai tidak tersedia, dan daftar tersebut mencatat input teks dan gambar, berbeda dengan klaim vendor sendiri soal teks, gambar, video, dan audio — sebuah ketidaksesuaian yang belum terselesaikan yang layak ditandai, bukan diputuskan. Angka-angka tersebut independen dan netral terhadap vendor; angka AMP di atas adalah milik Meta.

Versi singkatnya jika Anda memutuskan hari ini

Jika kapasitas Anda adalah AMD dan Anda berencana melakukan self-host Muse Spark Open di MI355X, posisi yang jujur adalah bahwa Anda adalah tolok ukurnya. Ada jalur serving day-zero yang lengkap, resep kuantisasi per akselerator, percepatan speculative-decoding yang telah dipublikasikan — dan, hingga tulisan ini dibuat, belum ada skor akurasi yang dipublikasikan untuk sel FP4 mana pun di silikon AMD. PR-nya tetap memberi Anda sesuatu yang berguna: konfigurasi eval-nya adalah definisi lengkap dan siap diadopsi tentang seperti apa pemeriksaan akurasi yang serius pada model ini, hingga ke reasoning effort dan top_p. Jalankan terhadap checkpoint Anda sendiri sebelum Anda menempatkan pelanggan di depannya, dan pantau run yang dijanjikan penulis, patch AITER yang di-rebase, serta ambang MMMU yang digantikan dengan skor terukur.

A generated two-column scoreboard titled 'Muse Spark Open on AMD — measured vs assumed'. The left column, 'Gated in CI', lists the full-split GSM8K run with reasoning_effort=xhigh and 32,768 max tokens, the 0.93 threshold lifted from the B300 test on NVIDIA hardware, 100 MMMU samples on the multimodal path, the 0.50 MMMU placeholder with no AMD measurement behind it, and the MXFP4 and NVFP4 cells at TP4/EP4. The right column, 'Not measured on MI355X', lists DFlash2 accept length as reported in the step summary but not gated, the MMMU score as not yet measured, the GSM8K score as not yet measured, the job as failing because the AITER patches do not apply, and hardware runs as not yet performed. A footer records the source as the open SGLang pull request 44586 and states that no AMD measurement stands behind any figure on the card.

Catatan praktis tentang penyajian tumpukan kuantisasi berusia empat minggu

Satu mekanisme dalam PR ini layak diperhatikan. Sel NVFP4 dimuat dengan --quantization quark_mxfp4, artinya checkpoint sumber adalah NVFP4 dan runtime melakukan kuantisasi ulang ke MXFP4 saat dimuat. Dua pipeline yang berbeda secara numerik sedang dibandingkan dalam satu suite, itulah tepatnya sebabnya masing-masing mendapat server sendiri, kelas sendiri, dan baris lulus/gagal sendiri. Panduan Meta sendiri menyatakan bahwa build AMD FP8 (Quark) menyamai akurasi BF16 pada GSM8K, tetapi klaim itu tentang FP8, bukan tentang sel FP4 mana pun, dan itu adalah pengukuran vendor. Jika Anda memilih kuantisasi untuk produksi, anggap sel FP4 sebagai belum terverifikasi sampai seseorang memublikasikan angkanya.

Di sinilah lapisan routing membuktikan nilainya. Ketidakpastian ini tidak ada bagi pembaca yang memanggil endpoint terkelola — tetapi jika Anda yang mengambil keputusan self-host, cara untuk mengurangi risiko model yang belum terbukti adalah menempatkan sebagian kecil trafik padanya di balik sesuatu yang dapat memindahkan trafik kembali.OrcaRouter merutekan Muse Spark 1.2 dan Muse Spark 1.1 saat ini dan tidak merutekan Muse Spark Open, jadi tidak ada apa pun di sini yang merupakan klaim tentang menghosting model baru; ini adalah satu API di lebih dari 200 model yang sama, dengan failover otomatis saat penyedia mengalami penurunan kinerja dan DSL routing untuk membagi trafik antar model dan penyedia melalui konfigurasi, bukan melalui perubahan kode. Kami meneruskan harga daftar penyedia dengan markup 0%, dan itulah yang membuat uji coba paralel yang hati-hati cukup murah untuk benar-benar dilakukan.

Untuk Muse Spark Open sendiri, ketersediaan saat ini berjalan melalui API milik Meta sendiri dan serangkaian platform inferensi pihak ketiga, plus unduhan bobot di Hugging Face dan dua katalog model cloud yang disebut Meta. Di AMD, cara tercepat menuju angka yang tepercaya adalah gate di PR ini — setelah seseorang menjalankannya.

A screenshot of the GitHub pull request page for SGLang pull request 44586, titled '[AMD] Add a Muse Spark Open MI35x nightly GSM8K + MMMU accuracy gate', shown in draft state.

Apa yang harus ditonton

• Pendaratan PR Hari-0 — gerbang akurasi tidak dapat di-merge sebelum PR itu mendarat, dan saat kedatangannya, kode milik model sendiri menjadi baseline, bukan snapshot.

• Rebase patch AITER — khususnya bagian AITER dari patch unified-attention terhadap revisi yang di-pin. Sampai patch itu dapat diterapkan, suite AMD merah karena alasan yang sama sekali tidak ada kaitannya dengan model.

• Ambang batas MMMU bergeser dari 0,50 — saat skor MI355X sungguhan menggantikan placeholder, gerbang multimodal mulai bekerja.

• Laporan run pertama yang dipublikasikan — penulis telah berkomitmen untuk memposting run pada ketiga image sebelum menandai PR siap. Itu adalah pembacaan akurasi AMD pertama untuk Muse Spark Open, dan akan berasal dari test harness, bukan slide vendor.

• Apakah angka NVIDIA dan AMD berbeda — jika GSM8K bertahan di sekitar 0,93 pada MI355X sementara MMMU berada jauh lebih rendah daripada platform lain mana pun, jalur visi pada ROCm adalah inti ceritanya, dan PR kerangka kerja yang menambahkan gate tersebut akan menjadi tempat pertama hal itu terlihat.

A screenshot of the Artificial Analysis page for Muse Spark Open (Reasoning), showing an Intelligence Index of 39 and a rank of 9th of 118 models, a price of $1.25 per million input tokens and $4.25 per million output tokens, an 88% cache discount, a $0.78 blended rate, and $0.84 of spend per Intelligence Index task at 32nd of 40.

Bagi siapa pun yang melacak bagaimana model unggulan berbobot terbuka benar-benar sampai ke perangkat keras sekunder, inilah berkas yang perlu tetap dibuka. Postingan peluncuran memberi tahu Anda bahwa model tersebut tersedia di AMD. Pull request-nya memberi tahu Anda bahwa per 15 Oktober 2026, belum ada yang memeriksa apakah model itu masih bagus di sana.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari