150M Token per MW Milik Muse Spark Open, Dijelaskan: Sebagian Besar Angka Itu Adalah Input yang Di-cache

Meta merilis Muse Spark Open pada 15 Oktober 2026, dan selama delapan hari pertama kehidupan publiknya, angka yang dicari setiap artikel tidak tersedia. Artificial Analysis mencantumkan harga, mencantumkan Intelligence Index 39, dan sama sekali tidak mencantumkan throughput penyajian. Pada 23 Oktober, hal itu berubah: model tersebut muncul di AA-AgentPerf dengan hingga sekitar 150 juta token per detik untuk setiap megawatt daya akselerator pada empat GPU NVIDIA GB300 atau B300, dan sekitar 70 juta pada MI355X milik AMD. Ini bukan kisah peluncuran — bobotnya sudah berusia sembilan hari. Ini adalah kisah tentang apa yang diukur angka itu, karena metrik tersebut menghitung token masukan sekaligus keluaran, dan pada ujung kurva dengan konkurensi tinggi, hampir semua yang dihitungnya adalah pembacaan cache.

Apa yang sebenarnya dihitung oleh AA-AgentPerf

AA-AgentPerf bukan benchmark chat dengan stopwatch. Artificial Analysis membangunnya untuk beban kerja agen, dan beban kerjanya adalah intinya: ini memutar ulang trajektori agen coding nyata terhadap repositori publik, sesi berjalan hingga sekitar 200 giliran, dan input per permintaan berkisar dari sekitar 5.000 hingga 131.000 token dengan rata-rata mendekati 27.000. Outputnya pendek dan tidak merata — median sekitar 150 token, diselingi ledakan penalaran yang lebih panjang. Tugas server dalam beban kerja itu sebagian besar adalah menjaga prefiks yang sangat besar dan sebagian besar tidak berubah tetap di cache dan menanggapi balasan kecil dengan cepat.

Unit pada judul didefinisikan di halaman datacenter Artificial Analysis sebagai throughput server total — token masukan ditambah token keluaran per detik — per megawatt daya akselerator. Daya diukur pada GPU, die, dan HBM, bukan pada sisi dinding dan bukan pada TDP nominal, sehingga “megawatt” di sini bukan tagihan listrik fasilitas. Konkurensi juga tidak tetap: harness menaikkan beban secara bertahap, lalu melakukan pencarian biner untuk jumlah agen konkuren tertinggi yang dapat dipertahankan sistem tanpa melanggar target interaktivitas, dengan skor berupa kecepatan keluaran p25 dan waktu ke token pertama p95 sepanjang jendela kondisi tunak saat setiap agen telah aktif setidaknya selama 30 detik.

Yang berarti 150M adalah plafon, bukan kecepatan jelajah. Itu adalah throughput yang tersedia pada konkurensi di mana kecepatan per agen berada pada nilai terendah yang diizinkan target. Perangkat keras yang sama yang disetel untuk agen yang lebih responsif menghasilkan angka yang jauh lebih kecil, dan tidak ada slide peluncuran yang menyebutkan angka itu.

Angka-angka sebagaimana diterbitkan

• Plafon throughput — hingga ~150 juta token/detik per MW pada empat GPU GB300 atau B300, sebagaimana dilaporkan oleh Artificial Analysis pada 23 Oktober.

• AMD — ~70 juta token/dtk per MW pada MI355X, sekitar setengah dari hasil NVIDIA pada beban kerja yang sama.

• Di dalam NVIDIA — GB300 menunjukkan keunggulan atas B300 setelah kecepatan keluaran meningkat, menurut laporan yang sama.

• Kecepatan hosting — 142,9 token keluaran/detik dan 0,76 detik untuk token pertama pada daftar model, dibandingkan median 75,4 token/detik untuk model open-weight sebanding.

• Kecerdasan — Indeks Kecerdasan AA 39, dibandingkan median 19 untuk model berbobot terbuka dengan ukuran serupa.

• Harga — $1,25 per juta token input dan $4,25 per juta output, dengan diskon cache 88%, tarif gabungan $0,78, dan pengeluaran $0,84 per tugas Index.

Hanya tiga yang pertama yang baru minggu ini. Sisanya sudah ada di halaman sejak peluncuran, dan hal-hal itu bergerak ke arah yang berbeda dari angka throughput: murah per token yang di-cache, mahal per token yang dihasilkan. Menyandingkan kedua fakta itu adalah tempat pembacaan yang berguna berada.

Pemeriksaan silang: 43 titik operasi pada beban kerja yang sama

Sebuah pull request cookbook SGLang yang di-merge pada 22 Oktober menerbitkan lima deployment GB300 yang diukur pada skenario coding-agent AA AgentPerf yang sama, sehari sebelum pembaruan papan peringkat. Kelima titik tersebut dipilih dari 43 konfigurasi terukur, dengan mempertahankan kedua ujung frontier latency-throughput dan mencakup 81% dari luasnya. Titik-titik itu adalah gambaran publik paling jelas tentang seperti apa kurva serving Muse Spark Open — dan PR tersebut adalah proyek framework yang mendemonstrasikan stack-nya sendiri, jadi bacalah sebagai kasus terbaik yang telah disetel, bukan sebagai kasus netral.

• Konkurensi 1, dua node, TP8·EP8 — 485,8 token keluaran/detik untuk satu pengguna, 2.514 token total/detik per GPU, waktu p95 hingga token pertama 0,10 detik.

• Konkurensi 16, empat GPU, TP4·EP4 — 208,7 token/detik per pengguna, 49.646 total token/detik per GPU.

• Konkurensi 64 — 97,1 token/dtk per pengguna, 114.342 token/dtk total per GPU.

• Konkurensi 160 dengan HiCache — 40,9 token/dtk per pengguna, 185.382 total token/dtk per GPU, di antaranya 1.237 merupakan output yang dihasilkan.

• Cache — tingkat hit prefiks 96,8% hingga 97,6% di kelima eksekusi, yang membuat angka total token menjadi sebesar itu.

Poin terakhir itu adalah keseluruhan argumen dalam satu baris. Di puncak kurva, output yang dihasilkan sekitar 0,7% dari token yang dihitung oleh metrik. Sisanya, 99,3%, adalah input, dan sekitar 97% dari input itu dilayani dari cache. Angka utama 150M-per-MW dan angka 40,9 token/detik-per-pengguna adalah eksekusi yang sama yang dibaca dari dua ujung yang berlawanan. Keduanya tidak salah, tetapi keduanya menjawab pertanyaan yang berbeda, dan pertanyaan kedua adalah pertanyaan yang benar-benar dimiliki produk agen.

Aritmetikanya setidaknya konsisten, dan itu menjadi nilai plus bagi angka tersebut. Empat GB300 menarik daya akselerator pada kisaran lima hingga enam kilowatt; 150M token/dtk per MW berarti kira-kira 750.000 hingga 900.000 token per detik untuk node tersebut, atau 190.000 hingga 225.000 per GPU. Titik tertinggi SGLang adalah 185.382 total token/dtk per GPU. Orde yang sama, bentuk yang sama. Itu adalah aritmetika kami terhadap pengukuran mereka, tetapi kesesuaian semacam itu menunjukkan bahwa angka utama tidak dirakit dari proses eksekusi yang berbeda.

Angka AMD adalah yang mengubah keputusan.

Setengah throughput per megawatt bukanlah perbedaan pembulatan antar vendor. Ini adalah perbedaan antara dua rencana penerapan, dan selaras dengan kurva biaya yang diterbitkan SemiAnalysis di InferenceX untuk model yang sama dalam FP4. Pada 128 token/dtk per pengguna, B300 menjadi $0.019 per juta token versus MI355X pada $0.024. Pada 191 token/dtk per pengguna, $0.027 versus $0.044. Pada 254, $0.046 versus $0.076. Itu adalah titik-titik grafik terinterpolasi dari uji terukur, dengan harga $2.26 per chip-jam B300 dan $1.50 per chip-jam MI355X.

Chip AMD lebih murah per jam dan lebih mahal per token di setiap titik pada kurva itu, dan selisihnya melebar saat Anda meminta lebih banyak interaktivitas. Itulah bentuk yang Anda harapkan ketika efisiensi daya satu platform hanya setengah dari platform lainnya, dan itulah sebabnya pembagian 70M versus 150M lebih patut diperhatikan daripada 150M saja.

Dua catatan, keduanya berasal dari evaluator, bukan dari kami. Saat AA-AgentPerf diluncurkan pada Juni, Artificial Analysis mencatat bahwa konfigurasi MI355X-nya dibuat secara internal, bukan diajukan oleh AMD, dan bahwa headroom mungkin lebih besar pada sistem yang ia setel sendiri — jadi angka AMD adalah batas bawah dalam arti yang tidak berlaku bagi angka NVIDIA. Dan angka throughput bukanlah hasil akurasi. Gerbang akurasi MI35x yang mencakup jalur ROCm model ini masih belum dijalankan di perangkat keras, dan salah satu dari dua ambang lulus/gagalnya ditulis sebagai placeholder tanpa pengukuran AMD di baliknya. Per minggu ini, pertanyaan efisiensi sudah memiliki jawaban. Pertanyaan kebenaran belum.

Apa dampaknya terhadap perhitungan self-host versus sewa

Muse Spark Open tercantum dengan harga $1.25 per juta token input dan $4.25 per juta token output, dengan diskon cache 88% yang menempatkan beban kerja campuran 7:2:1 pada $0.78 per juta. Angka-angka itulah yang harus bisa dikalahkan oleh deployment yang di-host sendiri, dan perbandingan inilah yang akan disalahpahami oleh sebagian besar internet minggu ini.

Letakkan angka InferenceX sebesar $0,019 per juta token pada B300 dengan 128 token/dtk per pengguna di samping $0,78 gabungan, dan self-hosting tampak empat puluh kali lebih murah. Tidak demikian. Harga $0,019 dihitung untuk semua token, dan dalam jejak agen hampir semuanya adalah input yang di-cache. Angka $0,78 menggabungkan input dan output dengan rasio yang memberi bobot jauh lebih besar pada output daripada yang diberikan jejak AgentPerf. Hitung harga input dan output beban kerja Anda sendiri secara terpisah sebelum percaya pada kelipatan apa pun — dan catat bahwa biaya perangkat keras per token yang dipublikasikan biasanya tidak mencakup jam menganggur, staf operasional, dan kapasitas yang Anda pertahankan untuk puncak.

Versi jujurnya: self-hosting Muse Spark Open bisa menang, dan bentuk beban kerja tempat ia menang hampir persis seperti yang diuji AgentPerf — prefiks panjang, stabil, dan dapat di-cache, jawaban yang dihasilkan pendek, konkurensi tinggi, node yang tetap sibuk. Produk chat dengan prompt pendek dan jawaban panjang hampir merupakan kebalikannya, dan pada $4,25 per juta token output, biaya sewa bukan bagian tagihan yang akan menyakitkan.

• Bobot — checkpoint BF16 sekitar 1,65TB; build NVFP4 kira-kira 537GB.

• Node minimum yang masuk akal — empat GPU Blackwell Ultra, konfigurasi yang menghasilkan angka throughput baru tersebut. Meta juga mendemonstrasikan model berjalan secara lokal di dua M5 Ultra Mac Studio, yang merupakan proposisi berbeda: sebuah demonstrasi workstation, bukan rencana penyajian.

• Lisensi — Muse Model License. Gratis untuk sebagian besar penggunaan, tetapi perusahaan dengan pendapatan bruto tahunan di atas $20M memerlukan perjanjian dengan Meta untuk menawarkannya sebagai layanan, dan produk yang dibangun di atasnya harus mencantumkan pemberitahuan "Built with Muse Spark Open".

Di mana menjalankannya, dan apa yang diubah oleh router

OrcaRouter merutekan Muse Spark 1.1 dan Muse Spark 1.2 dan tidak menyajikan checkpoint terbuka, jadi tidak ada di sini yang merupakan klaim tentang menghostingnya. Yang perlu diketahui adalah bahwa checkpoint yang dihosting dicantumkan pada harga $1.25 dan $4.25, sama dengan harga API model terbuka itu sendiri. Bobot terbuka karenanya bukan cara yang lebih murah untuk memanggil model ini; bobot itu adalah cara untuk memiliki jalur penyajian. Jika Anda tidak akan memilikinya, pilihannya ada di antara checkpoint yang dihosting, dan pilihan itu adalah perubahan konfigurasi, bukan migrasi.

Jika Anda berniat mengadopsinya, cara bijak untuk mengetahui apakah beban kerja Anda berperilaku seperti jejak AgentPerf adalah menjalankannya secara paralel, bukan beralih. Pertahankan checkpoint terkelola sebagai cadangan di stack Anda sendiri, alihkan sebagian trafik ke deployment baru, dan pindahkan kembali saat angkanya mengecewakan. Pada sisi hosted dari perbandingan itu, OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, sehingga tolok ukur terhadap perangkat keras Anda tidak dikenai markup di pihak kami; failover otomatis dan DSL routing-lah yang membuat pemindahan trafik menjadi perubahan konfigurasi, bukan perubahan kode; dan model fusion tersedia jika Anda lebih suka membandingkan jawaban di seluruh panel daripada membandingkan infrastruktur.

Apa yang harus ditonton

• Agen per megawatt — Hasil peluncuran AA-AgentPerf bulan Juni dipublikasikan dalam satuan tersebut, sekitar 91.500 agen per MW untuk GB300 NVL72 pada DeepSeek V4 Pro di tier 20 token/detik. Jumlah agen yang sebanding untuk Muse Spark Open adalah yang akan membuatnya dapat diperingkat terhadap model lain, bukan sekadar dapat dideskripsikan.

• Telaah mendalam Meta tentang serving pada 26 Oktober — dilaporkan oleh vendor, jadi beri label demikian saat terbit, tetapi detail berguna yang perlu diperhatikan adalah tingkat konkurensi mana yang diasumsikan oleh angka efisiensi tersebut.

• Konfigurasi MI355X yang diajukan AMD — hasil setengah throughput diukur terhadap konfigurasi yang dibangun sendiri oleh Artificial Analysis, dan AA telah menyatakan bahwa ruang cadangan di sana mungkin lebih besar.

• Gerbang akurasi MI35x hadir dengan angka nyata — efisiensi tanpa pemeriksaan kebenaran hanyalah separuh keputusan penerapan, dan separuh placeholder dari gerbang itu masih berupa placeholder.

Bacaan yang berguna minggu ini sempit dan spesifik. Muse Spark Open, berdasarkan bukti yang kini diterbitkan, adalah model yang luar biasa efisien untuk dilayani di Blackwell pada konkurensi tinggi dengan konteks yang dapat di-cache, sekitar dua kali lebih efisien di sana daripada di MI355X untuk tugas yang sama, dan dihargai sebagai model premium saat Anda menyewanya per token. Setiap klaim tersebut didukung oleh angka. Tidak satu pun dari klaim itu mengatakan model ini cepat dalam arti yang dialami pengguna — angka itu adalah 40,9 token per detik pada konkurensi tempat angka utama berada.