150 mln tokenów na MW w Muse Spark Open — rozszyfrowane: większość tej liczby to buforowane dane wejściowe

Meta udostępniła Muse Spark Open 15 października 2026 r. i przez pierwszych osiem dni publicznego życia modelu brakowało liczby, której domagało się każde opracowanie. Artificial Analysis podawało cenę, podawało Intelligence Index na poziomie 39, a nie wymieniało żadnej przepustowości serwowania. 23 października to się zmieniło: model pojawia się w AA-AgentPerf z wynikiem do około 150 milionów tokenów na sekundę na każdy megawat mocy akceleratorów na czterech GPU NVIDIA GB300 lub B300, a około 70 milionów na MI355X firmy AMD. To nie jest historia o premierze — wagi mają dziewięć dni. To historia o tym, co ta liczba mierzy, ponieważ metryka liczy zarówno tokeny wejściowe, jak i wyjściowe, a na końcu krzywej wysokiej współbieżności niemal wszystko, co liczy, to odczyt z pamięci podręcznej.

Co AA-AgentPerf faktycznie zlicza

AA-AgentPerf nie jest benchmarkiem czatu ze stoperem. Artificial Analysis zbudowało go z myślą o obciążeniach agentowych, a samo obciążenie jest tu kluczowe: odtwarza rzeczywiste trajektorie agentów kodujących wobec publicznych repozytoriów, sesje trwają do około 200 tur, a dane wejściowe na żądanie mieszczą się w przedziale od około 5000 do 131 000 tokenów, ze średnią blisko 27 000. Wyjścia są krótkie i nierówne — mediana około 150 tokenów, z przerywnikami w postaci dłuższych serii rozumowania. Zadaniem serwera w takim obciążeniu jest głównie utrzymywanie w pamięci podręcznej bardzo dużego, w większości niezmienionego prefiksu i szybkie zwracanie krótkich odpowiedzi.

Główna jednostka jest zdefiniowana na stronie Artificial Analysis dotyczącej centrów danych jako całkowita przepustowość serwera — tokeny wejściowe plus wyjściowe na sekundę — na megawat mocy akceleratora. Moc jest mierzona na poziomie GPU, matrycy i HBM, a nie na poziomie gniazdka sieciowego ani według znamionowego TDP, więc „megawat” nie oznacza tu rachunku za energię elektryczną obiektu. Współbieżność również nie jest stała: stanowisko testowe stopniowo zwiększa obciążenie, a następnie za pomocą wyszukiwania binarnego szuka najwyższej liczby współbieżnych agentów, jaką system utrzymuje bez naruszania celu interaktywności, ocenianej jako prędkość wyjściowa p25 i czas do pierwszego tokenu p95 w oknie stanu ustalonego, w którym każdy agent był aktywny przez co najmniej 30 sekund.

Co oznacza, że 150M to pułap, a nie prędkość przelotowa. To przepustowość dostępna przy takim poziomie współbieżności, przy którym prędkość na agenta osiąga najniższą wartość, na jaką pozwala cel. Ten sam sprzęt dostrojony pod bardziej responsywnego agenta daje znacznie mniejszą liczbę, a żaden slajd z prezentacji premierowej jej nie podaje.

Liczby w opublikowanej wersji

• Pułap przepustowości — do ok. 150 mln tokenów/s na MW na czterech GPU GB300 lub B300, według Artificial Analysis z 23 października.

• AMD — ~70 mln tokenów/s na MW na MI355X, około połowy wyniku NVIDIA przy tym samym obciążeniu.

• W obrębie NVIDIA — GB300 wykazał przewagę nad B300, gdy wzrosły prędkości wyjściowe, według tego samego raportu.

• Szybkość hostowana — 142,9 tokenów wyjściowych/s i 0,76 s do pierwszego tokenu w karcie modelu, wobec mediany 75,4 tokenów/s w przypadku porównywalnych modeli o otwartych wagach.

• Inteligencja — AA Intelligence Index 39, w porównaniu z medianą 19 dla modeli z otwartymi wagami o podobnym rozmiarze.

• Cena — $1.25 za milion tokenów wejściowych i $4.25 za milion tokenów wyjściowych, z 88% zniżką za pamięć podręczną, stawką mieszaną $0.78 i wydatkiem $0.84 na zadanie Index.

Tylko pierwsze trzy są nowe w tym tygodniu. Pozostałe są na stronie od momentu uruchomienia i ciągną w innym kierunku niż wskaźnik przepustowości: niski koszt w przeliczeniu na token z pamięci podręcznej, wysoki w przeliczeniu na token wygenerowany. Dopiero zestawienie tych dwóch faktów obok siebie daje użyteczną lekturę.

Weryfikacja krzyżowa: 43 punkty pracy przy tym samym obciążeniu

Pull request do cookbooka SGLang scalony 22 października opublikował pięć wdrożeń GB300 zmierzonych w tym samym scenariuszu agenta kodującego AA AgentPerf, dzień przed aktualizacją tabeli liderów. Pięć punktów wybrano z 43 zmierzonych konfiguracji, zachowując oba końce frontu opóźnienie-przepustowość i pokrywając 81% jego obszaru. Stanowią one najczystszy publiczny obraz tego, jak wygląda krzywa serwowania Muse Spark Open — a ponieważ PR jest projektem frameworkowym demonstrującym własny stos, należy czytać go jako dostrojony najlepszy przypadek, a nie neutralny.

• Współbieżność 1, dwa węzły, TP8·EP8 — 485,8 tokenów wyjściowych/s dla pojedynczego użytkownika, 2 514 tokenów/s łącznie na GPU, p95 czasu do pierwszego tokenu 0,10 s.

• Współbieżność 16, cztery GPU, TP4·EP4 — 208,7 tokenów/s na użytkownika, 49 646 tokenów/s łącznie na GPU.

• Współbieżność 64 — 97,1 tokena/s na użytkownika, 114 342 tokenów/s łącznie na GPU.

• Współbieżność 160 z HiCache — 40,9 tokenów/s na użytkownika, 185 382 tokenów/s łącznie na GPU, z czego 1237 to wygenerowane dane wyjściowe.

• Cache — wskaźniki trafień prefiksu od 96,8% do 97,6% w pięciu przebiegach, co sprawia, że łączne liczby tokenów są tak duże, jak są.

Ostatni punkt to cały argument w jednym zdaniu. Na szczycie krzywej wygenerowane dane wyjściowe stanowią około 0,7% tokenów uwzględnianych przez metrykę. Pozostałe 99,3% to dane wejściowe, a około 97% tych danych wejściowych zostało obsłużonych z pamięci podręcznej. Wynik 150 mln na MW i liczba 40,9 tokena/s na użytkownika to ten sam przebieg odczytany z przeciwnych końców. Ani jeden nie jest błędny, ale odpowiadają na różne pytania, a to drugie jest pytaniem, które rzeczywiście stoi przed produktem agentowym.

Arytmetyka jest co najmniej spójna, co przemawia na korzyść tej liczby. Cztery GB300 pobierają rzędu pięciu do sześciu kilowatów mocy akceleratorów; 150 mln tokenów/s na MW oznacza około 750 000 do 900 000 tokenów na sekundę dla węzła, czyli 190 000 do 225 000 na GPU. Najwyższy punkt SGLang to 185 382 łącznych tokenów/s na GPU. Ten sam rząd wielkości, ten sam kształt. To nasza arytmetyka zestawiona z ich pomiarem, ale właśnie tego rodzaju zgodność mówi, że nagłówek nie został złożony z innego przebiegu.

Liczba AMD jest tą, która zmienia decyzję

Połowa przepustowości na megawat to nie różnica wynikająca z zaokrągleń między dostawcami. To różnica między dwoma planami wdrożenia i pokrywa się z krzywą kosztów, którą SemiAnalysis publikuje w InferenceX dla tego samego modelu w FP4. Przy 128 tokenach/s na użytkownika B300 wychodzi $0.019 za milion tokenów wobec $0.024 dla MI355X. Przy 191 tokenach/s na użytkownika — $0.027 wobec $0.044. Przy 254 — $0.046 wobec $0.076. To interpolowane punkty wykresu na podstawie zmierzonych przebiegów, wycenione przy $2.26 za godzinę pracy układu B300 i $1.50 za godzinę pracy układu MI355X.

Chip AMD jest tańszy za godzinę i droższy za token w każdym punkcie tej krzywej, a różnica rośnie, gdy wymagasz większej interaktywności. To kształt, jakiego można oczekiwać, gdy efektywność energetyczna jednej platformy jest o połowę mniejsza niż drugiej, i dlatego podział 70M kontra 150M zasługuje na więcej uwagi niż sam 150M.

Dwa zastrzeżenia, oba pochodzą od ewaluatorów, a nie od nas. Kiedy AA-AgentPerf zadebiutował w czerwcu, Artificial Analysis zauważyło, że jego konfiguracja MI355X została zbudowana we własnym zakresie, a nie przesłana przez AMD, oraz że margines może być większy w przypadku systemów, które samo dostroiło — więc wynik AMD jest w pewnym sensie dolną granicą, podczas gdy wyniki NVIDIA nią nie są. A liczba dotycząca przepustowości to nie wynik dokładności. Bramka dokładności MI35x obejmująca ścieżkę ROCm tego modelu wciąż nie została uruchomiona na sprzęcie, a jeden z jej dwóch progów zaliczenia/niezaliczenia został zapisany jako wartość zastępcza, za którą nie stoi żaden pomiar AMD. Od tego tygodnia pytanie o wydajność ma odpowiedź. Pytanie o poprawność nie.

Co to robi z kalkulacją self-host kontra wynajem

Muse Spark Open jest wyceniony na 1,25 USD za milion tokenów wejściowych i 4,25 USD za milion tokenów wyjściowych, z 88% zniżką na cache, która sprawia, że mieszane obciążenie w proporcji 7:2:1 kosztuje 0,78 USD za milion. To liczby, które wdrożenie self-hosted musi pobić, a właśnie na tym porównaniu większość internetu pomyli się w tym tygodniu.

Postaw liczbę InferenceX wynoszącą $0.019 za milion tokenów na B300 przy 128 tokens/s na użytkownika obok mieszanej stawki $0.78, a hostowanie własne wygląda na czterdzieści razy tańsze. Nie jest. Stawka $0.019 jest liczona dla wszystkich tokenów, a w śladzie agenta niemal wszystkie z nich to buforowane dane wejściowe. Stawka $0.78 miesza wejście i wyjście w proporcji, która nadaje wyjściu znacznie większą wagę niż robi to ślad AgentPerf. Wyceń osobno wejście i wyjście własnego obciążenia, zanim uwierzysz w jakąkolwiek krotność — i pamiętaj, że publikowany koszt sprzętu na token zwykle nie obejmuje godzin bezczynności, personelu operacyjnego i przepustowości utrzymywanej na szczyt.

Szczera wersja: samodzielny hosting Muse Spark Open może wygrać, a obciążenie, w którym wygrywa, ma kształt niemal dokładnie taki jak to, które testuje AgentPerf — długie, stabilne, cache'owalne prefiksy, krótkie generowane odpowiedzi, wysoka współbieżność, węzeł, który pozostaje zajęty. Produkt czatowy z krótkimi promptami i długimi odpowiedziami jest bliski przeciwieństwa, a przy $4.25 za milion tokenów wyjściowych cena wynajmu nie jest tą częścią rachunku, która będzie bolała.

• Wagi — checkpoint BF16 ma około 1,65 TB; wersja NVFP4 to około 537 GB.

• Minimalny sensowny węzeł — cztery GPU Blackwell Ultra, konfiguracja, z której pochodzą nowe liczby przepustowości. Meta zademonstrowała również model działający lokalnie na dwóch M5 Ultra Mac Studios, co jest czymś innym: demonstracją stacji roboczej, a nie planem serwowania.

• Licencja — Muse Model License. Bezpłatna w większości zastosowań, ale firmy o rocznych przychodach brutto powyżej 20 mln USD potrzebują umowy z Meta, aby oferować ją jako usługę, a produkty zbudowane na jej podstawie muszą zawierać informację „Built with Muse Spark Open”.

Gdzie to uruchomić i co zmienia router

OrcaRouter kieruje ruch do Muse Spark 1.1 i Muse Spark 1.2 i nie obsługuje otwartego checkpointu, więc nic tutaj nie jest twierdzeniem o jego hostowaniu. Warto wiedzieć, że hostowane checkpointy widnieją w cenniku po tych samych $1.25 i $4.25 co cena API samego otwartego modelu. Otwarte wagi nie są więc tańszym sposobem wywoływania tego modelu; są sposobem na posiadanie ścieżki serwowania. Jeśli nie zamierzasz jej posiadać, wybór jest między hostowanymi checkpointami, a ten wybór to zmiana konfiguracji, a nie migracja.

Jeśli zamierzasz to mieć u siebie, rozsądnym sposobem sprawdzenia, czy Twoje obciążenie zachowuje się jak ślad AgentPerf, jest uruchomienie równoległe, a nie przełączanie. Zatrzymaj hostowany checkpoint jako rozwiązanie awaryjne we własnym stosie, skieruj część ruchu do nowego wdrożenia i przenieś go z powrotem, gdy wyniki rozczarują. W hostowanej części tego porównania OrcaRouter przekazuje cenę katalogową dostawcy z 0% marży, więc benchmark względem Twojego sprzętu nie jest po naszej stronie zawyżany marżą; automatyczne przełączanie awaryjne i DSL routingu sprawiają, że przenoszenie ruchu to zmiana konfiguracji, a nie zmiana kodu; a fuzja modeli jest dostępna, jeśli wolisz porównywać odpowiedzi w ramach panelu niż porównywać infrastrukturę.

Co obejrzeć

• Agentów na megawat — wyniki czerwcowej publikacji AA-AgentPerf podano w tej jednostce: około 91 500 agentów na MW dla GB300 NVL72 na DeepSeek V4 Pro na poziomie 20 tokenów/s. Porównywalna liczba agentów dla Muse Spark Open jest tym, co pozwoliłoby sklasyfikować go na tle innych modeli, a nie tylko go opisać.

• Szczegółowa analiza Meta z 26 października dotycząca serwowania (serving) — dane zgłoszone przez dostawcę, więc gdy się pojawią, oznacz je jako takie, ale użytecznym szczegółem, na który warto zwrócić uwagę, jest to, jaką współbieżność zakłada podany wskaźnik wydajności.

• Konfiguracja MI355X zgłoszona przez AMD — wynik dla połowy przepustowości jest mierzony względem konfiguracji, którą Artificial Analysis zbudowała sama, a AA stwierdziła, że rezerwa może tam być większa.

• Bramka dokładności MI35x trafia z konkretnymi liczbami — wydajność bez sprawdzenia poprawności to połowa decyzji o wdrożeniu, a zastępcza połowa tej bramki wciąż pozostaje placeholderem.

Sensowne odczytanie tego tygodnia jest wąskie i konkretne. Muse Spark Open jest — zgodnie z obecnie opublikowanymi dowodami — niezwykle wydajnym modelem do obsługi na Blackwell przy wysokiej współbieżności z kontekstem nadającym się do buforowania, około dwukrotnie wydajniejszym w tym zastosowaniu niż na MI355X przy tym samym zadaniu, i wycenianym jako model premium, gdy wynajmuje się go za token. Za każdym z tych twierdzeń stoi liczba. Żadne z nich nie mówi, że model jest szybki w sposób, w jaki szybkość odczuwa użytkownik — tą liczbą jest 40,9 tokena na sekundę przy współbieżności, w której mieści się nagłówek.