Os 150M de tokens por MW do Muse Spark Open, decifrados: a maior parte desse número é entrada em cache

A Meta lançou Muse Spark Open em 15 de outubro de 2026, e durante os primeiros oito dias de sua vida pública faltava o número que toda matéria queria. A Artificial Analysis trazia o preço, trazia um Intelligence Index de 39 e não listava nenhuma taxa de throughput de serving. Em 23 de outubro, isso mudou: o modelo aparece no AA-AgentPerf a até aproximadamente 150 milhões de tokens por segundo para cada megawatt de potência de acelerador em quatro GPUs NVIDIA GB300 ou B300, e a aproximadamente 70 milhões nas MI355X da AMD. Esta não é uma história de lançamento — os pesos têm nove dias. É uma história sobre o que esse número mede, porque a métrica conta tokens de entrada e também de saída, e, no extremo de alta concorrência da curva, quase tudo o que ela conta é uma leitura de cache.

O que o AA-AgentPerf está realmente contando

AA-AgentPerf não é um benchmark de chat com cronômetro. A Artificial Analysis o criou para cargas de trabalho de agentes, e a carga de trabalho é o ponto central: ele reproduz trajetórias reais de agentes de programação contra repositórios públicos, as sessões chegam a cerca de 200 turnos e as entradas por requisição variam de aproximadamente 5.000 a 131.000 tokens, com média perto de 27.000. As saídas são curtas e irregulares — mediana em torno de 150 tokens, pontuadas por surtos de raciocínio mais longos. Nessa carga de trabalho, a função de um servidor é, em grande parte, manter em cache um prefixo muito grande e majoritariamente inalterado e devolver rapidamente respostas pequenas.

A unidade principal é definida na página de datacenter da Artificial Analysis como a vazão total do servidor — tokens de entrada mais saída por segundo — por megawatt de potência do acelerador. A potência é medida na GPU, no die e na HBM, não na tomada e não no TDP nominal, portanto, um “megawatt” aqui não é a conta de eletricidade de uma instalação. A concorrência também não é fixa: o harness aumenta a carga e então faz uma busca binária pelo maior número de agentes simultâneos que o sistema sustenta sem violar uma meta de interatividade, com pontuação baseada na velocidade de saída p25 e no tempo até o primeiro token p95 ao longo de uma janela de estado estacionário em que cada agente esteve ativo por pelo menos 30 segundos.

O que significa que 150M é um teto, não uma velocidade de cruzeiro. É a vazão disponível na concorrência em que a velocidade por agente fica no menor valor que o alvo permite. O mesmo hardware ajustado para um agente mais ágil retorna um número muito menor, e nenhum slide de lançamento cita esse.

Os números conforme publicados

• Teto de throughput — até ~150M tokens/s por MW em quatro GPUs GB300 ou B300, segundo a Artificial Analysis em 23 de outubro.

• AMD — ~70M tokens/s por MW no MI355X, aproximadamente metade do resultado da NVIDIA na mesma carga de trabalho.

• Dentro da NVIDIA — a GB300 mostrou vantagem sobre a B300 quando as velocidades de saída aumentaram, conforme o mesmo relatório.

• Velocidade em hospedagem — 142,9 tokens de saída/s e 0,76 s até o primeiro token na listagem do modelo, contra uma mediana de 75,4 tokens/s para modelos comparáveis de pesos abertos.

• Inteligência — AA Intelligence Index 39, contra uma mediana de 19 para modelos de peso aberto de tamanho semelhante.

• Preço — US$ 1,25 por milhão de tokens de entrada e US$ 4,25 por milhão de tokens de saída, com 88% de desconto para cache, uma taxa combinada de US$ 0,78 e US$ 0,84 de gasto por tarefa do Index.

Apenas os três primeiros são novos esta semana. Os restantes estão na página desde o lançamento e apontam numa direção diferente da métrica de throughput: baratos por token em cache, caros por token gerado. É ao justapor esses dois factos que reside a leitura útil.

A verificação cruzada: 43 pontos de operação na mesma carga de trabalho

Um pull request do cookbook do SGLang, mesclado em 22 de outubro, publicou cinco implantações GB300 medidas no mesmo cenário de agente de codificação AA AgentPerf, um dia antes da atualização do ranking. Os cinco pontos foram selecionados entre 43 configurações medidas, mantendo ambas as extremidades da fronteira latência-vazão e cobrindo 81% de sua área. Eles são o retrato público mais claro de como é a curva de serviço do Muse Spark Open — e o PR é um projeto de framework demonstrando sua própria stack, então leia-o como um melhor caso ajustado, e não como um caso neutro.

• Concorrência 1, dois nós, TP8·EP8 — 485,8 tokens de saída/s para um único usuário, 2.514 tokens/s no total por GPU, p95 do tempo até o primeiro token de 0,10 s.

• Concorrência 16, quatro GPUs, TP4·EP4 — 208,7 tokens/s por usuário, 49.646 tokens/s totais por GPU.

• Concorrência 64 — 97,1 tokens/s por usuário, 114.342 tokens/s totais por GPU.

• Concorrência 160 com HiCache — 40,9 tokens/s por usuário, 185.382 tokens/s totais por GPU, dos quais 1.237 são saída gerada.

• Cache — taxas de acerto de prefixo de 96,8% a 97,6% nas cinco execuções, o que faz com que os números totais de tokens sejam tão grandes quanto são.

Esse último item é todo o argumento em uma única linha. No topo da curva, a saída gerada é cerca de 0,7% dos tokens que a métrica contabiliza. Os outros 99,3% são entrada, e cerca de 97% dessa entrada foi servida do cache. O número de manchete de 150M por MW e o valor de 40,9 tokens/s por usuário são a mesma execução lida de pontas opostas. Nenhum dos dois está errado, mas eles respondem a perguntas diferentes, e a segunda é a pergunta que um produto de agente realmente tem.

A aritmética é pelo menos consistente, o que conta a favor do número. Quatro GB300s consomem da ordem de cinco a seis quilowatts de potência de acelerador; 150M tokens/s por MW implica aproximadamente 750.000 a 900.000 tokens por segundo para o nó, ou 190.000 a 225.000 por GPU. O ponto máximo do SGLang é 185.382 tokens/s totais por GPU. Mesma ordem, mesma forma. Essa é a nossa aritmética contra a medição deles, mas uma concordância desse tipo é o que mostra que a manchete não foi montada a partir de uma execução diferente.

O número da AMD é o que muda uma decisão

Metade do throughput por megawatt não é uma diferença de arredondamento entre fornecedores. É a diferença entre dois planos de implantação, e está alinhada com a curva de custo que a SemiAnalysis publica no InferenceX para o mesmo modelo em FP4. A 128 tokens/s por usuário, o B300 resulta em US$ 0,019 por milhão de tokens, contra US$ 0,024 do MI355X. A 191 tokens/s por usuário, US$ 0,027 contra US$ 0,044. A 254, US$ 0,046 contra US$ 0,076. Esses são pontos de gráfico interpolados a partir de execuções medidas, com preço de US$ 2,26 por hora de chip do B300 e US$ 1,50 por hora de chip do MI355X.

O chip da AMD é mais barato por hora e mais caro por token em cada ponto dessa curva, e a diferença aumenta à medida que se exige mais interatividade. Essa é a forma que se espera quando a eficiência energética de uma plataforma é metade da outra, e é por isso que a divisão 70M versus 150M merece mais atenção do que os 150M por si só.

Duas ressalvas, ambas dos avaliadores, não de nós. Quando o AA-AgentPerf foi lançado em junho, o Artificial Analysis observou que sua configuração MI355X foi construída internamente, em vez de submetida pela AMD, e que a margem pode ser maior em sistemas que ele mesmo ajustou — então o número da AMD é um piso de um modo que os números da NVIDIA não são. E um número de throughput não é um resultado de acurácia. O gate de acurácia do MI35x que cobre o caminho ROCm deste modelo ainda não foi executado em hardware, e um de seus dois limiares de aprovação/reprovação foi escrito como placeholder sem nenhuma medição da AMD por trás. A partir desta semana, a questão da eficiência tem uma resposta. A questão da correção não.

O que isso faz na conta entre autohospedagem e aluguel

O Muse Spark Open está listado a US$ 1,25 por milhão de tokens de entrada e US$ 4,25 por milhão de saída, com um desconto de cache de 88% que faz uma carga de trabalho combinada de 7:2:1 ficar em US$ 0,78 por milhão. Esses são os números que uma implantação auto-hospedada precisa superar, e é nessa comparação que a maior parte da internet vai errar esta semana.

Coloque o valor do InferenceX de $0.019 por milhão de tokens no B300 a 128 tokens/s por usuário ao lado de $0.78 combinado e a auto-hospedagem parece quarenta vezes mais barata. Não é. Os $0.019 são precificados considerando todos os tokens e, em um traço de agente, quase todos eles são entrada em cache. Os $0.78 combinam entrada e saída em uma proporção que dá muito mais peso à saída do que um traço do AgentPerf dá. Precifique separadamente a entrada e a saída da sua própria carga de trabalho antes de acreditar em qualquer múltiplo — e observe que um custo de hardware por token publicado geralmente exclui as horas ociosas, a equipe de operações e a capacidade que você mantém para picos.

A versão honesta: auto-hospedar o Muse Spark Open pode valer a pena, e a carga de trabalho em que ele vence tem formato quase exatamente igual ao que o AgentPerf testa — prefixos longos, estáveis e cacheáveis, respostas geradas curtas, alta concorrência, um nó que fica ocupado. Um produto de chat com prompts curtos e respostas longas é quase o oposto, e a US$ 4,25 por milhão de tokens de saída, o preço do aluguel não é a parte da conta que vai doer.

• Pesos — o checkpoint BF16 tem cerca de 1,65 TB; a versão NVFP4 tem aproximadamente 537 GB.

• Nó mínimo sensato — quatro GPUs Blackwell Ultra, a configuração da qual vêm os novos números de throughput. A Meta também demonstrou o modelo rodando localmente em dois M5 Ultra Mac Studios, o que é uma proposta diferente: uma demonstração de workstation, não um plano de serving.

• Licença — a Licença do Modelo Muse. Gratuita para a maioria dos usos, mas empresas com receita bruta anual acima de US$ 20 milhões precisam de um acordo com a Meta para oferecê-lo como serviço, e os produtos criados com base nele devem exibir um aviso "Built with Muse Spark Open".

Onde executá-lo, e o que um roteador muda

O OrcaRouter roteia Muse Spark 1.1 e Muse Spark 1.2 e não serve o checkpoint aberto, portanto nada aqui é uma afirmação sobre hospedá-lo. O que vale saber é que os checkpoints hospedados aparecem com os mesmos US$ 1,25 e US$ 4,25 do preço da própria API do modelo aberto. Os pesos abertos, portanto, não são uma forma mais barata de chamar este modelo; são uma forma de ser dono do caminho de serving. Se você não vai ser dono dele, a escolha é entre checkpoints hospedados, e essa escolha é uma mudança de configuração, não uma migração.

Se você vai assumir isso, a maneira sensata de descobrir se sua carga de trabalho se comporta como um trace do AgentPerf é executar em paralelo em vez de mudar. Mantenha um checkpoint hospedado como fallback na sua própria stack, coloque uma parcela do tráfego na nova implantação e volte quando os números decepcionarem. No trecho hospedado dessa comparação, o OrcaRouter repassa o preço de tabela do provedor com 0% de margem, então o benchmark contra seu hardware não é majorado do nosso lado; failover automático e DSL de roteamento são o que fazem mover tráfego ser uma mudança de configuração em vez de uma mudança de código; e a fusão de modelos está lá se você preferir comparar respostas entre um painel do que comparar infraestrutura.

O que assistir

• Agentes por megawatt — Os resultados de lançamento de junho do AA-AgentPerf foram publicados nessa unidade, cerca de 91.500 agentes por MW para um GB300 NVL72 no DeepSeek V4 Pro no nível de 20 tokens/s. Uma contagem de agentes comparável para o Muse Spark Open é o que o tornaria classificável em relação a outros modelos, em vez de apenas descritível.

• Análise aprofundada de serving da Meta em 26 de outubro — reportado pelo fornecedor, então rotule como tal quando for publicado, mas o detalhe útil a observar é qual concorrência o número de eficiência pressupõe.

• Uma configuração MI355X enviada pela AMD — o resultado de metade do throughput é medido em relação a uma configuração que a própria Artificial Analysis montou, e a AA afirmou que a margem ali pode ser maior.

• O critério de precisão do MI35x chega com números reais — eficiência sem uma verificação de correção é metade de uma decisão de implantação, e a metade provisória desse critério ainda é um espaço reservado.

A leitura útil desta semana é estreita e específica. O Muse Spark Open é, com base nas evidências publicadas até agora, um modelo excepcionalmente eficiente de servir em Blackwell com alta concorrência e contexto cacheável, cerca de duas vezes mais eficiente ali do que no MI355X na mesma tarefa, e com preço de modelo premium quando você o aluga por token. Cada uma dessas afirmações tem um número por trás. Nenhuma delas diz que o modelo é rápido no sentido em que o usuário experimenta rapidez — esse número é 40,9 tokens por segundo na concorrência em que está o número de destaque.