Muse Glimmer Atinge 230 Tokens/s em uma única RTX 5090: O Suporte Day-0 da SGLang É a Verdadeira História do Lançamento

Duzentos e trinta tokens por segundo é um número rápido para qualquer modelo. Para o Muse Glimmer — o lançamento denso de 30B e pesos abertos da Meta, do Meta Superintelligence Labs, que foi lançado em 10 de agosto de 2026 sob a Apache 2.0 — é o número que separa um modelo que "roda na minha GPU" de um que "atende a um agente real". A SGLang anunciou suporte no dia zero para o Muse Glimmer no mesmo dia em que os pesos foram publicados, e sua medição divulgada em uma única GeForce RTX 5090 é de 236,4 tokens por segundo por usuário em batch 1, com a quantização NVFP4 e o rascunhador de decodificação especulativa DFlash da Meta ambos ativados.

Essa única figura conta a maior parte da história deste lançamento, mas vale a pena analisar o restante com calma, porque o interessante não é a velocidade que estampa manchetes. O interessante é que o modelo também funciona de imediato em uma RTX PRO 6000, em um NVIDIA DGX Spark e em silício da Apple via MLX — e que a SGLang chama o trabalho de colaboração com a Meta Superintelligence Labs, e não de algo pensado depois pela comunidade. Este é o primeiro modelo da Meta próximo da fronteira em muito tempo projetado em torno da stack de inferência, e não apenas em torno dos pesos.

O que "suporte day-0" realmente significa aqui

Suporte Day-0 no SGLang v0.5.17 significa que o modelo não foi um complemento adicionado posteriormente: o trabalho de runtime foi integrado na mesma janela de lançamento dos pesos, com um caminho construído especificamente para o hardware que a Meta realmente almeja. O backend SM120 do SGLang cobre a linha Blackwell para desktop e estações de trabalho — a RTX 5090, a RTX PRO 6000 e a DGX Spark executam todas o mesmo caminho otimizado — enquanto o Apple silicon recebe um backend MLX nativo em vez de um port lento.

A pilha para a qual a SGLang e a Meta fizeram ajustes é específica. O modelo roda como um checkpoint NVFP4 de 18GB emparelhado com um drafter DFlash BF16 de 5GB, que é o modelo companheiro de decodificação especulativa que a Meta treinou para o Muse Glimmer. Essa combinação cabe em uma placa de 32GB com espaço de sobra, e todo o caminho de quantização mista NVFP4-plus-MXFP8 ocupa aproximadamente 19,5GB residentes. Do lado da SGLang, as notas de versão citam três mecanismos de confiabilidade como parte da mesma história: decodificação especulativa DFlash, RadixAttention para cache de prefixo e gráficos CUDA interruptíveis.

O número, e o que é e o que não é

Os números do RTX 5090 publicados pela SGLang, todos com NVFP4 e o caminho SM120, se dividem assim:

• Decodificação de usuário único (lote 1) — 63,9 tokens/s padrão, 236,4 tokens/s com decodificação especulativa DFlash. Esse aumento de 3,7x é o número interativo, o que decide se um agente local parece uma conversa ou uma fila.

• Saída agregada (lote 8) — 501 tokens/s padrão, 1.452 tokens/s com DFlash. Este é o número de throughput para um servidor local atendendo várias solicitações de uma só vez.

A título de comparação, um GGUF q4_k_m na mesma GPU{{/1}} — {{2}}o caminho que a maioria das pessoas usará com runtimes no estilo llama.cpp{{/2}} — {{3}}atinge 72.6 tokens/s padrão{{/3}} {{4}}e 140.7 tokens/s com DFlash{{/4}}. {{5}}O caminho NVFP4 está significativamente à frente{{/5}}.

Esses são os números publicados pela SGLang e pela Meta no dia do lançamento, não reproduções independentes — o rótulo honesto é "relatado pelo fornecedor e pelo framework", e a verificação pela comunidade virá nas próximas semanas. Mas o padrão entre as duas pilhas que anunciaram números é consistente. No llama.cpp, a Meta relatou 74,9 a 233,4 tokens/s em uma RTX 5090 com DFlash, um ganho de 3,1x; o M5 Max vai de 26,6 a 50,2; o M4 Max de 23,7 a 37,8. Dois runtimes diferentes, dois estilos de medição diferentes, mesma faixa: um modelo de 30B decodificando a mais de 200 tokens por segundo em uma única GPU de consumo, e DFlash aproximadamente triplicando a taxa de transferência em todas as configurações Nvidia que publicaram números.

Por que "serves" importa mais do que "runs"?

O blog de hardware da Meta faz uma afirmação mais incisiva do que os números de desktop. No NVIDIA Blackwell Ultra — a geração de data center, não a placa de desktop — o blog cita mais de 20.000 tokens por segundo por GPU em BF16/NVF4, com SGLang e vLLM ambos mencionados como stacks de código aberto suportados. Isso é outro patamar, e é o indício do que a Meta está realmente construindo: os mesmos pesos são projetados para rodar em qualquer lugar, de um laptop a um rack de servidores GPU, e os frameworks de serving foram tratados como cidadãos de primeira classe desde o primeiro dia, em vez de portes a serem escritos depois.

A metade da história sobre confiabilidade importa tanto quanto a velocidade. Um agente local que morre no meio da tarefa porque a camada de serving engasgou não é significativamente melhor do que um agente em nuvem que sofreu rate-limit. Os mecanismos na stack do dia 0 — decodificação especulativa que pode ser interrompida, cache de prefixo que mantém contextos longos de agentes baratos para reentrar, e um drafter ajustado ao modelo base — são exatamente as partes que tornam agentes locais sempre ativos sobrevivíveis. Este é o "velocidade e confiabilidade" para o qual o lançamento vem apontando, e é uma posição real de engenharia, não uma frase de marketing.

O que você pode realmente fazer com isso

Muse Glimmer é um modelo denso de 30B, multimodal — entrada de texto e imagem por meio de um codificador de percepção congelado, saída de texto — treinado em mais de 100 idiomas, com janela de contexto de 131.072 tokens e corte de conhecimento em 4 de janeiro de 2026. Sua missão é o trabalho de agente nada glamouroso: chamada de funções, uso de ferramentas, gerenciamento de agenda e arquivos, avaliação de LLM como juiz e tarefas de múltiplas etapas com recuperação de falhas — quando uma chamada de ferramenta falha, o modelo é treinado para diagnosticar e tentar novamente, em vez de parar. Ele expõe níveis de esforço de raciocínio (de baixo a xhigh) que você define no prompt do sistema — é assim que você troca latência por profundidade nos mesmos pesos.

O valor de 230 tokens por segundo é o que torna tudo isso utilizável em uma única máquina. Abaixo de aproximadamente 50 tokens/s, um agente interativo parece uma sessão de depuração remota; acima de 200, parece uma ferramenta local. Esse é todo o argumento do modelo em um único número, e é a razão pela qual a lista de hardware — RTX 5090, RTX PRO 6000, DGX Spark, MLX Macs — parece um guia de compras para a era dos agentes locais, em vez de uma nota de rodapé de compatibilidade.

Quanto custa

O próprio Muse Glimmer é gratuito — pesos Apache 2.0 no Hugging Face em meta-models/Muse-Glimmer-30B, com quantizações GGUF já publicadas para runtimes no estilo llama.cpp e sem API pública da Meta. O custo real é o hardware por trás dele: um checkpoint NVFP4 de 18GB mais o drafter de 5GB significam que você vai querer uma placa de 24GB ou 32GB, ou um Mac da série M de ponta. Se você já tem isso, o custo marginal de um agente local sempre ativo é a eletricidade. Caso contrário, a GPU é o item de custo, e essa é a forma honesta de comparar um “modelo gratuito” com uma API hospedada.

Quando você fizer essa comparação, precifique ambos os lados de forma direta. Na OrcaRouter, o preço que você vê para qualquer um dos mais de 200 modelos hospedados é o preço de tabela do provedor repassado com margem de 0%, então um corte de preço do fornecedor entra em vigor aqui no mesmo dia — o que mantém a aritmética local-vs-hospedado honesta. A própria Muse Glimmer não está na OrcaRouter hoje, porque nenhum provedor de inferência a está servindo ainda; ela é distribuída como download. No momento em que um provedor começar a servi-la, a mesma chave que alcança o resto do catálogo a alcançará, e o failover automático é o mecanismo que torna seguro apontar tráfego de produção para um modelo novo, reportado pelo fornecedor, antes que ele tenha um histórico independente.

A história mais ampla por trás da velocidade.

Leia o trabalho do SGLang no dia 0 como um sinal, e o lançamento deixa de ser um modelo único. O Muse Glimmer é uma versão destilada do carro-chefe proprietário da Meta, o Muse Spark 1.2, e a Meta afirmou que os pesos do professor serão divulgados "nas próximas semanas". Um agente local de 30B com uma stack de serving ajustada, um modelo professor prestes a se tornar aberto e um fundo de US$ 1 bilhão para a comunidade anunciado em conjunto — isso não é um lançamento pontual. Esse é o começo de uma linha de pesos abertos voltada diretamente para o mercado de agentes locais, e o suporte de framework chegando no dia 0 é a parte que mostra que a Meta pretende que as pessoas realmente executem o modelo, não apenas o baixem.

O alerta que precisa permanecer sobre a mesa: todos os números de velocidade e benchmark associados a este lançamento até agora são reportados pelo fornecedor ou pela estrutura. Os números de throughput são consistentes em duas pilhas independentes, o que é tranquilizador, mas benchmarks independentes, uma entrada no Artificial Analysis e reproduções no mundo real são o que confirmará a história de 230 tokens por segundo — e eles geralmente chegam em poucas semanas após um lançamento como este.

O que observar, em ordem aproximada de velocidade: o lançamento dos pesos abertos do Muse Spark 1.2 (a leitura estratégica de "Meta está de volta" depende disso); as primeiras reproduções independentes de throughput em hardware não-Nvidia, onde o caminho MLX é o que se deve observar; e o primeiro provedor de inferência a disponibilizar um endpoint Glimmer — que é o momento em que os argumentos "modelo local gratuito" e "API hospedada" deixam de ser hipotéticos e se tornam uma escolha que você pode fazer com uma tecla.