Step 5 Preview pode ser auto-hospedado no Dia Zero: vLLM e SGLang ganham ambos caminhos de serving para o MoE de 600B da StepFun

O Step 5 Preview não era novo na manhã de 15 de outubro de 2026. O modelo principal de 600 bilhões de parâmetros da StepFun pode ser chamado pela própria API do fornecedor desde 20 de setembro de 2026, e o avaliador independente Artificial Analysis vem pontuando-o desde 18 de setembro. O que era novo naquela manhã era mais restrito e consideravelmente mais útil: duas stacks de inferência convencionais publicaram seus próprios caminhos para executá-lo em hardware que você possui ou aluga. O vLLM abriu um pull request em rascunho adicionando o Step 5 Preview — 129 arquivos, +16.996 linhas — junto com uma receita complementar e uma imagem dedicada vllm/vllm-openai:step-5-preview que chegou ao Docker Hub às 00:51 UTC. O SGLang mesclou uma página de cookbook com receitas de implantação para Blackwell e Hopper, e o pull request de suporte ao modelo por trás dela foi aberto na mesma hora. Até aquela manhã, a única maneira de colocar o Step 5 Preview nas suas próprias GPUs era um reupload feito pela comunidade de um checkpoint para o qual ninguém havia lhe concedido licença de redistribuição.

Então, a manchete honesta não é “A StepFun lançou um modelo.” Ela lançou este em setembro, e a data do próprio modelo pertence à primeira frase de qualquer artigo sobre ele. A manchete é que, a partir de 15 de outubro de 2026, a questão do serving tem comandos na resposta.

O que realmente mudou em 15 de outubro

Quatro artefatos, todos datados do mesmo dia, e vale a pena separá-los porque carregam diferentes níveis de comprometimento.

• Suporte ao modelo vLLM — pull request #61727, intitulado "Adicionar suporte ao Step-5 Preview", aberto por jeejeelee às 01:18 UTC e com a flag de rascunho. É um único commit squash que altera 129 arquivos, e não foi mesclado. Um PR em rascunho é um autor pedindo revisão, não uma promessa de mantenedor.

• A receita do vLLM — pull request #1122 em vllm-project/recipes, aberto dois minutos antes, às 01:16 UTC, e também aberto, adiciona models/stepfun-ai/Step-5-Preview.yaml com uma variante padrão FP8 e uma variante NVFP4. Este é o documento com os números nele, e é aquele no qual a maior parte deste artigo se baseia.

• A imagem de contêiner — vllm/vllm-openai:step-5-preview, enviada em 2026-10-15 às 00:51 UTC como um manifesto de duas arquiteturas: linux/amd64 com 8,56 GB compactados e linux/arm64 com 9,58 GB, com step-5-preview-x86_64-cu130 e step-5-preview-arm64-cu130 ao lado delas. Uma imagem publicada é um sinal mais forte do que um PR aberto: significa que alguém a construiu e a enviou, independentemente de quando a revisão terminar.

• O cookbook do SGLang — pull request #44357, "Adicionar o cookbook do Step 5 Preview", mesclado à main às 01:21 UTC após revisão, adicionando uma página de implantação que a documentação do SGLang agora serve em docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview e marca como NEW. Seu PR complementar de suporte, #44356, ainda está aberto. A página do cookbook afirma claramente que "o suporte ao Step 5 Preview ainda não foi incluído em nenhuma versão do SGLang, então um pip install sglang padrão não consegue servi-lo" — que é a frase mais importante de toda a página.

Leia esses quatro juntos e você tem um quadro coerente: a StepFun está implantando um serviço aberto para um modelo cuja API está ativa há quase um mês. Nada aqui é um anúncio de lançamento, e nada aqui é um benchmark. É o encanamento que determina se o modelo é algo que você consegue executar.

O que é o Step 5 Preview, nos termos que um engenheiro de serviço pergunta primeiro

A documentação em inglês da própria StepFun é escassa no que diz respeito à arquitetura — ela publica o ID do modelo, a janela de contexto de 1M tokens, entrada de texto/imagem/vídeo, saída somente de texto, uma saída máxima de 64k tokens, suporte a JSON Schema, cache de prompt e um controle reasoning_effort com configurações low, medium e high. Ela não publica contagem de parâmetros. Os números de arquitetura abaixo vêm dos dois documentos de serving de primeira parte publicados hoje, que tiveram de ler o checkpoint para escrever um loader, e eles concordam entre si.

• Tamanho — 600B parâmetros totais com 27B ativos por token, um design esparso de mistura de especialistas. A receita do vLLM afirma independentemente 604B, "contados a partir dos formatos dos tensores do checkpoint", e os dois números são o mesmo número arredondado de maneiras diferentes.

• Profundidade e roteamento — 92 camadas. Cada camada MoE roteia um token para 8 de 352 especialistas, mais um especialista compartilhado. Essa contagem de especialistas é o motivo pelo qual o PR do vLLM traz uma alteração no kernel router-GEMM: ele adiciona (4096, 352) como um par (hidden_dim, num_experts) suportado, ao lado dos existentes (3072, 256) e (6144, 128).

• Atenção — um padrão repetitivo de quatro camadas: três camadas de janela deslizante que prestam atenção aos 512 tokens mais recentes, depois uma camada de atenção esparsa. As camadas esparsas dividem o histórico de KV em regiões de 8 tokens, pontuam um resumo de cada região com um indexador leve e selecionam até 512 regiões históricas para prestar atenção em nível de token. O SGLang chama isso de atenção esparsa por regiões; a consequência prática é que um contexto de 1M de tokens continua viável em termos de memória.

• Decodificação especulativa — três camadas MTP. O "MTP de três camadas" do SGLang e o --spec-method mtp --spec-tokens 3 da receita do vLLM são a mesma afirmação a partir de duas direções.

Precisão — os pesos dos especialistas roteados são FP8 (E4M3, escalas de bloco 128×128), exceto nas três últimas camadas MoE, que permanecem em BF16. Um checkpoint NVFP4 separado, stepfun-ai/Step-5-Preview-NVFP4, é referenciado pela receita do vLLM como uma variante. Ambas as pilhas deixam intacta a divisão de camadas de precisão mista, em vez de convertê-la para uma precisão superior.

• Comportamento de raciocínio — o modelo sempre pensa antes de responder. reasoning_effort define a profundidade e o padrão é alto quando não definido, que é a configuração com maior probabilidade de surpreendê-lo em um orçamento de latência. A amostragem recomendada pela StepFun é temperature=1.0, top_p=0.95, top_k=0, e o cookbook do SGLang sinaliza esses valores como informativos, em vez de algo para codificar de forma fixa.

O piso de hardware é a parte que decide se isso importa para você.

É aqui que a receita do vLLM se paga, porque mais ninguém publicou mínimos rígidos.

• Piso FP8 — 773 GB de VRAM, com um mínimo de 4 GPUs e um alvo de hardware padrão de B300. Configurações verificadas estão listadas para H200, B300 e GB300. Em quatro B300, a receita oferece layouts TP4, TEP4 ou DEP4; os pesos FP8 não cabem em quatro H200, então o caminho Hopper é de oito GPUs.

• Piso do NVFP4 — 473 GB de VRAM para o checkpoint quantizado, 300 GB a menos do que o FP8. A contrapartida é o contexto: a variante NVFP4 é executada com --max-model-len 320000, então você abre mão de cerca de 724.000 tokens dos 1.048.576 anunciados para caber na pegada menor.

• Paralelismo de especialistas — no Blackwell, os layouts TEP e DEP passam pelo MegaMoE com --moe-backend deep_gemm_mega_moe; o layout puramente tensor-parallel deliberadamente não o faz, porque o MegaMoE exige paralelismo de especialistas para ter algo para dividir. No H200, a receita recorre a um Triton MoE para cada camada de especialistas, incluindo as três BF16, porque os kernels MoE do TRT-LLM são exclusivos para Blackwell.

• Custo de inicialização — o cookbook do SGLang estima a primeira inicialização em cerca de 15 minutos de compilação do FlashInfer no B300, caindo para cerca de 6 minutos nas inicializações subsequentes, e orienta você a persistir FLASHINFER_WORKSPACE_BASE e ~/.cache/sglang entre reinicializações. Se você estiver fazendo autoscaling a partir de zero, isso é um piso de inicialização a frio, não um erro de arredondamento.

• O que ainda não é suportado — a receita do vLLM marca tanto o offload de KV do Simple quanto o do LMCache como não suportados para este modelo. O caminho do HiCache do SGLang está documentado como disponível no cookbook, o que é uma diferença real de capacidade entre as duas stacks como estão hoje.

A leitura prática: Step 5 Preview é uma implantação de quatro a oito aceleradores, não um projeto amador de nó único. Se essa frase encerra seu interesse, a seção de API abaixo é o restante do artigo.

Chamando-o, e quanto custa cada token

A própria página de preços da StepFun lista o step-5-preview a US$ 1,00 por milhão de tokens de entrada em caso de cache miss, US$ 0,10 em caso de cache hit e US$ 2,70 por milhão de tokens de saída — valores do fornecedor, não de um revendedor. Dois detalhes mudam a aritmética. Primeiro, o preço de entrada em caso de cache miss inclui a gravação de novo conteúdo no cache, então uma primeira passagem por um documento longo é cobrada uma vez e a segunda passagem fica barata. Segundo, os tokens de saída incluem o raciocínio do modelo, bem como sua resposta, o que importa mais aqui do que em um modelo que responde diretamente.

A Artificial Analysis, o único avaliador neutro com uma execução publicada, pontua o Step 5 Preview com um Índice de Inteligência de 43,7 — exibido como 44 — com uma velocidade mediana de saída de 88,5 tokens por segundo e um tempo até o primeiro resposta token de 24,7 segundos, contra aproximadamente 2.000 tokens de raciocínio por resposta. O valor da velocidade é respeitável e a latência do token de resposta não é: um modelo que sempre pensa primeiro é inadequado para preenchimento automático interativo e adequado para trabalho em lote e agêntico, que é precisamente como a StepFun o posiciona. Esses são números independentes em um harness de terceiros, e são os únicos disponíveis — a StepFun não publica nenhuma tabela de benchmark para este modelo.

Onde a história ainda é suave, e não é toda suave da mesma maneira

Há três coisas que vale a pena assinalar em vez de suavizar, porque cada uma tem um prazo de validade diferente.

O primeiro ponto é se o checkpoint do fornecedor é de fato baixável. Os dois documentos de serving de primeira parte fazem referência a stepfun-ai/Step-5-Preview e stepfun-ai/Step-5-Preview-NVFP4 como os checkpoints canônicos, e o cookbook do SGLang faz link para um LICENSE.txt sob a StepFun Model License 1.0. O que esta página não consegue fazer é confirmar, a partir do Hugging Face, que esses repositórios são publicamente legíveis hoje: a API do Hugging Face retorna o mesmo 401 Invalid username or password para stepfun-ai/Step-5-Preview que retorna para um ID de repositório que nunca existiu, então a resposta não consegue distinguir um modelo com acesso restrito de um ausente. A orientação do próprio recipe — "use hf auth login se o checkpoint exigir autenticação" — é a única afirmação sobre acesso, e é condicional. Trate o download como referenciado pelas pessoas que escreveram os loaders, e confirme o acesso você mesmo antes de planejar um lançamento em torno dele.

A segunda é a data de lançamento, para a qual três fontes dão três versões: os materiais de anúncio da StepFun situam o lançamento em 20 de setembro de 2026; a Artificial Analysis atribui ao modelo a data de 18 de setembro de 2026 em seus próprios metadados e exibe "Lançado em setembro de 2026"; e os agregadores de metadados de modelos que a maioria das ferramentas lê trazem 16 de setembro de 2026. Nenhuma das três explica a discrepância. Este artigo usa a data de 20 de setembro do fornecedor quando uma data é necessária, e vale a pena saber qual número a ferramenta que você está lendo obteve.

A terceira é a maturidade, e aqui as duas stacks não são equivalentes. O cookbook do SGLang está mesclado e mesclado no main, mas o próprio texto do SGLang diz que o suporte ainda não foi lançado em uma release, então o caminho Python é uma imagem Docker de pré-visualização e nada mais. A receita do vLLM é aberta, seu PR de modelo é um rascunho não mesclado que o GitHub atualmente reporta como tendo conflitos de mesclagem e precisando de um rebase, e seus próprios revisores já levantaram três itens abertos contra a receita — um gate de hardware FP8, um perfil B300 padrão que emite comandos para oito GPUs contra um guia de quatro GPUs, e um limite de contexto NVFP4 que não está codificado nos argumentos da variante. Nada disso é desqualificador. Tudo isso argumenta a favor de tratar uma primeira implantação auto-hospedada esta semana como uma avaliação, não uma migração.

O que fazer com isto, esta semana

Se você já tem quatro B300s ou oito H200s e uma carga de trabalho que se parece com análise de documentos longos, chamadas de ferramentas multi-turno ou execuções noturnas de agente, a receita vLLM é quase um runbook: baixe vllm/vllm-openai:step-5-preview, copie um comando TP4 ou TEP4 e verifique se --max-model-len 1048576 sobrevive ao contato com seu orçamento real de KV antes de prometer a alguém um milhão de tokens. Se você tem Hopper e não Blackwell, comece com o checkpoint NVFP4 e aceite o contexto de 320k, ou tenha o orçamento para oito H200s. De qualquer forma, defina reasoning_effort explicitamente em cada requisição em vez de herdar o padrão alto, e meça o tempo de 24,7 segundos até o token de resposta no seu próprio tráfego antes de concluir qualquer coisa a partir do número de 88,5 tokens por segundo.

Se você não tem esse hardware, a API não é um prêmio de consolação — são os mesmos pesos, cobrados por token, a US$ 1,00 na entrada e US$ 2,70 na saída, com 90% de desconto de cache em contexto repetido. E aqui está a parte desta página em que a resposta honesta sobre nós se encaixa: o Step 5 Preview não está na lista de modelos ativos da OrcaRouter até hoje. Nosso catálogo tem 207 modelos de 13 provedores e atualmente não contém nenhum modelo da StepFun, portanto, para este modelo em particular, a API do próprio fornecedor é o único caminho de chamada disponível, e nada nesta página deve ser lido como uma afirmação de que nós o servimos. O que nós roteamos é a decisão em torno disso: quando você está escolhendo qual modelo de ponta carrega uma carga de trabalho de produção, o argumento para alcançá-lo por meio de um único endpoint é que o preço de tabela do provedor é repassado com 0% de markup, de modo que uma mudança de preço do fornecedor é o seu preço no mesmo dia, e que o failover automático entre provedores significa que uma tarde ruim de um único modelo não é a sua indisponibilidade. Isso é uma afirmação sobre os modelos que nós oferecemos, e deliberadamente não é uma afirmação sobre este.

O que observar a seguir é específico e verificável. Se stepfun-ai/Step-5-Preview se resolve em um repositório legível com um arquivo de licença que você possa apresentar a uma equipe jurídica; se o #61727 do vLLM sai do rascunho e resolve seu conflito de merge; se o PR de suporte #44356 do SGLang entra em uma release com tag, que é o ponto em que a receita deixa de ser uma imagem de pré-visualização e se torna algo que seu CI pode fixar. Qualquer um desses três transforma o "você provavelmente consegue executá-lo" desta semana em um simples sim, e, até lá, a única afirmação que vale a pena fazer é a que as evidências sustentam: em 15 de outubro de 2026, duas stacks de serving publicaram seus próprios caminhos para um modelo que pode ser chamado desde 20 de setembro de 2026.

Optar por executar um modelo de 600 bilhões de parâmetros no seu próprio hardware também é o tipo de decisão em que o histórico importa: incidentes de IA documentados e falhas de agentes envolvendo modelos dessa classe estão reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e indicador de contestação.