Cartão de título do ERNIE 5.5 Flash com o texto 'ERNIE 5.5 Flash: um caminho FP4 exclusivo para Blackwell aparece antes de o modelo de chat aparecer', com chips 'SGLang PR #51236 · aberto em 18 nov 2026', 'especialistas MXFP4, apenas SM100', 'template de chat renderiza em Python', 'checkpoint de chat: não lançado'. O rodapé diz 'Fonte: sgl-project/sglang PR #51236, aberto e não mesclado.'
Guides & Insights

ERNIE 5.5 Flash: um caminho FP4 exclusivo para Blackwell surge antes do modelo de chat

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

A coisa mais concreta publicada sobre ERNIE 5.5 Flash nesta semana é uma mensagem de erro. Dentro de um pull request de 525 linhas aberto no repositório SGLang em 18 de novembro de 2026 há uma recusa categórica: --moe-a2a-backend megamoe é rejeitado em qualquer coisa que não seja uma GPU SM100, porque os kernels que, de outra forma, executariam o cálculo de SwiGLU e os especialistas deste modelo usam SiTU. Essa linha, e o restante do PR #51236, é a primeira descrição pública de como a versão de chat do ERNIE 5.5 Flash — em oposição ao ERNIE 5.5 Flash Base checkpoint que a Baidu publicou em 5 de novembro e ao ERNIE 5.5 Flash Preview endpoint que ela abriu em 11 de novembro — deve ser servida. O modelo em si ainda não foi lançado. Seu contrato de serviço agora é.

Este é um texto do tipo “o que sabemos até agora”, não uma cobertura de lançamento. Tudo abaixo vem de um único pull request aberto, não mesclado e não revisado, da documentação do SGLang escrita junto com o suporte anterior ao Base e das páginas publicadas pela própria Baidu. Nada aqui foi executado contra um checkpoint de chat baixável, porque não existe tal checkpoint disponível para download. Quando um número é da Baidu, ele é identificado como sendo da Baidu.

O que o pull request realmente adiciona

O PR #51236 tem o título "[Feat] ERNIE-5.5-Flash: Adicionar codificação de template de chat em Python e serving FP4 MegaMoE" e foi aberto por chang-wenbin, um contribuidor, às 12:12 UTC de 18 de novembro. Ele altera 14 arquivos, adiciona 525 linhas e exclui 24. Não tem aprovações, todas as suas execuções de CI estão puladas à espera de um rótulo, e tanto a seção de teste de precisão quanto a de teste de velocidade da descrição são os comentários de template não preenchidos. Lido como evidência, isso é importante: trata-se de código que o autor acredita ser necessário, não de código que alguém verificou.

É o quarto pull request do ERNIE 5.5 em duas semanas. O #48546 adicionou receitas de implantação ao cookbook do SGLang e foi mesclado em 5 de novembro, no mesmo dia em que os pesos Base foram disponibilizados. O #48547 adicionou o próprio modelo — Ernie5_5_MoeForCausalLM, o backend de atenção, o pool de KV-cache, um módulo de rascunho DSpark — e foi mesclado em 6 de novembro. O #49807 estendeu o prefill LiteTopK da NVIDIA a "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1" em 11 de novembro e ainda está aberto. O PR de 18 de novembro é o primeiro dos quatro que não trata do checkpoint Base de forma alguma.

O template de chat é Python, e isso muda quem pode executá-lo

Os checkpoints do ERNIE 5.5 Flash podem carregar seu template de chat como Python em vez de uma string Jinja, em uma classe de tokenizer que o PR chama de ErnieChatTokenizer. O caminho normal do SGLang renderiza prompts chamando apply_chat_template com base em um template Jinja na configuração do tokenizer; a nova codificação de chat ernie5_5 chama o tokenizer do próprio checkpoint, em vez disso, e é resolvida automaticamente a partir da string de arquitetura ou do tipo de modelo ernie5_5_moe. A consequência prática está nas próprias palavras do PR: o tokenizer precisa ser carregado com --trust-remote-code, e servir chat com --skip-tokenizer-init é recusado de imediato com um erro explicativo.

Isso é uma restrição de implantação sobre a qual um leitor pode agir. Um modelo que renderiza prompts em Python executa código do repositório do checkpoint no momento da requisição, então qualquer pessoa que o execute em ambiente isolado (air-gapped), dentro de uma imagem endurecida ou atrás de uma política que proíba código remoto precisa ou vendorizar o tokenizer ou aceitar a flag. O checkpoint Base não tem esse problema: seu tokenizer_config.json publicado não traz nenhum template de chat e declara um PreTrainedTokenizerFast simples, que é o que se esperaria de um checkpoint servido por um endpoint de completions.

Três detalhes menores no mesmo arquivo valem mais do que parecem. O adaptador oferece suporte a mensagens de sistema inline — turnos de sistema no meio da conversa renderizados no lugar, não mesclados à primeira mensagem — o que apenas duas outras codificações na árvore do SGLang fazem. Ele usa a continuação nativa do renderer para continue_final_message, porque o caminho genérico de acréscimo de prefixo descartaria o prefixo dentro do bloco think aberto. E ele descarta deliberadamente chat_template_kwargs que o renderer rejeitaria, já que ErnieChatTokenizer gera erro com uma palavra-chave desconhecida enquanto um template Jinja ignora uma silenciosamente — o PR cita um frontend que envia thinking no estilo DeepSeek como o caso que quebra.

A correção de bug que decorre disso é a linha única mais reveladora do diff. O manipulador de requisições do SGLang lê uma chave thinking e a define como desativada por padrão; o analisador de raciocínio ernie55 lê enable_thinking e o define como ativado por padrão. Injetar o padrão do manipulador, portanto, produzia um prompt com o pensamento desativado sob um analisador de raciocínio que esperava raciocínio, e toda a resposta do modelo era analisada em reasoning_content, com o campo content deixado vazio. Esse é exatamente o modo de falha que os usuários do endpoint Preview vêm relatando desde 11 de novembro — respostas simples chegando como conteúdo vazio —, e a correção implica que o checkpoint de chat pensa por padrão.

O raciocínio e as chamadas de ferramentas também têm seus parsers selecionados automaticamente: ernie55 para raciocínio, lendo as tags <ernie:think>, e ernie55 para chamadas de ferramentas, lendo <ernie:tool_call>. A docstring do adaptador declara que texto, chamada de ferramentas e o alternador de pensamento são suportados e que os ramos multimodais do template são "deixados para uma atualização posterior" — assim, a partir deste PR, o modelo de chat é servido como aquilo que a Baidu o descreveu em todos os outros lugares: um modelo de texto.

Por que especialistas em quatro bits bloqueiam o caminho rápido para Blackwell

A segunda metade do PR trata de especialistas roteados armazenados em MXFP4, executados como w4a8 — pesos de quatro bits, ativações de oito bits — por meio do all-to-all do MegaMoE do DeepGEMM entre GPUs. Duas escolhas de implementação carregam informações sobre o próprio modelo.

• A quantização é detectada automaticamente a partir do cabeçalho do safetensors, porque o checkpoint não carrega nenhuma chave routed_experts_quant_method. Isso confere com a configuração Base publicada, que não possui esse campo; o loader lê o dtype dos experts nos cabeçalhos dos arquivos e define is_fp4_experts a partir disso.

• O caminho MegaMoE é recusado em SM90 e em ROCm, não degradado, porque os kernels MegaMoE de FP8 para SM90 e para ROCm fixam SwiGLU de forma rígida, enquanto estes experts são ativados por SiTU. O comentário do PR fixa as constantes exatas que o DeepGEMM incorpora: SiTU beta 4.0 e linear beta 25.0. O próprio config.json do checkpoint Base declara activation_situ_beta: 4.0 e activation_situ_linear_beta: 25.0, portanto as constantes do kernel e os pesos concordam — que é o tipo de verificação cruzada que faz um vazamento ser lido como engenharia em vez de especulação.

O modo de falha que está sendo evitado é o silencioso. Um kernel SM90 que calculasse SwiGLU sobre pesos SiTU não travaria; retornaria um texto fluente e ligeiramente incorreto. Recusar-se a iniciar é o melhor resultado, e é por isso que o caso do FP4 é condicionado por hardware em vez de universal.

O que isso significa comercialmente é mais restrito do que “ERNIE 5.5 Flash precisa de Blackwell”. Não precisa. O cookbook do SGLang, escrito para o checkpoint Base, publica receitas de nó único em B300, GB300, B200, GB200 e H100, e a receita FP8 para H100 é para oito GPUs porque os pesos FP8 têm aproximadamente 280 GB. O caminho dos especialistas FP4 é o único que existe apenas em componentes SM100, e o SGLang não publicou uma tabela de memória para um checkpoint FP4 porque ainda não viu nenhum. Trate qualquer aritmética de “cabe em uma B200” que você encontrar — incluindo a estimativa óbvia de que reduzir pela metade os bytes dos especialistas leva um modelo de 280 GB para algo próximo de 150 GB — como estimativa, não como receita.

O que está realmente disponível para download hoje

• ERNIE 5.5 Flash Base — pesos abertos desde 5 de novembro de 2026, em FP8 e BF16, no Hugging Face e no ModelScope. 280B parâmetros totais, 14B ativos, 43 camadas (uma FFN densa, 42 MoE), 512 especialistas roteados com top-10 mais um especialista compartilhado em um espaço latente de 2.048 dimensões. Atenção híbrida: 37 camadas de atenção fortemente comprimida, 6 de MLA com atenção esparsa DSA. A licença é o ERNIE 5.5 Flash Base Model License Agreement v1.0 — não Apache 2.0.

• ERNIE 5.5 Flash Preview — somente via API desde 11 de novembro, no Baidu Qianfan, listado com contexto de 1 milhão de tokens e limites de taxa de 300 solicitações e 3 milhões de tokens por minuto. A publicação de lançamento da Baidu diz que os pesos "serão disponibilizados como código aberto sob a Apache 2.0 em breve." Até hoje, isso não aconteceu. Uma variante gratuita do Preview está disponível para chamada por meio de um catálogo de terceiros desde 10 de novembro.

• ERNIE 5.5 Flash — o modelo sobre o qual este pull request trata. Ainda não lançado. O cookbook do SGLang o lista como "ERNIE-5.5-Flash (FP8 / FP4 / BF16, em breve), com raciocínio, chamada de ferramentas e um rascunho DSpark incluído", e a lista de modelos do Qianfan contém exatamente uma entrada do ERNIE 5.5, ernie-5.5-flash-preview. Não há página do Artificial Analysis para nenhum modelo ERNIE 5.5, e a linha mais recente de ERNIE no ranking da arena é ERNIE 5.1, com 1467 — portanto, todos os números de capacidade atribuídos a este modelo continuam sendo do próprio Baidu.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

Qual é a leitura honesta do PR inteiro: ele foi escrito para um checkpoint que ninguém consegue baixar. O código de detecção de FP4, o loader de draft do DSpark que constrói main_proj com a configuração de quantização FP8 e quantiza um feature_projection BF16 no carregamento, e o aquecimento da tabela de codificação que paga um custo medido de 0,8 segundo na inicialização em vez de na primeira requisição — tudo isso tem como alvo um artefato referenciado em um comentário de código apenas como "o checkpoint 1110". A Baidu anunciou esse artefato e não o publicou.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Quanto isso vale para alguém que está escolhendo um modelo hoje

Muito pouco como decisão de compra, e bastante como decisão de agendamento. A versão que tornaria o ERNIE 5.5 Flash um candidato não é este pull request; é o checkpoint de chat, mais o preço que a Baidu definir para ele, mais uma avaliação independente. O que o PR define é o formato da implantação que você estaria aceitando se planeja hospedar por conta própria: um tokenizer Python que precisa de código remoto, um caminho rápido FP4 que exige hardware SM100, um rascunho especulativo DSpark incluído na mesma família de checkpoints e um parser de raciocínio que pressupõe que o modo de pensamento está ativado. Equipes que presumiam "temos H100s, vamos executar a versão quantizada barata" agora sabem que a versão quantizada barata é justamente a que o hardware delas não consegue executar.

Se você prefere não apostar um caminho de produção no endpoint nem no código de serving não mesclado, a forma sensata é manter o modelo atrás de uma camada de roteamento enquanto ele prova seu valor. O catálogo do OrcaRouter não inclui nenhum modelo ERNIE — a lista de modelos retorna 218 entradas e nenhuma linha da Baidu —, portanto isto não é uma afirmação de que você pode chamá-lo aqui hoje. O que a plataforma oferece para um modelo neste estado é o desenho do experimento: um endpoint compatível com OpenAI na frente de mais de 200 outros modelos, failover automático entre provedores por trás desse único endpoint, e 0% de markup com o preço de tabela do provedor repassado, de modo que um reajuste de preço do fornecedor é o que você paga no dia em que acontece, em vez de depois de aplicar uma margem. Se o ERNIE 5.5 Flash mais tarde chegar a um provedor para o qual você já roteia, experimentá-lo se torna uma mudança na string do modelo, não uma segunda integração.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

O que transformaria isto numa história de lançamento?

Quatro coisas, mais ou menos na ordem do quanto mudariam o panorama. A fusão do pull request com CI e uma execução de acurácia revisada transformariam "alguém escreveu isto" em "o SGLang consegue servi-lo", que é a diferença que o suporte anterior ao Base fez em 6 de novembro. O aparecimento de um checkpoint MXFP4 no Hugging Face tornaria a metade FP4 do PR testável por qualquer pessoa com uma B200. Os pesos Apache 2.0 que a Baidu prometeu para o Preview resolveriam a questão de licença que o lançamento do Base deixou em aberto. E uma primeira pontuação independente — uma página do Artificial Analysis, uma entrada classificada na arena, um benchmark agêntico reproduzível de alguém que não seja a Baidu — substituiria a tabela do fornecedor por evidências.

Até lá, a pergunta interessante não é se o ERNIE 5.5 Flash é bom. É se um modelo pode chegar com seu contrato de serviço totalmente especificado e seus pesos ainda não publicados, e o que isso faz com as pessoas que planejam hardware em torno de anúncios. Esta semana a resposta é sim, e o contrato é um template de chat em Python, especialistas de quatro bits em uma geração de GPU, e uma recusa em iniciar em qualquer outro lugar. O próximo movimento da Baidu são os pesos; o da SGLang é uma revisão.