ERNIE 5.5 Flash Preview e a alegação de “#2 Open Model” que sua própria linha no ranking contradiz

A Baidu fez um quote-tweet de uma alegação de ranking em 12 de novembro de 2026 que diz, na íntegra: "Ernie 5.5 Flash Preview, da @Baidu_Inc, está caminhando para se tornar o #2 modelo aberto no Code Arena: WebDev, com 1668 pts." A Baidu acrescentou as contagens de parâmetros — 280 bilhões no total, 14 bilhões ativos por token — e agradeceu à comunidade por "colocá-lo à prova". Depois, deixou o restante como estava. O problema é que a linha que produz esse 1668 não está rotulada como aberta. No mesmo painel Code Arena WebDev, no mesmo snapshot de 10 de novembro, ERNIE 5.5 Flash Preview traz a etiqueta Proprietary, uma pontuação de 1668 ±16, o rótulo AutoEval, e votos listados como N/A. Os modelos citados como aqueles que ele supera — DeepSeek-V4.1-Flash com 1664 e Kimi K3 com 1658 — são linhas classificadas com 13.952 e 22.405 votos humanos, respectivamente, e a linha do D​eepSeek traz uma etiqueta de licença MIT. Portanto, a frase faz três coisas ao mesmo tempo: relata uma pontuação real, promete uma licença que ainda não existe e descreve um ranking que o painel não atribuiu.

Nada disso torna o número errado. Isso torna o número um tipo diferente de objeto do que aquele que a frase vende, e a diferença é inteiramente legível nas próprias colunas do ranking.

O que a Arena publicou, e a única linha que o Baidu omitiu

A publicação da Arena saiu às 01:08:21 UTC de 12 de novembro de 2026, um minuto antes da cotação da Baidu. Vale a pena ter o texto completo dela diante de você, porque a afirmação e seu qualificador estão no mesmo parágrafo:

• "O Ernie 5.5 Flash Preview da @Baidu_Inc está caminhando para se tornar o modelo aberto nº 2 no Code Arena: WebDev, com 1668 pts."

• "Os pesos serão disponibilizados como código aberto sob a licença Apache 2.0 em breve."

• "Sua pontuação o coloca logo acima de: DeepSeek-V4.1-Flash (Max) com 1664, Kimi K3 (Max) com 1658."

A Arena fez ressalvas sobre o ranking duas vezes — "tendendo a se tornar" — e vinculou o status de open-weights a um evento futuro com a palavra "em breve". O quote-tweet do Baidu reproduziu a pontuação e os números de parâmetros, eliminou por completo a frase sobre Apache 2.0 e manteve o enquadramento "últimas do @arena". Um leitor que tivesse visto apenas a publicação do Baidu não saberia que a metade da afirmação referente ao modelo aberto é uma declaração prospectiva, porque o único lugar onde isso foi dito é justamente a metade que foi cortada.

Isso não é uma citação incorreta. É uma seleção, e transfere o ônus da prova para o leitor que quiser verificá-la — que é o que o restante deste texto faz.

A linha, leia coluna por coluna

O Code Arena WebDev avalia trabalhos de desenvolvimento web front-end: tarefas de codificação agêntica com várias etapas de raciocínio e uso de ferramentas, não a qualidade de chat e não a codificação geral. Seu instantâneo de 10 de novembro contém 995.980 votos em 158 modelos. Aqui está a linha do ERNIE 5.5 Flash Preview como o painel a imprime, sem nenhuma interpretação adicionada:

{{1}}Pontuação{{/1}} — 1668, publicada como 1668 +16/-16, portanto um intervalo de aproximadamente 90 por cento, de cerca de 1652 a 1684.

• Classificação — N/A. A linha é exibida entre a classificação 16 e a classificação 17 sem um número de classificação.

• Votos — N/A. Não há nenhuma contagem de votos humanos na linha.

• Rótulo — AutoEval, uma tag vinculada que aponta para o próprio explicador da Arena.

• Etiqueta de licença — Proprietária.

• Preço — US$ 0,28 de entrada e US$ 1,13 de saída por milhão de tokens, o que corresponde ao preço de tabela do Qianfan.

• Contexto — N/A, em um modelo cuja página do fornecedor declara uma janela de 1 milhão de tokens.

Três dessas sete colunas são N/A, e uma delas é a coluna da licença, que é a coluna da qual a alegação depende. Compare a faixa que ele afirma estar acima e o quadro fica mais nítido, não mais suave:

• 1691 — Claude Opus 5 (Max), A​nthropic, Proprietário.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, etiquetado como "Kimi K3.1 Pro License", uma licença personalizada que a Arena não marca como aberta nem proprietária.

• 1682 — Gemini 4 Argon (High), Google, Proprietário.

• 1679 — GPT-6.1 Terra (Max), OpenAI, Proprietário.

• 1676 — Qwen3.8-Max (0902), A​libaba, Proprietário, Preliminar.

• 1673 — GPT-6 Sol (Max), OpenAI, Proprietário.

• 1670 — Qwen3.8-Max, A​libaba, Proprietário, Preliminar.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Proprietário, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13.952 votos.

• 1658 — Kimi K3 (Max), Moonshot, 22.405 votos.

Leia essa lista em confronto com a afirmação. Tudo o que está acima do ERNIE nela é Proprietário, exceto uma linha de licença personalizada. O primeiro modelo genuinamente de licença aberta que você encontra é a linha do DeepSeek abaixo dela. Portanto, "#2 modelo aberto" não é uma descrição de onde o ERNIE se situa nesta tabela. É uma descrição de onde o ERNIE estaria se os pesos fossem publicados sob Apache 2.0 e se as pontuações do AutoEval fossem tratadas como equivalentes às votadas por humanos. Ambas as condições são futuras ou contestadas, e nenhuma delas é visível no quote-tweet.

O que o AutoEval realmente é, e por que ±16 importa aqui

A Arena publicou sua metodologia AutoEval em 30 de julho de 2026 e a revisou pela última vez em 12 de agosto. O mecanismo é um modelo de recompensa treinado com preferência humana, usado para emitir votos automaticamente: amostrar pares de prompt-resposta ao vivo, regenerar uma resposta a partir do modelo-alvo, fazer o modelo de recompensa pontuar ambas, converter a diferença de pontuação em um voto de probabilidade suave e, então, combinar esses votos sintéticos com os votos humanos ao vivo sobre os outros modelos. A Arena afirma que as pontuações resultantes são "claramente rotuladas como '{{1}}AutoEval{{/1}}' e depois atualizadas assim que votos humanos suficientes chegam para validá-las", e relata correlação de ranking acima de 0,98 com a avaliação ao vivo.

Essa é uma forma defensável de obter um sinal do primeiro dia, e é por isso que um modelo pode aparecer em um quadro no dia em que é lançado. É também, pela própria descrição da Arena, um marcador provisório. O número é provisório por construção e espera-se que mude. O rótulo na linha do ERNIE não é decoração; é uma instrução para tratar 1668 como uma estimativa pendente de validação.

Agora aplique a barra de erro, que é a parte da linha que ninguém citou. O intervalo do ERNIE vai de cerca de 1652 a 1684. O 1664 do DeepSeek-V4.1-Flash e o 1658 do Kimi K3 estão ambos dentro dele. Também está o Qwen3.8-Max, com 1670, e o GPT-6 Sol, com 1673. A frase "sua pontuação o coloca logo acima do DeepSeek-V4.1-Flash, com 1664, e do Kimi K3, com 1658" é aritmeticamente verdadeira em relação às estimativas pontuais e estatisticamente sem suporte como comparação: com base na incerteza publicada da própria linha, o ERNIE não é distinguível de qualquer modelo entre 1652 e 1684. Pode estar acima do D​eepSeek. Pode estar abaixo dele. O quadro atualmente não diz qual.

Isto não é uma tecnicalidade direcionada a um fornecedor. Um intervalo de ±16 numa tabela em que todo o top 25 abrange cerca de 200 pontos significa que quase todos os pares adjacentes de linhas estão empatados neste nível de confiança, e a leitura honesta de qualquer comparação adjacente isolada — para qualquer modelo — é "empate". O que é incomum aqui é apenas que um fornecedor amplificou a comparação adjacente como resultado.

De onde vem o "#2" e a licença da qual ele depende

Partindo dos números e raciocinando de trás para frente, há exatamente uma forma de a afirmação se tornar verdadeira, o que vale a pena afirmar, porque é verificável e porque a Arena não o detalhou.

Considere o conjunto aberto como "toda linha que a Arena não marca como Proprietary". Acima de 1668, isso deixa exatamente uma linha: Kimi K3.1 Pro (Max) em 1688, com a tag "Kimi K3.1 Pro License". Todo o resto acima do ERNIE está marcado como Proprietary. Sob essa leitura, Kimi K3.1 Pro é #1 e ERNIE 5.5 Flash Preview seria #2 — não porque tenha superado a concorrência, mas porque a concorrência à sua frente é proprietária.

Essa reconstrução é uma inferência, não uma citação: o post da Arena não nomeia o modelo que considera #1, e o placar não expõe seu classificador de aberto versus proprietário além das tags de licença. Se essa inferência estiver correta, então o fato central da alegação é uma licença personalizada no modelo de outra pessoa — a Arena trata o Kimi K3.1 Pro como aberto, e todo o enquadramento de "#2 modelo aberto" herda essa decisão de classificação. Se, em vez disso, a Arena considerar licenças personalizadas como fechadas, o 1668 do ERNIE é a principal linha não proprietária e a alegação deveria ter dito "#1", o que teria sido uma frase mais estranha de publicar sobre uma prévia.

De qualquer forma, a frase carrega mais peso do que os dados por trás dela. O número é real. A classificação depende de uma licença que ninguém viu.

A distância que o enquadramento esconde

Mais um número deveria constar em qualquer versão honesta deste post, e sua ausência é a coisa mais reveladora a respeito dele. O topo do Code Arena WebDev no mesmo snapshot é Claude Fable 5.2, com 1836. ERNIE 5.5 Flash Preview, com 1668, está 168 pontos atrás disso — e em 17º de 158 se a linha do AutoEval fosse classificada, encaixando-se entre Qwen3.8-Max, com 1670, e DeepSeek-V4.1-Flash, com 1664.

Décimo sétimo lugar em um ranking de 158 modelos, um dia após o lançamento, com 14 bilhões de parâmetros ativos de um total de 280 bilhões, é um resultado genuinamente bom. É o tipo de resultado que justifica uma publicação na semana do lançamento. Não é o tipo de resultado que precisa ser apresentado como um lugar no pódio, e apresentá-lo assim atrai exatamente o escrutínio que custa a um fornecedor mais credibilidade do que a frase honesta teria custado.

O que a página do fornecedor diz e não diz

{{1}}A própria página de lançamento da Baidu para o ERNIE 5.5 Flash Preview{{/1}} está datada de {{2}}11 de novembro de 2026{{/2}}, afirma "{{3}}280B de parâmetros totais com 14B ativos e um contexto de 1M de tokens,{{/3}}" e descreve o modelo como o primeiro checkpoint pós-treinado no {{4}}ERNIE 5.5 Flash Base{{/4}}, os pesos base publicados em {{5}}5 de novembro{{/5}}. Ela não contém declaração de licença, declaração sobre pesos nem números de benchmark — as referências a benchmark da página são manchetes sobre lançamentos anteriores do ERNIE, não pontuações para este modelo.

Essa lacuna é relevante para a afirmação em análise. “Os pesos serão disponibilizados como código aberto sob a Apache 2.0 em breve” aparece na publicação da Arena. Não aparece na página de lançamento do fornecedor e não aparece na própria divulgação dessa publicação feita pelo fornecedor. Se o compromisso com a Apache 2.0 é real e atual, a página de lançamento é o lugar natural para ele, e ele não está lá. Se é real, mas ainda não documentado, então a única fonte pública de um compromisso de licença para este modelo é o anúncio de um ranking — o que é um lugar frágil para uma licença residir quando um fornecedor está construindo uma classificação em cima dela.

Como usar isto antes que os números se estabilizem

A pergunta prática para qualquer pessoa que esteja escolhendo um modelo esta semana não é se 1668 é uma boa pontuação. É se uma estimativa provisória de WebDev em um checkpoint de pré-visualização, com preço de US$ 0,28 de entrada e US$ 1,13 de saída, com raciocínio obrigatório cobrado como saída, deveria substituir algo que já está em produção. Com base nas evidências disponíveis, a resposta é não — mas a forma de testar isso é barata, e não exige acreditar nem na publicação nem neste artigo.

Faça a comparação nos modelos roteados em vez de no ranking. DeepSeek-V4.1-Flash e Kimi K3 estão ambos disponíveis pelo OrcaRouter por trás de uma única chave compatível com OpenAI, pelo preço de tabela do provedor, sem markup, então o grupo de controle custa a tarifa do próprio provedor em vez de um segundo contrato e um segundo SDK. Monte vinte tarefas de front-end que representem o seu trabalho real — refatorações de componentes, um bug de layout que só se manifesta em um breakpoint, um trabalho de ligação de máquina de estados — rode cada modelo duas vezes e conte tokens de saída, além da correção. Essa é a medição que nenhuma linha de ranking vai te dar, porque é o único número que precisa ser seu: custo por tarefa, não preço por token.

Trate o próprio ERNIE 5.5 Flash Preview como o objeto em teste, e não como o objeto adotado. Ele está no Qianfan, não no nosso catálogo, e uma preview que o próprio fornecedor chama de checkpoint intermediário de pós-treinamento é exatamente o perfil que você coloca atrás de um primário, e não à frente dele. Se você realmente colocá-lo em um caminho, coloque-o em um caminho com failover, para que no dia em que o Arena substituir 1668 por um número votado por humanos — ou no dia em que os pesos Apache 2.0 aparecerem, ou não aparecerem — seus usuários descubram por uma linha de log e não por uma indisponibilidade.

O que resolveria isso

Três coisas, na ordem em que provavelmente chegarão, cada uma das quais mudaria o veredito deste artigo em vez de apenas embelezá-lo.

• Votos humanos substituindo o rótulo AutoEval naquela linha. A Arena diz que as pontuações são atualizadas assim que chegarem votos suficientes. Quando os votos deixarem de exibir N/A, o 1668 passa a ser comparável ao 1664 e ao 1658 contra os quais foi definido, e a questão do ±16 se resolve. Observe o intervalo se estreitar tanto quanto a estimativa pontual se deslocar.

• Pesos publicados sob uma licença nomeada. Um repositório real com um arquivo Apache 2.0 resolve permanentemente a questão do modelo aberto e torna o enquadramento "#2 open model" justo retroativamente. Um anúncio de licença sem pesos não resolve nada.

• Uma medição independente do WebDev. O AutoEval da Arena é o instrumento da própria Arena, e cada número de benchmark que a Baidu publicou para este modelo é a execução da própria Baidu em seu próprio harness. Nenhum dos dois é um resultado de terceiros. A primeira avaliação de front-end genuinamente independente do ERNIE 5.5 Flash Preview valerá mais do que ambos.

Até então, a frase precisa é a entediante: um checkpoint de prévia que a Baidu lançou em 11 de novembro ficou em 1668 no Code Arena WebDev, uma estimativa do AutoEval dentro de um intervalo que se sobrepõe aos próximos quatro modelos abaixo, em uma linha que o ranking ainda marca como Proprietary, e seu fornecedor amplificou isso como um #2 de curto prazo entre os modelos abertos. Cada cláusula disso é verificável hoje. A versão que foi twittada não é tanto errada quanto inacabada — e foi publicada como se estivesse pronta.