Carton-titre pour ERNIE 5.5 Flash indiquant « ERNIE 5.5 Flash : un chemin FP4 réservé à Blackwell apparaît avant même le modèle de chat », avec les étiquettes « SGLang PR #51236 · ouverte le 18 nov. 2026 », « experts MXFP4, SM100 uniquement », « le template de chat s'exécute en Python », « checkpoint de chat : non publié ». Le pied de page indique « Source : sgl-project/sglang PR #51236, ouverte et non fusionnée. »
Guides & Insights

ERNIE 5.5 Flash : un chemin FP4 exclusif à Blackwell apparaît avant le modèle de chat

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

La chose la plus concrète publiée à propos d'ERNIE 5.5 Flash cette semaine est un message d'erreur. Dans une pull request de 525 lignes ouverte dans le dépôt SGLang le 18 novembre 2026 se trouve un refus catégorique : --moe-a2a-backend megamoe est rejeté sur tout ce qui n'est pas un GPU SM100, car les kernels qui exécuteraient sinon le calcul SwiGLU et les experts de ce modèle utilisent SiTU. Cette ligne, et le reste de la PR #51236, constitue la première description publique de la manière dont la version chat d'ERNIE 5.5 Flash — par opposition à l'ERNIE 5.5 Flash Base checkpoint que Baidu a publié le 5 novembre et à l'ERNIE 5.5 Flash Preview endpoint qu'il a ouvert le 11 novembre — est censée être servie. Le modèle lui-même n'est pas encore sorti. Son contrat de service, lui, l'est désormais.

Il s'agit d'un point sur ce que nous savons à ce stade, et non d'une couverture de lancement. Tout ce qui suit provient d'une pull request ouverte, non fusionnée et non relue, de la documentation SGLang rédigée en parallèle du précédent support Base, et des pages publiées par Baidu lui-même. Rien ici n'a été testé sur un checkpoint de chat téléchargeable, car aucun checkpoint de ce type n'est téléchargeable. Lorsqu'un chiffre provient de Baidu, il est signalé comme tel.

Ce que la pull request ajoute réellement

La PR #51236 est intitulée « [Feat] ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving » et a été ouverte par chang-wenbin, un contributeur, le 18 novembre à 12:12 UTC. Elle touche 14 fichiers, ajoute 525 lignes et en supprime 24. Elle n’a aucune approbation, toutes ses exécutions de CI sont ignorées en attente d’une étiquette, et les sections accuracy-test et speed-test de la description sont les commentaires de modèle non renseignés. Lu comme une preuve, cela a son importance : il s’agit de code que son auteur estime nécessaire, pas de code que quiconque a vérifié.

C'est la quatrième pull request ERNIE 5.5 en deux semaines. #48546 a ajouté des recettes de déploiement au cookbook SGLang et a été fusionnée le 5 novembre, le jour où les poids Base ont été mis en ligne. #48547 a ajouté le modèle lui-même — Ernie5_5_MoeForCausalLM, le backend d’attention, le pool de cache KV, un module de draft DSpark — et a été fusionnée le 6 novembre. #49807 a étendu le prefill NVIDIA LiteTopK à « LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1 » le 11 novembre et est toujours ouverte. La PR du 18 novembre est la première des quatre qui ne concerne pas du tout le checkpoint Base.

Le modèle de chat est en Python, et cela change qui peut l’exécuter.

Les checkpoints ERNIE 5.5 Flash peuvent embarquer leur template de chat sous forme de code Python plutôt que de chaîne Jinja, dans une classe de tokenizer que la PR nomme ErnieChatTokenizer. Le chemin normal de SGLang rend les prompts en appelant apply_chat_template sur un template Jinja de la configuration du tokenizer ; le nouvel encodage de chat ernie5_5 appelle quant à lui le tokenizer propre au checkpoint, et se résout automatiquement à partir de la chaîne d'architecture ou du type de modèle ernie5_5_moe. La conséquence pratique, selon les propres termes de la PR : le tokenizer doit être chargé avec --trust-remote-code, et servir du chat avec --skip-tokenizer-init est purement et simplement refusé, avec une erreur explicative.

C’est une contrainte de déploiement sur laquelle un lecteur peut agir. Un modèle qui rend les prompts en Python exécute du code issu du dépôt de checkpoints au moment de la requête ; ainsi, toute personne qui l’exécute en environnement isolé, dans une image durcie ou derrière une politique interdisant le code distant doit soit intégrer le tokenizer, soit accepter le flag. Le checkpoint Base n’a pas ce problème : son tokenizer_config.json publié ne contient aucun template de chat et déclare un simple PreTrainedTokenizerFast, ce à quoi on peut s’attendre d’un checkpoint servi via un point de terminaison de complétions.

Trois petits détails dans le même fichier valent plus qu’ils n’en ont l’air. L’adaptateur prend en charge les messages système en ligne — des tours système au milieu de la conversation rendus sur place, et non fusionnés dans le premier message — ce que seuls deux autres encodages de l’arborescence de SGLang font. Il utilise la continuation native du moteur de rendu pour continue_final_message, car le chemin générique d’ajout de préfixe supprimerait le préfixe à l’intérieur du bloc think ouvert. Et il écarte délibérément les chat_template_kwargs que le moteur de rendu rejetterait, puisque ErnieChatTokenizer lève une exception sur un mot-clé inconnu là où un template Jinja en ignore un silencieusement — la PR cite comme cas qui échoue un frontend envoyant un raisonnement de style DeepSeek.

Le correctif qui en découle est la ligne la plus révélatrice du diff. Le gestionnaire de requêtes de SGLang lit une clé thinking et la désactive par défaut ; le parseur de raisonnement ernie55 lit enable_thinking et l’active par défaut. L’injection de la valeur par défaut du gestionnaire produisait donc une invite avec le raisonnement désactivé sous un parseur de raisonnement qui s’attendait à du raisonnement, et toute la réponse du modèle était analysée dans reasoning_content, content restant vide. C’est exactement le mode de défaillance que les utilisateurs du point de terminaison Preview signalent depuis le 11 novembre — des réponses simples arrivant avec un content vide — et le correctif implique que le checkpoint de chat raisonne par défaut.

Le raisonnement et les appels d’outils ont eux aussi leurs parseurs sélectionnés automatiquement : ernie55 pour le raisonnement, qui lit les balises <ernie:think>, et ernie55 pour les appels d’outils, qui lit <ernie:tool_call>. La docstring de l’adaptateur indique que le texte, l’appel d’outils et l’option de réflexion sont pris en charge, et que les branches multimodales du template sont « laissées pour une mise à niveau ultérieure » — ainsi, à compter de cette PR, le modèle de chat est servi comme ce que Baidu a décrit partout ailleurs : un modèle texte.

Pourquoi les experts 4 bits verrouillent la voie rapide vers Blackwell

La seconde moitié de la PR concerne les experts routés stockés en MXFP4, exécutés en w4a8 — poids sur quatre bits, activations sur huit bits — via l'all-to-all MegaMoE de DeepGEMM entre les GPU. Deux choix d'implémentation portent une information sur le modèle lui-même.

• La quantification est détectée automatiquement à partir de l'en-tête safetensors, car le checkpoint ne contient aucune clé routed_experts_quant_method. Cela est cohérent avec la configuration Base publiée, qui ne comporte aucun champ de ce type ; le chargeur lit le dtype des experts dans les en-têtes des fichiers et en déduit is_fp4_experts.

• Le chemin MegaMoE est refusé sur SM90 et sur ROCm, et non dégradé, parce que les noyaux MegaMoE FP8 pour SM90 et ROCm codent SwiGLU en dur alors que ces experts sont activés par SiTU. Le commentaire de la PR fixe les constantes exactes que DeepGEMM code en dur : SiTU beta 4.0 et beta linéaire 25.0. Le config.json du checkpoint Base déclare lui-même activation_situ_beta : 4.0 et activation_situ_linear_beta : 25.0, donc les constantes du noyau et les poids concordent — c’est le genre de recoupement qui fait qu’une fuite se lit comme de l’ingénierie plutôt que de la spéculation.

Le mode de défaillance que l’on prévient est la défaillance silencieuse. Un noyau SM90 qui calculerait SwiGLU sur des poids SiTU ne planterait pas ; il renverrait un texte fluide et légèrement faux. Refuser de démarrer est un meilleur résultat, et c’est pourquoi l’histoire de FP4 est conditionnée par le matériel plutôt qu’universelle.

Ce que cela signifie sur le plan commercial est plus étroit que « ERNIE 5.5 Flash a besoin de Blackwell ». Ce n’est pas le cas. Le cookbook SGLang, rédigé pour le checkpoint Base, publie des recettes mono-nœud sur B300, GB300, B200, GB200 et H100, et la recette H100 FP8 nécessite huit GPU car les poids FP8 pèsent environ 280 Go. La voie des experts FP4 est celle qui n’existe que sur les composants SM100, et SGLang n’a pas publié de table mémoire pour un checkpoint FP4 parce qu’il n’en a pas vu. Considérez tout calcul « tient sur un seul B200 » que vous voyez — y compris l’estimation évidente selon laquelle diviser par deux les octets des experts fait passer un modèle de 280 Go à environ 150 Go — comme une estimation, pas comme une recette.

Qu’est-ce qui est réellement téléchargeable aujourd’hui ?

• ERNIE 5.5 Flash Base — poids ouverts depuis le 5 novembre 2026, en FP8 et BF16, sur Hugging Face et ModelScope. 280 Md de paramètres au total, 14 Md actifs, 43 couches (une FFN dense, 42 MoE), 512 experts routés avec top-10 plus un expert partagé dans un espace latent de 2 048 dimensions. Attention hybride : 37 couches d’attention fortement compressée, 6 de MLA avec attention parcimonieuse DSA. La licence est l’ERNIE 5.5 Flash Base Model License Agreement v1.0 — et non Apache 2.0.

• ERNIE 5.5 Flash Preview — uniquement via API depuis le 11 novembre, sur Baidu Qianfan, référencé avec un contexte de 1 M de tokens et des limites de débit de 300 requêtes et de 3 millions de tokens par minute. Le billet de publication de Baidu indique que les poids « seront bientôt publiés en open source sous Apache 2.0 ». À ce jour, ils ne l'ont pas été. Une variante gratuite de la Preview est appelable via un catalogue tiers depuis le 10 novembre.

• ERNIE 5.5 Flash — le modèle concerné par cette pull request. Non publié. Le cookbook de SGLang le répertorie comme « ERNIE-5.5-Flash (FP8 / FP4 / BF16, bientôt disponible), avec raisonnement, appel d’outils et un brouillon DSpark inclus », et la liste de modèles de Qianfan contient exactement une entrée ERNIE 5.5, ernie-5.5-flash-preview. Il n’existe aucune page Artificial Analysis pour un modèle ERNIE 5.5, et la ligne ERNIE la plus récente du classement de l’arène est ERNIE 5.1 à 1467 — ainsi, chaque chiffre de capacité associé à ce modèle reste celui de Baidu.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

Quelle est la lecture honnête de l’ensemble de la PR : elle est écrite pour un checkpoint que personne ne peut télécharger. Le code de détection FP4, le chargeur de brouillon DSpark qui construit main_proj avec la configuration de quantification FP8 et quantifie un feature_projection BF16 au chargement, et le préchauffage de la table d’encodage qui entraîne un coût mesuré de 0,8 seconde au démarrage plutôt qu’à la première requête — tout cela cible un artefact référencé dans un commentaire de code uniquement comme « le checkpoint 1110 ». Baidu a annoncé cet artefact et ne l’a pas publié.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Ce que cela vaut pour quelqu’un qui choisit un modèle aujourd’hui

Très peu en tant que décision d’achat, et beaucoup en tant que décision de planification. La version qui ferait d’ERNIE 5.5 Flash un candidat n’est pas cette pull request ; c’est le checkpoint de chat, plus le prix que Baidu lui fixera, plus une évaluation indépendante. Ce que la PR permet de trancher, en revanche, c’est la forme du déploiement auquel vous vous engageriez si vous prévoyez de l’auto-héberger : un tokenizer Python qui nécessite du code distant, un chemin rapide FP4 qui exige du matériel SM100, un brouillon spéculatif DSpark intégré à la même famille de checkpoints, et un analyseur de raisonnement qui suppose que la réflexion est activée. Les équipes qui partaient du principe « nous avons des H100, nous allons exécuter la version quantifiée bon marché » savent désormais que la version quantifiée bon marché est celle que leur matériel ne peut pas exécuter.

Si vous préférez ne pas faire reposer un chemin de production sur le point de terminaison ou sur le code de serving non fusionné, la forme raisonnable consiste à garder le modèle derrière une couche de routage le temps qu'il fasse ses preuves. Le catalogue d'OrcaRouter ne comprend aucun modèle ERNIE — la liste des modèles renvoie 218 entrées et aucune ligne Baidu — il ne s'agit donc pas d'affirmer que vous pouvez l'appeler ici dès aujourd'hui. Ce que la plateforme vous offre pour un modèle dans cet état, c'est la conception de l'expérimentation : un point de terminaison compatible OpenAI devant plus de 200 autres modèles, un basculement automatique entre fournisseurs derrière ce point de terminaison unique, et 0 % de marge, avec le prix catalogue du fournisseur répercuté tel quel, de sorte qu'une révision tarifaire du fournisseur est ce que vous payez le jour où elle survient, plutôt qu'après application d'une marge. Si ERNIE 5.5 Flash arrive plus tard chez un fournisseur vers lequel vous routez déjà, l'essayer devient un simple changement de chaîne de modèle, et non une seconde intégration.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

Qu’est-ce qui transformerait cela en une histoire de lancement ?

Quatre éléments, classés à peu près selon l’ampleur de ce qu’ils changeraient à la situation. La fusion de la pull request avec la CI et une exécution de contrôle de précision revue transformerait « quelqu’un a écrit ceci » en « SGLang peut le servir », ce qui est la différence qu’a apportée le support Base antérieur, le 6 novembre. L’apparition d’un checkpoint MXFP4 sur Hugging Face rendrait la moitié FP4 de la PR testable par toute personne disposant d’une B200. Les poids Apache 2.0 promis par Baidu pour la Preview trancheraient la question de licence laissée ouverte par la publication Base. Et un premier score indépendant — une page Artificial Analysis, une entrée classée dans une arène, un benchmark agentique reproductible provenant de quelqu’un qui n’est pas Baidu — remplacerait le tableau du fournisseur par des preuves.

D’ici là, la question intéressante n’est pas de savoir si ERNIE 5.5 Flash est bon. C’est de savoir si un modèle peut arriver avec son contrat de service entièrement spécifié et ses poids encore non publiés, et ce que cela fait aux personnes qui planifient le matériel en fonction des annonces. Cette semaine, la réponse est oui, et le contrat est un modèle de chat en Python, des experts en quatre bits sur une seule génération de GPU, et un refus de démarrer ailleurs. Le prochain coup de Baidu, ce sont les poids ; celui de SGLang, une revue.