Titelkaart voor ERNIE 5.5 Flash met de tekst 'ERNIE 5.5 Flash: Een alleen voor Blackwell bestemd FP4-pad verschijnt voordat het chatmodel verschijnt', met chips 'SGLang PR #51236 · geopend op 18 nov 2026', 'MXFP4-experts, alleen SM100', 'Chattemplate wordt in Python gerenderd', 'Chatcheckpoint: niet vrijgegeven'. De voettekst luidt 'Bron: sgl-project/sglang PR #51236, open en niet gemerged.'
Guides & Insights

ERNIE 5.5 Flash: een FP4-pad uitsluitend voor Blackwell verschijnt voordat het chatmodel zelf verschijnt

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Het meest concrete dat deze week over ERNIE 5.5 Flash is gepubliceerd, is een foutmelding. In een pull request van 525 regels die op 18 november 2026 in de SGLang-repository werd geopend, staat een harde weigering: --moe-a2a-backend megamoe wordt geweigerd op alles wat geen SM100-GPU is, omdat de kernels die anders SwiGLU zouden berekenen, en de experts van dit model, SiTU gebruiken. Die regel, en de rest van PR #51236, is de eerste openbare beschrijving van hoe de chatrelease van ERNIE 5.5 Flash — in tegenstelling tot de ERNIE 5.5 Flash Base checkpoint die Baidu op 5 november publiceerde en de ERNIE 5.5 Flash Preview endpoint die het op 11 november opende — bedoeld is om te worden geserveerd. Het model zelf is nog niet uit. Het serveercontract ervan is dat nu wel.

Dit is een stuk over wat we tot nu toe weten, geen lanceerverslag. Alles hieronder komt uit één open pull request die niet is samengevoegd en niet is gereviewd, uit de SGLang-documentatie die is geschreven samen met de eerdere Base-ondersteuning, en uit de eigen gepubliceerde pagina's van Baidu. Niets hiervan is getest tegen een downloadbaar chat-checkpoint, omdat zo'n checkpoint niet downloadbaar is. Waar een getal van Baidu is, wordt het als van Baidu gelabeld.

Wat de pull request daadwerkelijk toevoegt

PR #51236 heeft de titel "[Feat] ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving" en is geopend door chang-wenbin, een contributor, om 12:12 UTC op 18 november. De PR raakt 14 bestanden aan, voegt 525 regels toe en verwijdert er 24. Er zijn geen goedkeuringen, alle CI-runs zijn overgeslagen in afwachting van een label, en zowel de accuracy-test- als de speed-test-secties van de beschrijving zijn de niet-ingevulde sjabloonopmerkingen. Als je dit als bewijs leest, is dat van belang: dit is code waarvan de auteur vindt dat die nodig is, niet code die iemand heeft geverifieerd.

Dit is de vierde ERNIE 5.5-pull request in twee weken. #48546 voegde deploymentrecepten toe aan de SGLang-cookbook en werd op 5 november gemerged, de dag dat de Base-gewichten beschikbaar werden gesteld. #48547 voegde het model zelf toe — Ernie5_5_MoeForCausalLM, de attention-backend, de KV-cachepool, een DSpark-draftmodule — en werd op 6 november gemerged. #49807 breidde NVIDIA LiteTopK-prefill op 11 november uit naar "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1" en is nog steeds open. De PR van 18 november is de eerste van de vier die helemaal niet over het Base-checkpoint gaat.

Het chat-sjabloon is Python, en dat verandert wie het kan uitvoeren.

ERNIE 5.5 Flash-checkpoints kunnen hun chatsjabloon als Python meeleveren in plaats van als een Jinja-string, in een tokenizerklasse die de PR ErnieChatTokenizer noemt. Het normale pad van SGLang rendert prompts door apply_chat_template aan te roepen tegen een Jinja-sjabloon in de tokenizerconfiguratie; de nieuwe ernie5_5-chatcodering roept in plaats daarvan de tokenizer van het checkpoint zelf aan en wordt automatisch bepaald op basis van de architectuurstring of het modeltype ernie5_5_moe. De praktische consequentie is, in de woorden van de PR zelf: de tokenizer moet met --trust-remote-code worden geladen, en chatservering met --skip-tokenizer-init wordt botweg geweigerd met een verklarende foutmelding.

Dat is een deploymentbeperking waar een lezer iets mee kan. Een model dat prompts in Python rendert, voert op het moment van het verzoek code uit de checkpoint-repository uit, dus iedereen die het air-gapped, in een gehardeniseerde image of achter een beleid dat remote code verbiedt draait, moet ofwel de tokenizer zelf meeleveren ofwel de flag accepteren. De Base-checkpoint heeft dit probleem niet: de gepubliceerde tokenizer_config.json bevat helemaal geen chat template en declareert een gewone PreTrainedTokenizerFast, wat je zou verwachten van een checkpoint dat via een completions-endpoint wordt geserveerd.

Drie kleinere details in hetzelfde bestand zijn meer waard dan ze lijken. De adapter ondersteunt inline systeemberichten — systeembeurten midden in het gesprek worden ter plaatse weergegeven, niet samengevoegd in het eerste bericht — wat slechts twee andere encodings in SGLang's tree doen. Hij gebruikt de native voortzetting van de renderer voor continue_final_message, omdat het generieke prefix-append-pad het prefix binnen het geopende think-blok zou laten vallen. En hij laat bewust chat_template_kwargs weg die de renderer zou afwijzen, aangezien ErnieChatTokenizer een fout geeft bij een onbekend keyword waar een Jinja-sjabloon er stilletjes een negeert — de PR noemt een frontend die DeepSeek-stijl thinking verstuurt als het geval dat stukloopt.

De bugfix die hieruit volgt, is de meest onthullende regel in de diff. De request handler van SGLang leest een thinking-sleutel en zet die standaard uit; de ernie55 reasoning-parser leest enable_thinking en zet die standaard aan. Door de standaardwaarde van de handler te injecteren, werd dus een prompt met thinking uitgeschakeld aangeboden aan een reasoning-parser die redeneren verwachtte, en het volledige antwoord van het model werd naar reasoning_content geparseerd, terwijl content leeg bleef. Dat is precies de faalmodus die gebruikers van het Preview-endpoint sinds 11 november melden — gewone antwoorden die als lege content binnenkomen — en de fix impliceert dat het chat-checkpoint standaard denkt.

Ook voor redeneren en tool calls worden de parsers automatisch geselecteerd: ernie55 voor redeneren, dat <ernie:think>-tags leest, en ernie55 voor tool calls, dat <ernie:tool_call> leest. De docstring van de adapter stelt dat tekst, tool calling en de thinking-toggle worden ondersteund en dat de multimodale takken van de template "voor een latere upgrade bewaard blijven" — dus met deze PR wordt het chatmodel aangeboden zoals Baidu het overal elders heeft beschreven: als een tekstmodel.

Waarom vierbits-experts het snelle pad naar Blackwell vastleggen

De tweede helft van de PR gaat over gerouteerde experts die zijn opgeslagen in MXFP4 en worden uitgevoerd als w4a8 — vierbitsgewichten, achtbitsactivaties — via DeepGEMM's MegaMoE all-to-all over GPU's. Twee implementatiekeuzes dragen informatie over het model zelf.

• De kwantisatie wordt automatisch gedetecteerd op basis van de safetensors-header, omdat het checkpoint geen routed_experts_quant_method-sleutel bevat. Dat klopt met de gepubliceerde Base-config, die een dergelijk veld niet heeft; de loader leest het expert-dtype uit de bestandshoofden en stelt op basis daarvan is_fp4_experts in.

• Het MegaMoE-pad wordt op SM90 en op ROCm geweigerd, niet gedegradeerd, omdat de SM90 FP8- en ROCm MegaMoE-kernels SwiGLU hardcoderen, terwijl deze experts SiTU-geactiveerd zijn. De commentaar in de PR legt de exacte constanten vast die DeepGEMM inbakent: SiTU-bèta 4.0 en lineaire bèta 25.0. De eigen config.json van het Base-checkpoint declareert activation_situ_beta: 4.0 en activation_situ_linear_beta: 25.0, dus de kernelconstanten en de gewichten komen overeen — wat precies het soort kruiscontrole is waardoor een lek als engineering in plaats van speculatie leest.

De faalmodus die wordt voorkomen, is de stille. Een SM90-kernel die SwiGLU op SiTU-gewichten zou berekenen, zou niet crashen; hij zou vloeiende, lichtelijk onjuiste tekst opleveren. Weigeren te starten is de betere uitkomst, en dat is de reden dat het FP4-verhaal hardwareafhankelijk is in plaats van universeel.

Wat dat commercieel betekent, is beperkter dan "ERNIE 5.5 Flash heeft Blackwell nodig." Dat is niet zo. De SGLang-cookbook, geschreven voor het Base-checkpoint, publiceert single-node-recepten op B300, GB300, B200, GB200 en H100, en het H100 FP8-recept gebruikt acht GPU's omdat FP8-gewichten ongeveer 280 GB zijn. Het FP4-experts-pad is het pad dat alleen bestaat op SM100-onderdelen, en SGLang heeft geen geheugentabel gepubliceerd voor een FP4-checkpoint omdat het er nog geen heeft gezien. Beschouw elke berekening die je ziet over "past op één B200" — inclusief de voor de hand liggende schatting dat het halveren van expertbytes een model van 280 GB naar iets in de buurt van 150 GB brengt — als een schatting, niet als een recept.

Wat is er tegenwoordig eigenlijk te downloaden?

• ERNIE 5.5 Flash Base — open gewichten sinds 5 november 2026, in FP8 en BF16, op Hugging Face en ModelScope. 280B totale parameters, 14B actief, 43 lagen (één dichte FFN, 42 MoE), 512 gerouteerde experts met top-10 plus één gedeelde expert in een 2.048-dimensionale latente ruimte. Hybride attention: 37 lagen sterk gecomprimeerde attention, 6 MLA met DSA sparse attention. De licentie is de ERNIE 5.5 Flash Base Model License Agreement v1.0 — niet Apache 2.0.

• ERNIE 5.5 Flash Preview — uitsluitend via API sinds 11 november, op Baidu Qianfan, vermeld met een context van 1M tokens en limieten van 300 verzoeken en 3 miljoen tokens per minuut. In het releasebericht van Baidu staat dat de gewichten "binnenkort onder Apache 2.0 open source worden gemaakt." Per vandaag is dat nog niet gebeurd. Een gratis variant van de Preview is sinds 10 november aanroepbaar via een catalogus van een derde partij.

• ERNIE 5.5 Flash — het model waar deze pull request over gaat. Niet uitgebracht. De cookbook van SGLang vermeldt het als "ERNIE-5.5-Flash (FP8 / FP4 / BF16, binnenkort beschikbaar), met redeneren, tool calling en een meegeleverde DSpark-draft", en de modellenlijst van Qianfan bevat precies één ERNIE 5.5-vermelding: ernie-5.5-flash-preview. Er is geen pagina van Artificial Analysis voor welk ERNIE 5.5-model dan ook, en de nieuwste ERNIE-rij op het leaderboard van de arena is ERNIE 5.1 met 1467 — dus elk capaciteitscijfer dat aan dit model wordt gekoppeld, blijft afkomstig van Baidu zelf.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

Wat is de eerlijke lezing van de hele PR: hij is geschreven voor een checkpoint dat niemand kan downloaden. De FP4-detectiecode, de DSpark-draftloader die main_proj bouwt met de FP8-quantconfig en bij het laden een BF16 feature_projection quantiseert, en de encode-table-warm-up die bij het opstarten een gemeten kost van 0,8 seconden betaalt in plaats van bij het eerste verzoek — alles richt zich op een artefact waarnaar in een codecommentaar alleen als "the 1110 checkpoint" wordt verwezen. Baidu heeft dat artefact aangekondigd en heeft het niet gepubliceerd.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Wat dit waard is voor iemand die vandaag een model kiest

Erg weinig als aankoopbeslissing, en behoorlijk wat als planningsbeslissing. De release die ERNIE 5.5 Flash tot kandidaat zou maken, is niet deze pull request; het is de chat-checkpoint plus de prijs die Baidu ervoor vraagt plus één onafhankelijke evaluatie. Wat de PR wel beslecht, is de vorm van de deployment waarvoor je je aanmeldt als je van plan bent zelf te hosten: een Python-tokenizer die externe code nodig heeft, een FP4-snelpad dat SM100-hardware vereist, een DSpark-speculatieve draft die in dezelfde checkpointfamilie is meegebundeld, en een redeneerparser die ervan uitgaat dat thinking aan staat. Teams die aannamen "we hebben H100s, we draaien de goedkope gekwantiseerde versie", weten nu dat de goedkope gekwantiseerde versie degene is die hun hardware niet aankan.

Als je een productiepad liever niet afhankelijk maakt van het endpoint of van de nog niet samengevoegde serving-code, is de verstandige aanpak om het model achter een routeringslaag te houden terwijl het zich bewijst. De catalogus van OrcaRouter bevat geen enkel ERNIE-model — de modellenlijst retourneert 218 vermeldingen en geen Baidu-rij — dus dit is geen bewering dat je het hier vandaag kunt aanroepen. Wat het platform je voor een model in deze staat biedt, is de opzet van het experiment: één OpenAI-compatibel endpoint vóór meer dan 200 andere modellen, automatische failover tussen providers achter dat ene endpoint, en 0% opslag, waarbij de lijstprijs van de provider wordt doorberekend, zodat je bij een prijswijziging van de leverancier betaalt op de dag dat die ingaat, in plaats van nadat er een marge is toegepast. Als ERNIE 5.5 Flash later terechtkomt bij een provider waar je al naartoe routeert, wordt het uitproberen ervan een kwestie van een andere model-string, geen tweede integratie.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

Wat zou hier een releaseverhaal van maken?

Vier dingen, ongeveer in de volgorde van hoeveel ze het beeld zouden veranderen. Het samenvoegen van de pull request met CI en een gereviewde nauwkeurigheidsrun zouden van "iemand heeft dit geschreven" "SGLang kan het serveren" maken, en dat is het verschil dat de eerdere Base-ondersteuning op 6 november maakte. Een MXFP4-checkpoint dat op Hugging Face verschijnt, zou de FP4-helft van de PR testbaar maken voor iedereen met een B200. De Apache 2.0-gewichten die Baidu voor de Preview had beloofd, zouden de licentievraag beslechten die de Base-release openliet. En een eerste onafhankelijke score — een pagina op Artificial Analysis, een gerangschikte arena-inschrijving, een reproduceerbare agentic benchmark van iemand die niet bij Baidu werkt — zou de leverancierstabel vervangen door bewijs.

Tot dan is de interessante vraag niet of ERNIE 5.5 Flash goed is. Het is of een model kan verschijnen met zijn servingcontract volledig gespecificeerd en zijn gewichten nog ongepubliceerd, en wat dat doet met de mensen die hardware plannen rond aankondigingen. Deze week is het antwoord ja, en het contract is een chat-template in Python, vier-bits experts op één generatie GPU, en een weigering om ergens anders te starten. Baidu's volgende zet zijn de gewichten; die van SGLang is een review.