Scheda del titolo per ERNIE 5.5 Flash con il testo 'ERNIE 5.5 Flash: un percorso FP4 solo Blackwell compare prima che lo faccia il modello chat', con chip 'SGLang PR #51236 · aperta il 18 nov 2026', 'esperti MXFP4, solo SM100', 'il template chat esegue il rendering in Python', 'checkpoint chat: non rilasciato'. Il piè di pagina recita 'Fonte: sgl-project/sglang PR #51236, aperta e non unita.'
Guides & Insights

ERNIE 5.5 Flash: un percorso FP4 solo Blackwell compare prima del modello chat

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

La cosa più concreta pubblicata su ERNIE 5.5 Flash questa settimana è un messaggio di errore. All'interno di una pull request di 525 righe aperta nel repository SGLang il 18 novembre 2026 c'è un rifiuto categorico: --moe-a2a-backend megamoe viene rifiutato su qualsiasi cosa che non sia una GPU SM100, perché i kernel che altrimenti eseguirebbero il calcolo usano SwiGLU, mentre gli esperti di questo modello usano SiTU. Quella riga, e il resto della PR #51236, è la prima descrizione pubblica di come la versione chat di ERNIE 5.5 Flash — a differenza di ERNIE 5.5 Flash Base, il checkpoint pubblicato da Baidu il 5 novembre e l'ERNIE 5.5 Flash Preview endpoint aperto l'11 novembre — debba essere servita. Il modello in sé non è ancora uscito. Il suo contratto di servizio, invece, ora sì.

Questo è un articolo su ciò che sappiamo finora, non una copertura del lancio. Tutto quanto segue proviene da una pull request aperta, non ancora unita né revisionata, dalla documentazione di SGLang scritta a corredo del precedente supporto Base e dalle pagine pubblicate da Baidu stessa. Nulla di quanto qui riportato è stato eseguito rispetto a un checkpoint chat scaricabile, perché nessun checkpoint di questo tipo è scaricabile. Dove un numero è di Baidu, è etichettato come di Baidu.

Cosa aggiunge effettivamente la pull request

La PR #51236 è intitolata "{{1}}[Feat] ERNIE-5.5-Flash: aggiungere la codifica del template di chat Python e il serving FP4 MegaMoE{{/1}}" ed è stata aperta da {{2}}chang-wenbin{{/2}}, un {{3}}collaboratore{{/3}}, alle {{4}}12:12 UTC del 18 novembre{{/4}}. Tocca {{5}}14 file{{/5}}, aggiunge {{6}}525 righe{{/6}} e ne elimina {{7}}24{{/7}}. Non ha {{8}}approvazioni{{/8}}, le sue esecuzioni CI sono {{9}}tutte saltate in attesa di un'etichetta{{/9}}, e sia le sezioni {{10}}test di accuratezza{{/10}} sia {{11}}test di velocità{{/11}} della descrizione sono i {{12}}commenti modello non compilati{{/12}}. Letto come prova, questo conta: si tratta di {{13}}codice che il suo autore ritiene necessario{{/13}}, non di {{14}}codice che qualcuno abbia verificato{{/14}}.

È la quarta pull request di ERNIE 5.5 in due settimane. La #48546 ha aggiunto ricette di deployment al cookbook SGLang ed è stata integrata il 5 novembre, il giorno in cui sono stati pubblicati i pesi Base. La #48547 ha aggiunto il modello stesso — Ernie5_5_MoeForCausalLM, il backend di attenzione, il pool di cache KV, un modulo draft DSpark — ed è stata integrata il 6 novembre. La #49807 ha esteso il prefill NVIDIA LiteTopK a "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1" l'11 novembre ed è ancora aperta. La PR del 18 novembre è la prima delle quattro che non riguarda affatto il checkpoint Base.

Il template della chat è Python, e questo cambia chi può eseguirlo.

I checkpoint di ERNIE 5.5 Flash possono trasportare il proprio template di chat come Python anziché come stringa Jinja, in una classe tokenizer che la PR chiama ErnieChatTokenizer. Il percorso normale di SGLang esegue il rendering dei prompt chiamando apply_chat_template su un template Jinja nella configurazione del tokenizer; la nuova codifica chat ernie5_5 chiama invece il tokenizer del checkpoint stesso e si risolve automaticamente dalla stringa dell'architettura o dal tipo di modello ernie5_5_moe. La conseguenza pratica, usando le parole della PR stessa, è che il tokenizer deve essere caricato con --trust-remote-code, e servire chat con --skip-tokenizer-init viene rifiutato del tutto con un errore esplicativo.

Si tratta di un vincolo di deployment su cui il lettore può agire. Un modello che renderizza i prompt in Python esegue codice dal repository del checkpoint al momento della richiesta, quindi chiunque lo esegua in un ambiente air-gapped, dentro un'immagine hardened o dietro una policy che vieta il codice remoto deve fare il vendoring del tokenizer oppure accettare il flag. Il checkpoint Base non ha questo problema: il suo tokenizer_config.json pubblicato non contiene alcun template di chat e dichiara un semplice PreTrainedTokenizerFast, che è ciò che ci si aspetterebbe da un checkpoint servito tramite un endpoint completions.

Tre dettagli più piccoli nello stesso file valgono più di quanto sembri. L'adattatore supporta messaggi di sistema inline — turni di sistema a metà conversazione renderizzati sul posto, non uniti al primo messaggio — cosa che solo altre due codifiche nell'albero di SGLang fanno. Usa la continuazione nativa del renderer per continue_final_message, perché il percorso generico di aggiunta al prefisso eliminerebbe il prefisso all'interno del blocco think aperto. E scarta deliberatamente chat_template_kwargs che il renderer rifiuterebbe, poiché ErnieChatTokenizer genera un errore su una parola chiave sconosciuta laddove un template Jinja la ignora silenziosamente — il PR indica un frontend che invia thinking in stile DeepSeek come il caso che si rompe.

La correzione del bug che ne deriva è la singola riga più rivelatrice del diff. Il request handler di SGLang legge una chiave thinking e la imposta per default su off; il parser di ragionamento di ernie55 legge enable_thinking e lo imposta per default su on. Iniettare quindi il default del handler rendeva un prompt con thinking disattivato sotto un parser di ragionamento che si aspettava ragionamento, e l'intera risposta del modello veniva analizzata in reasoning_content con content lasciato vuoto. È esattamente la modalità di errore che gli utenti dell'endpoint Preview segnalano dall'11 novembre — risposte normali che arrivano come content vuoto — e la correzione implica che il checkpoint chat ragioni per default.

Anche per il reasoning e le chiamate agli strumenti i rispettivi parser vengono selezionati automaticamente: ernie55 per il reasoning, che legge i tag <ernie:think>, e ernie55 per le chiamate agli strumenti, che legge <ernie:tool_call>. La docstring dell'adattatore afferma che il testo, il tool calling e l'interruttore del thinking sono supportati e che i rami multimodali del template sono «lasciati per un aggiornamento successivo»; pertanto, con questa PR, il modello chat viene erogato come ciò che Baidu ha descritto ovunque: un modello testuale.

Perché gli esperti a quattro bit vincolano il percorso rapido a Blackwell

La seconda metà del PR riguarda gli esperti instradati memorizzati in MXFP4, eseguiti come w4a8 — pesi a quattro bit, attivazioni a otto bit — tramite l'all-to-all MegaMoE di DeepGEMM tra le GPU. Due scelte implementative rivelano informazioni sul modello stesso.

• La quantizzazione viene rilevata automaticamente dall'header dei safetensors, perché il checkpoint non contiene alcuna chiave routed_experts_quant_method. Il che è coerente con la configurazione Base pubblicata, che non presenta tale campo; il loader legge il dtype degli esperti dagli header dei file e imposta is_fp4_experts in base a esso.

• Il percorso MegaMoE viene rifiutato su SM90 e su ROCm, non degradato, perché i kernel MegaMoE SM90 FP8 e ROCm codificano rigidamente SwiGLU mentre questi esperti sono attivati con SiTU. Il commento della PR fissa le costanti esatte che DeepGEMM incorpora: SiTU beta 4.0 e linear beta 25.0. Il config.json del checkpoint Base stesso dichiara activation_situ_beta: 4.0 e activation_situ_linear_beta: 25.0, quindi le costanti del kernel e i pesi concordano — che è il tipo di controllo incrociato che fa leggere una fuga come ingegneria anziché speculazione.

La modalità di guasto che si sta prevenendo è quella silenziosa. Un kernel SM90 che calcolasse SwiGLU su pesi SiTU non andrebbe in crash; restituirebbe un testo fluente e leggermente errato. Rifiutarsi di avviarsi è l’esito migliore, ed è il motivo per cui il discorso FP4 è vincolato all’hardware anziché universale.

Sul piano commerciale, ciò significa qualcosa di più ristretto rispetto a «ERNIE 5.5 Flash richiede Blackwell». Non è così. Il cookbook SGLang, scritto per il checkpoint Base, pubblica ricette a nodo singolo su B300, GB300, B200, GB200 e H100, e la ricetta H100 FP8 prevede otto GPU perché i pesi FP8 sono circa 280 GB. Il percorso degli esperti FP4 è quello che esiste solo sulle parti SM100, e SGLang non ha pubblicato una tabella di memoria per un checkpoint FP4 perché non ne ha ancora visto uno. Considera qualsiasi aritmetica «ci sta su una B200» che vedi — inclusa la stima ovvia secondo cui dimezzare i byte degli esperti porta un modello da 280 GB a qualcosa vicino a 150 GB — come una stima, non come una ricetta.

Che cosa è effettivamente scaricabile oggi?

• ERNIE 5.5 Flash Base — pesi aperti dal 5 novembre 2026, in FP8 e BF16, su Hugging Face e ModelScope. 280B parametri totali, 14B attivi, 43 livelli (un FFN denso, 42 MoE), 512 esperti instradati con top-10 più un esperto condiviso in uno spazio latente a 2.048 dimensioni. Attenzione ibrida: 37 livelli di attenzione fortemente compressa, 6 di MLA con attenzione sparsa DSA. La licenza è la ERNIE 5.5 Flash Base Model License Agreement v1.0 — non Apache 2.0.

• ERNIE 5.5 Flash Preview — solo API dall'11 novembre, su Baidu Qianfan, elencato con una finestra di contesto di 1M di token e limiti di frequenza di 300 richieste e 3 milioni di token al minuto. Il post di rilascio di Baidu afferma che i pesi «saranno resi open source con licenza Apache 2.0 a breve». A oggi non lo sono stati. Una variante gratuita della Preview è richiamabile tramite un catalogo di terze parti dal 10 novembre.

• ERNIE 5.5 Flash — il modello oggetto di questa pull request. Non ancora rilasciato. Il cookbook di SGLang lo elenca come "ERNIE-5.5-Flash (FP8 / FP4 / BF16, in arrivo), con reasoning, tool calling e un draft DSpark incluso", e l'elenco dei modelli di Qianfan contiene esattamente una voce ERNIE 5.5, ernie-5.5-flash-preview. Non esiste alcuna pagina di Artificial Analysis per nessun modello ERNIE 5.5, e la riga ERNIE più recente nella classifica dell'arena è ERNIE 5.1 a 1467 — quindi ogni numero di capacità associato a questo modello resta di Baidu.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

Qual è la lettura onesta dell'intera PR: è scritta per un checkpoint che nessuno può scaricare. Il codice di rilevamento FP4, il loader della draft DSpark che costruisce main_proj con la config di quantizzazione FP8 e quantizza una feature_projection BF16 al caricamento, e il warm-up della encode-table che paga un costo misurato di 0,8 secondi all'avvio invece che alla prima richiesta — tutto ciò punta a un artefatto a cui si fa riferimento in un commento al codice solo come "the 1110 checkpoint". Baidu ha annunciato quell'artefatto e non l'ha pubblicato.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Quanto vale questo per chi oggi sceglie un modello

Molto poco come decisione d'acquisto, e parecchio come decisione di pianificazione. La release che renderebbe ERNIE 5.5 Flash un candidato non è questa pull request; è il checkpoint chat più il prezzo che Baidu gli applicherà più una valutazione indipendente. Ciò che la PR stabilisce è la forma del deployment per cui ci si starebbe impegnando se si intende fare self-hosting: un tokenizer Python che richiede codice remoto, un percorso rapido FP4 che richiede hardware SM100, una bozza speculativa DSpark inclusa nella stessa famiglia di checkpoint e un parser di reasoning che presuppone che il thinking sia attivo. I team che presumevano "abbiamo H100, eseguiremo la versione quantizzata economica" ora sanno che la versione quantizzata economica è quella che il loro hardware non può supportare.

Se preferisci non puntare un percorso di produzione né sull'endpoint né sul codice di serving non ancora unito, la soluzione sensata è tenere il modello dietro un livello di routing finché non dimostra di essere affidabile. Il catalogo di OrcaRouter non include alcun modello ERNIE — l'elenco dei modelli restituisce 218 voci e nessuna riga Baidu — quindi non stiamo affermando che tu possa chiamarlo qui oggi. Ciò che la piattaforma ti offre per un modello in questo stato è il design dell'esperimento: un endpoint compatibile con OpenAI davanti a oltre 200 altri modelli, failover automatico tra provider dietro quell'unico endpoint, e 0% di ricarico con il prezzo di listino del provider passato così com'è, quindi una riprezzatura del fornitore è ciò che paghi il giorno in cui avviene, anziché dopo l'applicazione di un margine. Se in futuro ERNIE 5.5 Flash arriverà su un provider a cui già instradi, provarlo diventa un cambio di stringa del modello, non una seconda integrazione.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

Cosa trasformerebbe questo in una storia di rilascio?

Quattro cose, più o meno nell'ordine di quanto cambierebbero il quadro. Il merge della pull request con CI e un'esecuzione di accuratezza revisionata trasformerebbero "qualcuno l'ha scritto" in "SGLang può servirlo", che è la differenza che il precedente supporto Base aveva fatto il 6 novembre. La comparsa di un checkpoint MXFP4 su Hugging Face renderebbe la metà FP4 della PR testabile da chiunque abbia una B200. I pesi Apache 2.0 che Baidu ha promesso per la Preview risolverebbero la questione della licenza lasciata aperta dal rilascio Base. E un primo punteggio indipendente — una pagina di Artificial Analysis, una voce classificata in un'arena, un benchmark agentico riproducibile realizzato da qualcuno che non sia Baidu — sostituirebbe la tabella del fornitore con prove.

Fino ad allora la domanda interessante non è se ERNIE 5.5 Flash sia buono. È se un modello possa arrivare con il proprio contratto di serving completamente specificato e i propri pesi ancora non pubblicati, e che cosa questo faccia alle persone che pianificano l'hardware in base agli annunci. Questa settimana la risposta è sì, e il contratto è un template di chat in Python, esperti a quattro bit su una generazione di GPU e un rifiuto di avviarsi altrove. La prossima mossa di Baidu sono i pesi; quella di SGLang è una revisione.