Tarjeta de título de ERNIE 5.5 Flash que dice «ERNIE 5.5 Flash: aparece una ruta FP4 exclusiva para Blackwell antes de que lo haga el modelo de chat», con las etiquetas «SGLang PR #51236 · abierto el 18 nov 2026», «expertos MXFP4, solo SM100», «la plantilla de chat se renderiza en Python», «checkpoint de chat: no publicado». El pie de página dice «Fuente: sgl-project/sglang PR #51236, abierto y sin fusionar».
Guides & Insights

ERNIE 5.5 Flash: aparece una ruta FP4 exclusiva para Blackwell antes de que lo haga el modelo de chat

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Lo más concreto que se ha publicado acerca de ERNIE 5.5 Flash esta semana es un mensaje de error. Dentro de un pull request de 525 líneas abierto en el repositorio de SGLang el 18 de noviembre de 2026 hay un rechazo categórico: --moe-a2a-backend megamoe se rechaza en cualquier dispositivo que no sea una GPU SM100, porque los kernels que, de no ser así, ejecutarían el cálculo de SwiGLU y los expertos de este modelo usan SiTU. Esa línea, y el resto del PR #51236, es la primera descripción pública de cómo la versión de chat de ERNIE 5.5 Flash —a diferencia de ERNIE 5.5 Flash Base, el checkpoint que Baidu publicó el 5 de noviembre y el ERNIE 5.5 Flash Preview endpoint que abrió el 11 de noviembre— está pensada para servirse. El modelo en sí no ha salido. Su contrato de servicio, ahora, sí.

Esto es un artículo de lo que sabemos hasta ahora, no cobertura de lanzamiento. Todo lo que sigue proviene de una única pull request abierta, sin fusionar y sin revisar, de la documentación de SGLang escrita junto con el soporte anterior de Base, y de las propias páginas publicadas por Baidu. Nada de esto se ha ejecutado contra un checkpoint de chat descargable, porque no existe ningún checkpoint de ese tipo que se pueda descargar. Cuando una cifra es de Baidu, se etiqueta como de Baidu.

Lo que realmente añade la pull request

El PR #51236 se titula «[Feat] ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving» y fue abierto por chang-wenbin, un colaborador, a las 12:12 UTC del 18 de noviembre. Toca 14 archivos, añade 525 líneas y elimina 24. No tiene aprobaciones, todas sus ejecuciones de CI están omitidas a la espera de una etiqueta, y tanto las secciones de prueba de precisión como de prueba de velocidad de la descripción son los comentarios de plantilla sin rellenar. Leído como evidencia, eso importa: este es código que su autor cree necesario, no código que alguien haya verificado.

Es la cuarta pull request de ERNIE 5.5 en dos semanas. La #48546 añadió recetas de despliegue al recetario de SGLang y se fusionó el 5 de noviembre, el día en que se publicaron los pesos Base. La #48547 añadió el modelo en sí —Ernie5_5_MoeForCausalLM, el backend de atención, el pool de caché KV, un módulo borrador DSpark— y se fusionó el 6 de noviembre. La #49807 amplió el prefill LiteTopK de NVIDIA a «LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1» el 11 de noviembre y sigue abierta. La PR del 18 de noviembre es la primera de las cuatro que no tiene nada que ver con el checkpoint Base.

La plantilla de chat es Python, y eso cambia quién puede ejecutarla.

Los checkpoints de ERNIE 5.5 Flash pueden incluir su plantilla de chat como Python en lugar de como una cadena Jinja, en una clase de tokenizador que la PR denomina ErnieChatTokenizer. La ruta normal de SGLang renderiza los prompts llamando a apply_chat_template con una plantilla Jinja de la configuración del tokenizador; la nueva codificación de chat ernie5_5 llama en su lugar al tokenizador propio del checkpoint y se resuelve automáticamente a partir de la cadena de arquitectura o del tipo de modelo ernie5_5_moe. La consecuencia práctica está en palabras de la propia PR: el tokenizador debe cargarse con --trust-remote-code, y servir chat con --skip-tokenizer-init se rechaza de plano con un error explicativo.

Eso es una restricción de despliegue sobre la que un lector puede actuar. Un modelo que renderiza prompts en {{1}}Python{{/1}} ejecuta código del repositorio del checkpoint en el momento de la solicitud, así que cualquiera que lo ejecute en un entorno aislado, dentro de una imagen reforzada o detrás de una política que prohíbe el código remoto tiene que incluir el tokenizador en el propio proyecto o aceptar el flag. El checkpoint {{2}}Base{{/2}} no tiene este problema: su {{3}}tokenizer_config.json{{/3}} publicado no incluye ninguna plantilla de chat y declara un {{4}}PreTrainedTokenizerFast{{/4}} simple, que es lo que cabría esperar de un checkpoint que se sirve mediante un endpoint de completions.

Tres detalles más pequeños en el mismo archivo valen más de lo que parecen. El adaptador admite mensajes de sistema en línea —turnos de sistema a mitad de conversación renderizados en su sitio, no fusionados con el primer mensaje—, algo que solo otras dos codificaciones del árbol de SGLang hacen. Usa la continuación nativa del renderizador para continue_final_message, porque la ruta genérica de adición de prefijo eliminaría el prefijo dentro del bloque think abierto. Y descarta deliberadamente los chat_template_kwargs que el renderizador rechazaría, ya que ErnieChatTokenizer lanza una excepción ante una palabra clave desconocida mientras que una plantilla Jinja ignora una en silencio; el PR señala como caso que falla un frontend que envía pensamiento al estilo DeepSeek.

La corrección de errores que se deriva de esto es la línea individual más reveladora del diff. El gestor de solicitudes de SGLang lee una clave thinking y la establece de forma predeterminada en desactivado; el parser de razonamiento ernie55 lee enable_thinking y lo establece de forma predeterminada en activado. Por lo tanto, inyectar el valor predeterminado del gestor generó un prompt con el pensamiento desactivado bajo un parser de razonamiento que esperaba razonamiento, y toda la respuesta del modelo se analizó en reasoning_content, dejando content vacío. Ese es exactamente el modo de fallo que los usuarios del endpoint Preview han estado reportando desde el 11 de noviembre —respuestas simples que llegan como content vacío— y la corrección implica que el checkpoint de chat piensa de forma predeterminada.

El razonamiento y las llamadas a herramientas también tienen sus parsers seleccionados automáticamente: ernie55 para razonamiento, leyendo etiquetas <ernie:think>, y ernie55 para llamadas a herramientas, leyendo <ernie:tool_call>. El docstring del adaptador indica que se admiten texto, llamadas a herramientas y el conmutador de pensamiento, y que las ramas multimodales de la plantilla se "dejan para una actualización posterior"; así que, a partir de este PR, el modelo de chat se sirve como lo que Baidu ha descrito en todos los demás sitios: un modelo de texto.

Por qué los expertos en cuatro bits bloquean la ruta rápida hacia Blackwell

La segunda mitad del PR trata sobre los expertos enrutados almacenados en MXFP4, ejecutados como w4a8 —pesos de cuatro bits, activaciones de ocho bits— mediante el all-to-all de MegaMoE de DeepGEMM entre GPUs. Dos decisiones de implementación aportan información sobre el propio modelo.

• La cuantización se detecta automáticamente a partir del encabezado de safetensors, porque el checkpoint no contiene ninguna clave routed_experts_quant_method. Eso concuerda con la configuración Base publicada, que no tiene ese campo; el cargador lee el dtype de los expertos de los encabezados de los archivos y establece is_fp4_experts a partir de eso.

• La ruta MegaMoE se rechaza en SM90 y en ROCm, no se degrada, porque los kernels MegaMoE de FP8 para SM90 y de ROCm codifican de forma fija SwiGLU, mientras que estos expertos están activados por SiTU. El comentario del PR fija las constantes exactas que DeepGEMM incorpora: SiTU beta 4.0 y beta lineal 25.0. El propio config.json del checkpoint Base declara activation_situ_beta: 4.0 y activation_situ_linear_beta: 25.0, así que las constantes del kernel y los pesos coinciden — que es el tipo de verificación cruzada que hace que una filtración se lea como ingeniería y no como especulación.

El modo de fallo que se está evitando es el silencioso. Un kernel SM90 que calculase SwiGLU sobre pesos SiTU no se bloquearía; devolvería texto fluido y ligeramente incorrecto. Negarse a arrancar es el mejor resultado, y es la razón por la que el caso de FP4 está condicionado por el hardware en lugar de ser universal.

Lo que eso significa comercialmente es más limitado que «ERNIE 5.5 Flash necesita Blackwell». No es así. El recetario de SGLang, escrito para el checkpoint Base, publica recetas de un solo nodo en B300, GB300, B200, GB200 y H100, y la receta FP8 para H100 requiere ocho GPU porque los pesos FP8 ocupan aproximadamente 280 GB. La ruta de expertos FP4 es la única que solo existe en componentes SM100, y SGLang no ha publicado una tabla de memoria para un checkpoint FP4 porque no ha visto ninguno. Considera cualquier cálculo de «cabe en una B200» que veas —incluida la estimación obvia de que reducir a la mitad los bytes de los expertos lleva un modelo de 280 GB a algo cercano a 150 GB— como una estimación, no como una receta.

¿Qué se puede descargar realmente hoy?

• ERNIE 5.5 Flash Base — pesos abiertos desde el 5 de noviembre de 2026, en FP8 y BF16, en Hugging Face y ModelScope. 280B de parámetros totales, 14B activos, 43 capas (una FFN densa, 42 MoE), 512 expertos enrutados con top-10 más un experto compartido en un espacio latente de 2.048 dimensiones. Atención híbrida: 37 capas de atención muy comprimida, 6 de MLA con atención dispersa DSA. La licencia es el ERNIE 5.5 Flash Base Model License Agreement v1.0, no Apache 2.0.

• ERNIE 5.5 Flash Preview — solo mediante API desde el 11 de noviembre, en Baidu Qianfan, con un contexto de 1 millón de tokens y límites de velocidad de 300 solicitudes y 3 millones de tokens por minuto. La publicación de lanzamiento de Baidu dice que los pesos "pronto se publicarán como código abierto bajo Apache 2.0". A día de hoy no lo han hecho. Una variante gratuita de la Preview se puede invocar a través de un catálogo de terceros desde el 10 de noviembre.

• ERNIE 5.5 Flash — el modelo del que trata esta pull request. No publicado. El cookbook de SGLang lo incluye como "ERNIE-5.5-Flash (FP8 / FP4 / BF16, próximamente), con razonamiento, llamada a herramientas y un borrador DSpark incluido", y la lista de modelos de Qianfan contiene exactamente una entrada de ERNIE 5.5, ernie-5.5-flash-preview. No hay página de Artificial Analysis para ningún modelo ERNIE 5.5, y la fila más reciente de ERNIE en la tabla de clasificación de la arena es ERNIE 5.1 con 1467, así que todas las cifras de capacidades asociadas a este modelo siguen siendo de la propia Baidu.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

¿Cuál es la lectura honesta de todo el PR? Está escrito para un checkpoint que nadie puede descargar. El código de detección de FP4, el cargador de borradores de DSpark que construye main_proj con la configuración de cuantización FP8 y cuantiza un feature_projection BF16 al cargar, y el calentamiento de la tabla de codificación que asume un coste medido de 0,8 segundos en el arranque en lugar de en la primera solicitud —todo ello apunta a un artefacto al que solo se hace referencia en un comentario de código como "el checkpoint 1110". Baidu ha anunciado ese artefacto y no lo ha publicado.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Cuánto vale esto para alguien que elige un modelo hoy

Muy poco como decisión de compra, y bastante como decisión de planificación. La versión que convertiría a ERNIE 5.5 Flash en candidato no es este pull request; es el checkpoint de chat, más el precio que Baidu le asigne, más una evaluación independiente. Lo que sí deja claro el PR es la forma del despliegue al que te estarías comprometiendo si planeas autohospedarlo: un tokenizador de Python que necesita código remoto, una ruta rápida FP4 que requiere hardware SM100, un borrador especulativo de DSpark incluido en la misma familia de checkpoints y un analizador de razonamiento que asume que el pensamiento está activado. Los equipos que asumían «tenemos H100, ejecutaremos la versión cuantizada barata» ahora saben que la versión cuantizada barata es la que su hardware no puede admitir.

Si prefiere no apostar una ruta de producción ni al endpoint ni al código de servicio aún no fusionado, la forma sensata es mantener el modelo detrás de una capa de enrutamiento mientras demuestra su valía. El catálogo de OrcaRouter no incluye ningún modelo ERNIE —la lista de modelos devuelve 218 entradas y ninguna fila de Baidu—, así que esto no es una afirmación de que pueda llamarlo aquí hoy. Lo que la plataforma le ofrece para un modelo en este estado es el diseño del experimento: un endpoint compatible con OpenAI delante de más de 200 modelos adicionales, conmutación automática por error entre proveedores detrás de ese único endpoint, y 0% de margen con el precio de lista del proveedor aplicado directamente, de modo que un cambio de precio del proveedor es lo que paga el día en que ocurre, en lugar de después de aplicar un margen. Si ERNIE 5.5 Flash llega más adelante a un proveedor al que ya enruta, probarlo se convierte en un cambio de cadena de modelo, no en una segunda integración.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

¿Qué haría que esto se convirtiera en una historia de lanzamiento?

Cuatro cosas, aproximadamente en orden de cuánto cambiarían el panorama. La fusión del pull request con CI y una ejecución de precisión revisada convertirían «alguien escribió esto» en «SGLang puede servirlo», que es la diferencia que marcó el soporte Base anterior el 6 de noviembre. Un checkpoint MXFP4 que apareciera en Hugging Face haría que la mitad FP4 del PR pudiera probarla cualquiera que tenga una B200. Los pesos Apache 2.0 que Baidu prometió para la Preview resolverían la cuestión de licencia que la versión Base dejó abierta. Y una primera puntuación independiente —una página de Artificial Analysis, una entrada clasificada en una arena, un benchmark agéntico reproducible de alguien que no sea Baidu— sustituiría la tabla del proveedor por evidencia.

Hasta entonces, la pregunta interesante no es si ERNIE 5.5 Flash es bueno. Es si un modelo puede llegar con su contrato de servicio totalmente especificado y sus pesos aún sin publicar, y qué implica eso para quienes planifican hardware en torno a anuncios. Esta semana la respuesta es sí, y el contrato es una plantilla de chat en Python, expertos de cuatro bits en una generación de GPU, y la negativa a arrancar en cualquier otro sitio. El siguiente movimiento de Baidu son los pesos; el de SGLang, una revisión.