
ERNIE 5.5 Flash:一条仅限 Blackwell 的 FP4 路径先于聊天模型出现
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 185 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 228 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 89 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 98 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 89 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 113 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
关于ERNIE 5.5 Flash本周发布的最具体的信息,是一条错误消息。在 2026 年 11 月 18 日于 SGLang 仓库中提交的一份 525 行拉取请求里,有一项硬性拒绝:--moe-a2a-backend megamoe 在任何不是 SM100 GPU 的环境上都会被拒绝,因为原本会运行计算 SwiGLU 的内核,而该模型的专家使用的是 SiTU。这一行,连同 PR #51236 的其余内容,首次公开说明了 ERNIE 5.5 Flash 的聊天版本——而不是ERNIE 5.5 Flash Base检查点(百度于 11 月 5 日发布)以及ERNIE 5.5 Flash Preview端点(百度于 11 月 11 日开放)——应如何提供服务。模型本身尚未发布。它的服务契约现在已公开。
这是一篇“目前我们所知”的文章,不是发布报道。以下所有内容都来自一个公开、未合并、未经评审的拉取请求,来自随早期 Base 支持一同编写的 SGLang 文档,以及百度自己发布的页面。本文没有任何内容在可下载的聊天检查点上实际运行过,因为不存在这样的可下载检查点。若某个数字来自百度,文中会标明它来自百度。
pull request 实际添加的内容
PR #51236 的标题是“[Feat] ERNIE-5.5-Flash:添加 Python 聊天模板编码和 FP4 MegaMoE 推理服务”,由贡献者 chang-wenbin 于 11 月 18 日 12:12 UTC 发起。该 PR 涉及 14 个文件,新增 525 行、删除 24 行。它尚未获得任何批准,其 CI 运行均因等待标签而被跳过,并且描述中的准确率测试和速度测试部分都仍是未填写的模板注释。作为证据来看,这一点很重要:这是作者认为需要的代码,而不是任何人已验证过的代码。
这是两周内第四个 ERNIE 5.5 拉取请求。#48546 为 SGLang cookbook 添加了部署方案,并于 11 月 5 日合并,也就是 Base 权重上线的那天。#48547 添加了模型本身——Ernie5_5_MoeForCausalLM、注意力后端、KV 缓存池、一个 DSpark 草稿模块——并于 11 月 6 日合并。#49807 于 11 月 11 日将 NVIDIA LiteTopK 预填充扩展到“LongCat、ERNIE 5.5、HY-4-family、Kimi K3.1”,目前仍处于开启状态。11 月 18 日的 PR 是这四个中第一个完全不涉及 Base 检查点的。
聊天模板是 Python 写的,这就改变了谁能运行它
ERNIE 5.5 Flash 检查点可以以 Python 而非 Jinja 字符串的形式携带其聊天模板,并将其放在 PR 命名为 ErnieChatTokenizer 的分词器类中。SGLang 的常规路径通过针对分词器配置中的 Jinja 模板调用 apply_chat_template 来渲染提示;而新的 ernie5_5 聊天编码则改为调用检查点自带的分词器,并会根据架构字符串或 ernie5_5_moe 模型类型自动解析自身。实际后果正如 PR 原话所说:分词器必须使用 --trust-remote-code 加载,而使用 --skip-tokenizer-init 提供聊天服务会被直接拒绝,并给出解释性错误。
这是一个读者可以据此采取行动的部署约束。用 Python 渲染提示词的模型会在请求时执行检查点仓库中的代码,因此,任何在气隙隔离环境中、加固镜像内,或受禁止远程代码的策略约束下运行它的人,都必须要么自行内置分词器,要么接受这个标志。Base 检查点没有这个问题:其发布的 tokenizer_config.json 完全不包含聊天模板,并声明了一个普通的 PreTrainedTokenizerFast,这正是你对一个通过补全端点提供服务的检查点所期望的。
同一个文件里的三个更小细节,其价值超出表面所见。该适配器支持内联系统消息——对话中途的系统轮次会就地渲染,而不会被合并进第一条消息——在 SGLang 的代码树中,只有另外两种编码实现做到了这一点。它为 continue_final_message 使用渲染器原生的续写机制,因为通用的前缀追加路径会丢弃已打开的 think 块内的前缀。并且它有意丢弃渲染器会拒绝的 chat_template_kwargs,因为 ErnieChatTokenizer 遇到未知关键字会抛出异常,而 Jinja 模板则会静默忽略——该 PR 指出,某个前端发送 DeepSeek 风格的 thinking 就是会出问题的案例。
这个 bug 修复对应的是 diff 中最能说明问题的一行。SGLang 的请求处理器会读取一个 thinking 键,并将其默认设为关闭;ernie55 推理解析器会读取 enable_thinking,并将其默认设为开启。因此,注入处理器的默认值后,就在一个期望推理的推理解析器下生成了一个关闭思考的提示,模型的整个回答都被解析进 reasoning_content,而 content 留空。这正是 Preview 端点的用户自 11 月 11 日以来一直报告的故障模式——普通回答以空 content 到达——而该修复意味着这个聊天检查点默认会思考。
推理和工具调用也会自动选择各自的解析器:推理使用 ernie55,读取 <ernie:think> 标签;工具调用使用 ernie55,读取 <ernie:tool_call>。适配器的 docstring 指出,文本、工具调用和思考开关均受支持,并且模板的多模态分支“留待后续升级”——因此截至本 PR,该聊天模型仍按 Baidu 在其他所有地方所描述的那样,作为文本模型提供服务。
为什么 4 比特专家锁定了通往 Blackwell 的快速路径
PR 的后半部分涉及以 MXFP4 存储的路由专家,它们以 w4a8(4 位权重、8 位激活)运行,并通过 DeepGEMM 的 MegaMoE 在 GPU 间进行 all-to-all 通信。两项实现选择本身就透露了关于该模型的信息。
• 量化方式是从 safetensors 头部自动检测的,因为检查点不包含 routed_experts_quant_method 键。这与已发布的 Base 配置相符,该配置没有此字段;加载器从文件头中读取 expert dtype,并据此设置 is_fp4_experts。
• MegaMoE 路径在 SM90 和 ROCm 上会被拒绝启用,而不是降级运行,因为 SM90 FP8 和 ROCm 的 MegaMoE 内核将 SwiGLU 硬编码,而这些专家使用的是 SiTU 激活。PR 的评论明确指出了 DeepGEMM 内置的确切常量:SiTU beta 4.0 和 linear beta 25.0。Base 检查点自身的 config.json 声明了 activation_situ_beta: 4.0 和 activation_situ_linear_beta: 25.0,因此内核常量与权重一致——这种交叉核对会让泄露看起来像是工程分析,而不是猜测。
被防止的是一种悄无声息的故障模式。一个在 SiTU 权重上计算 SwiGLU 的 SM90 内核不会崩溃;它会返回流畅但略有错误的文本。拒绝启动是更好的结果,这也是 FP4 方案受硬件限制而非通用的原因。
这在商业上的含义比“ERNIE 5.5 Flash 需要 Blackwell”要窄。它并不需要。SGLang 指南是针对 Base 检查点编写的,其中发布了在 B300、GB300、B200、GB200 和 H100 上的单节点方案,而 H100 FP8 方案需要八块 GPU,因为 FP8 权重约为 280 GB。FP4 专家路径是仅存在于 SM100 芯片上的那条路径,并且 SGLang 尚未发布 FP4 检查点的显存表,因为它还没见过这样的检查点。把任何你看到的“能装进一块 B200”的算术——包括那个显而易见的估算:将专家字节减半会把 280 GB 模型带到接近 150 GB——都视为估算,而非方案。
今天实际上可以下载什么?
• ERNIE 5.5 Flash Base——自 2026 年 11 月 5 日起开放权重,提供 FP8 和 BF16 版本,可在 Hugging Face 和 ModelScope 上获取。总参数 280B,激活参数 14B,43 层(1 个稠密 FFN,42 个 MoE),512 个路由专家,采用 top-10 加一个共享专家,位于 2,048 维潜在空间。混合注意力:37 层高度压缩注意力,6 层采用 DSA 稀疏注意力的 MLA。许可证为 ERNIE 5.5 Flash Base Model License Agreement v1.0——并非 Apache 2.0。
• ERNIE 5.5 Flash Preview——自11月11日起仅提供 API,已在百度千帆上线,标称支持 100 万 token 上下文,速率限制为每分钟 300 次请求和 300 万 token。百度的发布说明称,权重“将很快以 Apache 2.0 协议开源”。截至今日,尚未开源。自11月10日起,可通过第三方模型目录调用 Preview 的一个免费版本。
• ERNIE 5.5 Flash —— 本拉取请求所涉及的模型。尚未发布。SGLang 的 cookbook 将其列为“ERNIE-5.5-Flash(FP8 / FP4 / BF16,即将推出),支持推理、工具调用,并附带一个 DSpark 草稿模型”,而 Qianfan 的模型列表恰好包含一个 ERNIE 5.5 条目:ernie-5.5-flash-preview。没有任何 ERNIE 5.5 模型拥有 Artificial Analysis 页面,并且 Arena 排行榜上最新的 ERNIE 行是 1467 分的 ERNIE 5.1——因此,附在该模型上的每一项能力数值仍然都是百度自己的数据。

对整个 PR 的诚实解读是:它是为一个没人能下载到的检查点而写的。FP4 检测代码、DSpark 草稿加载器(它用 FP8 量化配置构建 main_proj,并在加载时对 BF16 的 feature_projection 进行量化),以及编码表预热(它在启动时付出实测 0.8 秒的代价,而不是在首次请求时付出)——所有这些都指向一个仅在代码注释中被称作“1110 检查点”的产物。百度已宣布该产物,但尚未发布它。

对今天选择模型的人来说,这有多大价值
作为采购决策,这几乎无足轻重;作为排期决策,却相当有分量。能让 ERNIE 5.5 Flash 成为候选的发布,不是这个拉取请求;而是聊天检查点,加上百度给它的定价,再加上一次独立评估。这个 PR 真正确定的是:如果你打算自托管,你将签下的部署形态是什么样——一个需要远程代码的 Python 分词器、一条需要 SM100 硬件的 FP4 快速路径、一个被打包进同一检查点家族的 DSpark 推测性草稿,以及一个假定思考模式已开启的推理解析器。那些原本以为“我们有 H100,我们会跑便宜的量化版本”的团队,现在知道便宜的量化版本正是他们的硬件无法运行的那个。
如果你不愿把生产路径押在端点或尚未合并的服务代码上,稳妥的做法是在模型证明自己之前,把它放在路由层后面。OrcaRouter 的目录不包含任何 ERNIE 模型——模型列表返回 218 个条目,没有 Baidu 行——所以这并不是说你今天就能在这里调用它。对于处于这种状态的模型,平台为你提供的是实验设计:一个 OpenAI 兼容端点,位于 200+ 个其他模型之前,在该单一端点后跨提供商自动故障转移,以及0% 加价,按提供商列表价格透传,因此供应商调价时,你当天支付的就是新价格,而不是在应用利润加成之后才支付。如果 ERNIE 5.5 Flash 之后落到你已经在路由的提供商上,试用它就只是改一个模型字符串,而不是第二次集成。

怎样才能把这件事变成一则发布故事?
四件事,大致按它们会多大程度改变局面来排序。这个拉取请求若带着 CI 和一次经过审查的准确率运行合并,就会把“有人写了这个”变成“SGLang 能服务它”,而这正是 11 月 6 日早些时候的 Base 支持所带来的差别。一个 MXFP4 检查点出现在 Hugging Face 上,会让任何拥有 B200 的人都能测试该 PR 的 FP4 部分。百度为 Preview 承诺的 Apache 2.0 权重,将解决 Base 发布所遗留的许可问题。而第一个独立评分——一个 Artificial Analysis 页面、一个进入排名的竞技场条目、一个由非百度人士提供的可复现智能体基准——将用证据取代厂商表格。
在那之前,真正有趣的问题并不是 ERNIE 5.5 Flash 好不好,而是一个模型能否在权重仍未发布的情况下,带着完全明确的推理服务契约登场,以及这对那些围绕发布公告规划硬件的人意味着什么。本周的答案是肯定的,而这份契约就是 Python 里的一个聊天模板、某一代 GPU 上的 4 比特专家,以及拒绝在其他任何地方启动。百度的下一步是权重;SGLang 的下一步是评审。
