
ERNIE 5.5 Flash:僅限 Blackwell 的 FP4 路徑搶先聊天模型登場
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百萬 tokens · 185 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百萬 tokens · 228 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 89 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 98 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 89 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百萬 tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 113 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百萬 tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
本週關於ERNIE 5.5 Flash 所公布最具體的內容,是一則錯誤訊息。2026 年 11 月 18 日在 SGLang 儲存庫開啟的一份 525 行拉取請求中,有一道強硬拒絕:--moe-a2a-backend megamoe 在任何不是 SM100 GPU 的裝置上都會遭到拒絕,因為原本會執行運算的 kernel 採用 SwiGLU,而此模型的專家網路採用 SiTU。那行內容,以及 PR #51236 的其餘部分,首次公開描述了 ERNIE 5.5 Flash 的對話版本——有別於 Baidu 於 11 月 5 日發布的 ERNIE 5.5 Flash Base 檢查點,以及 ERNIE 5.5 Flash Preview 端點(於 11 月 11 日開放)——預計該如何提供服務。模型本身尚未推出。它的服務契約如今倒是已經先揭曉。
這是一篇目前已知資訊的整理,不是發布報導。以下所有內容都來自一個公開、尚未合併、尚未審查的 pull request、當初與較早的 Base 支援一同撰寫的 SGLang 文件,以及百度自己已發布的頁面。這裡沒有任何內容曾在可下載的聊天 checkpoint 上實際執行過,因為根本沒有這樣的 checkpoint 可供下載。若某個數字來自百度,便會標明為百度的數字。
這個 pull request 實際新增了什麼
PR #51236 的標題是「[Feat] ERNIE-5.5-Flash:新增 Python 聊天範本編碼與 FP4 MegaMoE 服務」,由貢獻者 chang-wenbin 於 11 月 18 日 12:12 UTC 開啟。它涉及 14 個檔案,新增 525 行、刪除 24 行。它沒有任何核准,其 CI 執行全數因等待標籤而略過,且描述中的準確度測試與速度測試區段都還是未填寫的範本註解。若當作證據來解讀,這點很重要:這是作者認為需要的程式碼,而不是任何人已驗證過的程式碼。
這是兩週內第四個 ERNIE 5.5 拉取請求。#48546 在 SGLang cookbook 中新增了部署配方,並於 11 月 5 日合併,當天 Base 權重上線。#48547 新增了模型本身——Ernie5_5_MoeForCausalLM、注意力後端、KV 快取池、DSpark 草稿模組——並於 11 月 6 日合併。#49807 於 11 月 11 日將 NVIDIA LiteTopK 預填充擴展至「LongCat、ERNIE 5.5、HY-4-family、Kimi K3.1」,目前仍處於開啟狀態。11 月 18 日的那個 PR 是這四個當中第一個完全與 Base 檢查點無關的。
聊天範本是用 Python 寫的,這改變了誰能執行它。
ERNIE 5.5 Flash 檢查點可以將其聊天範本以 Python 而非 Jinja 字串的形式搭載,放在 PR 稱作 ErnieChatTokenizer 的 tokenizer 類別中。SGLang 的一般路徑會透過對 tokenizer 設定中的 Jinja 範本呼叫 apply_chat_template 來渲染提示;新的 ernie5_5 聊天編碼則改為呼叫檢查點自身的 tokenizer,並會從架構字串或 ernie5_5_moe 模型類型自動判定自身。實際後果用 PR 自己的話來說:tokenizer 必須以 --trust-remote-code 載入,而使用 --skip-tokenizer-init 提供聊天服務會被直接拒絕,並回報具說明性的錯誤。
這是一項讀者可以據以採取行動的部署限制。若模型以 Python 渲染提示,就會在請求時執行來自檢查點儲存庫的程式碼,因此無論是在氣隙環境中、強化映像內,或受禁止遠端程式碼的政策約束下執行,都必須自行隨附 tokenizer,或接受這個旗標。Base 檢查點沒有這個問題:其發布的 tokenizer_config.json 完全沒有 chat template,並宣告為單純的 PreTrainedTokenizerFast,這正是透過 completions 端點提供服務的檢查點應有的樣貌。
同一個檔案中的三個較小細節,比它們看起來更有份量。配接器支援內嵌系統訊息——對話中途的系統回合會就地渲染,而不是合併進第一則訊息——SGLang 的程式樹中只有另外兩種編碼這麼做。它對 continue_final_message 使用渲染器原生的續接,因為通用的前綴附加路徑會丟掉已開啟的 think 區塊內的前綴。它也會刻意丟棄渲染器會拒絕的 chat_template_kwargs,因為 ErnieChatTokenizer 遇到未知關鍵字會拋出例外,而 Jinja 範本則會默默忽略——PR 指出某個送出 DeepSeek 風格 thinking 的前端,就是會壞掉的那個案例。
隨之而來的這個錯誤修正,是 diff 中最能說明問題的一行。SGLang 的請求處理常式會讀取 thinking 鍵,並將其預設為關閉;ernie55 推理剖析器則會讀取 enable_thinking,並將其預設為開啟。因此,注入處理常式的預設值,就使得一個關閉思考的提示,在一個預期進行推理的推理剖析器下被呈現,而模型的整個答案都被剖析進 reasoning_content,content 則留空。這正是 Preview 端點使用者自 11 月 11 日以來一直回報的故障模式——普通答案以空 content 的形式送達——而這個修正意味著該聊天檢查點預設會進行思考。
推理與工具呼叫的解析器也會自動選取:推理使用 ernie55,讀取 <ernie:think> 標籤;工具呼叫也使用 ernie55,讀取 <ernie:tool_call>。配接器的 docstring 指出,支援文字、工具呼叫與思考切換,而範本的多模態分支則「留待日後升級」——因此就這個 PR 而言,聊天模型是以百度在其他地方一貫描述它的方式提供:文字模型。
為何四位元專家將快速路徑鎖定到 Blackwell
PR 的後半部分探討的是以 MXFP4 儲存的路由專家,並以 w4a8——四位元權重、八位元活化值——透過 DeepGEMM 的 MegaMoE 跨 GPU all-to-all 執行。兩項實作選擇透露了模型本身的資訊。
• 量化是從 safetensors 標頭自動偵測的,因為檢查點沒有攜帶 routed_experts_quant_method 鍵。這與已發佈的 Base 設定相符,該設定沒有這類欄位;載入器會從檔案標頭讀取 expert dtype,並據此設定 is_fp4_experts。
• MegaMoE 路徑在 SM90 與 ROCm 上會被拒絕啟用,而非降級執行,因為 SM90 FP8 與 ROCm 的 MegaMoE 核心將 SwiGLU 硬編碼,而這些專家是採用 SiTU 激活。PR 的註解明確指出 DeepGEMM 寫死的確切常數:SiTU beta 4.0 與 linear beta 25.0。Base 檢查點自身的 config.json 宣告 activation_situ_beta: 4.0 與 activation_situ_linear_beta: 25.0,因此核心常數與權重一致——這種交叉核對正是讓洩漏內容讀起來像工程實作、而非臆測的關鍵。
{{1}}正在防範的失效模式,是那種悄無聲息的模式。{{/1}}一個在 SiTU 權重上計算 SwiGLU 的 SM90 核心不會崩潰;它會回傳流暢但略有偏差的文字。拒絕啟動是更好的結果,而這也是 FP4 方案受硬體限制、而非普遍適用的原因。
從商業角度來看,這比「ERNIE 5.5 Flash 需要 Blackwell」的範圍更窄。事實並非如此。針對 Base 檢查點撰寫的 SGLang cookbook,發布了在 B300、GB300、B200、GB200 與 H100 上的單節點配方;其中 H100 FP8 配方需要八張 GPU,因為 FP8 權重大約是 280 GB。FP4 專家路徑只存在於 SM100 晶片上,而 SGLang 尚未公布 FP4 檢查點的記憶體表,因為它還沒見過這樣的檢查點。任何你看到的「能塞進單張 B200」的算術——包括那個顯而易見的估計:把專家位元組數減半,就能讓 280 GB 的模型降到接近 150 GB——都應視為估計,而不是配方。
今天實際上可以下載的是什麼?
• ERNIE 5.5 Flash Base — 自 2026 年 11 月 5 日起開放權重,提供 FP8 與 BF16 格式,可在 Hugging Face 和 ModelScope 上取得。總參數量 280B,啟用參數 14B,共 43 層(一層密集 FFN、42 層 MoE),512 個路由專家,採用 top-10 加一個共享專家,位於 2,048 維潛在空間。混合注意力:37 層高度壓縮注意力,6 層採用 MLA 搭配 DSA 稀疏注意力。授權條款為 ERNIE 5.5 Flash Base Model License Agreement v1.0——並非 Apache 2.0。
• ERNIE 5.5 Flash Preview — 自 11 月 11 日起在 Baidu Qianfan 上僅提供 API,並列出 100 萬 token 的上下文,以及每分鐘 300 次請求和 300 萬 token 的速率限制。Baidu 的發布文章表示,權重「將很快以 Apache 2.0 開源」。截至今日仍未開源。自 11 月 10 日起,可透過第三方目錄呼叫 Preview 的免費變體。
• ERNIE 5.5 Flash — 這是此 pull request 所針對的模型。尚未發布。SGLang 的 cookbook 將其列為「ERNIE-5.5-Flash(FP8 / FP4 / BF16,即將推出),具備推理、工具呼叫與內建的 DSpark draft」,而 Qianfan 的模型清單中恰好只有一筆 ERNIE 5.5 條目:ernie-5.5-flash-preview。Artificial Analysis 上沒有任何 ERNIE 5.5 模型的頁面,而 arena 排行榜上最新的 ERNIE 列是 ERNIE 5.1,分數為 1467——因此附加在此模型上的每一項能力數字,仍然都是百度自家的。

對整個 PR 最誠實的解讀是什麼:它是為一個沒有人能下載的 checkpoint 而寫的。FP4 偵測程式碼、以 FP8 量化設定建構 main_proj 並在載入時量化 BF16 feature_projection 的 DSpark 草稿載入器,以及在啟動時而非首次請求時付出實測 0.8 秒成本的 encode-table 暖機——這一切都指向一個在程式碼註解中僅被稱為「the 1110 checkpoint」的產物。百度已宣布該產物,卻尚未發布它。

這對今天正在挑選模型的人來說有多大價值
作為購買決策,影響很小;作為排程決策,影響則相當大。會讓 ERNIE 5.5 Flash 成為候選項目的版本,不是這個 PR;而是對話檢查點,加上百度對它的定價,再加上一份獨立評測。這個 PR 真正確定的是:如果你打算自行託管,你將接受的部署會長什麼樣子:需要遠端執行程式碼的 Python tokenizer、需要 SM100 硬體的 FP4 快速路徑、被綁進同一檢查點系列的 DSpark 推測式草稿,以及一個假設思考模式已開啟的推理解析器。原本假定「我們有 H100s,我們會跑便宜的量化版本」的團隊,現在知道便宜的量化版本正是他們的硬體無法支援的版本。
如果你不想把生產路徑押在端點或尚未合併的 serving 程式碼上,合理的做法是讓模型先待在路由層後面,等它證明自己。OrcaRouter 的目錄不包含任何 ERNIE 模型——模型清單回傳 218 筆,且沒有 Baidu 那一列——所以這並不是在宣稱你今天就能在這裡呼叫它。對於處於這種狀態的模型,平台提供給你的是實驗設計:一個相容 OpenAI 的端點,放在 200+ 個其他模型前面,在該單一端點後方跨供應商自動容錯切換,以及0% 加價,並直接按供應商定價轉嫁,因此供應商重新定價時,你當天付的就是新價格,而不是在加上利潤之後才付。如果 ERNIE 5.5 Flash 之後登上你已經路由到的供應商,試用它就只是改一個模型字串,而不是再整合一次。

什麼情況會讓這件事變成一則發布故事?
有四件事,大致依照它們會多大程度改變整體局勢來排序。這個 pull request 在具備 CI 與經審查的準確度測試下合併,會把「有人寫了這個」變成「SGLang 能提供它」,而這正是先前的 Base 支援在 11 月 6 日帶來的差別。一個 MXFP4 checkpoint 出現在 Hugging Face 上,會讓任何擁有 B200 的人都能測試 PR 中 FP4 的那一半。Baidu 為 Preview 承諾的 Apache 2.0 權重,將解決 Base 版本釋出所留下的授權問題。而第一個獨立評分——一個 Artificial Analysis 頁面、一個列入排名的 arena 項目、一個由非 Baidu 人士提供的可重現 agentic benchmark——將以證據取代廠商表格。
在那之前,有趣的問題不是 ERNIE 5.5 Flash 好不好。而是模型能否在服務合約已完整指定、權重仍未公布的情況下登場,以及這對那些根據發表消息規劃硬體的人意味著什麼。本週的答案是肯定的,而這份合約是一個以 Python 寫成的聊天模板、在單一代 GPU 上的四位元專家,以及拒絕在其他任何地方啟動。百度的下一步是權重;SGLang 的下一步是審查。
