ERNIE 5.5 Flash Preview 與「#2 開放模型」的宣稱——其自家排行榜列自相矛盾

百度於 2026 年 11 月 12 日引用轉推了一則排行榜說法，全文為：「由 @Baidu_Inc 推出的 Ernie 5.5 Flash Preview 正朝著成為 Code Arena: WebDev 上第 2 名開放模型的方向發展，得分 1668 分。」百度補充了參數量——總計 2,800 億，每個 token 啟用 140 億——並感謝社群「對它進行測試」。然後它讓其餘部分維持原樣。問題在於，產生那個 1668 分的資料列並未標示為開放。在同一個 Code Arena WebDev 榜單、同一份 11 月 10 日快照中，ERNIE 5.5 Flash Preview帶有Proprietary標籤、1668 ±16 的分數、AutoEval標記，以及列為 N/A 的票數。被指名為它所超越的模型——DeepSeek-V4.1-Flash為 1664 分，以及Kimi K3為 1658 分——都是有排名的資料列，分別有 13,952 和 22,405 張人類投票，而 D​eepSeek 那一列帶有 MIT 授權標籤。因此這句話同時做了三件事：報導一個真實分數、承諾一個尚不存在的授權，以及描述一個榜單尚未賦予的排名。

那些都不會讓這個數字變成錯的。它只是讓這個數字成為另一種物件，不同於那句話所推銷的那個；而這個差異完全可從排行榜自身的欄位中讀出來。

Arena 發布了什麼，以及百度漏掉的那一行

Arena 的貼文於 2026 年 11 月 12 日 01:08:21 UTC 發布，比 Baidu 的報價早一分鐘。值得把它的全文擺在你眼前，因為主張與其限定語就在同一段裡：

• 「由 @Baidu_Inc 推出的 Ernie 5.5 Flash Preview 正有望成為 Code Arena: WebDev 上排名第 2 的開放模型，得分 1668 分。」

•「權重將於近期以 Apache 2.0 授權開源。」

「它的分數使其略高於：DeepSeek-V4.1-Flash (Max) 的 1664 分，以及 Kimi K3 (Max) 的 1658 分。」

Arena 對排名做了兩次保留——「正趨向於成為」——並用「soon」一詞把開放權重狀態附掛到未來事件上。Baidu 的引用推文重現了分數與參數數量，完全刪掉了 Apache 2.0 那句話，並保留了「來自 @arena 的最新消息」的框架。只看到 Baidu 貼文的讀者不會知道，該說法中開放模型的那一半是前瞻性陳述，因為它唯一被陳述的地方，正是被刪掉的那一半。

那不是誤引。那是一種節錄，並把舉證責任轉移到想要查證的讀者身上——而這正是本文其餘部分所做的。

這一列，逐欄讀取

Code Arena WebDev 為前端網頁開發工作評分：具備多個推理步驟與工具使用的代理式編碼任務，而非聊天品質，也非一般編碼。其 11 月 10 日快照在 158 個模型上共計 995,980 票。以下是 ERNIE 5.5 Flash Preview 的資料列，依照排行榜所印出的內容，未添加任何詮釋：

• 分數 — 1668，公布為 1668 +16/-16，因此約九成的區間大約是 1652 到 1684。

• 排名 — 不適用。該列顯示於排名 16 與排名 17 之間，且沒有排名編號。

• 票數 — 不適用。該列完全沒有人工投票計數。

• 標籤 — AutoEval，一個連結標籤，指向 Arena 自己的解說。

• 授權標籤 — 專有。

• 價格 — 每百萬個 token 輸入 $0.28、輸出 $1.13，與 Qianfan 的定價一致。

• 背景 — 不適用；在一個供應商頁面宣稱具有 1M token 視窗的模型上。

那七欄中有三欄是 N/A，而其中一欄是授權條款欄，也就是該主張所依賴的那一欄。比較它聲稱位於其上的級距，情況反而更清晰，而非更模糊：

• 1691 — Claude Opus 5 (Max)，Anthropic，專有。

• 1688 — Kimi K3.1 Pro (Max)，M​oonshot，標記為「Kimi K3.1 Pro License」，一份 Arena 標示為既非開源亦非專有的自訂授權。

• 1682 — Gemini 4 Argon (High)，Google，專有。

• 1679 — GPT-6.1 Terra (Max)，OpenAI，專有。

• 1676 — Qwen3.8-Max (0902)，Alibaba，專有，初步。

• 1673 — GPT-6 Sol (Max)，O​penAI，專有。

• 1670 — Qwen3.8-Max，Alibaba，專有，初步。

• 1668 — ERNIE 5.5 Flash Preview，Baidu，專有，AutoEval。

• 1664 — DeepSeek-V4.1-Flash-20261017（Max），DeepSeek，MIT，13,952 票。

• 1658 — Kimi K3 (Max)，M​oonshot，22,405 票。

對照這項說法讀那份清單。清單上 ERNIE 以上的每一項都是 Proprietary，只有一列是自訂授權。你遇到第一個真正開放授權的模型，是下方的 DeepSeek 那一列。所以「#2 開放模型」並不是在描述 ERNIE 在這張表裡的位置。它描述的是：如果權重以 Apache 2.0 發布，且 AutoEval 分數被視為等同於人類投票分數，ERNIE 才會落在的位置。這兩個條件都屬於未來或仍有爭議，而且兩者在引用推文中都看不出來。

AutoEval 究竟是什麼，以及為什麼 ±16 在這裡很重要

Arena 於 2026 年 7 月 30 日發布其 AutoEval 方法論，並於 8 月 12 日最後修訂。該機制是一個以人類偏好訓練的獎勵模型，用來自動投票：抽取即時提示-回應配對，由目標模型重新生成回應，讓獎勵模型為兩者評分，將分數差轉換為軟機率投票，再將這些合成投票與其他模型上的即時人類投票合併。Arena 表示，所得分數會「明確標示為『AutoEval』，然後在足夠的人類投票到來以驗證它們後更新」，並回報與即時評估的排名相關性高於 0.98。

這是一種可辯護的方式，用來取得首日訊號，也正是模型能在發布當天就出現在排行榜上的原因。按照 Arena 自己的說法，它同時也只是個佔位符。這個數字在構造上就是暫定的，預期會變動。ERNIE 那一列上的標籤並非裝飾；它是一項指示，要求把 1668 視為待驗證的估計值。

現在套用誤差線，這是該列中沒有人引用的部分。ERNIE 的區間大約從 1652 到 1684。DeepSeek-V4.1-Flash 的 1664 和 Kimi K3 的 1658 都落在其中。Qwen3.8-Max 的 1670 也是如此，GPT-6 Sol 的 1673 也是如此。「它的分數使其略高於 DeepSeek-V4.1-Flash 的 1664 和 Kimi K3 的 1658」這句話在算術上對點估計而言是正確的，但作為比較在統計上缺乏支持：根據該列自身公布的不確定性，ERNIE 與 1652 到 1684 之間的任何模型都無法區分。它可能高於 DeepSeek。它可能低於 DeepSeek。排行榜目前沒有說明是哪一種。

這不是針對單一廠商的技術性問題。在整個前 25 名僅相差約 200 分的排行榜上，±16 的區間意味著在這個信心水準下，幾乎每一對相鄰名次都是平手；而對任何模型而言，任何單一相鄰比較的誠實解讀都是「持平」。這裡唯一不尋常的地方，只在於有廠商因此放大了這項相鄰比較。

「#2」出自哪裡，以及它依賴的授權條款為何

從數字往回推，只有一種方式能讓這項主張成立；這一點值得說明，因為它可以被檢驗，也因為 Arena 並沒有把它明確講出來。

若將開放集合定義為「Arena 未標記為 Proprietary 的每一列」，那麼在 1668 以上，恰好只剩一列：位於 1688 的 Kimi K3.1 Pro (Max)，帶有「Kimi K3.1 Pro License」標籤。ERNIE 以上的其餘項目全都標記為 Proprietary。按此解讀，Kimi K3.1 Pro 就是第 1 名，而 ERNIE 5.5 Flash Preview 會是第 2 名——不是因為它擊敗了整個賽場，而是因為它前面的賽場都是專有的。

那個重建是一種推論，並非引述：Arena 的貼文並未點名它認為是第一名的模型，而排行榜除了授權標籤之外，並未公開其開放與專有分類器。如果該推論正確，那麼這項主張的關鍵事實就是別人模型上的自訂授權——Arena 將 Kimi K3.1 Pro 視為開放，而整個「第二名開放模型」的框架繼承了那個分類決定。如果 Arena 反而將自訂授權算作封閉，那麼 ERNIE 的 1668 就是非專有列中的最高者，而該主張本應寫成「第一名」，但對於一則預覽來說，那會是更奇怪的句子。

無論如何，這句話所承擔的分量都超過了其背後數據所能支撐的。數字是真的。排名則取決於一份沒有人見過的許可證。

取景所隱藏的距離

任何誠實版本的這篇文章都應該再納入一個數字，而它的缺席正是這篇文章最有資訊量的地方。在同一份快照中，Code Arena WebDev 的榜首是 Claude Fable 5.2，分數為 1836。ERNIE 5.5 Flash Preview 以 1668 分落後該分數 168 分——而且如果 AutoEval 那一列被納入排名，它會在 158 個中排第 17，夾在 1670 分的 Qwen3.8-Max 與 1664 分的 DeepSeek-V4.1-Flash 之間。

在一個 158 個模型的排行榜上排名第十七，發布後僅一天，且在總參數 2800 億中只有 140 億活躍參數，這確實是很好的成績。這種成績足以支撐一篇發布週的貼文。它不是那種需要被包裝成登上頒獎台的成績，而這樣包裝，恰恰會招來那種審視，讓廠商付出的可信度代價，比一句誠實的話所付出的還多。

廠商頁面說了什麼、沒說什麼

{{1}}百度自家針對 ERNIE 5.5 Flash Preview 的發布頁面{{/1}}日期為 {{2}}2026 年 11 月 11 日{{/2}}，內容寫道「{{3}}總參數 280B，啟用參數 14B，上下文長度 1M token{{/3}}」，並將該模型描述為{{4}}ERNIE 5.5 Flash Base 上的第一個後訓練檢查點{{/4}}，{{5}}其基礎權重於 11 月 5 日發布{{/5}}。頁面{{6}}沒有授權條款聲明、沒有權重聲明，也沒有基準測試數據{{/6}}——{{7}}該頁面的基準測試引用是關於較早 ERNIE 版本的標題，而非此模型的分數{{/7}}。

那個落差對正在檢視的主張很重要。「權重將很快以 Apache 2.0 開源」出現在 Arena 的貼文中。它沒有出現在廠商的發布頁面上，也沒有出現在廠商自己對該貼文的宣傳中。如果 Apache 2.0 的承諾是真實且現行的，發布頁面自然是它該出現的地方，但它不在那裡。如果它是真實的但尚未記錄，那麼這個模型授權承諾的唯一公開來源就是排行榜公告——而當廠商正以它為基礎建立排名時，這對授權條款來說是很薄弱的棲身之處。

如何在數字確定之前使用這個

對本週要挑選模型的人來說，實際的問題不是 1668 是不是一個好分數，而是：一個建立在預覽檢查點上的暫定 WebDev 估計值，輸入價格為 $0.28、輸出價格為 $1.13，且強制推理會按輸出計費，是否應該取代已經在生產環境中運作的方案。根據現有證據，答案是否定的——但測試它的方式成本很低，而且不需要相信那篇貼文或這篇文章。

在路由後的模型上做比較，而不是在排行榜上。DeepSeek-V4.1-Flash 與 Kimi K3 都可透過 OrcaRouter 取得，只需一組相容 OpenAI 的金鑰，以供應商定價計費、不加價，因此對照組的成本就是供應商自己的費率，而不必再簽一份合約、再導入一套 SDK。設計二十個能代表你實際工作的前端任務——元件重構、只在某個斷點才會出現的版面錯誤、狀態機接線工作——每個模型各跑兩次，並同時計算輸出 token 數與正確性。這正是任何一列排行榜都不會給你的量測，因為那是唯一必須屬於你自己的數字：每任務成本，而非每 token 價格。

把 ERNIE 5.5 Flash Preview 本身視為受測對象，而不是要採用的對象。它在 Qianfan 上，不在我們的目錄中，而一個被自家廠商稱為中間訓練後檢查點的預覽版，正是你會將其路由到主要模型之後、而非之前的典型對象。如果你真的把它放到某條路徑上，把它放在有容錯移轉的路徑上，這樣當 Arena 以人工投票得出的數字取代 1668 的那一天——或者 Apache 2.0 權重出現、或未能出現的那一天——你的使用者會從日誌行得知，而不是從服務中斷得知。

什麼能讓這件事定下來？

三件事，按它們可能出現的順序，每一件都會改變本文的結論，而不只是為它增色。

• 人類投票取代該列的 AutoEval 標籤。Arena 表示，一旦收到足夠投票，分數就會更新。當投票不再顯示 N/A 時，1668 就能與其對照的 1664 和 1658 相比，而 ±16 的問題也會自行解決。留意區間收窄的幅度是否與點估計變動的幅度相當。

• 權重以具名授權條款發布。一個實際存在、附有 Apache 2.0 授權檔的儲存庫，能永久解決開放模型與否的問題，並讓「#2 開放模型」這種說法在事後看來站得住腳。只有授權公告而沒有權重，什麼也無法確定。

• 一項獨立的 {{1}}WebDev{{/1}} 量測。{{2}}Arena{{/2}} 的 {{3}}AutoEval{{/3}} 是 {{4}}Arena{{/4}} 自家的工具，而 {{5}}Baidu{{/5}} 為此模型公布的每一項基準數據，都是 {{6}}Baidu{{/6}} 在 {{7}}Baidu{{/7}} 自家測試框架上自行跑出的結果。兩者都不是第三方結果。對 {{8}}ERNIE 5.5 Flash Preview{{/8}} 的首個真正獨立前端評測，將比這兩者都更有價值。

在那之前，準確的那句話是無聊的那句：百度於11月11日發布的預覽檢查點在 Code Arena WebDev 上落在 1668 分，這是一個 AutoEval 估計值，落在與其後四名模型重疊的區間內，而該榜單仍將那一列標記為 Proprietary，其廠商還把它放大宣傳為開放模型中近期的第2名。其中每一個子句今天都可核查。被發到推特上的那個版本與其說錯，不如說未完成——而它卻被當作已完成來發布。