為 ERNIE 5.5 Flash Preview 生成的標題卡,內容顯示該模型於 2026 年 11 月 10 日在 Qianfan 上線,並於 11 月 11 日發布上線貼文,還附有標籤,標示總參數量 280B、活躍參數 14B、1M token 上下文,以及二十項廠商回報的基準測試
Guides & Insights

ERNIE 5.5 Flash Preview 想要你最艱難的任務:十一小時的建置究竟證明了什麼

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

ERNIE 5.5 Flash Preview 於 2026 年 11 月 10 日在百度的千帆平台上以計費端點正式上線,官方發布貼文則於 11 月 11 日跟進,並提出單一標題式主張:把最困難的任務交給它。這項主張最主要是建立在一件成果上——一款第三人稱 Unreal Engine 5.8 遊戲,百度稱其是在單一、歷時十一小時的編碼任務中打造而成——以及二十列由百度以自家測試框架、並由它挑選的評審所跑出的基準測試資料。無論是這十一小時還是這二十個數字,都未在該公司外部重現。有趣的問題不是這個示範是否令人驚豔,而是長達十一小時的代理式執行是否真的是該衡量的東西,以及規格表對於你為這樣一次執行所要支付的帳單說明了什麼。 該型錄收錄來自 17 家供應商的 228 個模型,而 在一個收錄來自 17 家供應商 228 個模型的型錄中,並沒有 ERNIE 項目 因此,比較群組只差一個索引鍵,儘管主體並非如此。

這個主張講的是持續時間,而非難度。

每一篇模型發布文都說自家模型擅長處理困難的事。這一篇對「困難」的定義不同:它把「困難」定義為「長」。遊戲建置、3D 場景、內含數千個檔案的工作區,以及 116 秒動畫短片,全都是在數小時的編輯與工具呼叫中讓計畫維持連貫的演練,而不是在回答一道較小模型會答錯的題目。

這種區別很重要,因為這兩種特性會分道揚鑣。一個模型可能非常擅長單輪推理,卻在重構進行到第四個小時時崩潰——此時上下文裡滿是它自己先前的錯誤,而計畫需要的是修訂,不是執行。一個模型也可能在一次性的謎題上表現平庸,卻仍然是通宵建置的正確選擇。Baidu 押注的是:你在意的是第二件事。

整篇文章中最有用的一句話並不是某項基準測試。它出現在遊戲開發章節,描述模型在無法看見的情況下如何運作:由於它只有文字能力、無法看著螢幕,它把遊玩測試中發現的錯誤——角色漂浮在地面上方、奔跑方向不一致、攝影機位置錯放——轉換成程式碼中可量測的測試。這是對變通做法很坦率的描述,也透露了規格表不會告訴你的事。模型在視覺工作上的能力被委派給它自己撰寫的工具,這意味著結果品質取決於它能否為自己看不見的事物發明出可驗證的測試。

Reel 實際上包含的內容

這四個案例研究值得一一列出,因為它們比通常的發布文案更具體,而具體性正是使它們在原則上可被查核的關鍵。

• 遊戲開發——一款第三人稱 Unreal Engine 5.8 遊戲,在單一項十一小時的任務中完成,將橫跨數個引擎世代的資源合併進單一專案,並以 C++ 撰寫遊戲;另外,還有近一百款手機小遊戲,是依據設計文件在 Cocos、Unity、LayaAir、PixiJS 與 Canvas 2D 上生成,其中大多數都將其規則結構化為確定性模擬,以便透過機器人試玩與狀態空間搜尋來證明每個關卡皆可通關。

• 3D 建模——由兩個代理透過 Blender Python API 建造一架波音 747 與北京大興機場,一個負責機場、一個負責飛機,再進行比例匹配、打光,並以 Cycles 和 OptiX 逐格渲染、用 FFmpeg 剪輯;法隆寺寺院建築群經逐步研究與組裝;一段橫跨四個 Blender 場景、約 2,100 個物件與 182 萬個三角形的預視序列;以及透過 Python 腳本在 FreeCAD 中建模的 W16 引擎、兩座深圳塔樓與一輛月球車。

• 知識型工作——一份長達 20 頁、探討資料中心電力成本的研究報告;一份長達 24 頁、根據 4,169 份聯邦碰撞報告所做的自動駕駛分析;一本內含 1,000 條路徑蒙地卡羅模擬的互動式財富規劃工作簿;以及一首長 6 分 34 秒、以 WAV 檔案交付的管弦樂曲。

• 影片 — 超過 150,000 個創作環境,以及約 5,300 分鐘的成品影片,焦點是一部以超過 10,000 行 Python 寫成的 116 秒 2D 動畫短片,讓一隻參數化鵜鶘穿梭於 20 種藝術風格。

知識工作段落背後的訓練數字,是貼文中最大的數字:30 萬個工作區、1,000 萬個參考檔案,涵蓋 40 多種檔案類型。這說明了模型受訓時必須承受什麼,而這正是基準測試表格完全無法傳達的論點。

Screenshot of Baidu's English ERNIE 5.5 Flash release page dated 11 November 2026, headed Still driven by the same dream, stating that the model has 280B total parameters with 14B active and a 1M-token context, that the API is available on the Qianfan platform, and that the weights will be open-sourced under Apache 2.0 soon, followed by a benchmark-results appendix and sections covering game development, 3D modeling and design, knowledge work and video creation

解讀這二十列,看它們對長跑說明了什麼

附錄是一張單一影像,這表示這些數字無法複製、排序,也無法與試算表核對。從該影像讀取,ERNIE 欄位的內容如下,全部皆為廠商回報且未經重現:

• 代理式編碼 — Terminal-Bench 4.0 為 46.5,DeepSWE v1.1 為 71.2,ProgramBench(幾乎解決)為 29.5,NL2Repo-Bench 為 64.8,Terminal-Bench-Science 0.1 為 21.0。

• 電腦操作與自動化——CookieBench 達 88.2,AutomationBench 達 61.9,APEX-Agents 1.1 達 64.2,DRACO 達 84.9。

• 知識型工作 — SpreadsheetBench V2 為 36.4,OfficeQA Pro V2 為 67.9,Agents' Last Exam(CLI)為 29.0,SkillsBench 1.1 純文字為 73.5。

• 通用代理與工具使用 — Toolathlon-Verified 為 79.0,MCP-Atlas 為 84.6,BrowseComp 為 87.4。

• 推理 — 無工具 HLE 46.4,AA-Omniscience-Public 25.2,AA-LCR v1.1 79.0。

• 3D — BlenderWorld 僅文字,79.0。

這張表若當成「還有哪些地方會失敗」的地圖來讀,遠比當成記分板有用。有四列低於 40:ProgramBench 為 29.5、命令列上的 Agents' Last Exam 為 29.0、AA-Omniscience-Public 為 25.2,以及 Terminal-Bench-Science 為 21.0。那些都不是寬鬆的基準測試。Agents' Last Exam 的設計,是要逼近代理能自主完成之事的前沿;omniscience 會懲罰自信的錯誤答案;Terminal-Bench-Science 測試實驗室級任務,在那些任務裡,看似合理的流程毫無價值。一個想要接下你最難任務、卻在最難代理基準的科學版本上得分 21.0 的模型,正是在告訴你目前的天花板落在哪裡。SpreadsheetBench V2 的 36.4 對試算表工作具體表達了類似訊息,而這與發布貼文中那個 1,000 條路徑的蒙地卡羅活頁簿並列,顯得有些尷尬。

80 以上的列同樣具有參考價值,但原因不同。BrowseComp 87.4、MCP-Atlas 84.6、CookieBench 88.2 和 DRACO 84.9 都是依模型是否達到已完成且可檢查的最終狀態來評分,而不是依答案評分。這種模式——在可驗證的完成度上表現強,在開放式科學判斷上表現弱——正是一個在 300,000 個充滿能建置或無法建置檔案的工作區上訓練出來的模型所會有的表現。

註腳承載著誠實。每個基準測試都在具名的測試框架上執行,Claude Code 2.1.x、mini-swe-agent 2.4.6、Codex 0.162.1,以及一個縮寫為 DSH 的東西都出現了,而評審模型是 Qwen3.8-Max、DeepSeek-V4.1-Flash-1017 與 Gemini 3.1 Flash-Lite。有一則註腳承認 GLM-5.3 與本模型缺乏原生多模態能力,並表示圖像理解是透過由 Claude Opus 5.5 驅動的工具提供。因此,至少有些依賴視覺的列,量測的是一個由 ERNIE 5.5 Flash Preview 呼叫競爭對手模型來查看事物的測試框架。這是合理的工程選擇,卻也是在計分板上看到會覺得奇怪的事。

以 AA 為前綴的這兩列需要各自的但書。AA-Omniscience-Public 與 AA-LCR v1.1 是由獨立追蹤機構 Artificial Analysis 發布的基準測試,但這些是百度自行跑出的結果。截至 11 月 11 日,Artificial Analysis 排行榜上沒有 ERNIE 5.5 的資料列,因此沒有獨立數字可與這兩個儲存格中的任一個對照。

十一小時的長跑要付出什麼代價,以及 Baidu 沒有說的事

端點文件是本次發布中將示範轉化為工程決策的部分。Qianfan 將 ERNIE 5.5 Flash Preview 列為每百萬輸入 token 0.28 美元、每百萬輸出 token 1.13 美元,快取讀取為 0.028 美元,上下文視窗為 1,024,000 個 token,輸出上限為 921,600 個 token,且推理始終以單一高強度等級開啟,無法關閉。

那個輸出上限,是單次長時間執行之所以還可能成立的機制性原因:模型能發出的 token 數量,幾乎和它整個上下文窗口所能容納的一樣多。這也是帳單之所以不明顯的原因。提示的計價是輸出費率的四分之一,但模型思考的一切都按輸出費率計費;而一個停不下思考的模型,就是每項任務成本主要由沒有人會讀的 token 所支配的模型。

對單次最大呼叫做個算術,這是目前可得的最有利情況。填滿 1,024,000 個 token 的上下文視窗,按輸入費率約需 $0.29。產生完整的 921,600 個 token 輸出上限,約需 $1.04。也就是說,一次同時用盡兩項上限的呼叫大約要 $1.33。那場十一小時的 Unreal 建置極有可能並沒有這麼做,而發布文章也沒有說明它消耗了多少 token、分成多少次獨立呼叫,或花了多少成本。除非有人在自己的工作負載上測量每個完成任務的輸出 token 數,否則任何關於這個模型在處理困難工作時是便宜還是昂貴的說法,都只是在比較費率表,而不是在比較結果。

這次發佈還欠你兩件事

文章結尾稱 ERNIE 5.5 Flash Preview 是「後訓練階段的中間檢查點」,並坦承訓練尚未完成,部分能力可能仍有不足。文章亦承諾權重將於不久後以 Apache 2.0 授權開源,但未提供日期;而截至 11 月 11 日,Hugging Face 上並無任何預覽版儲存庫——該平台僅發布了 ERNIE 5.5 的基礎檢查點及其 BF16 變體。整份發布資料中,既無模型卡,亦無知識截止日期,更無任何延遲數據。

所以,對「把最難的任務交給它」這句話的誠實總結,比這句口號所暗示的更狹窄。ERNIE 5.5 Flash Preview 是一個純文字模型,擁有非常大的上下文、異常寬鬆的輸出額度,在最終產出可建置成品的任務上表現強勁,在最終導向科學判斷的任務上表現疲弱,而且完全沒有獨立驗證。這是一個真實且具體的輪廓。而這個輪廓很可能會被下一個檢查點覆寫。

如何在不必押上一條路徑的情況下測試那個設定檔

A generated scoreboard for ERNIE 5.5 Flash Preview showing six Baidu-reported figures: Terminal-Bench 4.0 at 46.5, APEX-Agents 1.1 at 64.2, Agents' Last Exam CLI at 29.0, MCP-Atlas at 84.6, Terminal-Bench-Science 0.1 at 21.0 and BlenderWorld text-only at 79.0, with a footer noting that every figure is vendor-reported and that Artificial Analysis has no ERNIE 5.5 row

百度透過自家的千帆 API,以及轉售此模型的第三方平台來提供此模型。OrcaRouter 並未路由 ERNIE 5.5 Flash Preview——在來自 17 家供應商、共 228 個模型的目錄中,並沒有 ERNIE 項目,其背後也沒有百度端點——因此這裡的任何內容都不應被視為提供該模型服務的要約。

Screenshot of the OrcaRouter model catalogue listing vendor families and model entries, used to show that no Baidu or ERNIE model appears among the 228 models from 17 providers on offer

在這種情況下,這份目錄的用處正是實驗的另一半。用來與這個模型對比的模型,可以透過單一金鑰、以供應商定價取得,完全沒有加價,這表示你可以用它們跑同樣的艱難任務,並比較完成率,而不是只看公布的評分。自動容錯移轉則負責第二項工作:一個沒有上線時間紀錄的預覽版,永遠不必成為支撐請求路徑的唯一選項,因為當它在第三個小時卡住時,可以有路由的備援接手。

本週值得做的評估規模很小。拿十個你自己的長時程代理任務——那些你通常不會放心交給單次無人值守執行的任務——讓每一個都跑過 ERNIE 5.5 Flash Preview,以及兩個你已經信任的模型。記錄它是否完成、消耗了多少輸出 token,以及花了多少成本。這會得出百度漏掉的兩個數字:每個任務的 token 數,以及每完成一個任務的成本。發布文章裡的其他一切,包括 46.5,也包括那十一個小時,都是別人的測試框架在別人的機器上跑出來的。

能平息這個問題的,不是又一支示範影片,而是 Apache 2.0 發布的具體日期、附有知識截止日期的模型卡、由 Artificial Analysis 製作的一列 Artificial Analysis 評測結果,以及第二個檢查點,其數據可與這一個相互對照。百度已經發布了它本應與這個端點一同發布的說明。它接下來欠那些剛受邀交出最棘手任務的人們的,是一份實質產物,讓他們不必再單憑它的說法,來判斷最難的任務究竟交出什麼成果。