LMArena 與 LLM 排行榜：三把尺，三個不同的問題

2026年2月19日，Artificial Analysis 發表了一篇標題為「Gemini 3.1 Pro Preview：AI 領域的新領先者」的文章。它在十項評估中拿下六項第一，並以四分優勢領先 Claude Opus 4.6。如今打開同一個模型的頁面，這個數字是 30，在 200 個模型中排名第 69。Google 什麼都沒改。改變的是那把尺：2026年9月19日，Artificial Analysis 將其 Intelligence Index 修訂為 v4.3.2，停用 Terminal-Bench 2.1、改用 Terminal-Bench 4.0，以 AutomationBench-AA 取代 tau3-Banking，並重新錨定 GDPval-AA Elo 量表。二月的領先者到了九月卻成了中游選手，因為衡量工具在它腳下移動了。

光是那一件事，就足以證明必須學會正確解讀這些排行榜。Claude Opus 5.5 和 Claude Fable 5.1、Kimi K3.1 Pro 和 MiniMax M3.1 Flash，以及介於其間的所有模型，正同時被至少三種互不相容的東西評分；而把人帶到這裡的搜尋——lmarena、llm ranking、哪個模型才真的最強——都假設只有一個答案。其實有三個，而且它們回答的是不同問題。

三種計分板，三個不同的問題

你在排行榜上看到的每個數字都來自三大類之一，而它所屬的類別決定了這個數字能告訴你什麼、不能告訴你什麼。

群眾競技場。LMArena 會針對同一個提示詞展示兩份匿名的模型輸出，由真人挑選勝出者，再將投票彙整成評分。它衡量的是在盲測條件下、針對事先無人挑選過的提示詞所呈現的偏好。它的優勢在於：沒有廠商在背後操作這套測試框架，也沒有人手動挑選題目。它的弱點則是：投票者會偏好流暢、自信、格式漂亮的回答，而志工鍵入的提示詞並不代表你實際的工作負載。競技場評分高，意味著人們傾向偏好該輸出；但這並不代表該輸出就是正確的。

綜合指數。Artificial Analysis 執行一套固定的評測組合，並將其整合為單一的 Intelligence Index，同時另行衡量速度、延遲、價格與每完成一項任務的成本。在三者之中，這對初步篩選最有用，因為每個模型都使用相同的測試框架，而周邊欄位可讓你權衡品質與金錢成本。其弱點在於，綜合指標內嵌了編輯上的取捨：哪些評測納入計算、如何加權，以及當其中一項評測退役時會如何處理。v4.3.2 版修訂正是讓這項弱點顯露出來。

廠商資料表。來自打造該模型之實驗室的發布資料。它是最豐富的來源——數百列資料、最新的基準測試、其他人都沒跑過的設定——卻也最難以比較，因為每家廠商都自選測試框架、投入程度設定與對手。Anthropic 的 Claude Opus 5.5 表格讓其模型在 Terminal-Bench 4.0 上領先 GPT-5.6 Sol 29 分；OpenAI 的 Sol 資料則以 Terminal-Bench 2.1 為主，Sol 在該項得分 91.9，而且完全沒有 Opus 5.5 的資料列，因為撰寫時 Opus 5.5 還不存在。只列出有利結果的表格，不是橫掃對手的證據，而是挑選資料列的證據。

這一列是設定，而不是模型

排行榜最常見的誤讀，就是把一行當成一個模型。本週在 Artificial Analysis 自家的 LLM 排行榜上，Claude Opus 5.5 出現了三次：

• Claude Opus 5.5 以最大努力運作並具備回退機制 —— 智慧指數 58，每項任務成本 5.98 美元，輸出速度中位數為每秒 98 個權杖，延遲 706 毫秒，端到端 711 毫秒。

• Claude Opus 5.5 以 xhigh 推理強度搭配備援機制 — Intelligence Index 56，每項任務成本 3.46 美元，速度為每秒 82 個符元，延遲 119 毫秒，端到端 125 毫秒。

• Claude Sonnet 5.5 以最大力度 — 56、$5.46、每秒 141 個 token、427 毫秒。

前兩列之間相差兩分指數。每項任務成本降低 42%，延遲更有六倍之差，同樣將兩者區隔開來。模型本身毫無改變，變的是 effort 設定。因此，任何「模型 X 的分數高於模型 Y」這類論述，只要未指明設定配置，就是不完整的；這也是為什麼單一項捉對比較的數字，絕不該獨自決定採購決策。

同樣的規則也適用於供應商自家資料中的推理強度設定。Anthropic 特別註明，其 Claude Opus 5.5 Terminal-Bench 測試跑使用的是 xhigh 強度，而非預設值；並指出在預設的中等強度下，FrontierCode 相較於 GPT-5.6 Sol 的優勢會從標題上的差距縮小到七個百分點。這兩個數字都是真的。但只有其中一個數字，描述的是你在不設定該參數時實際會得到的结果。

版本陷阱，這是大多數糟糕比較的成因

基準測試名稱會跨世代沿用，但數字不會跟著轉移。本月報導中的三個例子就足以看出大致輪廓。

Terminal-Bench 2.1 對比 4.0——Google 的 Gemini 3.5 Flash-Lite 模型卡回報在 Terminal-Bench 2.1 上為 54.0%；Artificial Analysis 執行 4.0，記錄到 1%。兩者都正確，而若未註明版本就引用其中任一數字，都會造成誤導，且這種誤導會美化你偏好的那個模型。

• OSWorld-Verified 對比 OSWorld 2.0 — Anthropic 報告 Claude Mythos 5 在 OSWorld-Verified 上達到 85.0%。其他廠商引用的是 OSWorld 2.0 上六十幾分的成績。把兩者放在同一欄，並非在比較模型。

• 正確的模型，錯誤的版本——Claude Mythos 5.1 在 Terminal-Bench 4.0 上得分 60.9，對比 Muse Wonder 的 52.0，而這是這兩個系列之間唯一共用的測試。Mythos 5 公布的 88.0 是 Terminal-Bench 2.1。以其中一個世代取代另一個，會產生一個實際上不存在的 36 分差距。

這個實用習慣雖小，卻值得採納：當某個數字出現，卻沒有附上基準版本與投入程度設定時，就把它視為一種主張，而不是一項測量結果。

每項任務的成本，並不是價目卡上的價格。

排行榜悄悄新增了對預算編列最重要的那一欄，而它往往與價目表相互矛盾。MiniMax M3.1 Flash 每百萬輸入詞元收費 0.15 美元、輸出 0.60 美元；Gemini 3.5 Flash-Lite 則為 0.30 美元與 2.50 美元——輸出貴了四倍。若以每完成一項 Intelligence Index 任務的成本計算，Flash-Lite 勝出：0.19 美元對上 0.22 美元。

這種反轉並不是錯誤。這個指標是實際消耗的 token 數乘以供應商的費率，因此它衡量的是每個模型完成同一項任務需要做多少工作。在整個索引中，MiniMax M3.1 Flash 大約消耗了 1.8 億個輸出 token，而 Artificial Analysis 所追蹤的模型中位數接近 1 億個：它是個冗長的推理型模型，而冗長是要付費的。在那些反覆推敲能換來正確答案的任務上，這是筆划算的交易。在那些答案從來就毋庸置疑的任務上，這就是浪費。

這是一欄要用來對你自己的流量實際執行的指標，之後你才能信任任何以 token 為單位的比較，因為只有它會考量到一個事實：模型抵達同一個結果所花費的 token 數量並不一樣。

排行榜不會告訴你的事

有兩個盲點值得各自獨立成一個小標題，因為兩者一旦被忽視，都會讓你付出金錢代價。

棄答。 Artificial Analysis 的 AA-Omniscience 評測給 MiniMax M3.1 Flash 打了 16 分：56% 的事實題答對，幻覺率達 93%。第二個數字並不代表有 93% 的答案錯誤——它指的是在未答對的回應中，有 93% 是完全錯誤，而非部分正確的作答或拒答。該模型通常在本該拒答時仍照樣作答。Gemini 3.5 Flash-Lite 則完全沒有 AA-Omniscience 分數，這屬於資料缺漏，而非無病無痛的健康證明。

可用性。分數是針對某個瞬間的陳述。Gemini 3.1 Pro 以預覽形式存在了七個月，卻始終沒有正式發佈（GA）日期，並在九月中從 AI Studio 的模型選擇器中消失，廠商未作任何解釋，卻仍保有排名。Grok 4.7 在被評分為指數 46 時才問世一天。其中一個數字描述的是你下個月還能呼叫的模型；另一個數字描述的則是下個季度可能已不存在的模型。排行榜並不區分這兩者。

我們自己的董事會位於何處，以及它為何是第四種東西

OrcaRouter 經營一個 AI 模型排行榜，刻意不重現上述任何一項做法。它的排名依據是我們自家閘道所觀察到的情況——生產流量與社群 Battle Mode 投票——並在固定且公開的權重下，將其與 LMArena 投票、獨立基準測試及生態系採用程度混合計算。排行榜每日更新，模型登場後 48 小時內即會列入，並劃分為文字、程式編寫、視覺、數學、推理與 Agentic 等檢視視角，而不是假裝單一排序能滿足所有用途。

這讓它與另外三者有著不同的失效模式，值得直說：它只能替我們有路由的模型排名，所以它的盲點是商業性的，而非方法論上的。它增添的是其他三者都沒有的那項訊號——這東西是否真的回答了、以什麼速度、以什麼混合價格、在並非為基準測試建構的流量上。

五分鐘讀一篇

• 在解讀分數之前，先確認基準測試版本與投入程度設定。若兩者任一缺少，那個數字就只是宣稱。

• 請看每項任務成本欄，而不是每個 token 的價格。兩者不一致的次數比一致還多。

• 把綜合指數視為一份候選名單，而非最終定論。它是一種重新加權，而重新加權是會被修訂的——那次把 Gemini 3.1 Pro 降級的修訂，也同時降級了數十個根本沒人動過的模型。

• 將能力缺口與分數缺口分開來看。65,536 個 token 的輸出上限，或是一個無法讀取影片的模型，都是關於你工作負載的事實；而指數上的兩點差距則不然。

• 確認模型何時推出，以及它是否仍處於預覽階段。一份沒有上線日期的排名，排的可能是你部署時根本不存在的東西。

排行榜是問題的開端，而非問題的答案。唯一能定奪一項選擇的量測，就是你在自己的提示詞上跑出的自家流量——這正是為什麼閘道真正能提供的有用之物，不是另一份排名，而是能在同一把金鑰上把兩個候選方案並排運行、再比對帳單的能力。

出處說明：Gemini 3.1 Pro 在 2 月至 9 月的變動、v4.3.2 修訂內容、Claude Opus 5.5 的三列資料、AA-Omniscience 的數字、每項任務成本值，以及 Intelligence Index 分數，皆出自 Artificial Analysis，並於 2026 年 10 月 26 日讀取。Terminal-Bench 2.1 與 4.0 的數字、OSWorld-Verified 與 OSWorld 2.0 的數字、Terminal-Bench 4.0 的 60.9 與 52.0 分數、MiniMax token 消耗量估計，以及廠商資料表比較，則分別來自 Anthropic、Google、MiniMax 與 OpenAI 各自公開的資料；除上文註明出自 Artificial Analysis 者外，其餘均為廠商自行報告。OrcaRouter 的排行榜說明、權重與更新頻率，則是我們自行發布的方法論。