Gemini 4 Carbon 基準測試：AA v5.0.1 上的 60 分究竟衡量了什麼

唯有知道測試框架問了什麼、模型被允許思考多久，以及產生這個數字的測試版本為何，基準測試分數才有用。對 Gemini 4 Carbon 而言，答案是：九項代理式與科學評測、思考時間不設限，以及 Intelligence Index v5.0.1——當前版本；正因如此，60 這個分數值得引用，而你在它旁邊找到的大多數數字則不然。Gemini 4 Carbon API 頁面列出價格與端點；本文談的是分數。

實際執行的是什麼

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset，以及 Terminal-Bench-Science 0.1。在根據這份清單做出概括之前，請先讀過這份清單。這九項中有三項是終端或自動化工作，兩項是針對長輸入、以文件為依據的推理，兩項是困難的科學與數學，還有一項是前沿程式碼。這組評測中沒有網頁代理評估，也沒有多輪客戶支援模擬，因此很高的分數對那些項目毫無意義。

分數

Carbon 拿下 60 分，排名為 78 個中的第 4（在 v5.0.1 上）。領先者是 Claude Fable 5.2，得分 65。這五分的差距有意義，但並非決定性：兩個模型都通過相同的九項評估，而解讀這項差異最簡單的方式是，在 Carbon 的能力水準下，大約每嘗試二十項就會多解出一項困難任務。把這視為一個方向，而不是一個比率。

版本守衛比排名更重要。在 v4.3 或 v4.3.2 上評分的模型——包括你在比較貼文中會看到被引用的多數名稱——並不在同一個尺度上，無法放進同一張表。如果一張圖表把他們混在一起，無論是誰發布的，那張圖表就是錯的。

實際後果是，除非該模型也已被重新評分，否則你無法將 Carbon 與你上一季自行評估的模型相比較。你要麼在兩者上重新執行你自己的評測框架，要麼將這項主張限制在 v5.0.1 世代，並在引用它的那句話中說明這一點。

時間成本

首個 token 的時間為 64.7 秒，在 77 個有延遲資料的模型中排名第 69。總回應時間為 28.4 分鐘（九項評估中每項任務平均）。Carbon 一旦開始輸出，速度為 每秒 72 個 token，表現普通。實際耗時主要花在思考，而不是寫作。

這是設計選擇而非缺陷，而且值得精確說明其含義。讓模型持續推理直到滿意為止的測試框架，會產生緩慢但強勁的分數；同一個模型若置於閘道後方處理即時流量，回報 p50 為 6.89 秒（首個 token），p95 為 10.00 秒，因為大多數真實請求並非 HLE-Diamond。這兩個數字衡量的是不同事物，兩者都應納入容量規劃。

金錢成本

以 Carbon 執行此指數的成本為 $5.48，按每百萬輸入 token $2.00、每百萬輸出 $10.00 計算，混合後為每百萬 $2.70。AA 亦回報該次執行有 2.05 億個輸出 token，冗長度數字為 2.69%。應沿用下去的是 token 數量，而非百分比：它告訴你，一項九項任務的代理式評估消耗了將近 2.5 億個輸出 token。

相較之下，同一指數用於 Claude Fable 5.2 的成本為 $26.54——高出 4.8 倍——輸入價 $8.00、輸出價 $40.00。這才是這組比較的正確框架：五分的分數差距，是用將近五倍的 token 支出換來的。

換算成比率，Carbon 每指數點支付 0.09 美元的基準支出，而 Fable 5.2 支付 0.41 美元。這並不是在主張較便宜的模型更好——前沿模型的價值在於處理較便宜模型做不到的任務——但這正是主張依難度路由，而不是所有事情都挑同一個模型的理由。60 分模型就能處理的那 90% 呼叫，不需要用到 65 分的模型。

另一個值得納入考量的比率是時間。Carbon 每項任務耗時 28.4 分鐘，Fable 5.2 耗時 46.8 分鐘，因此較昂貴的模型端到端速度也慢了 1.6 倍。在非同步佇列中，這構成吞吐量限制；在同步呼叫中，這則是載入轉圈與逾時之間的差別。Gemini 4 Carbon 發行說明涵蓋該模型推出時包含的內容；如果問題是它是否取代前一代 Gemini，Gemini 4 Carbon 與 Gemini 3.1 Pro就是直接比較。

基準測試未涵蓋的部分

這套評測中沒有網路安全或漏洞偵測的測試框架。如果你正在評估 Carbon 是否勝任資安工作——掃描、分流、修補程式生成——這九項評測告訴你的是它的推理能力，而完全無法說明它在真實漏洞上的召回率。針對特定儲存庫的長跨度編碼也是如此：FrontierCode-AA 只是近似模擬，並不能取而代之。

這裡也沒有衡量負載下會發生什麼。過去七天內，Carbon 在 OrcaRouter 流量上的即時錯誤率為 39.7%，而 Fable 5.2 為 10.8%。基準測試框架會重試並吸收這種錯誤；你的應用程式則必須決定如何處理。

在自己的流量上重現這其中的任何內容

你不可能在沒有 AA 的測試框架下重現 AA 的 64.7 秒，也不該嘗試：有用的是測量你自己的 p50 和 p95，並把它們與閘道公布的 6.89 秒和 10.00 秒相比，因為這能告訴你你的提示詞是普通還是異常困難。記錄首字延遲（time to first token）、輸出 token 數，以及每條路由的非 2xx 次數。如果你的錯誤率高於閘道回報、涵蓋所有供應商的 39.7%，問題就出在請求端你這邊。

如何在決策中使用這個

如果你的工作類似那九項評估——終端任務、自動化、長上下文文件、硬科學——那麼在 60 與 $2.70 混合價格下的 Carbon，是現行 v5.0.1 梯隊中的超值首選，而 64.7 秒的思考時間，是可透過將呼叫改為非同步來吸收的成本。如果你的工作屬於互動式，同一個模型經由閘道器達到接近七秒的 p50，就完全是另一回事；而最誠實的測試是你自己的流量，而不是 AA 的測試框架。

若要與曾擊敗它的模型正面交鋒，Gemini 4 Carbon vs Claude Fable 5.1會將兩者並列比較，而LLM API 定價比較則涵蓋 $2.70 混合價位相對於型錄其餘項目的位置。請重新核對任何重複使用圖表上的版本：v5.0.1 是這個 60 所屬的唯一尺度。