主視覺標題卡上寫著「Gemini 4 Carbon 評測」,背景為深色抽象圖案,副標題為「指數排名第四,回應緩慢」。
Guides & Insights

Gemini 4 Carbon 評測:指數排名第四,回答緩慢

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Gemini 4 Carbon 在獨立排行榜上排名第四,定價卻像中階模型,這種組合若要誠實評測並不尋常:Gemini 4 Carbon API 頁面標價為每百萬個輸入 token 2.00 美元、每百萬個輸出 token 10.00 美元,而它在 Artificial Analysis Intelligence Index v5.0.1 上的得分是 60,在 78 個模型中排名第四。評測必須回答的問題不是 60 分好不好,而是為了得到這個分數,你在實際耗時與失敗率上付出了什麼代價。

這是什麼

Google Gemini 4 系列中的一款多模態模型,具備 1,048,576 個 token 的上下文視窗與 65K 的輸出上限。它能接收文字、圖像、音訊、影片和文件,並回傳文字,且支援原生工具使用與結構化 JSON 輸出。它可透過 OpenAI 相容端點和原生 Gemini generateContent API 提供回應,並提供零資料保留功能。

這組參數告訴你它想成為什麼樣的模型:reasoning、include_reasoning、structured_outputs、tools、tool_choice、seed、temperature、top_p。同一份清單上同時有 seed 與 response format,這正是模型定位於擷取與代理式流程、而非創意寫作的標誌。

Card summarising Gemini 4 Carbon's context window, modalities, endpoints and Zero Data Retention support.

分數,以及評分所依據的版本

60 這個分數無法與你會在其它模型上看到的舊數據相提並論,而這是本月發表的比較中最常見的單一錯誤。Intelligence Index v5.0.1 與 v4.3、v4.3.2 屬於不同的評測集,因此 v4.3 的分數與 v5.0.1 的分數不該放在同一張表裡。在 v5.0.1 這一批中,Carbon 的 60 分讓它在 78 個模型中排名第四,落後於 65 分的 Claude Fable 5.2,並領先所有其他已重新評分的模型。

Card with Gemini 4 Carbon's Artificial Analysis figures: index 60, 64.7 s to first token, $5.48 per index run.

那個數字背後的九項評測是 AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset 和 Terminal-Bench-Science 0.1。這是代理式與科學性的混合——終端機工作、自動化、文件接地、艱難推理——不是程式設計排行榜的組合。模型在這裡可以拿高分,卻仍可能在儲存庫規模的重構上落敗,所以在對自己的使用情境下任何結論之前,先閱讀細項拆解。

頭條數字所掩蓋的那一部分

Carbon 在 AA 測試框架中的首個 token 時間為 64.7 秒,在 77 個有延遲資料的模型中排名第 69。每項任務的總實際耗時在九項評估中為 28.4 分鐘。一旦開始輸出,輸出速度為每秒 72 個 token,這不算突出,但也不是問題所在;問題在於首個 token 之前的思考時間。

以 Carbon 執行該索引的成本為$5.48 的供應商支出;以每百萬個 token 混合計價 $2.70 來算,單次基準測試就要用掉大量 token。AA 亦回報此次執行的冗長度為 2.69%,同時輸出 2.05 億個 token。別把這個百分比解讀為簡潔度分數:Claude Fable 5.2 的 0.97% 遠低於此,輸出 token 卻更高,達 2.75 億,因此這兩個數字是獨立變動的。

如果價格是你讀這篇文章的原因,LLM API 定價比較會將每百萬 $2.70 的混合價格,與目錄中其餘模型並列,包括價格比它更低的模型,以及為了相近分數而貴上數倍的模型。

透過閘道,這些數字看起來不一樣。

AA 的 64.7 秒是讓模型在困難問題上思考的基準測試框架。在 OrcaRouter 過去七天的即時流量中,Carbon 的 p50 首個 token 時間為 6.89 秒,p95 為 10.00 秒;在超過 960 萬個已服務的 token 上,輸出速度為每秒 226 個 token。兩者都是真的。聊天產品看到的數字接近前者;批次評估副本看到的數字接近後者。

最值得關注的數字既不是前者也不是後者,而是錯誤率:在那七天的時間窗口內,所有上游供應商的請求中有 39.7% 回傳非 2xx,而 Claude Fable 5.2 則是 10.8%。無論原因是容量、速率限制還是供應商輪替,一個呼叫 Carbon 卻沒有重試預算和備援模型的產品,會讓使用者看到的失敗率達到任何基準圖表都預測不到的程度。這是路由問題,也是第二週之前最該先測試的一件事。

Screenshot of the OrcaRouter model page for Gemini 4 Carbon, showing price, endpoints and live p50 latency.

它在目錄中的所屬位置

相較於同系列其他成員,Carbon 是 Gemini 4 系列中的多模態成員,而不是便宜的那一款:輸入價格與 Gemini 3.1 Pro 相同,為 $2.00;輸出價格則便宜 $2.00。真正重要的差異在於,Carbon 可接受音訊與視訊,而 3.1 Pro 可接受文字與圖像。如果你的管線從不處理影片檔案,你就是在為自己用不到的能力付費。

Screenshot of the OrcaRouter models index listing the catalogue with input and output prices.

相較於其他競爭者,這項決定通常歸結於兩個問題。Gemini 4 Carbon 對上 Gemini 3.1 Pro是 Google 內部選擇時最關鍵的比較。GPT-6.1 Sol 對上 Gemini 4 Carbon與Claude Opus 5.5 對上 Gemini 4 Carbon則涵蓋了兩種最常見的替代方案,而LLM 模型清單提供了完整目錄,以備你考慮的並非上述任何一款時使用。

裁決

Carbon 在「每美元輸入所換得的能力」上拿下第四名,而它贏得這個名次的方式,適合長時間、多模態、結構化的工作,而非對話。價格表上不會顯示的成本有兩項,而這兩項才決定它是否適合你:在基準測試框架下,產生第一個 token 前要思考 64.7 秒,以及實際流量中接近 40% 的錯誤率。繞開這兩者——用備援鏈、重試預算,以及為所有非互動式工作加上非同步佇列——它的價格對得分比確實很難被超越。若把它放在沒有備援的同步 UI 後面,你會得出這個模型比實際更差的結論。