在 AA-Robotics v0.1 實驗室中,Gemini 4 Carbon 的早期訊號標題卡,標題為「7 小時 33 分鐘——還有一個壞掉的夾爪」,帶有「未驗證」徽章,並有以下文字:「來源:Artificial Analysis,2026 年 11 月 12 日」,三個標籤分別寫著「工作階段長度:453 分鐘」、「硬體:一個夾爪故障」、「重試:該次嘗試已獲准」,還有一則註記寫著「未公布總合分數——五模型排行榜仍是 10 月 14 日的表格」。OrcaRouter 標誌合成於右下角。
Guides & Insights

Gemini 4 Carbon 弄壞了機器手臂:在分數出現之前,一場 7 小時 33 分鐘的實驗室測試透露了什麼

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

目前還沒有分數。這是理解 Gemini 4 Carbon 機器人測試結果時首先要明白的事,而本文其餘幾乎所有內容也都由此而來。截至 2026 年 11 月 13 日,現有的資料是 Artificial Analysis 於 11 月 12 日發布的一則貼文,內容指出 Gemini 4 Carbon 在 AA-Robotics v0.1 實驗室內待了 7 小時 33 分鐘,「把機械臂猛砸到弄壞了一個夾爪」,並補充說明實驗室在該次嘗試中給了它一次重試機會。10 月 14 日公布的五模型排行榜,仍然列出當時的那五列——GPT-6 Astra 69.4、GPT-6.1 Sol 64.6、Gemini 4 Argon 55.3、Claude Opus 5.5 48.8、Claude Fable 5.1 46.3——而 Carbon 不在其中。沒有彙總數據,沒有逐項任務細分,沒有抓取成功率,也沒有帳單。

所以,請把這當成早期訊號,而不是結果:一個持續時間、一次硬體故障,以及一次重試,來自擁有該基準測試的實驗室,且在其自家表格更新前就已發布。以下超出這三項事實的內容都屬於推論,並已標明為推論。現在仍值得一讀的原因是,Carbon 的前代 Gemini 4 Argon 是該實驗室中慢得最多的模型,而且 7 小時 33 分鐘幾乎正好落在 Argon 的數值上——這使得即使沒有分數,也能解讀這個持續時間。

唯一公開的號碼是一個時鐘

Artificial Analysis 將 AA-Robotics 描述為衡量「語言模型透過控制機械手臂,能在物理世界中理解、規劃與行動到什麼程度」。測試平台是一台六軸 Hiwonder NexArm,具備五個關節與一個夾爪,由四台相機監看——三台架在桌上,一台裝在手腕上——涵蓋八項桌上任務:按下紅色按鈕、把鱷魚玩具放進矩形框內、把飲料倒進杯子、把積木(含盒蓋)整理進盒子、完成形狀配對板、寫出「hello world」、堆出最高的泡棉塔,以及量測箱子並使每個尺寸的誤差在 2 mm 以內。每次嘗試皆為零樣本,每項以 0 到 100 分計分,並給予部分分數。模型會在高強度設定下,透過各自的程式碼框架接入——GPT 模型用 Codex、Claude 用 Claude Code、Gemini 用 Antigravity——且必須自行撰寫負責規劃與執行動作的 Python 程式。

相較之下,Carbon 的資料點是刻意單薄的。七小時三十三分鐘等於 453 分鐘。文中未說明這是否涵蓋全部八項任務、是否包含重試的那次嘗試,或這次執行耗費多少成本。任何人把它當成效能數字來引用,就是把碼錶當成計分板在看。

它毫不含糊地表明的是:Carbon 被送去做實驗室測試,而設備並未完好無損。該基準測試自身的出版物記錄了數十種失敗模式——空抓、瓶子掉落、積木被碰下桌子、一支直接在頁面上測試的筆——其中沒有一項是夾爪損壞。硬體毀壞是十月報告從不必描述的一個類別,因為其中的五個模型沒有一個產生這種情況。

七小時三十三分,以 Argon 為基準衡量

這裡的基準值比平常更重要,因為這項比較異常明確。Artificial Analysis 公布了五款十月模型各自的累計執行時間:GPT-6 Astra 242 分鐘、GPT-6.1 Sol 224 分鐘、Claude Opus 5.5 253 分鐘、Claude Fable 5.1 249 分鐘,以及 Gemini 4 Argon 419 分鐘。Carbon 的 453 分鐘比 Argon 高出 34 分鐘——約長 8%——並比四款非 Gemini 模型高出約 200 分鐘,而這四款集中在 224 至 253 分鐘的區間。

• 若該工作階段涵蓋全部八項任務,則每項任務的步調為——Carbon 每項約 56.6 分鐘,相較之下 Argon 為 52.4、Astra 為 30.3、Sol 為 28。

• 相較於真人——AA 讓人每個任務約需 20 秒,因此八個任務共 453 分鐘,比一個人做同樣的桌面作業慢約 170 倍。

• 規劃佔用時間的比例——Argon 的分配是 42% 理解、45% 規劃、6% 相機、6% 手臂。Astra 與 Sol 則反轉了這一點,將 13% 的執行時間花在實際手臂動作上,大部分時間則用於規劃。

最後那句話,正是壞掉的夾爪變得有趣而非可笑的地方。在十月的資料中,得分最高的兩個模型(Astra 為 69.4,Sol 為 64.6)花了最少時間理解場景,花最多時間規劃;最慢、排名第三的 Argon,有 42% 的執行時間只是用來觀察。一個思考更久、隨後卻損壞硬體的模型,展現的並不是十月錯誤牆所描述的那種失誤。那面牆上滿是誤判狀態的模型——「在蓋子擱在楔塊上時,回報蓋子已水平且對齊」、「把傾斜的黃色六邊形計為已放置」。這些是感知與自我評估的錯誤。猛砸機械臂直到夾爪斷裂,是指令權限錯誤:模型向硬體要求了硬體無法承受的東西。Carbon 究竟是因為撞上碰撞限制、對抓取施加過大扭力,還是只是重複一個它早已被告知失敗的動作而這麼做,AA 並未說明,而貼文所附的 11 秒影片也無法釐清。

重試是方法論問題,而非註腳。

「我們在那一次讓它重試了」是貼文中最具影響力的半句話,值得比壞掉的夾爪受到更多檢視。AA-Robotics 建立在零樣本嘗試之上——十月的發表文章明確這麼說,而零樣本物理基準測試的要點正是:模型只有一次機會,就像人一樣。在設備故障後允許重試是站得住腳的:夾爪斷裂是實驗室的問題,不是衡量模型規劃能力的指標;把那次被毀掉的嘗試記為零分,反而會懲罰測試設備的脆弱。

但這會造成可比性問題,最終分數將不得不回答這個問題。如果恰好有一次嘗試被作廢並重跑,彙總分數就與其他五個可比,重試只是腳註。如果重試獲准超過一次,或只在 Carbon 已因模型端原因失敗的任務上獲准重試,那麼登上排行榜的數字,其意義就不會與其他五個數字相同。當表格更新時,真正該留意的是有一行說明有多少次嘗試被作廢、在哪個任務上、依據什麼標準——就像十月文章記載 Argon 的抓取樣本為 n=75,而 Astra 為 n=95 那樣。

還有一個更隱晦的測量問題。Argon 在十月報告中的計時資料明確屬於估計值:Antigravity 這個 Gemini 測試框架不會為各步驟記錄時間戳,因此 AA 是依據有計時的 arm 指令之間所處理的 token 數來推估這些步驟的時間。Carbon 也在同一個測試框架中執行。如果那項 7 小時的數據也是以同樣方式測得,就無法與 Codex 和 Claude Code 所產生的分鐘數直接相比;而且相較於 Argon 的 34 分鐘差距,完全落在 token 插值法於 453 分鐘的執行期間可能引入的誤差範圍內。這並不表示該時長毫無意義,但這使得「Carbon 比 Argon 慢 8%」成為資料無法支持的說法,儘管「Carbon 花了非常久的時間」是穩妥的。

Carbon 的文字設定檔會預測什麼

這些都不令人意外,對照 Carbon 已公布的行為表現即可看出,而這正是我們能獨立查核的部分。在 Artificial Analysis 的 v5 指數上,該模型得分 60,在 78 個模型中排名第四;其特性是審慎、冗長的推理型模型,而非快速型:每項任務耗時 28.4 分鐘,中位數為 13.0 分鐘;每秒輸出 72 個 token;首個回答 token 耗時 64.71 秒;在整個指數中輸出 2.05 億個 token——AA 將其描述為「非常冗長」,中位數為 7,280 萬。每項指數任務成本為 5.48 美元,成本效益在 77 個中排名第 59。

把這些放在一起看,實驗結果在分數出爐前就已現出輪廓。一個模型若在文字提示下、產生第一個 token 前要花上一分鐘,輸出量幾乎是中位數的三倍,而且在靜態基準測試中每項任務就已耗費 28 分鐘,那麼在每個步驟都得讀取四路攝影機畫面、再撰寫動作程式碼的迴圈裡,它不可能快得起來。7 小時這個數字,正是 Carbon 的文字表現概況接上機械手臂時的樣子。那番深思是否帶來更好的操作表現,正是缺失的分數會告訴我們的事;而壞掉的夾爪至少是微弱證據,顯示更多思考並未轉化為更輕柔的動作。

這樣的一趟要付出多少代價,以及為什麼行事曆很重要

每項任務成本是 AA 尚未為 Carbon 公布的數字,而憑猜測毫無價值,因為現有差距極大:GPT-6 Astra 的 242 分鐘執行每項任務花費 $16.36,GPT-6.1 Sol 則花費 $1.93——同一供應商的兩個模型執行同樣八項任務,卻有 8.5 倍差距。八項任務合計約為 $131 對上 $15。約 70% 的支出用於輸入與上下文,而非輸出,這正是四路攝影機輸入與不斷增長的逐字稿會對 token 帳單造成的效果。Carbon 在文字上比兩者都更冗長,所以真要說的話,它的每項任務數字應該會偏高——但那是預測,不是實際數字,唯一誠實的用法是把它當作預算範圍,而不是報價。

行事曆是你能實際採取行動的部分。Carbon 在 2026 年 11 月 30 日之前,每百萬輸入 token 為 $2、每百萬輸出 token 為 $10;到了 12 月 1 日,在模型不變的情況下,這兩者會變成 $4 和 $20。快取輸入從 $0.10 調漲到 $0.20,batch 與 flex 以半價計費,priority 則為標準價的 1.8 倍。任何像 AA 剛剛執行的那種長時間代理迴圈,大多都是快取上下文和重複的攝影機畫面,這意味著機器人風格的工作負載正是最能受益於當前費率、且在其後受傷最重的形狀。12 月重跑這個實驗的成本,會是這週的兩倍。

A single-column infographic titled 'Gemini 4 Carbon — the scoreboard', with six rows: AA-Robotics v0.1 score: not yet published; Lab session time: 7 hours 33 minutes; Predecessor Gemini 4 Argon: 55.3 overall in 419 minutes; Intelligence Index v5: 60, ranked 4th of 78; Output speed: 72 tokens per second, 64.71 s to first token; Price: $2 input and $10 output per million tokens until 30 November, then $4 and $20. Footer reads 'Robotics figures per Artificial Analysis, 12 November 2026 post; score outstanding. Index and pricing per Artificial Analysis and Google.'

如何讀取落地時的數字

當 AA 更新表格時,有三件事決定 Carbon 是向前邁進的一步,還是另一個 Argon。

• 對比 55.3 的綜合分數——Argon 的得分。一個晚了一代才推出、表現卻只等於或低於自身前代的 Gemini 模型,會讓這個家族的機器人故事淪為一則關於測試框架延遲、而非能力的故事。

• 抓取成功率對照 28% 至 45% 的區間:Astra 45%(n=95)、Fable 44%(n=89)、Opus 40%(n=100)、Argon 36%(n=75)、Sol 28%(n=111)。這項指標會標記出會弄壞夾爪的模型,因為導致硬體損壞的指令,以及未能抓到物體的抓取,都同樣源自缺乏力回饋。

• 逐項任務的概況如下。Argon 在按鈕、鱷魚、倒水、整理、形狀、書寫、塔、測量上的成績分別是 100、100、100、40、0、45、57、0。量盒子任務是無人能解的那一項:Astra 0、Argon 0、Fable 0,只有 Sol 與 Opus 為 17。在三個維度上容差 2 mm 是一項精密任務,而精密正是會猛砸機械臂的模型表現最差的地方。

此外,也有一個合理的問題:這項基準測試真正評分的是什麼。Carbon 在高強度設定下於 Antigravity 內運行,Argon 也是如此。一場 7.5 小時的 session 是對模型規劃能力與測試框架能否讓長迴圈保持連貫的聯合測試——而十月的數據已經顯示出框架塑形的人為產物,從 Argon 長達 25 分鐘的第一個動作,到 Fable 在動手觸碰任何東西前先花十分鐘研讀。無論如何,Carbon 的結果都會被當成模型分數引用。它至少部分上是代理迴圈的分數。

Screenshot of the AA-Robotics v0.1 results table from Artificial Analysis. A colour legend reads 'Full score (100)', 'Partial (1 to 99)', 'Zero (0)'. Below it the eight task names run down the left column — Press the red button, Place the crocodile toy in the rectangle, Pour the drink into the cup, Tidy the blocks into the box, Complete the shape matching challenge, Write hello world, Build the tallest tower, Measure the box — with five model columns headed GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5 and Claude Fable 5.1, each cell holding a coloured score dot. The bottom row, labelled AA-Robotics Score, reads 69.4, 64.6, 55.3, 48.8 and 46.3. There is no Gemini 4 Carbon column.

如果你想重現這個實驗,而不是等待

公開基準測試搭配公開測試環境的可貴之處,在於分數並不是唯一能從中學習的方式。Carbon 現在已可呼叫——Google 已讓 gemini-4-carbon於 2026 年 11 月 10 日在付費 Gemini API 上正式開放使用(此前已於 10 月 28 日向受限制的網路防禦者群組宣布)——而且它已在 OrcaRouter 上以 google/gemini-4-carbon提供,採用 Google 自家的 $2/$10 introductory 費率,並使用與金鑰上其他 200 多個模型相同的 OpenAI 相容端點。由於我們是以 0% 加成直接轉嫁供應商的定價,12 月 1 日的重新定價會在 Google 實施當天就反映到我們這邊,而不必等到一輪轉售週期之後。

在任何人把全新模型指向昂貴硬體之前,先說兩點實務提醒。第一,上線第一週的端點不是生產環境端點:我們自己對google/gemini-4-carbon的彙總數據目前顯示,過去七天的錯誤率為 30.2%,首個 token 的 p50 時間為 6.89 秒,這是沿著我們所路由的供應商路徑測得。對一個正式全面推出才三天的模型來說,這很正常;也正因如此,你不該把單一端點硬編碼進一個會執行七小時的迴圈——跨供應商的自動容錯移轉,才能讓長時間的代理式工作階段不會在第四小時就掛掉。第二,路由 DSL 讓你可以在不需要 Carbon 的步驟中,於迴圈裡保留一個便宜模型;這在 453 分鐘時很重要:該工作階段的大部分時間都在讀取影格與重新規劃,而不是在做任何困難的決策。

Screenshot of the OrcaRouter model page for google/gemini-4-carbon. A breadcrumb reads Home, Models, Google above the heading 'Gemini 4 Carbon', with a 'by Google' label dated 2026-11-10 and badges for Vision, Audio, Tools and JSON. A description block lists a 1,048,576-token context, text, images, audio, video and documents in with text out, native tool use and function calling, and structured JSON outputs, above a /v1/chat/completions endpoint line and the price pair $2.00 and $10.00 per million tokens. A 'BEST FOR' list names long-context work up to about 1M tokens, multimodal understanding, agentic pipelines and structured JSON extraction. A sidebar panel labelled Reasoning reads 6.89 s, and the code samples use the base URL https://api.orcarouter.ai/v1. A technical block gives context as 1M tokens, maximum output as 65K, input as text, image, file, audio and video, output as text, and p50 time to first token as 6.89 s. A data retention note says Zero Data Retention is available and that with ZDR on, requests go only to providers with a zero-retention agreement.

會改變這個判讀的,不是手臂更好的一段影片。而是 AA 公布一份分數,把作廢的嘗試記錄在案,並把抓取率與其他五個並列。在那之前,準確的摘要很狹窄:Gemini 4 Carbon 是該實驗室第一個讓實驗室損失一件硬體的模型,它耗時比該實驗室測過的任何東西都長,除了它自己的前代;而隨後的重新嘗試,是那個最終數字將不得不承載的細節。11 月 12 日的貼文是一個真實資料點,說明這個模型在獲得雙手時如何表現。它還不是關於它多會使用雙手的結果。

本文中的比較2

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新