Gemini 4 Carbon làm gãy cánh tay robot: Một lần chạy phòng thí nghiệm kéo dài 7 giờ 33 phút nói lên điều gì trước khi có điểm số

Hiện chưa có điểm số nào. Đó là điều đầu tiên cần hiểu về kết quả robot Gemini 4 Carbon, và gần như mọi thứ khác trong bài viết này đều bắt nguồn từ đó. Tính đến ngày 13 tháng 11 năm 2026, thứ hiện có là một bài đăng duy nhất của Artificial Analysis vào ngày 12 tháng 11, nói rằng Gemini 4 Carbon đã dành 7 giờ 33 phút bên trong phòng thí nghiệm AA-Robotics v0.1, "đập cánh tay robot nhiều đến mức làm gãy một bộ kẹp," kèm ghi chú thêm rằng phòng thí nghiệm đã cho nó thử lại trong lần đó. Bảng xếp hạng năm mô hình công bố ngày 14 tháng 10 vẫn liệt kê đúng năm dòng như khi đó — GPT-6 Astra 69.4, GPT-6.1 Sol 64.6, Gemini 4 Argon 55.3, Claude Opus 5.5 48.8, Claude Fable 5.1 46.3 — và Carbon không nằm trong số đó. Không có điểm tổng hợp, không có phân tích theo từng nhiệm vụ, không có tỷ lệ nắm bắt thành công, không có hóa đơn.

Hãy coi đây là một tín hiệu sớm chứ không phải kết quả: một thời lượng, một lỗi phần cứng và một lần thử lại, đến từ phòng thí nghiệm sở hữu benchmark, được công bố trước khi bảng của chính phòng thí nghiệm đó được cập nhật. Mọi nội dung bên dưới vượt ra ngoài ba sự thật đó đều là suy luận, và được ghi nhãn như vậy. Lý do nó vẫn đáng đọc lúc này là mô hình tiền nhiệm của Carbon, Gemini 4 Argon, là mô hình chậm nhất trong phòng thí nghiệm đó với khoảng cách rất lớn, và 7 giờ 33 phút gần như trùng khớp chính xác với con số của Argon — điều này khiến thời lượng trở nên có thể diễn giải được ngay cả khi không có điểm số.

Con số công khai duy nhất là một chiếc đồng hồ.

Artificial Analysis mô tả AA-Robotics là đo lường "mức độ hiểu, lập kế hoạch và hành động của các mô hình ngôn ngữ trong thế giới vật lý bằng cách điều khiển một cánh tay robot." Bộ thiết bị là một Hiwonder NexArm 6 trục với năm khớp và một bộ kẹp, được bốn camera quan sát — ba camera đặt trên bàn, một camera gắn trên cổ tay — qua tám nhiệm vụ trên mặt bàn: nhấn một nút đỏ, đặt đồ chơi cá sấu vào một hình chữ nhật, rót đồ uống vào một chiếc cốc, dọn các khối vào một chiếc hộp bao gồm cả nắp, hoàn thành một bảng ghép hình dạng, viết "hello world", xây tháp xốp cao nhất, và đo một chiếc hộp với sai số không quá 2 mm mỗi chiều. Các lần thử là zero-shot, mỗi lần được chấm từ 0 đến 100 với điểm từng phần. Các mô hình được đưa vào thông qua các khung lập trình riêng của chúng ở mức nỗ lực cao — Codex cho các mô hình GPT, Claude Code cho Claude, Antigravity cho Gemini — và phải tự viết mã Python để lập kế hoạch và thực thi chuyển động.

Đối lập với điều đó, điểm dữ liệu Carbon cố ý rất ít ỏi. Bảy giờ ba mươi ba phút là 453 phút. Không nói rõ liệu con số đó có bao trùm cả tám nhiệm vụ, có tính cả lần thử lại hay không, hay lần chạy đó tốn bao nhiêu. Ai trích dẫn nó như một con số hiệu năng thì đang đọc đồng hồ bấm giây như thể đó là bảng điểm.

Điều mà nó nói, một cách không mập mờ, là Carbon đã được đưa qua phòng thí nghiệm và thiết bị đã không còn nguyên vẹn. Ấn phẩm của chính benchmark ghi lại hàng chục kiểu lỗi — những cú gắp hụt, chai bị đánh rơi, khối bị huých rơi khỏi bàn, một cây bút bị thử ngay trên chính trang giấy — và không một kiểu nào trong đó là bộ kẹp bị gãy. Phá hủy phần cứng là một hạng mục mà bài viết tháng Mười không bao giờ phải mô tả, vì không mô hình nào trong số năm mô hình trong đó tạo ra một trường hợp như vậy.

Bảy giờ ba mươi ba, đối chiếu với Argon

Ở đây, mốc so sánh quan trọng hơn bình thường, vì phép so sánh đặc biệt rõ ràng. Artificial Analysis đã công bố thời gian chạy trọn vòng đời cho từng mô hình trong năm mô hình tháng 10: GPT-6 Astra 242 phút, GPT-6.1 Sol 224, Claude Opus 5.5 253, Claude Fable 5.1 249 và Gemini 4 Argon 419. Con số 453 phút của Carbon cao hơn Argon 34 phút — dài hơn khoảng 8% — và cao hơn khoảng 200 phút so với bốn mô hình không phải Gemini, vốn tập trung trong dải 224 đến 253 phút.

• Nhịp độ mỗi tác vụ, nếu phiên bao gồm cả tám tác vụ — Carbon khoảng 56,6 phút mỗi tác vụ so với 52,4 của Argon, 30,3 của Astra và 28 của Sol.

• So với con người — {{1}}AA{{/1}} khiến mọi người mất khoảng {{2}}20 giây mỗi tác vụ{{/2}}, vì vậy {{3}}453 phút cho tám tác vụ{{/3}} là khoảng {{4}}chậm hơn 170 lần{{/4}} so với một người làm cùng {{5}}công việc trên bàn{{/5}}.

• Tỷ lệ thời gian dành cho lập kế hoạch — cách phân chia của Argon là 42% hiểu, 45% lập kế hoạch, 6% camera, 6% cánh tay. Astra và Sol đảo ngược điều đó, dành 13% thời gian chạy cho chuyển động thực tế của cánh tay và phần lớn cho việc lập kế hoạch.

Dòng cuối cùng đó là nơi chiếc kẹp gắp bị hỏng trở nên thú vị thay vì buồn cười. Trong dữ liệu tháng Mười, hai mô hình đạt điểm cao nhất (Astra 69,4 và Sol 64,6) đã dành ít thời gian nhất để hiểu bối cảnh và nhiều thời gian nhất để lập kế hoạch; Argon, chậm nhất và đứng thứ ba, dành 42% thời gian chạy chỉ để nhìn. Một mô hình cân nhắc lâu hơn rồi làm hỏng phần cứng không thể hiện cùng kiểu thất bại mà bức tường sai sót tháng Mười mô tả. Bức tường đầy những mô hình đánh giá sai trạng thái — "báo nắp đã ngang và được căn chỉnh trong khi nó đang nằm trên một cái nêm," "đếm một hình lục giác vàng bị nghiêng là đã được đặt." Đó là những lỗi nhận thức và tự đánh giá. Đập một cánh tay cho đến khi kẹp gắp hỏng là lỗi thẩm quyền ra lệnh: mô hình đã yêu cầu phần cứng làm điều mà phần cứng không thể chịu nổi. Việc Carbon đã làm vậy bằng cách lao vào giới hạn va chạm, siết quá mô-men xoắn khi kẹp, hay chỉ đơn giản lặp lại một chuyển động mà nó đã được báo là thất bại, AA chưa nói, và đoạn clip 11 giây đính kèm bài đăng không giải đáp được điều đó.

Việc thử lại là câu hỏi phương pháp luận, không phải chú thích.

“Chúng tôi đã cho nó thử lại lần đó” là nửa câu mang tính hệ trọng nhất trong bài viết, và nó đáng được soi xét kỹ hơn cả chiếc kẹp bị hỏng. AA-Robotics được xây dựng dựa trên các lần thử zero-shot — ấn phẩm tháng Mười nói rõ điều đó, và toàn bộ mục đích của một benchmark vật lý zero-shot là mô hình chỉ được thử một lần, như một con người sẽ có. Việc cho phép làm lại sau khi thiết bị hỏng là điều có thể biện minh: một chiếc kẹp bị gãy là vấn đề của phòng thí nghiệm, không phải thước đo khả năng lập kế hoạch của mô hình, và việc chấm lần thử bị phá hủy đó là điểm không sẽ trừng phạt sự mong manh của giàn thí nghiệm.

Nhưng nó tạo ra một vấn đề về khả năng so sánh mà điểm số cuối cùng sẽ phải trả lời. Nếu đúng một lần thử bị hủy và chạy lại, thì tổng hợp vẫn so sánh được với năm con số còn lại và lần thử lại chỉ là chú thích. Nếu lần thử lại được chấp thuận nhiều hơn một lần, hoặc chỉ ở những tác vụ mà Carbon đã thất bại vì lý do từ phía mô hình, thì con số xuất hiện trên bảng xếp hạng sẽ không mang ý nghĩa như năm con số kia. Điều trung thực cần tìm khi bảng cập nhật là một dòng nêu rõ bao nhiêu lần thử đã bị hủy, ở tác vụ nào và theo tiêu chí nào — giống như bài đăng tháng Mười đã ghi lại rằng mẫu grasp của Argon là n=75 so với n=95 của Astra.

Có một vấn đề đo lường thứ hai, ít được chú ý hơn. Thời gian của Argon trong bài công bố tháng Mười được nêu rõ là ước tính: Antigravity, harness Gemini, không đóng dấu thời gian cho các bước, nên AA đã nội suy thời gian của chúng theo token giữa các lệnh arm được tính thời gian. Carbon chạy trong cùng harness. Nếu con số 7 giờ được đo theo cùng cách, nó không thể so sánh trực tiếp với số phút do Codex và Claude Code tạo ra — và khoảng cách 34 phút so với Argon nằm hoàn toàn trong sai số mà phương pháp nội suy theo token có thể tạo ra trong một lần chạy 453 phút. Điều đó không làm cho khoảng thời gian trở nên vô nghĩa. Nó khiến "Carbon chậm hơn Argon 8%" trở thành một khẳng định mà dữ liệu không ủng hộ, dù "Carbon đã mất rất nhiều thời gian" là an toàn.

Những gì hồ sơ văn bản của Carbon sẽ dự đoán

Không có gì trong số này đáng ngạc nhiên so với hành vi đã công bố của Carbon, phần mà chúng ta có thể kiểm tra độc lập. Trên chỉ số v5 của Artificial Analysis, mô hình đạt 60 điểm, đứng thứ tư trong số 78, và hồ sơ của nó là của một mô hình suy luận cẩn trọng, dài dòng chứ không phải một mô hình nhanh: 28.4 phút mỗi tác vụ so với mức trung vị 13.0 phút, 72 token đầu ra mỗi giây, 64.71 giây để có token trả lời đầu tiên, và 205 triệu token đầu ra trên toàn chỉ số — được AA mô tả là "very verbose" so với mức trung vị 72.8 triệu. Nó cũng tốn $5.48 mỗi tác vụ chỉ số, xếp thứ 59 trong số 77 về hiệu quả chi phí.

Đọc những điều đó cùng nhau và kết quả phòng thí nghiệm đã thành hình trước khi điểm số đến. Một mô hình dành một phút trước token đầu tiên trên một lời nhắc văn bản, phát ra gần gấp ba lần khối lượng trung vị, và đã mất 28 phút mỗi tác vụ trên một benchmark tĩnh thì sẽ không nhanh trong một vòng lặp nơi mỗi bước đòi hỏi đọc bốn luồng camera rồi viết mã chuyển động. Con số 7 giờ cho thấy hồ sơ văn bản của Carbon sẽ ra sao khi được gắn vào một cánh tay robot. Liệu sự cân nhắc đó có tạo ra thao tác tốt hơn hay không chính là điều mà điểm số còn thiếu sẽ cho chúng ta biết, và bộ kẹp bị hỏng ít nhất là bằng chứng yếu cho thấy suy nghĩ nhiều hơn không chuyển thành hành động nhẹ nhàng hơn.

Một đợt chạy như thế này tốn bao nhiêu, và vì sao lịch lại quan trọng

Chi phí mỗi tác vụ là con số mà AA chưa công bố cho Carbon, và đoán nó sẽ vô ích vì mức chênh lệch hiện có là rất lớn: lượt chạy 242 phút của GPT-6 Astra tốn 16,36 đô-la mỗi tác vụ, còn GPT-6.1 Sol tốn 1,93 đô-la — khoảng cách 8,5 lần giữa hai mô hình từ cùng một nhà cung cấp khi làm cùng tám tác vụ. Tính trên tám tác vụ, đó là khoảng 131 đô-la so với 15 đô-la. Khoảng 70% chi phí thuộc về đầu vào và ngữ cảnh chứ không phải đầu ra, đó là hệ quả của bốn luồng camera và một bản ghi lời thoại ngày càng dài đối với hóa đơn token. Carbon nói dài dòng hơn cả hai mô hình kia khi xử lý văn bản, nên nếu có khác biệt thì con số mỗi tác vụ của nó nhiều khả năng sẽ ở mức cao — nhưng đó là dự đoán, không phải con số, và cách sử dụng trung thực duy nhất của nó là như một khoảng ngân sách chứ không phải báo giá.

Lịch là phần bạn có thể hành động. Carbon đang ở mức 2 USD mỗi triệu token đầu vào và 10 USD mỗi triệu token đầu ra cho đến ngày 30 tháng 11 năm 2026; vào ngày 1 tháng 12, chúng sẽ thành 4 USD và 20 USD mà mô hình không đổi. Đầu vào được lưu trong bộ nhớ đệm chuyển từ 0,10 USD sang 0,20 USD, batch và flex chạy bằng một nửa giá, priority gấp 1,8 lần mức tiêu chuẩn. Bất kỳ vòng lặp tác nhân dài nào kiểu AA vừa chạy chủ yếu là ngữ cảnh được lưu trong bộ nhớ đệm và các khung hình camera lặp lại, nghĩa là khối lượng công việc kiểu robot chính là dạng hưởng lợi nhiều nhất từ mức giá hiện tại và chịu thiệt hại nhiều nhất sau đó. Chạy lại thí nghiệm này vào tháng 12 tốn gấp đôi so với tuần này.

Cách đọc con số khi nó dừng lại

Khi AA cập nhật bảng, ba điều sẽ quyết định liệu Carbon là một bước tiến hay chỉ là một Argon khác.

• Điểm tổng hợp so với 55.3 — điểm của Argon. Một mô hình Gemini ngang bằng hoặc thấp hơn mô hình tiền nhiệm của chính nó, chỉ sau một bản phát hành, sẽ khiến câu chuyện robotics của dòng sản phẩm này trở thành câu chuyện về độ trễ của harness thay vì năng lực.

• Tỷ lệ gắp thành công so với dải 28–45%: Astra 45% (n=95), Fable 44% (n=89), Opus 40% (n=100), Argon 36% (n=75), Sol 28% (n=111). Đây là chỉ số sẽ ghi nhận một mô hình làm hỏng bộ gắp, vì một lệnh làm hỏng phần cứng và một lần gắp trượt vật thể đều xuất phát từ cùng một sự thiếu hụt phản hồi lực.

• Hồ sơ theo từng nhiệm vụ, lần lượt từng nhiệm vụ. Của Argon là 100, 100, 100, 40, 0, 45, 57, 0 ở các nhiệm vụ button, crocodile, pour, tidy, shapes, write, tower, measure. Nhiệm vụ đo chiếc hộp là nhiệm vụ không ai giải được: Astra 0, Argon 0, Fable 0, chỉ có Sol và Opus đạt 17. Dung sai 2 mm trên ba chiều là một nhiệm vụ đòi hỏi độ chính xác, và độ chính xác là nơi một mô hình quật mạnh cánh tay sẽ thể hiện tệ nhất.

Cũng có một câu hỏi chính đáng về việc benchmark thực sự đang chấm điểm điều gì. Carbon chạy bên trong Antigravity ở mức effort cao, giống như Argon. Một phiên 7,5 giờ là phép thử chung cho khả năng lập kế hoạch của model và khả năng của harness trong việc giữ một vòng lặp dài luôn mạch lạc — và dữ liệu tháng Mười đã cho thấy những artefact mang dáng dấp của harness, từ hành động đầu tiên kéo dài 25 phút của Argon đến mười phút nghiên cứu của Fable trước khi động vào bất cứ thứ gì. Dù sao thì kết quả của Carbon vẫn sẽ được trích dẫn như một con số của model. Nhưng ít nhất thì nó cũng một phần là con số của agent-loop.

Nếu bạn muốn tái tạo thí nghiệm thay vì chờ đợi

Điều hữu ích ở một bộ đánh giá công khai với một giàn thử công khai là điểm số không phải là cách duy nhất để học hỏi từ nó. Carbon hiện đã có thể gọi được — Google đã đưa gemini-4-carbon ra mắt rộng rãi trên Gemini API trả phí vào ngày 10 tháng 11 năm 2026, sau khi công bố nó cho một nhóm chuyên gia phòng thủ không gian mạng được giới hạn vào ngày 28 tháng 10 — và nó có mặt trên OrcaRouter với tên google/gemini-4-carbon ở mức giá giới thiệu $2/$10 của chính Google, trên cùng điểm cuối tương thích OpenAI như hơn 200 mô hình khác trên khóa. Bởi vì chúng tôi chuyển giá niêm yết của nhà cung cấp qua với 0% giá cộng thêm, việc điều chỉnh giá ngày 1 tháng 12 sẽ đến phía chúng tôi ngay ngày Google áp dụng, thay vì sau một chu kỳ bán lại.

Hai lưu ý thực tế trước khi ai đó đưa một mô hình mới vào phần cứng đắt tiền. Thứ nhất, endpoint trong tuần đầu không phải là endpoint production: số liệu tổng hợp của chính chúng tôi cho google/gemini-4-carbon hiện ghi nhận tỷ lệ lỗi 30,2% và thời gian tới token đầu tiên p50 là 6,89 giây trong bảy ngày qua, được đo trên tuyến nhà cung cấp mà chúng tôi định tuyến. Đó là mức bình thường với một mô hình mới phát hành rộng rãi được ba ngày, và cũng chính là lý do bạn không hard-code một endpoint vào vòng lặp chạy bảy giờ — tự động chuyển đổi dự phòng giữa các nhà cung cấp là thứ giúp một phiên tác nhân dài không chết ở giờ thứ tư. Thứ hai, DSL định tuyến cho phép bạn giữ một mô hình rẻ trong vòng lặp cho những bước không cần Carbon, điều này quan trọng ở phút 453: phần lớn phiên đó là đọc frame và lập kế hoạch lại, không phải quyết định điều gì khó.

Điều sẽ thay đổi cách diễn giải này không phải là một đoạn clip rõ hơn về cánh tay. Mà là việc AA công bố một điểm số có ghi nhận các lần thử đã bị hủy, cùng một tỷ lệ nắm bắt đặt bên cạnh năm mô hình kia. Cho đến lúc đó, bản tóm tắt chính xác vẫn hẹp: Gemini 4 Carbon là mô hình đầu tiên trong phòng thí nghiệm đó khiến phòng thí nghiệm tốn một món phần cứng, nó mất nhiều thời gian hơn bất cứ thứ gì phòng thí nghiệm đã đo được ngoại trừ chính mô hình tiền nhiệm của nó, và lần thử lại sau đó là một chi tiết mà con số cuối cùng sẽ phải mang theo. Bài đăng ngày 12 tháng 11 là một điểm dữ liệu thực sự về cách mô hình này hành xử khi được trao tay. Nó vẫn chưa phải là một kết quả về việc mô hình sử dụng tay giỏi đến đâu.