Gemini 4 Carbon Merusak Lengan Robot: Apa yang Dikatakan Sesi Lab 7 Jam 33 Menit Sebelum Skor Itu Ada

Belum ada skor. Itulah hal pertama yang perlu dipahami tentang hasil robotika Gemini 4 Carbon, dan hampir semua hal lain dalam tulisan ini berpangkal dari sana. Yang ada, per 13 November 2026, adalah satu unggahan dari Artificial Analysis pada 12 November yang menyatakan bahwa Gemini 4 Carbon menghabiskan 7 jam 33 menit di dalam lab AA-Robotics v0.1, "membentur-benturkan lengan begitu keras hingga merusak sebuah gripper," dengan catatan tambahan bahwa lab memberinya percobaan ulang pada upaya tersebut. Papan peringkat lima model yang diterbitkan pada 14 Oktober masih mencantumkan lima baris yang sama seperti saat itu — GPT-6 Astra 69.4, GPT-6.1 Sol 64.6, Gemini 4 Argon 55.3, Claude Opus 5.5 48.8, Claude Fable 5.1 46.3 — dan Carbon tidak termasuk di dalamnya. Tidak ada agregat, tidak ada rincian per tugas, tidak ada tingkat keberhasilan menggenggam, tidak ada tagihan.

Jadi anggap ini sebagai sinyal awal, bukan hasil: sebuah durasi, kegagalan perangkat keras, dan satu percobaan ulang, dari laboratorium yang memiliki benchmark tersebut, yang diterbitkan sebelum tabelnya sendiri diperbarui. Semua yang di bawah ini yang melampaui ketiga fakta tersebut adalah inferensi, dan dilabeli sebagai demikian. Alasan ini masih layak dibaca sekarang adalah bahwa pendahulu Carbon, Gemini 4 Argon, adalah model paling lambat di laboratorium itu dengan selisih yang jauh, dan 7 jam 33 menit hampir persis sama dengan angka Argon — yang membuat durasi itu dapat ditafsirkan bahkan tanpa skor.

Satu-satunya nomor publik adalah jam.

Artificial Analysis mendeskripsikan AA-Robotics sebagai pengukuran "seberapa baik model bahasa memahami, merencanakan, dan bertindak di dunia fisik dengan mengendalikan lengan robot." Rig tersebut adalah Hiwonder NexArm 6-sumbu dengan lima sendi dan gripper, diawasi oleh empat kamera — tiga di meja, satu di pergelangan — dalam delapan tugas di atas meja: menekan tombol merah, memasukkan mainan buaya ke dalam persegi panjang, menuangkan minuman ke cangkir, merapikan balok ke dalam kotak termasuk tutupnya, menyelesaikan papan pencocokan bentuk, menulis "hello world," membangun menara busa tertinggi, dan mengukur kotak dengan toleransi 2 mm per dimensi. Percobaan dilakukan secara zero-shot, masing-masing dinilai 0 hingga 100 dengan kredit parsial. Model dimasukkan melalui harness coding mereka sendiri pada upaya tinggi — Codex untuk model GPT, Claude Code untuk Claude, Antigravity untuk Gemini — dan harus menulis Python yang merencanakan dan mengeksekusi gerakan itu sendiri.

Sebaliknya, titik data Carbon sengaja dibuat minim. Tujuh jam tiga puluh tiga menit adalah 453 menit. Tidak disebutkan apakah itu mencakup kedelapan tugas, apakah itu termasuk percobaan yang diulang, atau berapa biaya eksekusinya. Siapa pun yang mengutipnya sebagai angka kinerja sedang membaca stopwatch sebagai papan skor.

Yang dinyatakan secara tidak ambigu adalah bahwa Carbon telah diuji di lab dan peralatannya tidak selamat secara utuh. Publikasi benchmark itu sendiri mendokumentasikan puluhan mode kegagalan — genggaman kosong, botol terjatuh, balok tersenggol dari meja, pulpen yang diuji pada halaman itu sendiri — dan tidak satu pun dari itu adalah gripper yang rusak. Perusakan perangkat keras adalah kategori yang tidak pernah harus dijelaskan oleh tulisan Oktober itu, karena tidak ada satu pun dari lima model di dalamnya yang menghasilkannya.

Tujuh jam tiga puluh tiga, diukur terhadap Argon

Baseline lebih penting daripada biasanya di sini, karena perbandingannya luar biasa bersih. Artificial Analysis menerbitkan waktu berjalan seumur hidup untuk masing-masing dari lima model Oktober: GPT-6 Astra 242 menit, GPT-6.1 Sol 224, Claude Opus 5.5 253, Claude Fable 5.1 249, dan Gemini 4 Argon 419. 453 menit milik Carbon berada 34 menit di atas Argon — sekitar 8% lebih lama — dan sekitar 200 menit di atas empat model non-Gemini, yang berkelompok dalam rentang 224 hingga 253 menit.

• Kecepatan per tugas, jika sesi mencakup kedelapan tugas — Carbon sekitar 56,6 menit per tugas dibandingkan Argon 52,4, Astra 30,3, dan Sol 28.

• Dibandingkan dengan manusia — AA menempatkan orang pada sekitar 20 detik per tugas, jadi 453 menit untuk delapan tugas sekitar 170 kali lebih lambat daripada seseorang yang mengerjakan pekerjaan tabletop yang sama.

• Porsi waktu yang dihabiskan untuk perencanaan — pembagian Argon adalah 42% pemahaman, 45% perencanaan, 6% kamera, 6% lengan. Astra dan Sol membalikkannya, dengan menghabiskan 13% dari durasi untuk gerakan lengan sebenarnya dan mayoritas untuk perencanaan.

Baris terakhir itulah yang membuat gripper yang rusak menjadi menarik alih-alih lucu. Dalam data Oktober, dua model dengan skor tertinggi (Astra di 69,4 dan Sol di 64,6) menghabiskan waktu paling sedikit untuk memahami adegan dan paling banyak waktu untuk merencanakan; Argon, yang paling lambat dan berada di peringkat ketiga, menghabiskan 42% durasinya hanya untuk mengamati. Model yang berpikir lebih lama lalu merusak perangkat keras tidak menunjukkan kegagalan yang sama seperti yang digambarkan dinding kesalahan Oktober. Dinding itu penuh dengan model yang salah menilai keadaan — "melaporkan tutup dalam posisi rata dan sejajar padahal ia bersandar pada baji," "menghitung segi enam kuning yang miring sebagai sudah ditempatkan." Itu adalah kesalahan persepsi dan penilaian diri. Menghantam lengan sampai gripper rusak adalah kesalahan otoritas perintah: model meminta sesuatu kepada perangkat keras yang tidak dapat ditanggungnya. Apakah Carbon melakukannya dengan menabrak batas tumbukan, memberikan torsi berlebih pada genggaman, atau sekadar mengulangi gerakan yang sudah diberitahukan gagal, AA belum mengatakan, dan klip 11 detik yang dilampirkan pada pos itu tidak menyelesaikannya.

Percobaan ulang adalah pertanyaan metodologis, bukan catatan kaki.

“Kami memberinya percobaan ulang untuk yang itu” adalah setengah kalimat paling berdampak dalam tulisan itu, dan itu layak mendapat pengamatan lebih cermat daripada gripper yang rusak. AA-Robotics dibangun di atas upaya zero-shot — publikasi Oktober menyatakannya secara eksplisit, dan inti dari tolok ukur fisik zero-shot adalah bahwa model mendapat satu kesempatan, seperti yang akan dilakukan seseorang. Memberikan kesempatan ulang setelah kegagalan peralatan dapat dipertahankan: gripper yang patah adalah masalah laboratorium, bukan ukuran perencanaan model, dan menilai upaya yang hancur sebagai nol akan menghukum kerapuhan rig tersebut.

Tetapi hal ini menimbulkan masalah komparabilitas yang pada akhirnya harus dijawab oleh skor tersebut. Jika tepat satu percobaan dibatalkan dan dijalankan ulang, agregatnya sebanding dengan lima lainnya dan percobaan ulang itu hanyalah catatan kaki. Jika percobaan ulang diberikan lebih dari sekali, atau hanya pada tugas-tugas di mana Carbon sudah gagal karena alasan di sisi model, angka yang muncul di papan peringkat tidak akan berarti sama seperti lima angka lainnya. Hal jujur yang perlu dicari saat tabel diperbarui adalah baris yang menyatakan berapa banyak percobaan dibatalkan, pada tugas mana, dan berdasarkan kriteria apa — sama seperti cara postingan Oktober mendokumentasikan bahwa sampel grasp Argon adalah n=75 dibandingkan dengan n=95 milik Astra.

Ada masalah pengukuran kedua yang lebih tidak mencolok. Waktu Argon dalam publikasi Oktober secara eksplisit merupakan estimasi: Antigravity, harness Gemini, tidak memberikan stempel waktu pada langkah-langkah, sehingga AA menginterpolasikannya berdasarkan token di antara perintah arm yang waktunya diukur. Carbon berjalan di harness yang sama. Jika angka 7 jam diukur dengan cara yang sama, angka itu tidak dapat dibandingkan secara langsung dengan jumlah menit yang dihasilkan oleh Codex dan Claude Code — dan selisih 34 menit terhadap Argon jauh berada di dalam galat yang dapat ditimbulkan oleh metode interpolasi token selama proses berdurasi 453 menit. Itu tidak membuat durasinya tidak bermakna. Itu membuat "Carbon 8% lebih lambat daripada Argon" menjadi klaim yang tidak didukung data, meskipun "Carbon memakan waktu sangat lama" aman.

Apa yang diprediksi oleh profil teks Carbon

Tidak ada yang mengejutkan dari semua ini jika dibandingkan dengan perilaku Carbon yang dipublikasikan, yakni bagian yang dapat kami periksa secara independen. Pada indeks v5 Artificial Analysis, model ini memperoleh skor 60, peringkat keempat dari 78, dan profilnya adalah profil penalar yang teliti dan bertele-tele, bukan penalar yang cepat: 28,4 menit per tugas dibandingkan median 13,0 menit, 72 token keluaran per detik, 64,71 detik hingga token jawaban pertama, dan 205 juta token keluaran di seluruh indeks — yang oleh AA disebut "sangat bertele-tele" dibandingkan median 72,8 juta. Model ini juga membutuhkan biaya $5,48 per tugas indeks, berada di peringkat ke-59 dari 77 dalam efisiensi biaya.

Baca semuanya bersama-sama dan hasil lab itu sudah punya bentuk sebelum skornya tiba. Model yang menghabiskan satu menit sebelum token pertamanya pada prompt teks, mengeluarkan hampir tiga kali volume median, dan sudah memakan waktu 28 menit per tugas pada benchmark statis tidak akan cepat dalam loop di mana setiap langkah mengharuskan membaca empat feed kamera lalu menulis kode gerak. Angka 7 jam itu adalah seperti apa profil teks Carbon ketika ditempelkan ke lengan robot. Apakah penalaran itu menghasilkan manipulasi yang lebih baik adalah persis apa yang akan diberitahukan oleh skor yang hilang, dan gripper yang rusak setidaknya merupakan bukti lemah bahwa lebih banyak berpikir tidak berarti bertindak lebih lembut.

Berapa biaya untuk menjalankan hal seperti ini, dan mengapa kalender itu penting

Biaya per tugas adalah angka yang belum diterbitkan AA untuk Carbon, dan menebaknya akan sia-sia karena rentang yang ada sangat besar: proses 242 menit GPT-6 Astra menelan biaya $16,36 per tugas, sedangkan GPT-6.1 Sol $1,93 — selisih 8,5x antara dua model dari vendor yang sama yang mengerjakan delapan tugas yang sama. Untuk delapan tugas, itu kira-kira $131 dibandingkan $15. Sekitar 70% pengeluaran digunakan untuk input dan konteks, bukan output, itulah dampak dari empat feed kamera dan transkrip yang terus bertambah terhadap tagihan token. Carbon lebih bertele-tele daripada keduanya dalam hal teks, jadi kalau ada, angka per tugasnya seharusnya tinggi — tetapi itu prediksi, bukan angka, dan satu-satunya penggunaan jujur untuk itu adalah sebagai kisaran penganggaran, bukan kutipan.

Kalender adalah bagian yang bisa Anda tindak lanjuti. Carbon berada pada $2 per juta token input dan $10 per juta token output hingga 30 November 2026; pada 1 Desember angkanya menjadi $4 dan $20 dengan model yang tidak berubah. Input yang di-cache naik dari $0,10 menjadi $0,20, batch dan flex berjalan dengan tarif setengah, prioritas 1,8 kali standar. Loop agentik panjang seperti yang baru saja dijalankan AA sebagian besar adalah konteks yang di-cache dan frame kamera yang berulang, yang berarti beban kerja bergaya robotika justru merupakan bentuk yang paling diuntungkan oleh tarif saat ini dan paling dirugikan setelahnya. Menjalankan ulang eksperimen ini pada Desember biayanya dua kali lipat dibandingkan minggu ini.

Cara membaca angka saat bola mendarat

Ketika AA memperbarui tabel, tiga hal menentukan apakah Carbon merupakan langkah maju atau Argon lain.

• Agregatnya terhadap 55,3 — skor Argon. Model Gemini yang, satu rilis kemudian, setara atau lebih rendah dari pendahulunya sendiri akan membuat kisah robotika keluarga ini menjadi kisah tentang latensi harness, bukan kapabilitas.

• Keberhasilan genggaman terhadap rentang 28 hingga 45%: Astra 45% (n=95), Fable 44% (n=89), Opus 40% (n=100), Argon 36% (n=75), Sol 28% (n=111). Inilah metrik yang akan mencatat model yang merusak gripper, karena perintah yang merusak perangkat keras dan genggaman yang meleset dari objek berasal dari ketiadaan umpan balik gaya yang sama.

• Profil per tugas, tugas demi tugas. Milik Argon adalah 100, 100, 100, 40, 0, 45, 57, 0 pada tombol, buaya, menuang, merapikan, bentuk, menulis, menara, mengukur. Tugas mengukur kotak adalah tugas yang tidak dipecahkan siapa pun: Astra 0, Argon 0, Fable 0, dengan hanya Sol dan Opus pada 17. Toleransi 2 mm di tiga dimensi adalah tugas presisi, dan presisi adalah area di mana model yang menghantam lengan seharusnya tampil paling buruk.

Ada juga pertanyaan wajar tentang apa yang sebenarnya dinilai oleh benchmark. Carbon berjalan di dalam Antigravity dengan upaya tinggi, seperti halnya Argon. Sesi 7,5 jam merupakan uji bersama atas perencanaan model dan kemampuan harness untuk menjaga loop panjang tetap koheren — dan data Oktober sudah menunjukkan artefak yang terbentuk oleh harness, mulai dari aksi pertama Argon selama 25 menit hingga sepuluh menit Fable mempelajari sesuatu sebelum menyentuh apa pun. Hasil Carbon akan dikutip sebagai angka model, apa pun itu. Setidaknya sebagian itu adalah angka loop agen.

Jika Anda ingin mereproduksi eksperimen tersebut alih-alih menunggu

Hal yang berguna tentang benchmark publik dengan rig publik adalah skor bukanlah satu-satunya cara untuk belajar darinya. Carbon kini dapat dipanggil — Google menjadikan gemini-4-carbontersedia secara umum di Gemini API berbayar pada 10 November 2026, setelah mengumumkannya kepada kohort pertahanan siber terbatas pada 28 Oktober — dan model ini ada di OrcaRouter sebagai google/gemini-4-carbondengan tarif pengenalan $2/$10 milik Google sendiri, pada endpoint yang kompatibel dengan OpenAI yang sama dengan lebih dari 200 modellainnya di kunci tersebut. Karena kami meneruskan harga daftar penyedia dengan margin 0%, penetapan harga ulang 1 Desember berlaku di sisi kami pada hari Google menerapkannya, bukan setelah siklus penjualan kembali.

Dua catatan praktis sebelum ada yang mengarahkan model baru ke perangkat keras mahal. Pertama, endpoint minggu pertama bukanlah endpoint produksi: angka agregat kami sendiri untuk google/gemini-4-carbon saat ini menunjukkan tingkat error 30,2% dan waktu p50 hingga token pertama 6,89 detik selama tujuh hari terakhir, diukur di sepanjang jalur penyedia yang kami rutekan. Itu normal untuk model yang baru tiga hari tersedia secara umum dan juga persis alasan Anda tidak melakukan hard-code satu endpoint ke dalam loop yang berjalan selama tujuh jam — failover otomatis antar penyedia adalah yang menjaga sesi agen panjang agar tidak mati pada jam keempat. Kedua, DSL perutean memungkinkan Anda mempertahankan model murah dalam loop untuk langkah-langkah yang tidak memerlukan Carbon, yang penting pada 453 menit: sebagian besar sesi itu digunakan untuk membaca frame dan merencanakan ulang, bukan memutuskan hal-hal sulit.

Yang akan mengubah pembacaan ini bukanlah klip lengan yang lebih baik. Melainkan AA yang menerbitkan skor dengan percobaan yang dibatalkan didokumentasikan, dan tingkat keberhasilan menggenggam di samping lima lainnya. Sampai saat itu, ringkasan yang akurat masih sempit: Gemini 4 Carbon adalah model pertama di lab itu yang menyebabkan lab kehilangan satu perangkat keras, model ini membutuhkan waktu lebih lama daripada apa pun yang pernah diukur lab kecuali pendahulunya sendiri, dan percobaan ulang setelahnya adalah detail yang harus dibawa oleh angka akhir nanti. Pos 12 November adalah datapoint nyata tentang bagaimana model ini berperilaku ketika diberi tangan. Itu belum menjadi hasil tentang seberapa baik model ini menggunakannya.