Gemini 4 Carbon이 로봇 팔을 망가뜨렸다: 점수가 나오기 전에 7시간 33분간의 실험실 실행이 말해주는 것

아직 점수는 없다. Gemini 4 Carbon의 로봇공학 결과에 관해 가장 먼저 이해해야 할 점이 바로 이것이며, 이 글의 나머지 거의 모든 내용은 여기서 따라 나온다. 2026년 11월 13일 기준으로 존재하는 것은 11월 12일 Artificial Analysis가 올린 단일 게시물뿐이다. 이 게시물은 Gemini 4 Carbon이 AA-Robotics v0.1 랩 안에서 7시간 33분을 보냈고, "팔을 너무 마구 휘둘러서 그리퍼가 부러졌다"고 밝히면서, 해당 시도에서 랩이 재시도를 허용했다는 부연을 덧붙였다. 10월 14일 공개된 5개 모델 리더보드는 그때 나열했던 것과 동일한 다섯 행을 여전히 나열하고 있다 — GPT-6 Astra 69.4, GPT-6.1 Sol 64.6, Gemini 4 Argon 55.3, Claude Opus 5.5 48.8, Claude Fable 5.1 46.3 — 그리고 Carbon은 그 안에 없다. 집계도, 작업별 세부 분해도, 파지율도, 청구서도 없다.

그러니 이것은 결과가 아니라 초기 신호로 봐야 합니다. 지속 시간, 하드웨어 장애, 한 번의 재시도—벤치마크를 보유한 연구소가 자체 표를 아직 갱신하기 전에 공개한 것입니다. 아래에서 이 세 가지 사실을 넘어서는 모든 내용은 추론이며, 그렇게 표시해 두었습니다. 지금도 읽을 가치가 있는 이유는 Carbon의 전임 모델인 Gemini 4 Argon이 그 연구소에서 압도적으로 가장 느린 모델이고, 7시간 33분이 Argon의 수치와 거의 정확히 겹친다는 점입니다. 덕분에 점수 없이도 지속 시간을 읽어낼 수 있습니다.

공개된 유일한 숫자는 시계입니다.

Artificial Analysis는 AA-Robotics가 "언어 모델이 로봇 팔을 제어함으로써 물리적 세계를 얼마나 잘 이해하고 계획하고 행동하는지"를 측정한다고 설명한다. 이 장비는 5개 관절과 그리퍼가 달린 6축 Hiwonder NexArm으로, 테이블 위 3대와 손목 위 1대 등 네 대의 카메라가 관찰하며, 여덟 가지 탁상 작업을 수행한다: 빨간 버튼 누르기, 악어 장난감을 직사각형 안에 넣기, 음료를 컵에 따르기, 블록을 뚜껑까지 포함해 상자에 정리하기, 모양 맞추기 보드 완성하기, "hello world" 쓰기, 가장 높은 폼 타워 쌓기, 상자의 각 치수를 2mm 이내 오차로 측정하기. 시도는 제로샷으로 진행되며, 각 시도는 부분 점수가 부여되는 0~100점 척도로 채점된다. 모델은 자체 코딩 하네스를 통해 높은 추론 강도로 투입되며 — GPT 모델에는 Codex, Claude에는 Claude Code, Gemini에는 Antigravity — 동작을 계획하고 실행하는 Python 코드를 스스로 작성해야 한다.

그에 반해 Carbon 데이터 포인트는 의도적으로 빈약하다. 7시간 33분은 453분이다. 그 시간이 여덟 개 작업 모두를 포괄하는지, 재시도된 시도를 포함하는지, 실행 비용이 얼마였는지는 명시되지 않았다. 이것을 성능 수치로 인용하는 사람은 스톱워치를 점수판으로 읽고 있는 것이다.

분명하게 말해 주는 것은 Carbon이 실험실 테스트를 거쳤고 장비가 온전한 상태로 살아남지 못했다는 점이다. 그 벤치마크의 자체 발표 자료에는 수십 가지 실패 유형이 기록되어 있다. 빈 그립, 떨어진 병, 탁자 밖으로 밀려난 블록, 페이지 자체에서 시험된 펜 같은 것들인데, 그중 하나도 부러진 그리퍼는 아니다. 하드웨어 파괴는 10월 보고서가 설명할 필요조차 없었던 범주이다. 그 안의 다섯 모델 중 어느 것도 그런 사례를 만들어 내지 않았기 때문이다.

아르곤을 기준으로 측정한 7시간 33분

여기서는 비교가 유난히 깔끔하기 때문에 기준선이 평소보다 더 중요하다. Artificial Analysis는 10월 모델 다섯 개 각각의 수명 시간을 발표했다: GPT-6 Astra 242분, GPT-6.1 Sol 224분, Claude Opus 5.5 253분, Claude Fable 5.1 249분, Gemini 4 Argon 419분. Carbon의 453분은 Argon보다 34분 높아 약 8% 더 길고, 224~253분대에 몰려 있는 Gemini가 아닌 네 모델보다는 대략 200분 더 길다.

• 세션에서 8개 과제를 모두 수행한 경우 과제당 소요 시간 — Carbon은 과제당 약 56.6분인 반면 Argon은 52.4분, Astra는 30.3분, Sol은 28분이었습니다.

• 인간과 비교했을 때 — AA에서는 사람이 작업당 약 20초가 걸리므로, 8개 작업에 걸친 453분은 같은 탁상 작업을 하는 사람보다 약 170배 더 느립니다.

• 계획에 쓰는 클럭 비중 — Argon의 분배는 이해 42%, 계획 45%, 카메라 6%, 팔 6%였습니다. Astra와 Sol은 이를 뒤집어, 실행 시간의 13%를 실제 팔 동작에 쓰고 대부분을 계획에 썼습니다.

그 마지막 문장이 바로 부서진 그리퍼가 우스운 게 아니라 흥미로워지는 지점이다. 10월 데이터에서 가장 높은 점수를 받은 두 모델(Astra 69.4, Sol 64.6)은 가장 적은 시간을 장면을 이해하는 데 쓰고, 가장 많은 시간을 계획에 썼다. 가장 느리고 세 번째로 우수한 Argon은 실행 시간의 42%를 그저 바라보는 데 보냈다. 더 오래 숙고한 뒤 하드웨어를 손상시키는 모델은 10월의 실수 벽이 묘사한 것과 같은 실패를 보이는 것이 아니다. 그 벽은 상태를 잘못 판단한 모델들로 가득하다 — "뚜껑이 쐐기 위에 놓여 있는데도 수평이고 정렬되었다고 보고한다", "기울어진 노란 육각형을 배치된 것으로 센다." 이것들은 지각 및 자기 평가 오류다. 그리퍼가 부러질 때까지 팔을 내리치는 것은 명령 권한 오류다: 모델이 하드웨어에 감당할 수 없는 것을 요청한 것이다. Carbon이 충돌 한계로 돌진했기 때문에, 파지를 과도한 토크로 조였기 때문에, 아니면 이미 실패했다고 들은 동작을 그저 반복했기 때문에 그렇게 했는지는 AA가 말하지 않았고, 게시물에 첨부된 11초 클립으로도 결론이 나지 않는다.

재시도는 각주가 아니라 방법론적 질문이다.

“그건 한 번 다시 시도하게 해줬다”는 이 글에서 가장 중대한 반 문장이며, 고장 난 그리퍼보다 더 면밀히 따져볼 가치가 있다. AA-Robotics는 제로샷 시도에 기반해 있다 — 10월 발표가 이를 명시적으로 말하며, 제로샷 물리 벤치마크의 요점은 모델이 사람처럼 단 한 번의 기회를 얻는다는 것이다. 장비 고장 후 재시도를 허용하는 것은 정당화될 수 있다: 부러진 그리퍼는 연구실의 문제이지 모델의 계획 능력을 측정하는 지표가 아니며, 파괴된 시도를 0점으로 채점하는 것은 장비의 취약성을 벌하는 셈이 될 것이다.

하지만 그것은 최종 점수가 답해야 할 비교 가능성 문제를 만들어냅니다. 정확히 한 번의 시도만 무효 처리되어 다시 실행되었다면, 집계 결과는 나머지 다섯 번과 비교 가능하며 재시도는 각주에 불과합니다. 재시도가 두 번 이상 허용되었거나, Carbon이 이미 모델 측 이유로 실패했던 과제에서만 허용되었다면, 리더보드에 올라가는 숫자는 다른 다섯 숫자가 의미하는 바를 의미하지 않게 됩니다. 표가 업데이트될 때 정직하게 찾아봐야 할 것은 몇 번의 시도가 무효 처리되었는지, 어느 과제에서, 어떤 기준으로였는지를 밝히는 문구입니다 — 10월 게시물이 Astra의 n=95에 대비해 Argon의 grasp 샘플이 n=75였음을 기록한 것과 똑같은 방식으로요.

두 번째이자 더 미묘한 측정 문제가 있다. 10월 발표에서 Argon의 타이밍은 명시적으로 추정치다. Gemini 하네스인 Antigravity는 단계별 타임스탬프를 기록하지 않으므로, AA는 시간이 측정된 arm 명령들 사이에서 토큰을 기준으로 이를 보간했다. Carbon은 같은 하네스에서 실행된다. 7시간이라는 수치가 같은 방식으로 측정되었다면, 이는 Codex와 Claude Code가 생성한 분 단위 수치와 직접 비교할 수 없다. 그리고 Argon 대비 34분 차이는 453분 실행에서 토큰 보간 방식이 초래할 수 있는 오차 범위 안에 충분히 들어온다. 그렇다고 그 소요 시간이 무의미해지는 것은 아니다. 다만 이는 "Carbon이 Argon보다 8% 느리다"라는 주장을 데이터가 뒷받침하지 못하게 만들 뿐이며, "Carbon은 아주 오래 걸렸다"라는 말은 여전히 안전하다.

Carbon의 텍스트 프로필이 예측할 수 있는 것

이 중 어느 것도 우리가 독립적으로 확인할 수 있는 부분인 Carbon이 공개한 동작에 비추어 놀라운 일이 아니다. Artificial Analysis의 v5 지수에서 이 모델은 60점으로 78개 중 4위이며, 그 프로필은 빠른 추론기보다는 신중하고 장황한 추론기의 프로필이다. 작업당 28.4분(중앙값 13.0분), 초당 출력 토큰 72개, 첫 답변 토큰까지 64.71초, 지수 전체에서 2억 500만 출력 토큰이며, AA는 이를 7,280만 중앙값과 대비해 "매우 장황하다"고 묘사했다. 또한 지수 작업당 $5.48의 비용이 들며, 비용 효율성에서 77개 중 59위다.

이것들을 함께 읽어 보면, 점수가 나오기 전에 실험실 결과는 이미 어떤 형태를 띠고 있다. 텍스트 프롬프트에서 첫 토큰을 내기까지 1분을 쓰고, 중앙값의 거의 세 배에 달하는 분량을 내보내며, 정적 벤치마크에서 이미 과제당 28분이 걸린 모델은, 매 단계마다 네 개의 카메라 피드를 읽은 뒤 모션 코드를 작성해야 하는 루프에서 빠르지 않을 것이다. 7시간이라는 수치는 Carbon의 텍스트 프로필이 로봇 팔에 붙었을 때 어떤 모습인지를 보여준다. 그 숙고가 더 나은 조작을 만들어냈는지는 바로 빠진 점수가 알려줄 내용이며, 부서진 그리퍼는 적어도 더 많은 사고가 더 부드러운 행동으로 이어지지 않았다는 약한 증거다.

이런 러닝에 드는 비용, 그리고 캘린더가 중요한 이유

작업당 비용은 AA가 Carbon에 대해 공개하지 않은 수치이며, 이를 추측하는 것은 무의미합니다. 기존 격차가 엄청나기 때문입니다. GPT-6 Astra의 242분 실행은 작업당 $16.36, GPT-6.1 Sol은 $1.93으로, 같은 공급업체의 두 모델이 동일한 여덟 가지 작업을 수행하는데도 8.5배 차이가 납니다. 여덟 가지 작업 기준으로는 약 $131 대 $15입니다. 지출의 약 70%는 출력이 아니라 입력과 컨텍스트에 들어갔는데, 이는 네 개의 카메라 피드와 계속 늘어나는 트랜스크립트가 토큰 청구서에 미치는 영향입니다. Carbon은 텍스트에서 둘 중 어느 모델보다도 장황하므로, 작업당 수치는 오히려 높게 나올 가능성이 큽니다. 그러나 그것은 예측일 뿐 수치가 아니며, 이를 정직하게 활용하는 방법은 견적이 아니라 예산 범위로 삼는 것뿐입니다.

당신이 실제로 움직일 수 있는 부분은 일정입니다. Carbon은 2026년 11월 30일까지 입력 100만 토큰당 $2, 출력 100만 토큰당 $10입니다. 12월 1일에는 모델은 그대로인 채 각각 $4와 $20이 됩니다. 캐시된 입력은 $0.10에서 $0.20으로 오르고, batch와 flex는 절반 요율, priority는 표준의 1.8배로 운영됩니다. AA가 방금 실행한 것과 같은 긴 에이전트 루프는 대부분 캐시된 컨텍스트와 반복되는 카메라 프레임으로 구성되므로, 로보틱스 스타일 워크로드는 현재 요율에서 가장 큰 이익을 보고 그 이후에는 가장 큰 타격을 받는 바로 그 형태입니다. 12월에 이 실험을 다시 실행하면 이번 주 비용의 두 배가 듭니다.

숫자가 나왔을 때 그 숫자를 읽는 방법

AA가 테이블을 업데이트할 때, Carbon이 한 걸음 더 나아간 것인지 또 다른 Argon인지는 세 가지가 결정한다.

• 55.3, 즉 Argon의 점수와 비교한 종합 점수. 한 릴리스 뒤에 나온 Gemini 모델이 자신의 전임 모델과 같거나 그보다 낮다면, 이 제품군의 로보틱스 이야기는 역량이 아니라 하네스 지연 시간에 관한 이야기가 될 것이다.

• 28~45% 구간 대비 파지 성공률: Astra 45%(n=95), Fable 44%(n=89), Opus 40%(n=100), Argon 36%(n=75), Sol 28%(n=111). 이는 그리퍼를 부수는 모델을 포착할 수 있는 지표입니다. 하드웨어를 손상시키는 명령과 물체를 놓치는 파지가 모두 힘 피드백의 부재라는 같은 원인에서 비롯되기 때문입니다.

• 과제별 프로필, 과제 하나하나씩. Argon의 기록은 버튼, 악어, 붓기, 정리, 도형, 쓰기, 탑, 측정에서 100, 100, 100, 40, 0, 45, 57, 0이었다. 상자 측정 과제는 아무도 풀지 못하는 과제다: Astra 0, Argon 0, Fable 0, 오직 Sol과 Opus만 17이다. 세 차원에 걸친 2 mm 허용 오차는 정밀 과제이며, 정밀도는 팔을 세게 내리치는 모델이 가장 나쁘게 드러나야 하는 지점이다.

{{1}}벤치마크가 실제로 무엇을 채점하는지에 대한 타당한 의문도 있다. Carbon은 Argon이 그랬던 것처럼 Antigravity 안에서 높은 노력 수준으로 실행되었다. 7.5시간 세션은 모델의 계획 수립 능력과 긴 루프를 일관되게 유지하는 하네스의 능력을 함께 시험하는 것이다. 그리고 10월 데이터는 이미 하네스 형태의 아티팩트를 보여주었다. Argon의 25분짜리 첫 행동부터 Fable이 아무것도 건드리기 전 10분 동안 검토한 것까지 말이다. Carbon의 결과는 어쨌든 모델 수치로 인용될 것이다. 그것은 적어도 부분적으로는 에이전트 루프 수치다.{{/1}}

기다리는 대신 실험을 재현하려면

공개 벤치마크에 공개 평가 환경(rig)을 갖추면 좋은 점은 점수만이 그로부터 배울 수 있는 유일한 방법은 아니라는 것입니다. Carbon은 이제 호출 가능합니다 — Google은 gemini-4-carbon을 2026년 11월 10일 유료 Gemini API에서 일반 제공했으며, 10월 28일에는 제한된 사이버 방어자 그룹에 먼저 공개했습니다 — 그리고 OrcaRouter에서는 google/gemini-4-carbon으로 Google 자체의 도입 요금 $2/$10에, 키에 연결된 다른 200개 이상의 모델과 동일한 OpenAI 호환 엔드포인트에서 이용할 수 있습니다. 저희는 제공업체 정가를 0% 마크업으로 그대로 전달하기 때문에, 12월 1일의 가격 재조정은 재판매 주기를 거친 뒤가 아니라 Google이 적용하는 당일 우리 쪽에도 적용됩니다.

누군가 새 모델을 값비싼 하드웨어에 투입하기 전에 실무적인 참고 사항이 두 가지 있습니다. 첫째, 출시 첫 주의 엔드포인트는 프로덕션 엔드포인트가 아닙니다. 우리 자체 집계 수치로는 google/gemini-4-carbon의 경우, 지난 7일 동안 30.2%의 오류율과 6.89초의 p50 첫 토큰 도달 시간을 기록하고 있으며, 이는 우리가 라우팅하는 공급자 경로 전반에서 측정한 값입니다. 이는 일반 제공(GA)을 시작한 지 3일 된 모델로서는 정상이며, 7시간 동안 실행되는 루프에 엔드포인트 하나를 하드코딩해서는 안 되는 바로 그 이유이기도 합니다. 공급자 간 자동 페일오버가 긴 에이전트 세션이 4시간째에 죽지 않게 해줍니다. 둘째, 라우팅 DSL을 사용하면 Carbon이 필요 없는 단계에는 저렴한 모델을 루프에 유지할 수 있으며, 이는 453분이라는 점에서 중요합니다. 해당 세션의 대부분은 프레임을 읽고 다시 계획하는 데 쓰였지, 어려운 결정을 내리는 데 쓰이지 않았습니다.

이 해석을 바꿀 것은 팔의 더 나은 영상 클립이 아니다. 그것은 AA가 무효 처리된 시도들이 문서화된 점수를 공개하고, 다른 다섯 모델 옆에 grasp rate를 함께 제시하는 것이다. 그때까지 정확한 요약은 좁다: Gemini 4 Carbon은 해당 연구소에서 연구소가 하드웨어 하나를 잃게 만든 첫 모델이고, 자체 전임 모델을 제외하면 연구소가 측정한 그 어떤 것보다 오래 걸렸으며, 뒤따른 재시도는 최종 수치가 반드시 담아야 할 세부 사항이다. 11월 12일 게시물은 이 모델이 손을 부여받았을 때 어떻게 행동하는지에 대한 실제 데이터포인트다. 그것은 아직 이 모델이 손을 얼마나 잘 사용하는지에 대한 결과는 아니다.