Gemini 4 Carbon 벤치마크: AA v5.0.1에서 60점은 실제로 무엇을 측정하는가

벤치마크 점수는 하네스가 무엇을 요청했는지, 모델이 얼마나 오래 생각하도록 허용되었는지, 그리고 그 숫자를 산출한 테스트의 버전이 무엇인지 알 때에만 유용합니다. Gemini 4 Carbon의 경우 답은 다음과 같습니다: 아홉 개의 에이전트형 및 과학적 평가, 모델이 원하는 만큼의 사고 시간, 그리고 Intelligence Index v5.0.1 — 현재 버전이며, 이것이 60을 인용할 수 있는 이유이고, 그 옆에서 찾을 수 있는 대부분의 숫자는 그렇지 않습니다.Gemini 4 Carbon API 페이지에는 가격과 엔드포인트가 나와 있습니다. 이 글은 점수에 관한 것입니다.

실제로 실행된 내용

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. 그 목록에서 일반화하기 전에 그 목록을 읽어 보세요. 아홉 개 중 세 개는 터미널 또는 자동화 작업이고, 두 개는 긴 입력에 대한 문서 근거 추론이며, 두 개는 어려운 과학 및 수학이고, 하나는 프런티어 코드입니다. 이 세트에는 웹 에이전트 평가도, 다중 턴 고객 지원 시뮬레이션도 없으므로, 뛰어난 점수는 그러한 항목에 대해 아무것도 말해주지 않습니다.

점수

Carbon은 60점을 기록했으며, 이는 78개 중 4위입니다(v5.0.1 기준). 선두는 65점의 Claude Fable 5.2입니다. 5점 차이는 의미 있지만 범주형 차이는 아닙니다. 두 모델 모두 동일한 9개 평가를 통과하며, 이 차이를 가장 간단히 해석하면 Carbon의 역량 수준에서 20번 시도할 때마다 어려운 과제를 약 하나 더 해결하는 정도입니다. 이를 비율이 아니라 방향으로 보십시오.

버전 가드가 순위보다 더 중요합니다. v4.3 또는 v4.3.2에서 평가된 모델은 — 비교 게시물에서 인용된 대부분의 이름을 포함하여 — 같은 척도에 있지 않으며 같은 표에 배치할 수 없습니다. 차트가 이들을 섞는다면, 누가 발행했든 그 차트는 틀린 것입니다.

실질적인 결과는, 지난 분기에 직접 평가한 모델이 역시 재채점되지 않은 한 Carbon을 그 모델과 비교할 수 없다는 것입니다. 두 가지 중 하나를 선택해야 합니다. 두 대상 모두에 대해 자체 하네스를 다시 실행하거나, 아니면 해당 주장을 v5.0.1 코호트로 한정하고 이를 인용하는 문장에서 그렇게 명시하십시오.

시간 비용

첫 토큰까지 걸리는 시간은 64.7초이며, 지연 시간 데이터가 있는 77개 모델 중 69위입니다. 총 응답 시간은 28.4분으로, 9개 평가 전반에 걸쳐 작업당 소요됩니다. Carbon이 출력을 시작하면 초당 72토큰으로 실행되며, 이는 평범한 수준입니다. 실제 소요 시간은 쓰기보다 사고에 의해 좌우됩니다.

그것은 결함이라기보다 설계 선택이며, 그것이 의미하는 바를 정확히 짚을 가치가 있습니다. 모델이 만족할 때까지 추론하도록 허용하는 하네스는 느리지만 강력한 점수를 만들어냅니다. 실트래픽에서 게이트웨이 뒤에 있는 동일한 모델은 첫 토큰까지의 p50이 6.89초이고 p95가 10.00초라고 보고하는데, 대부분의 실제 요청은 HLE-Diamond가 아니기 때문입니다. 이 두 수치는 서로 다른 것을 측정하며 둘 다 용량 계획에 포함되어야 합니다.

금전적 비용

Carbon 대비 지수를 실행하는 데 든 비용은 $5.48으로, 입력 토큰 100만 개당 $2.00, 출력 토큰 100만 개당 $10.00이 적용되어 혼합 기준 100만 개당 $2.70입니다. AA는 또한 이번 실행에서 출력 토큰 2억 500만 개와 장황도 2.69퍼센트라는 수치를 보고합니다. 기억해야 할 숫자는 백분율이 아니라 토큰 수입니다. 이는 9개 과제로 구성된 에이전틱 평가가 2억 5천만 출력 토큰의 상당 부분을 소비했음을 보여줍니다.

비교하자면, Claude Fable 5.2를 상대로 한 동일 지수는 $26.54가 들었습니다. 입력 $8.00, 출력 $40.00 기준으로 4.8배인 셈입니다. 이것이 이 쌍을 올바르게 해석하는 방식입니다. 5점의 점수 격차는 거의 5배의 토큰 비용을 지불해 얻은 것입니다.

비율로 따지면 Carbon은 인덱스 포인트당 벤치마크 지출 0.09달러를 지불하고 Fable 5.2는 0.41달러를 지불한다. 이는 더 저렴한 모델이 더 낫다는 주장은 아니다 — 프런티어 모델의 요점은 더 저렴한 모델이 실패하는 작업에 있다 — 그러나 모든 작업에 하나의 모델을 고르는 대신 난이도에 따라 라우팅하자는 주장이다. 60점 모델이 처리할 수 있는 호출의 90퍼센트에는 65점 모델이 필요 없다.

함께 기억해 둘 만한 또 다른 비율은 시간이다. Carbon은 작업당 28.4분을, Fable 5.2는 46.8분을 쓰므로 더 비싼 모델이 전체 처리 시간도 1.6배 더 느린 셈이다. 비동기 큐에서는 처리량 제약이 되고, 동기 호출에서는 로딩 스피너와 타임아웃의 차이가 된다. Gemini 4 Carbon 릴리스 노트에는 모델과 함께 출시된 내용이 담겨 있으며, 이전 Gemini 세대를 대체하는지가 궁금하다면 Gemini 4 Carbon vs Gemini 3.1 Pro가 바로 그 직접 비교다.

벤치마크가 다루지 않는 것

이 세트에는 사이버 또는 취약점 탐지 하네스가 없습니다. 보안 업무—스캔, 트리아지, 패치 생성—를 위해 Carbon을 평가하고 있다면, 이 아홉 가지 평가는 Carbon의 추론에 대해서는 알려주지만 실제 취약점에 대한 재현율에 대해서는 아무것도 알려주지 않습니다. 특정 저장소에서의 장기 호라이즌 코딩도 마찬가지이며, FrontierCode-AA는 이를 근사하지만 대체하지는 않습니다.

여기에는 부하가 걸렸을 때 어떤 일이 일어나는지에 대한 측정도 없습니다. 지난 7일 동안 OrcaRouter 트래픽에서 Carbon의 실시간 오류율은 39.7%였고, Fable 5.2는 10.8%였습니다. 벤치마크 하네스는 이를 재시도하여 흡수하지만, 애플리케이션은 그 방법을 스스로 결정해야 합니다.

이 중 어떤 것이든 자체 트래픽에서 재현하는 것

AA의 하네스 없이는 AA의 64.7초를 재현할 수 없고, 재현하려 해서도 안 됩니다. 유용한 것은 여러분 자신의 p50과 p95를 측정해 게이트웨이가 공개한 6.89초 및 10.00초와 비교하는 것입니다. 그래야 여러분의 프롬프트가 평범한지 아니면 유난히 어려운지 알 수 있기 때문입니다. 첫 토큰까지의 시간, 출력 토큰 수, 경로별 비-2xx 응답 수를 기록하세요. 여러분의 오류율이 게이트웨이가 모든 제공자에 걸쳐 보고한 39.7퍼센트보다 높다면, 문제는 요청에서 여러분 쪽에 있는 것입니다.

의사 결정에 이것을 사용하는 방법

여러분의 업무가 아홉 가지 평가 — 터미널 작업, 자동화, 긴 컨텍스트 문서, 난도 높은 과학 — 와 비슷하다면, 60에서의 Carbon과 블렌디드 $2.70은 현재 v5.0.1 코호트의 가성비 선택이며, 64.7초의 사고 시간은 호출을 비동기로 만들어 흡수할 수 있는 비용입니다. 여러분의 업무가 대화형이라면, 게이트웨이를 통해 p50이 약 7초인 동일 모델은 전혀 다른 제안이며, 정직한 테스트는 AA의 하네스가 아니라 여러분自身的 트래픽입니다.

자신을 이긴 모델과의 맞대결에서 Gemini 4 Carbon vs Claude Fable 5.1은 두 모델을 나란히 배치하며, LLM API 가격 비교는 $2.70 블렌디드가 카탈로그의 나머지와 비교해 어디에 위치하는지 다룹니다. 재사용하는 차트에서는 버전을 다시 확인하세요: v5.0.1이 이 60이 속한 유일한 척도입니다.