Gemini 4 Carbon 리뷰: 인덱스에서 4위, 응답 속도는 느림

Gemini 4 Carbon은 독립 평가 순위표에서 4위에 올라 있고 중급 모델처럼 가격이 책정되어 있는데, 이는 정직하게 리뷰하기에 이례적인 조합입니다: Gemini 4 Carbon API 페이지에는 입력 100만 토큰당 $2.00, 출력 100만 토큰당 $10.00이 명시되어 있으며, 게시된 점수는 Artificial Analysis Intelligence Index v5.0.1에서 60으로 78개 모델 중 4위입니다. 리뷰가 답해야 할 질문은 60이 좋은지 여부가 아닙니다. 그것은 이를 얻기 위해 실제 소요 시간과 실패율에서 무엇을 지불하는가입니다.

그것이 무엇인지

Google의 Gemini 4 제품군에 속한 멀티모달 모델로, 1,048,576토큰 컨텍스트 창과 65K 출력 상한을 갖습니다. 텍스트, 이미지, 오디오, 비디오, 문서를 입력받아 텍스트를 반환하며, 네이티브 도구 사용과 구조화된 JSON 출력을 지원합니다. OpenAI 호환 엔드포인트와 네이티브 Gemini generateContent API 모두에서 응답하며, Zero Data Retention을 사용할 수 있습니다.

매개변수 세트는 이 모델이 어떤 종류의 모델이기를 원하는지 알려줍니다: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. 같은 목록에 seed와 응답 형식이 있다는 것은 창의적 글쓰기보다는 추출 및 에이전트 파이프라인에 맞춰진 모델의 특징입니다.

점수 및 해당 점수가 산정된 버전

60점은 다른 모델에 대해 인용된 이전 숫자들과 비교할 수 없으며, 이는 이번 달 발표된 비교에서 가장 흔한 단일 오류입니다. Intelligence Index v5.0.1은 v4.3 및 v4.3.2와는 다른 평가 세트이므로, v4.3 점수와 v5.0.1 점수는 같은 표에 들어가서는 안 됩니다. v5.0.1 코호트 내에서 Carbon의 60점은 78개 중 4위로, 65점인 Claude Fable 5.2 뒤에 있고 재채점된 다른 모든 항목보다 앞서 있습니다.

그 숫자 뒤에 있는 아홉 가지 평가는 AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset 및 Terminal-Bench-Science 0.1입니다. 이는 에이전트형·과학적 구성입니다 — 터미널 작업, 자동화, 문서 근거화, 고난도 추론 — 코딩 리더보드 구성이 아닙니다. 모델이 여기서 좋은 점수를 받고도 저장소 규모 리팩터링에서는 뒤처질 수 있으므로, 자신의 사용 사례에 관해 어떤 결론을 내리기 전에 항목별 내역을 읽어 보세요.

헤드라인 숫자가 감추는 부분

Carbon의 AA 하네스에서 첫 토큰까지 걸리는 시간은 64.7초이며, 지연 시간 데이터가 있는 77개 모델 중 69위입니다. 작업당 총 실제 소요 시간은 9개 평가 전반에 걸쳐 28.4분입니다. 쓰기 시작한 뒤의 출력 속도는 초당 72토큰으로 별다를 것 없지만 문제는 아닙니다. 문제는 첫 토큰 전의 사고 시간입니다.

인덱스를 Carbon 기준으로 실행하는 데$5.48이 제공자 지출로 들었습니다. 이는 백만 토큰당 혼합 $2.70 기준으로 볼 때 벤치마크 1회 실행에 상당히 많은 토큰입니다. AA는 또한 해당 실행의 2억 500만 출력 토큰과 함께 2.69퍼센트의 장황함을 보고합니다. 이 백분율을 간결성 점수로 읽지 마세요: Claude Fable 5.2는 출력 토큰이 더 많은 2억 7,500만 개이면서 훨씬 낮은 0.97퍼센트를 기록하므로, 두 수치는 독립적으로 움직입니다.

가격 때문에 이 글을 읽고 있다면, LLM API 가격 비교는 카탈로그의 나머지 항목과 나란히 혼합 기준 백만 개당 $2.70을 보여줍니다. 여기에는 이를 밑도는 모델과 비슷한 점수에 몇 배 더 많은 비용이 드는 모델이 포함됩니다.

게이트웨이를 통해 보면 숫자가 다르게 보입니다

AA의 64.7초는 모델이 어려운 문제를 생각하도록 하는 벤치마크 하네스입니다. 지난 7일 동안 OrcaRouter의 실제 트래픽에서 Carbon의 첫 토큰까지 걸리는 시간 p50은 6.89초였고 p95는 10.00초였으며, 960만 토큰 처리 동안 출력은 초당 226토큰이었습니다. 둘 다 사실입니다. 채팅 제품은 첫 번째 수치에 가까운 것을 보고, 배치 평가 클론은 두 번째 수치에 가까운 것을 봅니다.

더 주목받아야 할 수치는 오류율이다. 해당 7일 기간 동안 모든 업스트림 제공자에서 요청의 39.7%가 non-2xx를 반환한 반면, Claude Fable 5.2는 10.8%였다. 원인이 무엇이든—용량, 속도 제한, 공급자 로테이션—재시도 예산과 폴백 모델 없이 Carbon을 호출하는 제품은 벤치마크 차트가 예측하지 못하는 비율로 사용자에게 실패를 보여주게 된다. 이는 라우팅 질문이며, 둘째 주가 오기 전에 테스트해야 할 단 하나의 사항이다.

카탈로그에서 해당되는 위치

자사 형제 모델들과 비교하면, Carbon은 저렴한 모델이 아니라 Gemini 4 라인의 멀티모달 멤버입니다. 입력 가격은 Gemini 3.1 Pro와 동일한 $2.00이고, 출력은 $2.00 더 저렴하며, 중요한 차이는 Carbon은 오디오와 비디오를 처리하지만 3.1 Pro는 텍스트와 이미지를 처리한다는 점입니다. 파이프라인에서 비디오 파일을 전혀 다루지 않는다면, 사용하지 않을 기능에 비용을 지불하는 셈입니다.

다른 후보들과 비교할 때 결정은 보통 두 가지 질문으로 좁혀집니다. 구글 내부에서의 선택이라면 Gemini 4 Carbon vs Gemini 3.1 Pro 비교가 중요합니다. 여러 벤더에 걸친 선택이라면 GPT-6.1 Sol vs Gemini 4 Carbon 및 Claude Opus 5.5 vs Gemini 4 Carbon이 가장 흔한 두 가지 대안을 다루며, LLM 모델 목록에서 고려 중이던 모델이 둘 중 어느 쪽도 아니라면 전체 카탈로그를 확인할 수 있습니다.

평결

Carbon은 입력 비용당 성능에서 4위를 차지하며, 그 방식은 대화보다 길고 멀티모달하며 구조화된 작업에 적합합니다. 가격표에 나타나지 않는 비용은 그것이 당신에게 맞는지를 결정하는 두 가지입니다. 벤치마크 하네스에서 첫 토큰 전 64.7초의 사고 시간, 그리고 실사용 트래픽에서 약 40퍼센트에 달하는 오류율입니다. 둘 다 우회하세요 — 폴백 체인, 재시도 예산, 그리고 비대화형 작업을 위한 비동기 큐 — 그러면 가격 대비 점수 비율은 정말로 능가하기 어렵습니다. 폴백 없는 동기 UI 뒤에 두면 이 모델이 실제보다 더 나쁘다고 결론 내리게 될 것입니다.