세 장의 카드 위에 있는 제목 카드에는 'Gemini 4 Neon의 첫 독립 수치'가 적혀 있고, '61은 xhigh 설정입니다. 기본값에서는 59.6점을 기록하며, Carbon은 60.0점을 기록합니다'라는 문구가 있습니다. 세 장의 카드에는 각각 'Gemini 4 Neon, xhigh 61.4', 'Gemini 4 Neon, high(기본값) 59.6', 'Gemini 4 Carbon, high 60.0'이 적혀 있으며, 하단에는 'Artificial Analysis Intelligence Index v5.0.1, 2026년 11월 19일'이 표시되어 있습니다.
Guides & Insights

Gemini 4 Neon의 첫 독립 벤치마크: 61은 xhigh 수치이며, 기본 설정에서는 Carbon에 뒤진다

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Gemini 4 Neon에 대한 Google의 출시 게시물은 Artificial Analysis Intelligence Index 61점, 전체 3위를 내세우며 시작합니다. 이제 Artificial Analysis는 Gemini 4 Neon 자체 페이지를 공개했고, 그 페이지에는 61.4라고 적혀 있습니다. 이는 xhigh 변형, 즉 네 가지 사고 설정 중 가장 깊은 설정으로, index v5.0.1에서 96개 모델 중 6위입니다. Neon이 실제로 기본값으로 사용하는 설정인 high에서는 같은 추적기가 59.6점을 부여합니다. Google의 발표가 거의 모든 문단에서 Neon을 비교 대상으로 삼는 모델인 Gemini 4 Carbon은 자체 최대 설정에서 60.0점입니다. 두 페이지를 게시된 그대로 읽으면 최신 Gemini 4는 가장 똑똑한 모델이 아닙니다. Carbon에는 없는 단계까지 끌어올리면 1.4점 앞서지만, 두 모델을 각 공급업체가 권장하는 설정에서 비교하면 0.4점 뒤집니다.

그렇다고 해서 Neon이 나쁜 모델이 되는 것은 아니며, 같은 패널에 있는 속도 수치는 누구든 공개한 것 중 Neon을 가장 강력하게 옹호하는 근거다. 다만 이는 이번 주에 슬라이드 덱에 들어갈 가능성이 가장 높은 단 하나의 수치가 해당 모델의 가장 대표성이 떨어지는 구성이라는 뜻이며, 이제 그 정정은 벤더 자체 표에서 추론하는 것이 아니라 브라우저만 있으면 누구나 확인할 수 있다.

트래커가 실제로 게시한 내용

Artificial Analysis는 Gemini 4 Neon을 2026년 11월 18일 출시된, 독점 모델, Google, 100만 토큰 컨텍스트 창과 텍스트·이미지·음성·비디오 입력을 지원하는 모델로 표기합니다. 이 모델은 low, medium, high, xhigh의 네 가지로 각각 점수가 매겨진 변형을 제공하며, 페이지는 기본적으로 xhigh로 열리는데, 이것이 헤드라인 수치가 61.4인 이유입니다. 사고 파라미터를 전혀 지정하지 않고 모델을 호출했을 때 나오는 숫자와는 다릅니다. 적용 중인 지수는 v5.0.1이며, 이는 이전 점수를 보유한 사람에게 중요합니다. 이는 기준이 재조정된 지수이므로, 여름 리더보드의 61은 오늘의 61과 같은 측정값이 아닙니다.

같은 페이지에서 나머지 패밀리의 점수도 매기며, 개별 수치를 보기 전에 순서를 살펴볼 가치가 있다. 네 모델 모두 동일한 평가 세트 — AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2, Terminal-Bench-Science 0.1 — 을 사용하므로 최소한 동일 조건 간 비교는 되는데, 이는 출시 게시물의 벤치마크 표에 대해서는 그렇게 말하기 어렵다.

The Artificial Analysis model page for Gemini 4 Neon, headed Gemini 4 Neon: Intelligence, Performance and Price Analysis, showing Intelligence 61 at rank #6 of 96, Performance #73 of 95 with 56.51 seconds per response, 110 output tokens per second and 21.5 minutes per task, Cost #82 of 95 at $3.00 input and $15.00 output per million tokens with a 95% cache discount and $6.44 per Intelligence Index task, and Verbosity #93 of 95, above a low, medium, high and xhigh variant selector.

하나의 모델, 네 가지 점수, 그리고 훨씬 더 가파른 사다리

• Neon 낮음 설정 — 44.1, Carbon 낮음 설정 54.2 및 Gemini 4 Hydrogen 낮음 설정 26.9와 대비.

• 네온은 중간 — 54.9, 탄소 58.3과 수소 41.2 대비.

• Neon의 높음 — 59.6, Carbon 60.0 및 Hydrogen 50.8 대비. 이는 Neon의 기본값이자 Carbon의 상한입니다.

• Neon은 xhigh에서 61.4로, Carbon 항목은 전혀 없는 것과 대비됩니다. Gemini 4 Hydrogen에는 네 번째 단계가 있으며 53.9점을 기록합니다.

그 네 숫자의 형태는 런칭 게시물이 전달하지 못하는 부분이다. Neon은 가장 저렴한 설정부터 가장 깊은 설정까지 17.3 인덱스 포인트에 걸쳐 있고, Carbon은 세 단계에 걸쳐 5.8이다. Neon은 튜닝 노브가 달린 고정된 양이 아니다 — 어떤 단계를 부르느냐에 따라 실질적으로 다른 네 가지 모델이며, 그 차이는 맨 아래에서 가장 크다. 여기서 Neon의 낮음은 Carbon의 낮음보다 10.1포인트 낮다. 모델당 단일 숫자로 Neon을 Carbon과 비교해 왔다면, 정직한 버전은 평평한 선에 대한 곡선이다.

이는 출시 당시의 프레이밍과 반대되는 실질적 결과를 낳습니다. Google 문서는 개발자에게 네 가지 수준 모두를 평가하고 품질 기준을 통과하는 가장 낮은 수준을 선택하라고 안내하며, xhigh가 "텍스트나 JSON 추출 같은 단순한 프롬프트에서 과도한 사고를 유발하거나 max_output_tokens를 소진할 수 있다"고 경고합니다. 독립적인 수치들은 이 조언이 단순히 신중을 기하라는 수준이 아니라 결정적임을 보여줍니다: 이 모델에서 한 단계 낮추는 것은 반올림 오차가 아닙니다. Neon의 기본값과 상한 사이의 1.8포인트는 Neon과 Carbon 사이 거리의 네 배가 넘습니다; high와 medium 사이의 4.7포인트는 그 거리의 거의 열두 배입니다.

A two-column scoreboard titled Gemini 4 Neon — the scoreboard. Gemini 4 Neon at xhigh reads AA Index 61.4, cost per task $6.44, output tokens 283M, time per task 21.5 min, output speed 110 tok/s; Gemini 4 Carbon at high reads AA Index 60.0, cost per task $4.90, output tokens 205M, time per task 36.1 min, output speed 57 tok/s. The footer says both figures are per Artificial Analysis on index v5.0.1, read 19 November 2026, and that Google's 32% cheaper-per-task claim is not reproduced at these settings.

과업 비용: 주장이 아닌 측정으로

검증해 볼 가치가 있는 주장은 작업당 비용에 관한 것입니다. Google은 Gemini 4 Neon이 기본 높음 설정에서 Gemini 4 Carbon보다 작업당 32% 더 저렴하고, 최고 사고 설정의 경쟁 프런티어 모델보다 36% 이상 더 저렴하다고 말합니다. 작업당 비용은 모델이 출력하는 토큰 수에 따라 달라지며, 출시 게시물은 토큰 수를 공개하지 않으므로 이번 주까지 그 수치는 외부에서 검증할 수 없었습니다.

트래커의 패널은 Neon을 Intelligence Index 작업당 $6.44, Carbon을 $4.90으로 제시합니다. 이는 32% 절감이 아니라 31% 프리미엄이며, 방향은 주장과 정반대입니다. 정직한 유의점은 구성 불일치이고, 이는 양쪽 모두에 해당합니다: $6.44는 Neon을 xhigh로 설정한 경우인데, xhigh가 페이지가 열릴 때의 변형이기 때문입니다. 반면 $4.90은 Carbon을 high로 설정한 경우로, 자체 최대치입니다. Google의 32% 수치는 Neon을 high로 설정한 경우에 관한 것이며, 트래커는 이를 별도로 59.6으로 점수화하지만 같은 패널에서 비용과 함께 대표 수치로 내세우지는 않습니다. 따라서 올바른 진술은 "Google이 틀렸다"보다 더 좁습니다: 공개된 Neon 구성은 공개된 Carbon 구성보다 작업당 비용이 더 많이 들며, Google이 하고 있는 특정 비교는 독립적으로 재현되지 않았습니다.

재현 가능한 것은 토큰 프로필이며, 이는 더 빠른 모델이라는 직관적 해석을 약화시킨다. Neon은 Intelligence Index 전반에서 283M 출력 토큰을 생성했고, Carbon은 205M을 생성했다 — 38% 더 많다 — 8.12B 입력 토큰에서 출력은 입력의 3.5%로运行되었다. 트래커가 점수를 매기는 모델들의 중앙값은 65.1M 출력 토큰이므로, Neon은 단지 Carbon보다 수다스러운 것이 아니다; 그것은 보드에서 가장 장황한 모델 중 하나로, 그 측정 기준 95개 중 93위다. 수다스러움으로 평판이 있던 Carbon은 90위다. Neon이 당신을 위해 절약하는 것이 무엇이든, 그것은 방출된 토큰에서는 절약하지 않는다.

그것이 정말로 더 빠른 지점은 — 그리고 이것이 그것에 대한 가장 강력한 근거인데 — 바로 실제 경과 시간입니다:

• Intelligence Index 작업당 소요 시간 — Neon 21.5분, Carbon 36.1분, Hydrogen 15.3분, Argon 29.6분. 비교 가능한 모델의 중앙값은 12.4분입니다.

• 출력 속도 — Neon 초당 110토큰, Carbon 57, Hydrogen 168, Argon 65.

• 첫 번째 답변 토큰까지 걸리는 시간 — Neon 56.5초, Carbon 75.0, Hydrogen 47.2, Argon 47.1.

Neon은 동일한 평가 세트를 Carbon보다 실제 소요 시간 40% 덜 들여 완료하며, 생성 속도는 약 두 배이고, 더 많은 토큰을 내보내면서 동일한 기본 설정에서는 0.4점 더 낮은 점수를 기록한다. 이는 일관성 있는 제품이며, 벤치마크 표가 시사하는 제품과는 다른 제품이다. 즉, 더 빨리 끝내기 위해 고르는 모델이지, 더 자주 정답이기를 기대하며 고르는 모델은 아니다.

트래커가 뒷받침하지 못하는 런칭 게시물 속 세 가지 수치

순위. Google은 전체 3위라고 말한다. 트래커의 라이브 페이지는 index v5.0.1에서 xhigh 변형을 96개 중 6위로 평가한다. 두 수치 모두 Artificial Analysis로 추적 가능하면서도 여전히 다를 수 있다, 모델 세트가 바뀌기 때문이다; 둘 다 최신이라는 것만은 사실일 수 없다. 라이브 페이지를 인용하고 그것이 어느 변형에 속하는지 말하라, 그렇지 않으면 그 숫자는 다음 릴리스에서 살아남지 못할 것이다.

점수 뒤에 있는 설정. 아무 한정어 없는 61은 모델의 점수로 읽힙니다. 그것은 네 가지 중 하나이고, 실행 비용이 가장 비싼 것이며, 구글 자체 문서에서 추출 형태 작업에 대해 경고하는 바로 그 설정입니다. 기본값은 59.6입니다.

작업당 이점.위에서 논의했듯이, 트래커가 요약 패널에 게시하는 구성에서는 Neon이 작업당 32% 더 저렴한 것이 아니라 31% 더 비쌉니다. 공급업체의 주장은 높음 설정에서 Google 자체 하네스에서도 여전히 성립할 수 있습니다. 독자가 확인할 수 있는 어떤 곳에서도 그것이 성립한다는 것은 입증되지 않았습니다.

발표문의 나머지 내용은 모두 그대로입니다 — Google이 인용하는 타사 리더보드와, Chartography의 73.5%에서 FrontierCode 2.0의 46.2%에 이르기까지, 그리고 Fairwind defenders 프로그램을 통해서만 제공되는 사이버 수치에 이르기까지 Google 자체의 재현되지 않은 평가도 마찬가지입니다. 그중 어느 것도 독립적인 수치들과 모순되지 않습니다. 다만 그것은 누구나 검증할 수 있는 부분이 아니며, 검증할 수 있는 부분은 이제 다르게 읽힙니다.

Neon으로 표준화하려던 참이라면 이것이 달라지는 점

Neon을 선택한 이유가 61이라는 숫자였다면, 용량 계획에 반영해야 할 숫자는 59.6이며, 그 설정에서 Neon이 이기는 모델은 현재 제품군에 없습니다 — Carbon의 60.0이 Neon보다 앞서 있고, Carbon의 가격은 백만 토큰당 $2.00 및 $10.00으로 Neon의 $3.00 및 $15.00과 대비되며, 이는 2026년 12월 1일 Carbon과 Argon의 도입 요금이 $4.00 및 $20.00으로 인상되기 전까지입니다.

속도가 이유였다면, 그 사례는 실제이며 위의 수치들이 이를 뒷받침합니다. 동일한 평가 세트에서 21분 대 36분은 하루 근무 시간 동안 얼마나 많이 실행할 수 있는지를 바꾸는 종류의 차이이며, 1.9배 생성 속도는 배치 작업보다 대화형 작업에서 훨씬 먼저 드러납니다.

구글의 작업당 경제성이 이유였다면, 프로덕션 경로를 그것에 맡기기 전에 직접 테스트를 실행하세요. 토큰 프로필은 작업당 주장이 당신의 트래픽에서 성립하는지를 결정하는 단 하나의 요소이며, 독립 측정에 따르면 Neon은 자신이 가격을 깎아야 하는 모델보다 더 많은 토큰을 출력합니다. 입력이 많은 작업에서는 상황이 뒤집힙니다. 오늘 Neon의 입력 가격이 Carbon보다 50% 높고, 12월 Carbon의 조치가 그 격차마저 Neon에 유리하게 해소하기 때문입니다. 그것은 전략이 아니라 14일의 창일 뿐입니다.

자체 트래픽에서 비교 실행 중

4단 사다리를 단일 점수 대신 신경 써야 하는 이유는, 그 단계가 비용 결정이며, 비용 결정은 두 모델이 모두 한 번의 호출 거리에 있을 때 가장 저렴하게 내릴 수 있기 때문입니다. 우리 카탈로그에는 google/gemini-4-carbon 및 google/gemini-4-argon이 공급자 정가에 마크업 없이 실려 있습니다. 즉, 해당 두 모델의 12월 1일 단계는 Google의 청구서에 나타나는 날에 귀하의 청구서에도 나타나며, Neon의 12월 위치는 누구와도 재협상할 필요 없이 그들 대비 달라집니다. Gemini 4 Neon은 아직 카탈로그에 없으므로, 이것은 오늘 우리를 통해 실행하라는 권장 사항이 아닙니다 — 이는 출시되었을 때 실행할 테스트의 형태입니다.

The OrcaRouter model page for Gemini 4 Carbon, showing the model identifier google/gemini-4-carbon, a maximum output of 65K tokens, multimodal input across text, image, file, audio and video, capability chips for vision, audio, tools, JSON, reasoning and output text, the line by Google · 2026-11-10, a p50 time to first token of 10.005 seconds, and the description noting a 1,048,576-token context window.

위 숫자들이 뒷받침하는 평가는 벤치마크 실행이 아니다. 그것은 두 모델 모두에 같은 프롬프트를 high로 주고, 여러분의 작업 샘플에서 완료까지 걸리는 초가 아니라 완료까지 소비한 토큰으로 측정하는 것이다. 그 테스트에서는 하나의 키로 두 모델 모두에 접근할 수 있어야 하고, 그 뒤에 폴백이 있어야 한다. Neon을 운영하는 목적은 작업별 주장이 실제 트래픽과 맞닥뜨렸을 때도 유지되는지 확인하는 것이고, 폴백의 목적은 아직 평가 중인 모델이 프로덕션으로 가는 유일한 경로가 되지 않게 하는 것이다. 그 뒤에 Carbon, 그다음에 Argon을 두면, 모델 사다리 비교는 마이그레이션이 아니라 라우팅 변경이 된다.

절대 해서는 안 되는 한 가지는 출시 표만 보고 결정의 규모를 정하는 것이다. 트래커는 이제 한 모델에 대해 네 개의 점수를 공개했고, 최상위와 기본값 사이의 격차는 기본값과 그것이 대체하는 모델 사이의 격차보다 크며, 이 모든 제안을 성립시키는 비용 주장은 슬라이드에서 구글 외부의 누구도 재현하지 못한 유일한 숫자다.

다음에 볼 콘텐츠

세 가지이며, 모두 확인 가능하다. Neon의 고성능 변형에 대한 작업당 트래커 비용이 구글의 32% 수치 근처에 오는지 — 그 한 행이면 논쟁이 끝날 것이고, 그것은 이미 공개된 지수 점수가 있는 변형이다. 사이버 변형에 대한 Fairwind 게이트가 열리는지, 보안 수치는 구글 밖에서는 거의 아무도 호출할 수 없는 모델에 대한 주장에 불과하기 때문이다. 그리고 12월 1일의 Carbon과 Argon 단계가 수요와 맞닥뜨려 살아남는지, 왜냐하면 바로 그 날짜에 Neon의 고정 $3.00과 $15.00이 비싸 보이기를 멈추고 토큰당 가장 저렴한 Gemini 4 추론 등급처럼 보이기 시작하기 때문이다.

그때까지 유용한 요약은 한 문장으로 끝난다: Gemini 4 Neon은 Gemini 4 답변을 얻는 가장 빠른 방법이지만, 기본 제공 설정에서는 가장 정확한 방법이 아니며, 그 가격을 정당화하는 효율성 주장은 여전히 공급업체의 주장일 뿐이다.