
Gemini 4 Neon, 코딩 에이전트 지수 58.6으로 1위 — Claude Fable 5.2와의 격차는 0.17점이며, GPT-6.2 Astra와의 격차 대부분은 단 하나의 벤치마크에서 비롯돼
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 185 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 214 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 112 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 210 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
Gemini 4 Neon now holds first place on the Artificial Analysis Coding Agent Index at 58.64, with Claude Fable 5.2 at 58.47 and GPT-6.2 Astra — released on 17 November, two days before this reading — at 53.47. That is the claim going around, and every number in it checks out against the published leaderboard. It is also, read carefully, an argument about harnesses as much as about models: Neon's 58.64 was measured inside Google's own Antigravity CLI, Fable 5.2's 58.47 inside Claude Code, Astra's 53.47 inside Codex. Three labs, three terminal agents, one composite built from 396 FrontierCode 2.0 attempts, 372 SWE-Atlas-QnA attempts and 198 Terminal-Bench 4.1 attempts per row. The ranking is real. What it means for your repository is narrower — and considerably more useful — than a leaderboard screenshot suggests.
Everything below is read off the public coding-agents leaderboard at Artificial Analysis on 19 November 2026, on index version v2.1. None of it is Google's own benchmark table: the composite, the three component scores, the cost per task and the token counts are measured in the lab, each run through the vendor's own terminal agent. Google's launch-day figures for Gemini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 at 65.2%, FrontierCode 2.0 at 46.2% — are a separate set, vendor-reported and not the source of any measured figure below, and they are labelled as such wherever they appear next to these.
인덱스가 실제로 집계하는 것
Coding Agent Index는 모델을 단독으로 테스트하지 않는다. 각 행은 하네스-모델 쌍이며, 핵심 수치는 세 가지 구성 점수의 동일가중 평균이다. 즉 Cognition이 작성하고 Artificial Analysis가 구현한 132개의 소프트웨어 엔지니어링 과제인 FrontierCode 2.0, Scale AI의 124개 기술 Q&A 과제로 채점은 AA가 조정한 SWE-Atlas-QnA, Laude Institute의 66개 에이전트형 터미널 과제인 Terminal-Bench 4.1이다. 각 구성 요소는 과제당 세 번의 시도에 대한 평균 점수다. 이 페이지는 그 어느 것에도 신뢰구간을 공개하지 않는데, 이는 0.1점을 역량에 관한 사실로 받아들이기 전에 가장 먼저 알아야 할 점이다.

그 유의점은 여기서 평소보다 더 중요합니다. 순위표 최상위권이 유례없이 박빙이기 때문입니다. 종합 점수 기준 순위, 소수점 둘째 자리까지:
• Gemini 4 Neon (xhigh), Antigravity CLI — 58.64
• Claude Fable 5.2 (xhigh), Claude Code — 58.47
• Devin Fusion CLI, Claude Opus 5.5 최대 + GPT-6 Luna 높음 — 58.40
• Claude Fable 5.2 (높음), Claude Code — 58.24
• Claude Opus 5.5 (max), Claude Code — 58.16
0.5점 이내에 다섯 가지 구성이 있고, 세 공급업체와 세 가지 서로 다른 에이전트에 걸쳐 있습니다. 이들을 구분하는 무엇도 이 해상도에서는 보이지 않으며, 이 순위표의 최상위를 결정적 결과라고 묘사하는 글은 반올림을 신호로 묘사하는 것입니다.
5점 차이는 대부분 하나의 벤치마크 때문이다.
GPT-6.2 Astra 비교가 흥미로워지는 지점은 바로 여기다. 5점의 종합 격차는 구조적인 것처럼 들리지만, 알고 보면 단일 구성 요소에 집중된 것으로 드러난다. 또한 서두에서 한 가지를 정정해야 한다. 출시 이후 돌고 있는 '6점 앞선다'는 수치는 Neon의 58.64를 Astra의 high 설정과 비교한 값이다. Astra는 52.28점으로 6.36점 뒤진다. Astra의 최고 구성인 max에서는 53.47점으로 격차가 5.17점이다. 두 수치 모두 제시되어 있다. 즉 같은 모델의 서로 다른 설정을 가리킨다. max 조합을 따로 떼어 보자:
• FrontierCode 2.0 — Neon(xhigh) 43.0 대 Astra(max) 41.7, 132개 소프트웨어 엔지니어링 작업에서 1.3점 차이.
• Terminal-Bench 4.1 — Neon 65.2 대 Astra 63.6, 66개 터미널 작업 전반에서 1.6점 차이.
• SWE-Atlas-QnA — Neon 67.7 대 Astra 55.1, 124개 기술 Q&A 과제 전반에 걸쳐 12.6점 차이.
대략 5분의 4에 해당하는 종합 점수 차이는 Q&A 구성 요소에서 비롯되며, 이는 에이전트가 저장소를 편집할 때 하는 일과 가장 덜 비슷한 구성 요소다. SWE-Atlas-QnA는 하네스에 코드베이스에 관한 질문에 답하라고 요청한다. FrontierCode와 Terminal-Bench는 코드베이스를 변경하거나 작업이 완료될 때까지 터미널을 조작하라고 요청한다. 실제 에이전트 작업과 유사한 두 작업 세트에서는 Gemini 4 Neon과 GPT-6.2 Astra가 서로 2점 이내에 위치한다. 이는 상위 5개 구성 간의 격차와 같은 규모다. 검색 및 추론과 유사한 작업 세트에서는 Neon이 12점 더 우수하다.
두 해석 모두 맞으며, 어느 해석이 당신의 경험을 예측하는지는 리더보드가 아니라 당신의 워크로드 특성입니다. 에이전트가 하루 종일 대규모 비공개 코드베이스에 대한 질문에 답한다면 SWE-Atlas-QnA가 보드에서 가장 가까운 대리 지표이며 12포인트 격차는 대응할 가치가 있습니다. 하루 종일 풀 리퀘스트를 여는 데 시간을 보낸다면 FrontierCode와 Terminal-Bench가 더 가까운 대리 지표이며, 종합 지표는 그 차이를 3~4배 과장합니다.

작업당 비용은 반대 방향으로 움직입니다.
Artificial Analysis는 점수와 함께 비용을 보고하며, 비용에서는 순서가 뒤바뀝니다. 전체 인덱스 전반에 걸친 작업당 평균 비용:
• Gemini 4 Neon (xhigh) — $6.86, 입력 토큰 13.72M 및 출력 토큰 125.6k, 177단계, 실제 소요 시간 30.5분.
• Claude Fable 5.2 (xhigh) — $15.47, 입력 토큰 9.55M 및 출력 토큰 207.4k, 95단계, 53.3분.
• Claude Fable 5.2 (high) — $7.51, 입력 5.02M 및 출력 94.1k 토큰, 55단계, 31.3분.
• GPT-6.2 Astra (max) — $5.12, 입력 토큰 4.62M 및 출력 토큰 43.0k, 51단계, 25.1분.
• Gemini 4 Carbon (high) — $9.75, 입력 15.31M 및 출력 120.5k 토큰, 186단계, 33.6분.
그로부터 세 가지가 나온다. 첫째, Fable 행이 채점되는 설정에서 Neon은 작업당 비용이 Fable 5.2보다 2.3배 저렴하고, 53.3분이 걸리는 Fable 5.2와 달리 30.5분 만에 완료한다. 둘째, Neon은 절대 금액 기준으로는 저렴하지 않다. $6.86에서 Neon이 앞서는 GPT-6.2 Astra 구성보다 작업당 34% 더 비싸고, Neon이 종합 점수 3.2점 차로 앞서는 자사 형제 모델 Gemini 4 Carbon보다는 30% 더 싸다 — 따라서 Carbon과의 비교는 두 축 모두에서 명확하며, Astra와의 비교는 점수를 얻기 위해 달러를 지불하는 순수한 맞교환이다. 셋째, 토큰 프로필이 가격을 설명한다. Neon은 작업당 13.72M 입력 토큰과 177단계를 소모하는데, Fable 5.2는 9.55M과 95단계다. 0.17점 앞선 결과를 위해 입력 토큰은 약 44%, 도구 호출은 86% 더 쓴다. 위의 모든 행에서 캐시 적중률은 94%에서 96% 사이에 머문다. 따라서 이는 캐싱 때문에 생긴 착시가 아니다 — 모델이 더 많고 더 작은 단계를 밟는 것이다.
Google's launch material claims Gemini 4 Neon at its default high setting costs 32% less per task than Gemini 4 Carbon. That is vendor-reported and this board does not reproduce it. The only Neon row published here is xhigh, at $6.86 against Carbon's $9.75 — a 30% saving, close to the vendor figure, but measured at the deepest of Neon's four thinking settings rather than at the default the claim describes. Read the direction as supported and the precise number as unconfirmed until a high row exists.
점수는 모델보다 설정에 더 크게 좌우된다
이 게시판에서 가장 유용한 것은 순위가 아니다. 그것은 Claude Fable 5.2가 동일한 하네스에서 다섯 가지 사고 수준으로 다섯 번 등장하며, 점수는 47.96(low), 53.04(medium), 58.24(high), 58.47(xhigh), 55.74(max) — 매개변수 하나로 10.5점 범위라는 점이다. GPT-6.2 Astra는 Codex에서 다섯 번 등장하며 35.58(low)부터 53.47(max)까지, 같은 종류의 노브에서 17.9점 범위다.
그 범위들을 헤드라인이 말하는 격차들과 견주어 보라. Astra를 낮음으로 설정했을 때와 Astra를 최대로 설정했을 때의 격차는 최적 설정에서의 Neon과 Astra 사이 격차의 3.5배이고, Neon과 Carbon 사이 격차의 5.6배다. Fable 5.2 내부의 10.5포인트 격차만으로도 Neon의 1위부터 Astra의 10위까지의 전체 거리의 두 배가 넘는다. 모델마다 숫자 하나로 모델을 고르는 것은 페이지에서 가장 작은 변수로 고르는 것이다. 당신이 넘기는 노력 수준과 그 주위에 감싸는 에이전트는 상자에 붙은 로고보다 결과를 더 크게 움직인다.
It also makes the "surpassed Fable 5.2" framing need a qualifier. Neon's 58.64 is measured at xhigh inside Antigravity CLI, and it is the only Neon configuration on the board — there is no high row, so nobody outside Google can yet say what Neon's default costs in score or in dollars. Fable 5.2's 0.17-point deficit holds at its own xhigh and, more narrowly, at high where it scores 58.24 on $7.51 per task. Both of those numbers are inside the range a different harness could plausibly reverse, which is not a criticism of Neon — it is what a half-point spread at the top of a 41-row board means.
여기서 실제로 새로운 게 뭐죠?
Gemini 4 Neon은 이 게시판이 읽히기 하루 전인 2026년 11월 18일, 100만 토큰 컨텍스트 창 기준 입력 100만 토큰당 $3.00, 출력 100만 토큰당 $15.00로 정식 출시되었습니다. 이 모델은 독점 모델이며 균일 가격제입니다. Gemini 4 Hydrogen과 달리 초기 도입 기간도, 무료 티어도 없습니다. 요금표와 독립 지능 점수는 이 블로그의 다른 글에서 다뤄졌습니다. 새로운 것은 첫 측정된 에이전트형 결과이며, 이는 출시 게시물이 말하지 않은 몇 가지를 보여 줍니다.
출시 게시물에는 Artificial Analysis Coding Agent Index에서 58.6으로 1위를 차지했다고 나와 있었고, 그 수치는 설명된 구성에서 보드가 게시하는 것과 정확히 같습니다. 게시물이 말하지 않은 것은 다음 구성과의 격차가 0.17점이라는 점, GPT-6.2 Astra에 대한 우위의 대부분이 세 가지 구성 요소 중 하나에서 나온다는 점, 그리고 해당 실행이 작업당 13.72M 입력 토큰을 소비했다는 점입니다. 이것들은 무엇을 배포할지 결정하는 독자에게 필요한 부분이며, 오직 보드에만 존재합니다.
점수 옆에 함께 놓고 볼 만한 수치가 하나 더 있습니다: 거부가 전혀 없었다는 점입니다. Neon 행의 전체 966회 시도 — FrontierCode 396회, SWE-Atlas-QnA 372회, Terminal-Bench 198회 — 에서 Artificial Analysis는 안전 거부도, 제공자 폴백도 기록하지 않았습니다. Fable 5.2는 xhigh에서 FrontierCode 1회, SWE-Atlas-QnA 38회, Terminal-Bench 16회의 거부를 기록했습니다. GPT-6.2 Astra는 max에서 SWE-Atlas-QnA에서 8회 거부를 기록했으며, 모두 강제 중단이었습니다. 거부는 역량 실패는 아니지만 에이전트가 완료하지 못한 작업이며, 에이전트 루프 안에서는 잘못된 답변이라기보다 정체로 나타납니다. 프로덕션 저장소를 대상으로 하는 에이전트에게 모든 시도를 완료하는 모델은 이 보드의 다른 어떤 구성도 맞먹지 못하는 운영상의 차이입니다.
전환 비용이란 무엇이며, 우리는 어디에 적합한가
Neon의 수치가 트라이얼을 정당화한다면, 실질적인 질문은 그 트라이얼에 엔지니어링 비용이 얼마나 드는가입니다. Neon은 저희 카탈로그에 없습니다: OrcaRouter 모델 목록에는 google/gemini-4-carbon와 google/gemini-4-argon가 있으며 11월 19일 기준 Neon 항목은 없습니다. 따라서 오늘은 Neon을 귀하를 위해 라우팅해 드릴 수 없으며, 그렇지 않다고 암시하지도 않겠습니다. GPT-6.2 Astra도 카탈로그에 없습니다. 저희가 실제로 제공하는 것은 anthropic/claude-fable-5.2로, 백만 토큰당 입력 $8.00, 출력 $40.00의 Anthropic 정가이며, 앞서 언급한 openai/gpt-6-astra — 9월 모델이자 이 보드에서 다른 행에 해당하는 GPT-6 Astra — 도 $10.00 및 $50.00입니다. 둘 다 0% 마크업으로 공급자 정가에 동일한 키로 제공되므로, 위 계산은 두 번째 계약 없이 귀하의 자체 트래픽에 대해 다시 계산해 볼 수 있습니다.

이렇게 치열한 순위표에서 가장 중요한 것은 교체 속도입니다. 상위 5개 구성 중 3개가 지난 10일 안에 출시된 모델을 사용하고 있으며, 그중 하나가 출시될 때마다 순위가 바뀌었습니다. 오늘 1위인 행에 고정된 프로덕션 경로는 다음 모델이 출시될 때 재구축됩니다. 그래서 라우팅 결정은 코드 밖에 있어야 합니다. 하나의 엔드포인트와 라우팅 규칙이 있으면 후보 모델은 마이그레이션이 아니라 구성 변경이 되며, 자동 장애 조치를 통해 검증되지 않은 모델을 검증된 모델 뒤에 배치해 트래픽의 일부를 흡수하게 하면서도 주 경로를 위험에 빠뜨리지 않을 수 있습니다.
우리가 실제로 제공하는 두 모델의 경우, 전가는 문자 그대로입니다: Anthropic 또는 OpenAI가 요율을 변경하면 우리 청구서의 숫자도 같은 날 바뀌며, 그 위에 아무것도 더해지지 않습니다. 이것이 위의 비용 비교를 위한 정직한 근거입니다 — 출시 발표 글의 수치가 아니라 실제로 청구될 금액을 기준으로 양쪽을 다시 가격 책정하세요.
누가 이 문제에 대해 조치해야 하며, 어떻게 해야 합니까?
보드는 무엇을 실행하느냐에 따라 세 가지 서로 다른 결정을 지원하며, 이들은 같은 결정이 아닙니다.
대규모 비공개 코드베이스에 대해 질문에 답하는 에이전트 — 온보딩 어시스턴트, "이것은 어디에 구현되어 있나요" 도구, 마이그레이션 플래너 — 를 운영한다면, SWE-Atlas-QnA 격차가 중요한 수치이며, 67.7 대 55.1은 신중한 시험을 정당화할 만큼 충분히 큽니다. 예산은 xhigh 설정에 배정하세요. 이 설정이 채점되는 유일한 구성이므로, 기본값도 동일하게 작동한다고 가정하지 마세요.
풀 리퀘스트를 열고 터미널을 구동하는 에이전트를 운영한다면, 솔직한 요약은 Neon, Fable 5.2, Opus 5.5, Devin Fusion 페어링이 서로 복합 점수 0.5점 이내에 있고 Terminal-Bench에서는 3점 이내에 있다는 것입니다. 다만 FrontierCode 점수는 43.0에서 49.2까지 더 넓게 퍼져 있습니다. 여기에는 무엇인가를 전환할 만한 역량상의 근거가 없습니다. 비용상의 근거는 있습니다 — 동일한 점수에서 Neon은 $6.86, Fable 5.2는 $15.47 — 그리고 제로 거부 행에는 운영상의 근거가 있습니다. 둘 다 이번 주에 작동 중인 파이프라인을 마이그레이션할 이유는 아닙니다.
아직 하네스를 고르고 있다면, 바로 그곳에 증거가 가장 강하고 가장 모호하지 않게 있습니다. 단일 모델 내부에서 사고 수준 간의 격차는 최고 설정의 선도 모델들 사이의 격차를 훨씬 능가합니다. 두세 가지 노력 수준으로 자체 에이전트를 실행하며 보내는 두 번의 오후가, 이 글을 포함해 이 리더보드를 읽는 데 얼마나 많은 시간을 쓰든 그보다 청구서와 통과율에 대해 더 많은 것을 알려줄 것입니다.
What to watch: a Neon row at its default high setting. Until one is published, the model that tops the board has been measured at exactly one configuration — and the 32%-cheaper-per-task claim Google makes is about the setting nobody has scored yet.
이 글에서 비교한 모델3
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
