GPT-6.1 Sol vs Grok 4.6: Accept-Header 문제, 그리고 실제가 아닌 35점 격차

현재 모델 시장에는 더 저렴한 쪽이 가장 어려운 과학 벤치마크에서 완승을 거두는데도, 비교 전체는 여전히 그쪽으로 흘러가지 않는 한 쌍의 모델이 있다. Grok 4.6은 2026-08-12부터 SpaceXAI의 플래그십으로, 대학원 수준 과학 문제인 GPQA Diamond에서 94.9%를 기록했고, 같은 모델의 Humanity's Last Exam 점수는 42.9%였으며, 입력 백만 토큰당 $2.00, 출력 백만 토큰당 $6.00의 비용이 든다. GPT-6.1 Sol은 OpenAI가 2026-09-29에 출시한 모델로, 같은 HLE 세트에서 52.9%를 기록하고 출력 백만 토큰당 $10.00을 부과한다. 그렇다면 Grok 4.6은 어려운 한 가지 일에서 더 뛰어나고, 요금표의 모든 항목에서 더 저렴한데도, 그 비교의 후반부에 흥미로운 문제가 도사리고 있다: 두 모델이 항상 같은 질문을 받는 것은 아니다.

아래 숫자들은 두 모델 모두에 대해 우리 자체 모델 기록에 실린 Artificial Analysis 측정치, 라벨이 표시된 경우 공급업체 수치, 그리고 우리 자체 서빙 데이터입니다. 평가자와 날짜는 수치가 모호할 수 있는 곳마다 명시했습니다.

실제로 역할을 하는 버전 번호

압승처럼 보이지만 실제로는 그렇지 않은 숫자부터 시작하겠습니다. Artificial Analysis는 두 가지 터미널 에이전트 벤치마크를 운영하며, 각 벤치마크에서 두 모델 모두를 평가했습니다:

• Terminal-Bench 2.1 — Grok 4.6은 88.39%를 기록했으며, GPT-6.1 Sol은 이 버전에 등재되어 있지 않습니다.

• Terminal-Bench 4.0 — Grok 4.6은 21.21%를 기록했고, GPT-6.1 Sol은 56.06%를 기록했습니다.

두 번째 행만 읽으면 Grok 4.6은 셸에서 작업을 완료하지 못하는 것처럼 보인다. 둘 다 읽으면 차이는 모델이 아니라 하네스라는 점이 분명해진다. Terminal-Bench 4.0은 같은 아이디어를 더 어렵게 개정한 버전이며, 두 모델은 서로 다른 시점에 그것으로 채점되었다 — GPT-6.1 Sol의 Artificial Analysis 기록에는 평가 날짜가 2026-09-28로 적혀 있고, Grok 4.6의 기록에는 2026-08-12가 적혀 있다. 두 모델을 6주 간격으로 측정했고 그 기간 안에 벤치마크가 개정된 상황에서 나타난 35점 차이는 둘 중 하나가 터미널을 사용할 수 없다는 증거가 아니다. 그것은 그 두 셀을 비교해서는 안 된다는 증거다.

정직한 버전의 에이전트 비교는 더 좁은 쪽이다. Grok 4.6은 Terminal-Bench 2.1에서 88.39%를 기록했고, 그 버전에는 나란히 놓을 GPT-6.1 Sol 수치가 없다. 그것은 증거의 빈틈이며, 이 글의 나머지 부분도 그것을 하나의 빈틈으로 다룬다.

그 둘이 무엇인지

Grok 4.6은 Gro​k 라인의 현재 플래그십으로, SpaceXAI 자체 개발자 문서에 "Latest"로 등재되어 있으며, 동일한 500,000토큰 컨텍스트 윈도우와 동일한 텍스트, 이미지 및 파일 입력 표면을 갖춘 Grok 4.5를 잇습니다. 구성 가능한 추론 강도, 네이티브 도구 호출, 구조화된 출력, 그리고 전체 샘플링 표면, 즉 temperature, top_p, seed, logprobs, penalties를 지원합니다. 이는 중요한 세부 사항입니다: GPT-6.1 Sol과 달리, temperature를 허용합니다.

GPT-6.1 Sol은 단일 스냅샷 — gpt-6.1-sol, 날짜가 붙은 변형은 없습니다 — 이며, 1,050,000 토큰 컨텍스트 창, 최대 출력 128,000, 동일한 텍스트·이미지·파일 입력 방식, 그리고 기본값이 medium인 다섯 가지 effort 레벨을 갖추고 있습니다. temperature나 top_p는 받지 않으며, 샘플링은 effort 다이얼로 대체됩니다.

차이가 나는 항목에 대해 사양 행을 나란히:

• 컨텍스트 윈도우 — GPT-6.1 Sol은 1,050,000 토큰, Grok 4.6은 500,000 토큰입니다. GPT-6.1 Sol은 윈도우가 두 배를 조금 넘습니다.

• 최대 출력 — GPT-6.1 Sol의 경우 128,000 토큰이며, Grok 4.6의 출력 상한은 자사 카탈로그 기록에 게재되어 있지 않은데, 이는 0으로 표기된 것이 아니라 애초에 채워진 적이 없는 필드이기 때문입니다.

• 샘플링 매개변수 — temperature, top_p, seed 및 페널티 매개변수는 Grok 4.6에서 작동하며 GPT-6.1 Sol에서는 거부됩니다.

• 기본 가격 — Grok 4.6은 $2.00/$6.00, GPT-6.1 Sol은 $2.00/$10.00으로, 두 모델 모두 첫 번째 티어 기준입니다.

다섯 개의 축, 하나의 명확한 방향

두 모델은 적절히 비교할 수 있을 만큼 충분한 독립적 측정을 공유하며, 결과의 형태는 일관됩니다:

• AA Intelligence Index — GPT-6.1 Sol 51.8, 147개 중 10위, 93.2 백분위; Grok 4.6 44.3, 20위, 86.4 백분위.

• Humanity's Last Exam — 52.9% 대 42.9%. 10점 차, GPT-6.1 Sol.

• 장문맥 회상 — 83% 대 80.33%.

• SciCode — 54.2% 대 56.5%. Grok 4.6이 2.3점 차로 앞서며, 이 네 가지 축 중 유일하게 우위를 보이는 항목이다.

• GPQA Diamond — 기록상 이 축에는 GPT-6.1 Sol이 기재되어 있지 않습니다; Grok 4.6은 94.9%를 기록했으며, 해당 카드에서 가장 강력한 단일 수치입니다.

Grok 4.6의 축 중 두 개는 GPT-6.1 Sol 쪽에서 측정되지 않고, GPT-6.1 Sol의 축 중 하나는 Grok 4.6 쪽에서 측정되지 않습니다. 이는 서로 다른 일정으로 평가된 모델 간 비교의 표준적인 형태이며, 이를 처리하는 방식은 출시 자료에서 채우는 것이 아니라 해당 셀을 비워 두는 것입니다.

Intelligence Index에는 바로잡아야 할 사항이 하나 있습니다. 이 블로그의 이전 보도에서는 Grok 4.6을 같은 지수에서 61로 기록했습니다. 현재 기록에는 위의 44.3 수치와 나란히 그 값이 들어간 행이 하나 더 있습니다. 즉 지수가 개정되고 다시 점수화되었으며, 같은 모델에 두 판독값이 모두 존재합니다. Grok 4.6의 지수 위치를 인용하는 사람은 누구든 어느 개정판을 말하는지 밝혀야 합니다. 61과 44.3의 차이가 이 글 전체가 다루는 격차보다 더 크기 때문입니다.

요금표, 그리고 그 안의 단계

Grok 4.6은 모든 기본 라인에서 더 저렴하고 라인 수도 더 많습니다. 요금표:

• 최대 200,000 프롬프트 토큰 — 입력 $2.00, 출력 $6.00, 캐시된 입력 $0.50.

• 프롬프트 토큰 200,000개 초과 — 전체 요청은 입력 $4.00, 출력 $12.00, 캐시된 입력 $1.00로 가격이 다시 책정됩니다.

GPT-6.1 Sol의:

• 최대 272,000 프롬프트 토큰 — 입력 $2.00, 출력 $10.00, 캐시된 입력 $0.10, 캐시 쓰기 $2.50.

• 272,000 프롬프트 토큰 초과 시 — 전체 요청의 가격이 입력 $4.00, 출력 $15.00, 캐시된 입력 $0.20, 캐시 쓰기 $5.00로 재산정됩니다.

두 단계 모두, 그리고 두 단계 모두 프롬프트 길이의 같은 영역에 속한다 — 하지만 그 단계들이 헤드라인 격차에 어떤 영향을 미치는지 주목하라. 첫 번째 티어 내에서 Grok 4.6의 출력은 40퍼센트 더 저렴하다. 단계 위에서는, $12.00 대 $15.00로, 20퍼센트 더 저렴하다. 그리고 캐시된 입력에서는 순서가 완전히 역전된다: GPT-6.1 Sol의 백만 개당 $0.10은 단계 전에는 Grok 4.6의 $0.50의 5분의 1이고, 단계 후에는 10분의 1이다.

매 턴마다 긴 고정 프리픽스를 다시 읽는 에이전트 워크로드 — 저장소, 계약서 세트, 긴 대화 기록 — 에서는 그 캐시 행이 기본 요율보다 더 가치가 있으며, 방향은 반대쪽을 가리킨다. 짧은 프롬프트에서 많은 출력을 생성하는 워크로드에서는 Grok 4.6의 $6.00이 결정을 내리는 기준선이다.

우리 자체 서빙 데이터, 그리고 그 일부를 무시해야 하는 이유

OrcaRouter의 카탈로그에는 각 모델에 대한 7일 서빙 패널이 있으며, 이 둘 중 하나의 패널은 측정값이 아니라 아티팩트다. Grok 4.6의 패널에 표시된 값은 p50 지연 시간 6,250밀리초와 오류율 56.76%이며, 이는 1,212,441토큰을 처리한 기간에 대한 것이다. GPT-6.1 Sol의 패널에 표시된 값은 p50 2,442밀리초, 초당 출력 토큰 95.57개, 오류율 6.36%, 그리고 같은 7일 동안 처리한 421,752,431토큰이다.

트래픽 수치를 가장 먼저 읽어야 합니다. 그것이 나머지를 설명해 주기 때문입니다. 일주일 동안 120만 토큰을 처리한 모델은 오류율이 큰 의미를 갖기에는 표본이 너무 빈약합니다. 그 정도 규모에서 56.76%라는 비율은 서비스 품질이 아니라 수십 회의 시도를 반영할 뿐이며, 그것을 Grok 4.6이 신뢰할 수 없다는 증거로 취급하는 것은 측정 인공물을 측정값으로 읽는 셈입니다. 우리의 GPT-6.1 Sol 패널은 그 뒤에 약 350배의 트래픽이 받쳐 주므로, 우리 플레이그라운드 사용자에 관한 쓸 만한 수치가 되지만 여전히 모델 자체의 속성은 아닙니다.

저희가 여러분께 말씀드릴 수 없는 것

이 비교에서 빠진 것이 세 가지인데, 그중 어느 것도 논쟁으로 메울 수 없습니다.

첫 번째는 두 모델 모두에 대한 동일 버전 터미널 에이전트 점수다. Artificial Analysis가 Terminal-Bench 4.0에서 Grok 4.6을 평가하거나 2.1에서 GPT-6.1 Sol을 평가하기 전까지, 에이전트 비교는 한 모델의 숫자와 다른 한 모델의 침묵에 기대고 있다. 56.06% 대 21.21% 격차가 능력 격차라고 말하는 사람은 리비전 차이를 인용하는 것이다.

두 번째는 Grok 4.6의 출력 상한입니다. 이 필드는 우리 기록에서 측정되지 않았으므로, 매우 긴 단일 응답에 의존하는 워크로드는 그쪽에서 계획을 세울 수 있는 공개된 수치가 없습니다.

세 번째는 두 모델이 완료된 작업당 실제로 드는 비용입니다. 우리 플레이그라운드는 Claude Opus 5의 작업당 평균 비용을 보고합니다. 이 두 모델 중 어느 것에 대해서도 보고하지 않으며, 위의 토큰 가격은 그 숫자 자체라기보다는 그 숫자에 대한 입력값입니다. Open​AI가 자체 보고한 GPT-6.1 Sol의 수치는 작업당 비용 개선을 설명합니다 — 최대 노력에서 Terminal-Bench Science 0.1이 작업당 $5.47인 반면 Claude Opus 5.5는 $23.21, GPT-6 Astra는 $23.80입니다 — 하지만 이는 Open​AI의 하네스에서 나온 Open​AI의 수치이며, 외부에서는 아무도 이를 재현하지 못했고, Grok 4.6에 대해서는 아무것도 말하지 않습니다.

선택

두 모델 모두 OrcaRouter에서 제공업체의 정가로 0% 마크업으로 라우팅됩니다 — openai/gpt-6.1-sol은 $2.00/$10.00에 캐시 입력 $0.10이 적용되고, 272K 초과 구간은 OpenAI가 정한 그대로 적용되며, grok/grok-4.6은 $2.00/$6.00에 200K 초과 구간이 SpaceXAI가 정한 그대로 적용됩니다. 하나의 키로 둘 다 사용할 수 있고, 가격은 다음 청구 주기가 아니라 변경되는 당일 공급업체를 따라가며, 자동 장애 조치가 그 아래에 자리 잡아 더 저렴한 모델이 경로를 유지할 수 있도록 그것만이 유일한 버팀목이 되지 않습니다.

워크로드가 질문 형태이고 출력 비중이 크다면 — 검색 후 답변, 대량 생성, 프롬프트가 200,000토큰을 넘지 않는 모든 작업 — Grok 4.6이 요금표상 더 나은 선택입니다. 중요한 항목에서 40퍼센트 더 낫고, GPQA Diamond 94.9%는 주장이 아니라 독립적인 수치입니다.

워크로드가 에이전트형이거나, 긴 프롬프트를 쓰거나, 캐시 의존도가 높다면 GPT-6.1 Sol이 더 안전한 기본 선택이다. 두 모델이 공유하는 모든 독립적 평가 축에서 SciCode만 빼고 앞서고, 캐시 읽기 비용은 Grok 4.6의 5분의 1이며, 공개된 출력 상한은 계획을 세울 수 있는 수치다. Grok 4.6의 500,000토큰 윈도는 넉넉하고 GPT-6.1 Sol의 1,050,000토큰 윈도는 그 두 배다. 하지만 진짜로 긴 프롬프트에서는 그때쯤 둘 다 두 배로 늘어난 요금 구간에 들어서 있고, 바로 그 지점에서 가격 격차는 20퍼센트로 좁혀지며 어느 쪽을 선택할 이유도 되지 못한다.

증거가 살아남기는 결론: Grok 4.6은 더 저렴한 모델이고 GPT-6.1 Sol은 더 신중한 쪽이며, 떠도는 35포인트 터미널 벤치마크 격차는 두 모델의 비교가 아니라 서로 다른 두 벤치마크 버전의 비교다.