Claude Opus 5.5 vs GPT-6 Astra: 벤치마크를 앞지른 맛보기 비교

누군가 Claude Opus 5.5에게 경쟁 연구소가 나비에-스토크스 방정식을 푸는 것에 관한 짧은 영상을 만들게 해 달라고 요청했고, 그 결과를 게시한 다음, 이 비교를 할 가치가 있게 만드는 문장을 썼습니다: 그 모델은 "아주 좋고", "훌륭한 취향"을 지녔으며, Opus 4.7 이후 처음으로 그들이 실제로 많이 실행하고 싶어 하는 Claude입니다 — 하지만 그들은 여전히 GPT-6 Astra와 GPT-5.6 Sol을 주력으로 유지하고 있습니다. 그들의 작업이 연구 중심이기 때문입니다. 이는 한 게시물에 담긴 세 가지 주장이며, 서로 다른 방향을 가리킵니다. 어떤 모델은 함께 작업하기에 가장 즐거운 존재일 수 있으면서도 프로덕션 트래픽을 보내는 대상은 아닐 수 있습니다. 흥미로운 질문은 어느 모델이 더 나은가가 아닙니다. 그 두 평가 중 어느 것이 숫자와 맞닥뜨려도 살아남는지, 그리고 어느 것이 취향에 관한 진술로 판명되는지입니다.

이 글은 한 실무자의 보고이며, 벤치마크 실행이 아니다 — 창의적이고 개방형 작업에서 모델이 어떤 느낌인지에 관한 신호로 다루어야지, 역량에 관한 증거로 보아서는 안 된다. 아래의 모든 수치는 누가 산출했는지가 표시되어 있다.

시식 테스트가 알려줄 수 있는 것과 없는 것

여기서는 결과물이 중요하다. 수학적 결과에 관한 영상을 만드는 일은 합격/불합격 기준이 있는 코딩 작업이 아니다. 컴파일 단계도, 테스트 스위트도, 그 결과물이 얼마나 좋은지 점수를 매기는 Terminal-Bench 하네스도 없다. 모델은 관점을 골라야 했고, 무엇을 보여줄지 정해야 했고, 일관성을 유지해야 했고, 그리고 멈춰야 했다. 실무자가 어떤 모델이 "훌륭한 안목"을 지녔다고 말할 때, 그것이 뜻하는 바는 바로 이것이다: 명세가 의도적으로 모호한 작업에서 드러나는 범위와 강조점에 대한 판단력.

그것은 실재하는 역량이며, 벤치마크 제품군이 가장 잘 측정하지 못하는 바로 그 역량이다. 또한 같은 사람이 어떤 모델을 칭찬하면서도 그 모델로 갈아타지 않는 이유이기도 하다. 안목은 탐색할 때 필요한 것이다. 감사해야 할 20만 줄의 코드와 정당화해야 할 청구서가 있을 때 필요한 것은 아니다.

Anthropic 자체의 출시 프레이밍은 영상이 아니라 산문에서 같은 능력을 가리킨다. Claude Opus 5.5는 덜 "Claudish"한, 즉 서두를 덜 늘어놓고 얼버무림이 적으며 핵심을 먼저 내세우려는 태도가 더 강한 글쓰기로 홍보된다. 독립적인 가독성 점수는 그 주장의 크기에는 동의하지 않더라도 방향은 뒷받침한다. 이 공급업체는 또한 내부 팩트체킹 테스트에서 18회 시도 중 16회를 통과했다고 보고하는데, Claude Fable 5.1과 Claude Opus 5는 둘 다 18회 중 0회였다. 그 수치는 Anthropic 자체의 것으로 재현되지 않았으며, 결과가 아니라 주장으로 읽어야 한다.

두 개의 스코어보드, 중요한 한 가지 불일치

공개된 원시 벤치마크에서 Claude Opus 5.5는 GPT-6 Astra를 앞서는 경우가 더 많다. 문제는 가장 많이 인용되는 두 출처가 그 격차가 얼마나 큰지에 대해 서로 일치하지 않는다는 점이다.

Anthropic의 출시 표에는 Claude Opus 5.5가 Terminal-Bench 4.0에서 66.4%로 기재되어 있으며, GPT-6 Astra는 57.9%, Claude Fable 5.1은 55.8%입니다. 이는 에이전트형 코딩에서 벤더가 보고한 8.5포인트 우위입니다 — 마케팅 자료에서 논쟁을 끝내버리는 종류의 격차죠. Artificial Analysis는 자체 하니스를 실행해 동일 벤치마크에서 Claude Opus 5.5를 59.6%로 측정했습니다: xhigh 노력 수준의 GPT-6 Astra와 동등하며, Claude Opus 5보다 약 11포인트 높습니다. 우위는 두 측정 모두에서 실제입니다. 그 크기는 그렇지 않습니다.

두 모델이 서로 자리를 바꾸는 곳이 그렇지 않은 곳보다 더 유용하다:

• Terminal-Bench 4.0(에이전트 코딩) — Claude Opus 5.5는 Anthropic 자체 표 기준 66.4%, Artificial Analysis 기준 59.6%; GPT-6 Astra는 57.9%.

• 도구를 사용한 Humanity's Last Exam — Claude Opus 5.5는 공급업체 보고 67.7%, 독립 측정 61.4%; GPT-6 Astra는 57.2%.

• GDPval-AA v2.1(44개 직종에 걸친 실제 지식 노동) — Claude Opus 5.5 1,846 Elo; GPT-6 Astra 1,542 Elo. 두 수치 모두 벤더가 아닌 Artificial Analysis의 독립 리더보드에서 나온 것입니다.

• Terminal-Bench-Science 0.1 — GPT-6 Astra 64.6% 대 Claude Opus 5.5 58.7%. 이는 Astra의 깔끔한 승리이며, 과학 분야 성격의 에이전트 벤치마크입니다.

• AutomationBench — GPT-6 Astra 41.4% vs Claude Opus 5.5 40.0%. 근소하지만, 이번에도 Astra.

• FrontierCode v1.1 — Claude Opus 5.5 54.4% vs GPT-6 Astra 53.3%. 1점 이내.

실무자의 시각으로 그 목록을 읽어 보세요. 연구 비중이 큰 워크로드 — 과학이나 문헌 요소가 있는 것들, 긴 도구 사용 루프를 돌리며 모델이 중심을 잡아야 하는 것들 — 는 바로 GPT-6 Astra가 입지를 지키는 지점입니다. Claude Opus 5.5가 압도적으로 앞서는 지식 노동 및 코딩 리더보드는 소프트웨어를 출시하는 일이 당신의 직업이라면 당신이 가리켰을 것들입니다. 이 대화의 두 사람 모두 각자의 벤치마크를 올바르게 읽고 있습니다. 그저 서로 다른 벤치마크를 읽고 있을 뿐입니다.

노력 설정이 모델보다 더 많은 일을 하고 있다

헤드라인 마진이 부진한 데에는 두 번째, 덜 좋게 들리는 이유가 있다. 벤더 비교는 동일한 설정에서 실행되지 않는다.

Claude Opus 5.5의 공개 수치는 초고(xhigh) 추론 강도 구성에서 나온 것이며, 비교 상대인 GPT-6 Astra는 high에서 실행되었습니다. Artificial Analysis의 독립 실행에서는 두 모델 모두 xhigh로 설정했고, 코딩 격차는 사라졌습니다 — 벤더가 내세운 8.5포인트 우위는 동률이 됩니다. 이는 부정행위를 고발하는 것이 아닙니다. 벤더는 자사 모델을 가장 좋게 보여주는 구성을 고르고, 독립 연구소는 경쟁 제품에 맞춘 구성을 고르면 벌어지는 일입니다. 벤치마크 표만 믿고 워크로드를 옮기기 전에, 어떤 effort 설정에서 실행되었는지 확인하세요. 답은 흔히 "자기에게 유리한 쪽"이기 때문입니다.

토큰 청구서는 같은 이야기를 다른 각도에서 보여준다. Anthropic 자체 출시 자료에 따르면 Claude Opus 5.5는 문제당 약 119,000개의 토큰을 사용하며, 그중 약 84,000개가 사고에 들어가는데, GPT-6 Astra는 비슷한 문제를 약 27,000개의 토큰으로 해결한다. 사고 토큰은 출력 토큰으로 청구된다. 출력 가격의 5분의 1로 4배의 토큰을 사용하는 모델은 거의 본전이다 — 그리고 이는 더 저렴한 모델이 종종 어차피 더 높은 effort 설정에서 실행해도 괜찮았을 모델이라는 점을 고려하기 전의 이야기다.

한 가지 추가 주의사항이 특히 Claude Opus 5.5 쪽에 있습니다: Anthropic의 안전장치 라우팅은 일부 사이버 및 바이오 인접 요청을 더 제한적인 경로로 보낼 수 있으며, 이로 인해 해당 평가의 공개 점수가 기반 모델이 산출할 수 있는 것에 비해 낮아집니다. 여러분의 작업이 이런 영역과 관련된다면, 벤치마크와 여러분의 경험 사이의 격차는 실재할 것이고, 그 방향은 벤치마크가 낙관적인 쪽일 것입니다.

각각에서 실제 작업에 드는 비용

Claude Opus 5.5는 요금표상 더 저렴한 모델이며, 그 격차는 크지 않습니다:

• Claude Opus 5.5 — 입력 100만 토큰당 $4.00, 출력 100만 토큰당 $20.00, 캐시 입력 100만 토큰당 $0.20, 캐시 쓰기 100만 토큰당 $5.00. 1M 토큰 컨텍스트, 최대 출력 128k.

• GPT-6 Astra — 백만 입력 토큰당 $10.00, 백만 출력 토큰당 $50.00, 백만 캐시 입력 토큰당 $1.00, 백만 캐시 쓰기당 $12.50. 단일 요청에서 입력 토큰이 272,000개를 초과하면 전체 요청의 가격이 입력 $20.00, 출력 $100.00으로 다시 책정됩니다. 배치 티어는 $5.00/$25.00입니다.

그래서 Claude Opus 5.5는 입력에서 2.5배 더 저렴하고 출력에서도 2.5배 더 저렴하며, 캐시된 입력은 5배 더 저렴합니다. 작업이 토큰 기준으로 비슷하다면, 그게 결정의 전부이고 취향 문제는 장식일 뿐입니다.

위에 나온 토큰 사용 관련 주의사항이 이 일을 그렇게 단순하게 만들지 못하는 이유이며, GPT-6 Astra의 장문 컨텍스트 재가격 책정이 또 다른 함정이다. 한 요청에서 입력 토큰 272,000개를 넘기면 초과분만이 아니라 요청 전체가 장문 컨텍스트 요율로 전환된다. 대규모 코퍼스를 단일 호출에 밀어 넣는 연구 워크로드가 바로 이를 촉발하는 형태다. 절반 가격의 배치는 합법적인 탈출구이며, 그것은 더 느린 대기열에 있다.

솔직한 요약은, 비용 구도가 무엇을 하느냐에 따라 뒤집힌다는 것입니다. 두 모델이 비슷한 토큰을 사용하는 작업에서는 Claude Opus 5.5가 가격 면에서 큰 차이로 앞섭니다. Anthropic 자체 출시 자료가 보여주는 것처럼 토큰 수가 갈라지는 긴 에이전트형 리서치 루프에서는 두 모델이 수렴합니다 — 이는 40% 비용 절감보다 훨씬 덜 흥미로운 헤드라인이며, 실무자가 보고했던 것에 더 가깝습니다.

연구 중심의 사용자가 전환하지 않은 이유

조각들을 맞춰 보면 "여전히 Astra를 선호한다"는 말은 "훌륭한 맛"이라는 말과 모순되지 않게 된다. 그것은 다른 자리에서 한 같은 관찰이다.

사용자가 언급한 작업 부하는 길고, 개방형이며, 도구를 사용하고, 실행당 비용이 많이 든다. 그런 작업에서 GPT-6 Astra는 과학 및 자동화 리더보드를 차지하고, 사고 토큰의 극히 일부만 사용하며 — 독립 측정에 따르면 — 두 모델이 동일한 노력 수준으로 실행되면 코딩에서 동등한 위치에 있다. Claude Opus 5.5의 장점은 결과물을 보고 판단할 수 있는 작업, 즉 산문, 디자인 선택, 모호한 브리프의 범위 설정, Navier-Stokes에 관한 영상이 실제로 무엇을 보여주어야 하는지 결정하는 일에 집중된다. 그것이 안목이며, 안목은 바로 벤치마크 축에는 나타나지 않는 부분이다.

한 모델이 승리한다는 평결을 기대했다면, 증거는それを 뒷받침하지 않습니다. 방어 가능한 버전은 더 좁습니다: Claude Opus 5.5는 판단이 병목인 작업에 더 나은 모델이고, GPT-6 Astra는 지속적인 장기 컨텍스트 노력이 병목인 작업에 더 나은 모델이며, 두 모델 간 가격 격차는 두 번째 종류의 작업에서 거의 없어집니다. 그것은 전환이 아니라 라우팅 결정입니다.

마이그레이션 없이 둘 다 실행

이 부분에서 두 모델은 더 이상 양자택일이 아니게 됩니다. GPT-6 Astra는 오늘 OrcaRouter에서 OpenAI 자체 정가로 제공됩니다 — 입력 $10.00, 출력 $50.00, 캐시 읽기 $1.00, 캐시 쓰기 $12.50 — 0% 마크업, 제공사 정가 그대로 전달. 즉, 공급업체의 요금 변경이 리셀러가 동기화하는 시점이 아니라 같은 날 우리 쪽에 반영됩니다.

Claude Opus 5.5는 Anthropic 자체 API와 여러 서드파티 플랫폼을 통해 접근할 수 있습니다. 저희는 이를 저희가 제공하는 대상으로 목록에 올리지는 않으며, 모델이 충분히 퍼지기 전에는 그와 반대로 주장하는 사람을 의심하셔야 합니다. 오늘 할 수 있는 일은 두 모델을 하나의 키와 하나의 엔드포인트 형태 뒤에 두고, 선호가 아니라 워크로드별로 라우팅하는 것입니다: 개방형이고 판단 비중이 큰 요청은 Claude Opus 5.5로, 긴 리서치 루프는 GPT-6 Astra로 보내면서 두 개의 계약이나 두 개의 클라이언트 통합을 유지할 필요가 없습니다.

자동 장애 조치가 바로 그것을 안전하게 테스트할 수 있게 해줍니다. 새 모델은 아직 프로덕션 경로가 아니며, 하나의 엔드포인트를 통해 라우팅한다는 것은 공급자 장애나 속도 제한이 발생했을 때 요청이 실패하는 대신 다른 곳으로 이동한다는 뜻입니다. 자신의 작업에서 취향 격차가 실제로 존재하는지 확인하고 싶다면, 그것이 이를 알아내는 저렴한 방법입니다 — 기존에 쓰던 것을 대체하는 대신 옆에 나란히 실행하고, 출시 표 대신 자신의 스위트가 판단하게 하세요.

벤치마크가 답할 수 없는 질문

주목할 만한 두 가지가 있는데, 둘 중 어느 것도 또 하나의 벤치마크 점수는 아니다.

첫 번째는 effort 설정 비대칭성이 해소되는지 여부다. 현재 공급업체가 xhigh로, 경쟁사는 high로 둔 측정표는 8.5점 리드를 만들어내지만, 동일 설정에서의 독립 테스트는 이를 동점으로 바꾼다. 독립 연구소들이 GPT-6 Astra가 현재 선두인 과학 및 자동화 보드에서 동일 설정 실행 결과를 발표함에 따라, 그 구도는 어느 방향으로든 움직일 수 있다 — 그리고 그것은 누구의 프레이밍이 아니라 증거에 따라 움직일 것이다.

두 번째는 토큰 효율성 문제다. Claude Opus 5.5의 사고 오버헤드가 포인트 릴리스에서 낮아진다면, 2.5배의 요금표상 우위가 더 이상 상쇄되지 않고 가격 논리가 완전히 승리한다. 그렇지 않다면, GPT-6 Astra를 주력으로 계속 사용한 실무자는 뉴스 주기에서 뒤처진 것이 아니다. 그들은 자신의 워크로드를 정확히 읽었고, 출시 표는 단지 그것을 측정하지 않았을 뿐이다.