GPT-6.1 Terra의 벤치마크, 정리: 48이 52와 동점인 곳과 그렇지 않은 곳

GPT-6.1 Terra의 종합 점수는 48입니다. GPT-6.1 Sol은 52, GPT-6 Astra는 53, GPT-5.6 Terra는 42, GPT-6 Luna는 38입니다. Artificial Analysis Intelligence Index의 맨 윗줄만 읽는다면 그것이 전부입니다 — 전임 모델보다 6점 높고, 더 비싼 형제 모델보다 4점 낮은 중간급 모델이라는 이야기죠. 하지만 이는 이번 출시를 읽는 가장 유용하지 않은 방식이기도 합니다. 같은 지수가 Astra와의 29점 코딩 격차, Claude Opus 5.5와의 7.6점 컴퓨터 사용 격차, 그리고 이번 출시의 모든 지능 향상을 합친 것보다 큰 환각 개선을 숨기고 있기 때문입니다.

다음은 세 가지 종류의 수치를 구분한다. Artificial Analysis의 독립 측정치, 외부에서 아무도 재현하지 못한 OpenAI의 자체 보고 결과, 그리고 파생 수치—앞의 두 가지 중 하나를 비용이나 비율로 바꾸는 산술이다. 이 구분은 중요하다. 출시 보도가 이미 이들을 뒤섞기 시작했기 때문이다.

모두가 인용하게 될 세 가지 점수

GPT-6.1 Terra는 Artificial Analysis의 Intelligence Index에서 48점으로 221개 모델 중 25위에 올랐으며, 인덱스 작업당 $0.40입니다. GPT-6.1 Sol은 52점, 13위이며 작업당 $0.72입니다. 현재 플래그십인 GPT-6 Astra는 53점입니다. GPT-5.6 Terra는 42점, 53위이며 작업당 $1.40입니다. GPT-6 Luna는 38점입니다.

계단식 티어로 보면 Terra는 확실한 업그레이드다: 완료된 작업당 비용은 3분의 1도 안 되는데 6점 더 높고, 예산 티어보다 10점 높다. Sol과의 비교로 보면 가격표가 시사하는 그대로다 — 4점 약하고, 토큰 가격은 대략 절반이다. 종합 점수에서 OpenAI의 포지셔닝과 모순되는 것은 없다.

종합 지수는 또한 평준화해서는 안 될 것까지 평준화한다. Terra와 Sol 사이의 인덱스 4점은 전체 척도의 8%이고, Coding Agent Index에서 Terra와 Astra 사이의 29점은 해당 척도의 60%이다. 하나의 숫자로는 둘 다를 담을 수 없는데, 첫 번째만 인용한 출시 보도는 두 번째를 조용히 빠뜨렸다.

격차가 벌어지는 곳: 코딩

Artificial Analysis의 Coding Agent Index v2.0에서 GPT-6.1 Terra는 48점, GPT-6.1 Sol은 54점, GPT-6 Luna는 31점을 기록합니다. 이는 Sol에 비해 6점 뒤처지고 Luna보다는 17점 앞선 것으로, 지능 지수와 같은 양상이지만 패밀리 최상위와의 격차는 상대적으로 더 큽니다.

벤더 수치는 더 후한 이야기를 들려주는데, 그건 어디까지나 벤더 수치다. OpenAI는 최대 노력 설정에서 Terminal-Bench 4.0의 50.3%를 해결했다고 보고하며, GPT-5.6 Terra의 경우 21.5%다. 이는 두 배가 넘는 수치이며, 이번 릴리스에서 세대 대비 단일 최대 상승 폭이다. 또한 이는 광범위한 코딩 에이전트 지표가 아니라 터미널 작업 벤치마크다. Terra는 짧고 범위가 잘 정의된 셸 작업에서는 Sol에 근접하면서도 더 넓은 지수에서는 여전히 6점 뒤처질 수 있으며, 두 가지 모두 동시에 사실이다.

실용적으로 해석하면 Terra의 코딩 향상은 작업 범위가 한정된 곳에 집중되어 있다. "이 테스트 스위트를 실행하고, 실패를 읽고, 파일을 패치하라"가 Terra의 형태다. "15개 파일 리팩터링을 40단계 동안 머릿속에 붙들고 있어라"는 그렇지 않으며, OpenAI 자체의 권장 사항도 여전히 복잡한 프로그래밍 작업에는 Sol이나 Astra를 가리킨다.

격차가 지수가 시사하는 것보다 작은 경우: 컴퓨터 사용

OSWorld 2.1, 즉 표준 데스크톱 자동화 벤치마크에서 GPT-6.1 Terra는 최대 추론 시 74.2%를 기록합니다. GPT-6.1 Sol은 xhigh에서 75.9%를 기록합니다. GPT-6 Astra는 75.8%를 기록합니다. Claude Opus 5.5는 비교 가능한 모델 중 81.8%로 선두이며, Claude Fable 5.1이 80.7%, Claude Sonnet 5.5가 80.1%, Kimi K3.1 Pro가 79.6%입니다.

두 가지 사실이 뒤따릅니다. 첫째, Terra는 그것이 개발된 과업에서 Sol보다 1.7점 이내에 있으면서 토큰 가격은 절반입니다 — 이는 4점의 지능 격차가 시사하는 것보다 훨씬 나은 거래입니다. 둘째, GPT-6 제품군 전체는 데스크톱 자동화에서 Anthropic에 6~7점 뒤처지며, Terra는 그 격차를 좁히지 못합니다. 제품이 브라우저 에이전트라면 흥미로운 비교는 Terra 대 Sol이 아니라 Terra 대 Claude Sonnet 5.5입니다. 이는 Sol보다 토큰당 저렴하고 OSWorld에서 5.9점 더 높은 점수를 받습니다.

공급업체 자체의 에이전트 수치도 같은 방향을 가리킨다. Agents' Last Exam v1에서 OpenAI는 중간 노력 설정의 Terra가 57.6%를 기록했다고 보고하며, 이는 최대 설정의 GPT-5.6 Terra가 기록한 50.7%와 대비된다. 그에 딸린 주장 — 중간 설정의 GPT-6 Astra와 비슷하면서 토큰당 가격은 약 10분의 1이라는 — 은 작업별 주장이며, 이번 출시에서 경제적으로 가장 의미 있는 문장이다.

실제로 움직인 숫자: 환각

Artificial Analysis는 Omniscience 환각률을 측정합니다. 이는 모델이 모를 때 얼마나 자주 추측하는지를 나타냅니다. GPT-5.6 Terra는 88%를 기록했습니다. GPT-6.1 Terra는 38%를 기록합니다. 같은 기간 동안 정확도는 2포인트 상승했습니다.

추측률이 50포인트 하락한 것은 이번 릴리스의 그 어떤 지능 향상보다 큰 변화이며, 모델을 무엇에 안전하게 사용할 수 있는지를 바꾸는 단 하나의 숫자입니다. 불확실할 때 88%의 확률로 답을 지어내는 모델은 모든 출력에 대한 사람의 확인 없이는 송장 추출이나 양식 작성에 신뢰할 수 없습니다. 38%에서는 여전히 3분의 1이 넘는 경우 추측합니다 — 이것은 개선이지 해결책은 아닙니다 — 하지만 실패 모드는 "틀렸다고 가정하기"에서 "샘플링하고 검증하기"로 바뀝니다.

그것은 직접적인 비용 결과를 낳습니다. 검증은 모든 저가 모델 배포에서 숨은 비용 항목입니다. 답변의 88%를 확인해야 한다면 인건비가 토큰 절감액을 압도합니다. 38%에서는 표본 점검이 실행 가능해지고, 작업당 $0.40이라는 수치는 실제 비용의 보이는 절반이 아니라 실제 비용처럼 보이기 시작합니다.

공급업체의 주장과 그 주장에서 빠진 것

OpenAI가 공개한 결과는 모두 벤더가 직접 수행한 것이며, 이 글을 작성하는 시점 기준으로 독립적으로 재현된 것은 하나도 없습니다:

• Terminal-Bench 4.0 — 최대 노력 시 50.3%, GPT-5.6 Terra의 21.5% 대비.

• Agents' Last Exam — 중간 강도에서 GPT-5.6 Terra보다 15점 앞서며, 비용은 약 3분의 1.

• MMMU-Pro — 모든 추론 노력 수준에서 GPT-5.6 Terra보다 앞서고 Astra와 Sol에 근접하지만, 절대 점수는 공개되지 않았습니다.

• Terminal-Bench-Science 0.1 — 추정 비용 1/5 미만으로 Claude Opus 5.5와 5점 이내 차이.

• 오류를 유발하는 프롬프트 — 회사가 공개하지 않은 내부 테스트에서 낮은 노력에서는 16.7% 대 53.6%, 최대에서는 4.3%였습니다.

그 목록의 패턴은 이름 붙일 가치가 있다. 가장 강력한 두 주장, 즉 MMMU-Pro와 오류율 테스트는 절대 수치가 붙지 않은 두 주장이다. “Astra에 근접”과 “Sol에 근접”은 그 뒤에 있는 수치 없이는 확인할 수 없는 비교 진술이다. 확실한 숫자가 있는 주장은 제3자가 재현할 수 있는 주장이며, Artificial Analysis는 이미 비용 측면을 재현했다: 작업당 $0.40, 전임자는 $1.40.

속도는 인덱스에 없는 독립적인 숫자입니다.

Artificial Analysis는 추론 벤치마크에서 GPT-6.1 Terra를 초당 출력 토큰 90.9개, 첫 토큰까지 133.64초로 측정합니다. GPT-6.1 Sol은 초당 73.5토큰, 284.31초로 측정됩니다. 이는 처리량이 약 24% 더 많고 첫 토큰까지 걸리는 시간 우위가 두 배를 조금 넘는다는 뜻입니다 — 벤더의 주장이 아닌 독립적 측정이며, 전체 릴리스에서 Terra를 위한 가장 강력한 객관적 근거입니다.

채팅 제품에서는 처리량이 거의 중요하지 않지만, 작업당 20단계를 거치는 컴퓨터 사용 루프에서는 40초 작업과 90초 작업을 가르는 차이가 됩니다. 이 지수는 지연 시간을 가격에 반영하지 않으며, 그래서 품질 순위 13위인 모델보다 25위인 모델이 에이전트에게는 더 알맞은 선택일 수 있습니다.

지수에 속지 않고 읽는 방법

• 복합 지표를 순위가 아니라 필터로 취급하세요. 이는 어떤 모델들이 논의에 포함되어 있는지 알려줄 뿐, 그중 어떤 모델이 당신의 작업에서 이기는지는 알려주지 않습니다.

• 코딩과 컴퓨터 사용 하위 점수를 따로 살펴보세요. Terra의 성능 프로필은 유난히 넓습니다. 데스크톱 자동화에서는 Sol에 거의 근접하지만, 코딩에서는 6점 뒤지고, 전체에서는 4점 뒤집니다.

• 단일 기준일을 기준으로 절대값을 다시 확인하세요. 지수는 주기적으로 재정규화되며, 서로 다른 주에 작성된 글에서는 동일한 모델에 대해 서로 다른 수치를 인용합니다.

• 워크로드에 검증 비용이 발생한다면 환각 발생률을 지능 점수만큼이나 비중 있게 고려하세요. 50포인트 개선은 단순한 점수가 아니라 운영 모델 자체를 바꿉니다.

• 자신의 작업을 직접 측정하세요. Artificial Analysis의 작업당 비용 수치는 그들의 프롬프트를 기반으로 한 대리 지표이므로, 여러분의 프롬프트에서는 토큰 가격과 시도 횟수 사이의 비율이 다르게 나타날 것입니다.

이 모든 것이 GPT-6.1 Terra를 나쁜 모델로 만드는 것은 아닙니다. 그것은 이 모델을 특정한 모델로 만듭니다. 빠르고 저렴하며 환각이 훨씬 적은 모델로서, 화면에서는 더 비싼 형제 모델에 가깝고 코드에서는 플래그십과 거리가 멉니다. 종합 점수는 48이라고 말합니다. 하위 점수는 당신이 어떤 48을 사는지 말해줍니다.