브라우저 에이전트를 위한 GPT-6.1 Terra: 74.2%의 이면에 있는 단계별 수학

OpenAI가 GPT-6.1 Terra를 내세우는 이유는 더 똑똑하다는 것이 아니다. 화면을 조작할 수 있다는 점이다 — 양식을 채우고, 기술 도면을 읽고, 애플리케이션을 클릭해 가며 조작하고 — 그렇게 하는 데 드는 비용이 낮고 속도가 빠르다는 것이다. 이를 뒷받침하는 벤치마크는 OSWorld 2.1로, 여기서 Terra는 최대 추론 강도에서 74.2%를 기록하며, 이는 xhigh 설정의 GPT-6.1 Sol과 1.7점 차이, GPT-6 Astra와 1.6점 차이다. 하지만 에이전트에 중요한 숫자는 과제 점수가 아니다. 그 점수가 함의하는 단계별 신뢰성이다. 에이전트는 과제 단위로 실패하는 것이 아니라 단계 단위로 실패하기 때문이다.

이 글은 74.2%라는 수치를 하나씩 뜯어봅니다: OSWorld가 측정하는 것, 단계별로 이 수치가 의미하는 것, 20단계 작업에 드는 비용, 루프가 끊기는 지점, 그리고 74% 정확도의 에이전트가 0% 정확도의 사고로 바뀌지 않도록 막는 가드레일까지.

점수판이 말하는 것

• GPT-6.1 Terra — 최대 노력 설정에서 OSWorld 2.1 기준 74.2%.

• GPT-6.1 Sol — xhigh에서 75.9%.

• GPT-6 Astra — 75.8%.

• Claude Opus 5.5 — 81.8%.

• Claude Sonnet 5.5 — 80.1%.

• Kimi K3.1 Pro — 79.6%.

세 가지 해석은 분리해서 볼 필요가 있다. GPT-6 패밀리 안에서 Terra는 더 비싼 형제 모델들과 반올림 오차 수준의 차이밖에 나지 않는다 — 그 가격 차이는 데스크톱 자동화에서는 거의 이점을 주지 못한다. 공급업체 전체로 보면, 이 패밀리 전체가 Anthropic보다 6~7점 뒤진다. 그리고 Terra가 내세우는 공급업체 인접 주장 — Agents’ Last Exam에서 medium 설정의 GPT-6 Astra와 대략 동등하면서 토큰당 가격은 10분의 1이라는 — 은 OSWorld 수치가 상당 부분 뒷받침하는 작업별 주장이다.

작업 점수에서 단계별 신뢰성으로

OSWorld 작업은 일련의 행동을 거친 뒤 통과 또는 실패로 채점됩니다. 작업이 대략 20단계이고 Terra가 전체 작업의 74.2%를 완료한다면, 암시되는 단계별 성공률은 0.742의 20제곱근인 약 98.5%입니다. 이는 측정값이 아니라 산술적 예시입니다. 일부 작업은 더 짧고 일부는 더 길며, 실패는 독립적이지 않습니다. 하지만 이는 규모를 올바르게 설정해 줍니다. 74% 모델처럼 보이는 모델은 실제로는 단계당 98.5% 모델이며, 바로 그 간극에 에이전트 설계가 있습니다.

같은 계산을 거꾸로 적용해 보면, 50단계 워크플로에서는 동일한 단계당 성공률로도 엔드투엔드 성공률이 약 47%로 떨어집니다. 80단계에서는 30%입니다. 과제 점수는 변하지 않지만 워크플로는 변하며, 이 점이 "에이전트에게 충분히 좋은가"가 전적으로 에이전트가 감독 없이 얼마나 오래 실행되는지에 달려 있는 이유입니다.

작업에 드는 비용

스무 단계에 걸쳐 각 단계당 입력 토큰 3,000개(스크린샷 + 작업 상태 + 액션 기록)와 액션에 대한 출력 토큰 150개를 가정합니다.

• 작업당: 백만 개당 $1 기준 입력 60,000개는 $0.06이고, 백만 개당 $5 기준 출력 3,000개는 $0.015입니다. 합계 $0.075입니다.

• 재시도율 30% 기준: 성공한 작업당 약 $0.0975, 또는 작업 1,000건당 $98.

• GPT-6.1 Sol에서 동일한 워크로드를 $2/$10 요금으로 처리할 경우: 작업당 $0.15, 1,000건당 $195.

• GPT-6 Astra 기준 $10/$50일 때: 작업당 $0.75, 1,000건당 $975.

• Claude Opus 5.5의 $4/$20 기준: 작업당 $0.30, 1,000개당 $390.

토큰 가정이 가격 비율보다 더 중요하다. 스크린샷이 입력 비용을 지배하며, 스크린샷 크기는 선택 사항이다. 전체 1440×900 PNG는 관심 영역을 잘라낸 것보다 훨씬 많은 토큰을 소비한다. 전체 데스크톱 대신 단계마다 잘라낸 스크린샷 하나를 보내는 파이프라인은 입력 토큰을 절반으로 줄일 수 있고, 이는 작업당 비용을 절반으로 줄이며 더 정확한 모델들과의 순위 구도를 바꾼다.

지연 시간이 곧 제품이다

Artificial Analysis는 자사 추론 벤치마크에서 Terra를 초당 출력 토큰 90.9개, 첫 토큰까지 133.64초로 측정했으며, GPT-6.1 Sol은 초당 73.5개, 284.31초로 측정했습니다. 이러한 지연 수치는 최대 추론 노력이 필요한 작업에서 나온 것이므로 에이전트 루프에서의 단계별 지연을 과장하지만, 2배 조금 넘는 비율은 각 모델이 행동하기 전에 얼마나 오래 생각하는지를 보여주는 적절한 지표입니다.

에이전트 루프에서는 작업당 사고 시간이 20번 누적된다. Sol이 단계당 4초, Terra가 2초를 쓰면 20단계 작업은 80초가 아니라 40초에 끝난다. OpenAI 직원 Victor E. Nunez는 Terra가 Sol보다 웹 양식을 2분 이상 더 빠르게 완료했다고 보고했다. 이는 벤치마크가 아닌 일화이지만, 사용자가 따로 듣지 않고도 알아차리는 종류의 차이다.

루프가 끊어지는 곳

• 되돌릴 수 없는 작업. 제출, 전송, 삭제, 결제 — 부수 효과가 있는 모든 작업에는 승인 게이트가 필요합니다. 어떤 벤치마크 점수도 이를 바꾸지 않습니다.

• 모호한 인터페이스. “계속”이라고 적힌 두 개의 버튼은 가격에 관계없이 어떤 모델이라도 무력화합니다. 해결책은 프롬프트와 스크린샷 위생입니다.

• 장기 지평. 위의 단계별 계산이 단계당 98.5%에서 비지도 장기 지평 작업에 반대하는 논거의 전부입니다.

• 오래된 스크린샷. 레이아웃이 바뀌기 전에 캡처된 프레임은 잘못된 것이며, 잘못된 프레임은 확신에 찬 잘못된 클릭을 만들어냅니다.

• 탭 전반에 걸쳐 유지되는 상태. 스크린샷 기반 에이전트는 한 번에 하나의 창만 보게 되므로, 멀티 탭 워크플로에서는 모델 외부에서 명시적인 상태 추적이 필요하다.

74%를 출시 가능하게 만드는 가드레일

• 단계 수에 상한을 두세요. 달러만이 아니라 20은 예산이자 동시에 안전 제어 장치입니다. 종료되지 않는 루프는 가장 비용이 큰 실패 방식입니다.

• 부수 효과를 통제하세요. 외부 상태를 변경하는 모든 작업은 사람 또는 정책 확인을 거치도록 하세요.

• 프레임을 해당 동작과 함께 기록하세요. 에이전트가 잘못된 행동을 할 때 유용한 산출물은 에이전트가 작업한 스크린샷뿐입니다.

• 작업 스키마에는 구조화된 출력을 사용하세요. 자유 텍스트 작업은 확실성이 필요한 바로 그 순간에 파싱이 불가능합니다.

• 작업 단위가 아니라 단계 단위로 측정하세요. 단계당 2%의 성능 저하는 작업 점수에서는 드러나지 않지만, 50단계가 지나면 실패율을 두 배로 만듭니다.

• 어려운 단계에는 두 번째 모델을 유지하세요. 일상적인 프레임에는 Terra를, 모호한 프레임에는 더 강력한 모델을 사용하는 것이 재시도를 반복하는 Terra보다 저렴합니다.

오늘 무엇을 달릴까

작성 시점 기준 GPT-6.1 Terra는 OrcaRouter 카탈로그에 없으므로 Terra 쪽은 OpenAI를 상대로 직접 시험해야 합니다. 비교 세트는 당사 쪽에서 공급자 정가 대비 0% 마크업으로 운영 중입니다 — GPT-6.1 Sol은 $2/$10, GPT-6 Astra는 $10/$50, Claude Opus 5.5는 $4/$20, Claude Sonnet 5.5는 $2/$10, Kimi K3.1 Pro는 $2/$10 — 모두 하나의 키에서 자동 페일오버와 함께 제공됩니다.

실행해 볼 가치가 있는 실험은 “어느 모델이 OSWorld에서 가장 높은 점수를 받는가”가 아닙니다. 바로 자체 작업 세트를 단계별로 채점하되, 스크린샷 정책을 고정한 상태에서 측정하는 것입니다. 이 측정을 통해 실제로 수행하는 작업에서 Claude Opus 5.5와의 7.6점 격차에 비해 Terra의 가격과 속도가 그만한 가치가 있는지가 결정됩니다. 그리고 이 수치만이 에이전트 제품을 구축할 때 기반으로 삼을 수 있는 유일한 숫자입니다.