82%를 표시하는 생성된 제목 카드는 리더보드 항목이 아니라 트윗이며, 부제는 GPT-6.2 Sol, 출시 이틀 후이고, 세 개의 칩은 11월 18일 Browser Use 게시물의 82%, 10월 29일 공개 보드의 GPT-6.1 Sol 81.3, 공유된 요금 카드의 $2 입력 및 $10 출력을 보여 줍니다.
Guides & Insights

GPT-6.2 Sol의 82% Browser-Use 점수는 트윗일 뿐, 리더보드 등재 항목이 아니다

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

11월 18일, Browser Use는 GPT-6.2 Sol이 자사 브라우저 에이전트 벤치마크에서 최상위 모델이라고 게시했습니다: 82%로, GPT-6.1 Sol의 81%에서 상승했으며, 작업당 비용은 35% 저렴하고, 두 배 빠르며, 단계는 36% 적습니다. Greg Brockman은 같은 날 "GPT-6.2는 브라우저 사용에서 놀랍다"며 이 소식을 공유했습니다. 이틀 전, OpenAI는 GPT-6.2 Sol을 100만 입력 토큰당 2달러, 100만 출력 토큰당 10달러에 출시했습니다. 이 주장은 좋은 주장이며 아마도 방향성은 맞습니다. 또한 오늘 기준으로 그 네 숫자가 존재하는 유일한 곳이기도 합니다. Browser Use 자체의 공개 리더보드에는 여전히 GPT-6.1 Sol이 81.3으로 올라 있고 GPT-6.2 Sol 행은 전혀 없습니다. 결과 페이지에는 최종 수정일이 2026년 10월 29일로 표시되어 있으며, GPT-6.2 Sol의 모델별 페이지가 있어야 할 URL은 404를 반환합니다. 따라서 이 이야기의 정직한 버전은 트윗보다 더 좁고 더 유용합니다: 한 벤치마크 업체가 이제 1위로 평가하는 모델이 3주 전에 1위로 평가했던 모델보다 더 좋고, 더 저렴하고, 더 빠르다고 말하고 있으며, 이를 확인하려고 보통 확인할 그 리더보드는 아직 따라잡지 못했다는 것입니다.

Browser Use가 실제로 게시한 전체 내용

인용된 게시물은 11월 18일 00:09 UTC에 Browser Use 자체 계정에서 올라왔습니다. 내용은 다음과 같습니다: “GPT-6.2 Sol은 브라우저 사용을 위한 최고 모델 👀 — 82%, GPT-6.1 Sol의 81%에서 상승; 35% 더 저렴; 2배 빠름: 22분이 아니라 12분; 단계 수 36% 감소.” 이는 강도가 매우 다른 네 가지 별개 주장이며, 그중 어느 것도 마이그레이션을 정당화하는 데 사용하기 전에 분리되어야 합니다.

• 점수 — 82 대 81. 공개된 방법론에서 실제 웹사이트에서 실행되는 180개 작업을 설명하는 벤치마크의 0–100 평균 가중 루브릭 점수에서 1점 차이입니다. 1점은 변화하는 제3자 사이트를 대상으로 다시 실행되는 벤치마크의 노이즈 밴드 내에 있습니다.

• 작업당 비용 — 35% 더 저렴합니다. 이는 이 세트에서 가장 강력한 주장입니다. 에이전트 운영자가 저렴하게 재현할 수 있는 주장이면서 산술적으로 제약되어 있기 때문입니다. 토큰 가격은 변하지 않았으므로 절감은 다른 곳에서 나와야 합니다.

• 실제 소요 시간 — 22분이 아니라 12분. 이는 벤더가 직접 공개한 데이터와 가장 직접적으로 모순되는 주장이며, 아래에서 다룹니다.

• 단계 — 36% 더 적음. 브라우저 에이전트에서 단계는 도구 호출이며, 도구 호출은 에이전트 루프가 비용과 시간을 모두 소비하는 지점입니다. 단계가 36% 감소하면 나머지 세 수치 대부분을 한 번에 설명할 수 있을 법합니다.

Browser Use Bench v2.1은 마케팅 활동이 아니다. 방법론 카드에는 점수가 0–100 척도의 작업당 평균 가중 루브릭 점수이고, 비용 열은 작업당 추정 모델 비용(USD)이며 검색, 판정, 브라우저, 러너 비용은 제외하고, 실행은 고정된 테스트 세트가 아닌 180개 라이브 웹사이트에서 이루어진다고 명시되어 있다. 이는 실제 측정 체계다. 또한 단일 포인트 점수 변동과 라이브 사이트 재실행은 같은 종류의 증거가 아닌 체계이기도 하며, 이것이 리더보드가 자체 소셜 게시물보다 역사적으로 더 보수적이었던 이유다.

네 개의 숫자는 보드에 없습니다

2026년 11월 19일에 browser-use.com/benchmarks/agents에서 리더보드를 확인했습니다. 해당 페이지에 내장된 구조화된 데이터셋 메타데이터는 여전히 "Browser Use Bench v2.1 model results"라고 표시되어 있으며 dateModified 값은 2026-10-29입니다. 페이지 소스에서 문자열 "GPT-6.2"를 검색하면 일치 항목이 0개 반환됩니다. browser-use.com/benchmarks/models/gpt-6-2-sol의 모델별 페이지는 존재하지 않으며 404 스텁을 제공합니다. 또한 페이지 자체의 FAQ에서는 여전히 현재 순위를 "GPT-6.1 Sol high: 100점 만점에 81.3, 작업당 $1.92, 라이브 웹사이트의 180개 작업 기준. 다음은 79.4의 GPT-6 Sol high입니다."라고 설명합니다.

A generated two-column scoreboard comparing the Browser Use post of 18 November against the public leaderboard of 29 October: score 82 versus GPT-6.1 Sol 81.3, cost per task 35% cheaper versus $1.92, time per task 12 minutes versus 14.3 minutes, steps 36% fewer versus not published, input $2.00 on both, output $10.00 on both.

그것은 악의가 있다고 비난하는 것이 아닙니다. 벤치마크는 정해진 주기로 공개되지만 발표는 그렇지 않으며, 11월 18일에 글을 올린 계정은 하니스를 운영하는 계정이므로 사이트보다 먼저 수치를 갖고 있습니다. 하지만 이는 이 글의 인식론적 지위, 그리고 이번 주에 이 글을 근거로 내리는 모든 조달 결정의 인식론적 지위를 규정합니다. 82%, 35%, 2배, 36%라는 수치는 공급업체가 보고한 수치이며 아직 공개되지 않은 수치입니다. 특히 공급업체 자체의 공개 표에 아직 포함되어 있지 않다는 의미에서 그렇습니다. 오늘 프로덕션 브라우저 에이전트를 GPT-6.2 Sol로 옮기는 팀은 벤치마크 결과가 아니라 벤치마크 발표에 근거해 행동하는 것입니다.

좋은 소식은 그 발표를 반증하는 데 큰 비용이 들지 않는다는 점이다. 숫자가 사실이라면 GPT-6.2 Sol 행이 포함된 업데이트된 보드가 며칠 안에 나타날 것이고, 네 개의 수치는 JSON과 대조해도 그대로 유지되어야 한다. 그 행이 다른 숫자로 나타난다면, 무엇이든 다시 구축하기도 전에 알게 될 것이다.

트윗의 기준선은 보드의 기준선과 일치하지 않습니다

여기에는 짚고 넘어갈 만한 세부 사항이 있다. 어떤 주장이 스크린샷으로 퍼져 나갈 때 쉽게 사라지는 종류의 정보이기 때문이다. 트윗은 GPT-6.1 Sol의 이전 결과를 "81%"와 "22분"으로 제시한다. Browser Use가 공개한 리더보드에서는 높은 추론 노력 설정의 GPT-6.1 Sol이 작업당 1.92달러에 100점 만점 중 81.3점, 중앙값 14.3분으로 나온다. 점수는 충분히 비슷하다. 81과 81.3은 같은 수를 다르게 반올림한 것이다. 시간은 다르다. 14분과 22분은 같은 측정값이 아니다.

A capture of the Browser Use Bench leaderboard on 19 November 2026 showing 17 models on 180 live-website tasks, GPT-6.1 Sol high leading at 81.3 at $1.92 per task and a 14.3 minute median, GPT-6.1 Terra high at 79.0 for 35% less, and a last-updated stamp of Oct 29, 2026, with no GPT-6.2 Sol row visible.

악의 없는 설명도 가능하다. 리더보드의 시간 열은 180개 라이브 태스크의 중앙값이며, 중앙값은 사이트 장애로 어떤 태스크가 제외되는지에 민감하다. 22분은 평균일 수도, 고노력 작업만 모은 하위 집합일 수도, 다른 태스크 구간일 수도, 또는 10월 29일과 11월 18일 사이에 하네스 수정이 반영되기 전의 런타임일 수도 있다. 그보다 덜 순수한 설명도 하나 있다. 트윗의 시간 수치는 새 모델이 더 빨라 보이도록 고른 비교이며, 2배 속도 주장에 대한 정직한 분모는 같은 날 같은 하네스가 기존 모델에 대해 산출한 값이다.

당신은 그것을 외부에서 해결할 수 없습니다. 할 수 있는 일은 그 비율을 받아들이지 않는 것입니다. 여기서 "2배 더 빠름"은 "벤더의 11월 18일 하네스가 이전 모델에서는 22분을 측정한 반면 12분을 측정했다"는 뜻이지, "GPT-6.2 Sol이 공개 리더보드에서 14.3분에 실행된다고 말하는 모델보다 두 배 빠르다"는 뜻이 아닙니다. 전환을 고려하는 이유가 속도라면, 새로운 보드가 그것을 대체할 때까지 계획의 기준으로 삼아야 할 숫자는 공개된 14.3분 수치입니다. 왜냐하면 그것만이 뒤에 방법론 페이지를 갖추고 있기 때문입니다.

왜 35% 더 저렴하다는 주장인지, 그 아래에 계산이 있습니다

가격 책정은 다른 모델들과 달리 비용 주장을 검증 가능하게 만든다. GPT-6.2 Sol과 GPT-6.1 Sol은 O​penAI 자체 모델 페이지에 따르면 동일한 요금표를 사용한다:

• 입력 — 양쪽 모두 백만 토큰당 $2.00입니다.

• 캐시된 입력 — 두 모델 모두 백만 토큰당 $0.10입니다. 캐시 쓰기는 30분 캐시의 경우 백만 토큰당 $2.50, 12시간 쓰기의 경우 $5.00이며, 두 모델 모두 동일합니다.

• 출력 — 둘 다 백만 토큰당 $10.00입니다.

• 긴 컨텍스트 — 입력 토큰이 272,000개를 초과하면 두 모델 모두 전체 요청에 대해 입력 및 캐시 요율이 두 배가 되고 출력 요율은 1.5배가 됩니다. 이 급등 지점은 동일합니다.

배치 — 양쪽 모두 표준 요금의 50%; Fast 모드는 2배, Ultrafast는 2027년 2월 28일까지 3배, 2027년 3월 1일부터는 양쪽 모두 6배입니다.

• 컨텍스트 — 1,050,000토큰 창, 최대 입력 922,000, 최대 출력 128,000, 텍스트 및 이미지 입력, 텍스트 출력, 두 가지 모두 지원. GPT-6.2 Sol의 지식 컷오프는 2026년 4월 30일 대비 2026년 6월 1일입니다.

동일한 입력, 동일한 토큰당 가격. 따라서 작업당 비용이 35% 감소한 것은 가격 인하일 수 없다. 그것은 더 적은 토큰을 구매했기 때문이어야 하며, 트윗은 그 메커니즘을 제시한다: 36% 더 적은 단계. 브라우저 에이전트의 토큰 청구서는 매 단계마다 재생되는 대화 기록이 지배하므로, 장기 실행에서는 단계와 비용이 거의 선형으로 함께 증가한다. 단계 수를 3분의 1 줄이면 청구서는 대략 3분의 1만큼 감소하며, 이는 보고된 절감액의 크기와 정확히 일치한다. 두 주장은 서로를 뒷받침하며, 이는 둘 모두에게 좋은 신호다.

이는 또한 절감을 어떻게 해석해야 하는지에 대한 경고이기도 하다. 더 저렴한 모델이 기존 모델이 실패했던 작업을 맡거나, 단계 수가 더 적다는 것이 에이전트가 더 일찍 종료되어 부분적인 작업을 반환한다는 뜻이라면, 작업이 35% 더 저렴하다고 해서 한 달이 35% 더 저렴해지는 것은 아니다. 82라는 루브릭 점수가 바로 그 가능성을 배제한다. 3분의 1 더 적은 단계로 일찍 중단한 실행은 1점 더 높은 것이 아니라 더 낮은 점수를 받을 것이다. 하지만 1점은 그만한 무게를 지탱하기에는 얇은 차이다.

토큰 가격이 변경 없이 그대로 전달된다는 점은 이 부분에서 정말 따분하면서도 정말 유용한 부분입니다. OrcaRouter에서는 0% 마크업 모델 덕분에 공급자의 정가가 곧 지불하는 가격입니다. 따라서 공급업체가 실제로 요금표를 바꾸면 — OpenAI가 GPT-6.2 Astra에 대해 그랬던 것처럼, 같은 날 입력과 출력 가격을 20% 인하했습니다 — 그 변경은 리셀러가 가격을 다시 책정하기를 기다리는 대신 발생한 당일 플랫폼에 바로 적용됩니다. 이 점은 양쪽 모두에 해당합니다. 차익 거래할 대상도 없고, 옮겨서 얻을 할인도 없습니다. 오늘 하나의 API 키로 GPT-6.1 Sol을 실행하고 있다면, GPT-6.2 Sol 모델 호출은 공급업체에서 드는 것과 토큰당 동일한 비용이 들 것입니다.

헤드라인 너머, 에이전트 루프에서 중요한 것

O​penAI의 모델 페이지에 있는 네 가지 운영상 세부 사항은 벤치마크 수치보다 브라우저 에이전트 배포에 더 중요하며, 그중 어느 것도 82%라는 헤드라인에는 나타나지 않습니다.

• 추론 강도 — GPT-6.2 Sol은 다음을 거부합니다: 없음. 가장 낮은 설정은 실제 설정이며, 추론을 끄는 스위치가 아닙니다. GPT-6.1 Sol은 low부터 max까지의 전체 범위를 허용합니다. 지연 시간을 위해 여러분의 하네스가 "추론 없이, 그냥 실행"을 하드코딩한다면, 해당 구성은 이식되지 않습니다.

• 배치 — 지원됨, 표준 요율의 50%. 브라우저 에이전트 트래젝터리는 대개 지연 시간에 민감하므로, 이는 주로 프로덕션이 아니라 오프라인 평가 실행에서 중요합니다.

• 엔드포인트 — Responses, Chat Completions 및 Batch. Realtime, Assistants, Fine-tuning, Images, Videos, Speech, Transcription은 모두 지원되지 않습니다. Fine-tuning을 사용할 수 없다는 점은 이전 모델에서 브라우저 정책을 조정한 팀들에게 특히 문제가 됩니다.

• 도구 — computer_use, web_search, mcp, hosted_shell, apply_patch, skills, tool_search, code_interpreter, image_generation 및 file_search가 지원되는 것으로 나열됩니다. 브라우저 에이전트에게 흥미로운 조합은 computer_use와 함께 tool_search입니다. 실행 중에 도구를 발견할 수 있는 하네스는 단계 수가 3분의 1 줄어드는 그럴듯한 원인입니다. 왜냐하면 에이전트가 존재하지 않는 동작을 추측한 뒤 다시 시도하는 일을 멈추기 때문입니다.

• 속도 제한 — Build 티어에서는 분당 요청 5,000건 및 토큰 1,000,000개, Launch에서는 10,000건 및 4,000,000개, Grow에서는 15,000건 및 40,000,000개입니다.

프로덕션 경로를 그것에 걸지 않고 시험하는 방법

공개되지 않은 벤치마크 주장에 대한 올바른 대응은 마이그레이션이 아니라 샘플입니다. 자신의 브라우저 작업 20~50개를 골라 같은 날 같은 하네스로 두 모델 모두에서 실행하고 세 가지 숫자를 비교하세요: 자체 평가 기준의 완료율, 완료된 작업당 소비 토큰, 그리고 p50 및 p95 실제 경과 시간입니다. 그다음 두 결과를 Browser Use의 82와 비교하지 말고 서로 비교하세요. 그들의 작업 분포는 여러분의 것과 다르고, 1점 차이는 그대로 옮겨오지 못할 것이기 때문입니다.

그 테스트에 관한 실용적인 참고 사항 두 가지입니다. 첫째, reasoning effort를 양쪽 모두에서 명시적으로 고정하고 두 모델 모두 수용하는 설정을 사용하세요. 그렇지 않으면 실행 내내 구성 차이를 측정하는 데 시간을 쓰게 됩니다. 둘째, 단계 수를 기록하세요. 36% 더 적은 단계가 비용 주장의 메커니즘이며, 자체 데이터에서 가장 먼저 확인하거나 반박해야 할 사항이기 때문입니다.

시험 자체만 놓고 보면, 페일오버는 검증된 모델 옆에서 아직 검증되지 않은 모델을 돌리는 저렴한 방법입니다. 샘플을 새 모델로 라우팅하면서 자동 폴백을 신뢰하는 모델로 연결하는 것이죠. 그러면 거부 응답, 타임아웃, 레이트 리밋 급증이 발생해도 작업이 실패하는 대신 재시도 한 번으로 끝납니다. 이 방식이 여기서 특히 유용한 이유는, GPT-6.2 Sol이 나온 지 이틀밖에 되지 않았고 실제 사이트에서의 실패 유형이야말로 이 벤치마크가 측정하려는 대상인데 아직 결과가 공개되지 않았기 때문입니다. 다만 카탈로그 상태는 염두에 두세요. OrcaRouter에는 217개 모델이 있으며, 현재 Browser Use 보드 1위인 GPT-6.1 Sol도 포함되어 있습니다. 하지만 GPT-6.2 Sol은 아직 목록에 없습니다. 그 모델은 O​penAI 자체 API를 직접 거쳐야 합니다. 패스스루 가격이 적용되는 이전 모델은 새 모델을 측정할 건전한 기준선이며, 이번 주에는 바로 그 역할을 해야 합니다.

A capture of the OrcaRouter model catalogue listing more than 200 routable models in a provider-and-model table, with rows including openai/gpt-6.1-sol, openai/gpt-6-sol, openai/gpt-6-luna and openai/gpt-6-astra, and no GPT-6.2 Sol entry.

이 이야기를 바꿀 것은 무엇일까

세 가지를, 답을 얼마나 바꿀 수 있는지 순서대로. browser-use.com/benchmarks/agents에 GPT-6.2 Sol 행이 나타나 트윗과 일치하거나 근접한 수치를 보이는 것 — 이는 공급업체 발표를 공급업체 결과로 바꾸고 마이그레이션 논거를 훨씬 강하게 만들지만, 여전히 독립적이지는 않다. 동일한 작업 세트에서 브라우저 작업 시간과 비용을 독립적인 제3자가 측정하는 것 — 이것이 12분 대 22분이라는 질문을 해결해 줄 것이며, 주시해야 할 수치다. 그리고 공개된 작업별 세부 분석 — "단계 36% 감소"는 에이전트에 일반화되는 하네스 수준 개선이거나 특정 180개 웹사이트의 특이점일 수 있고, 이를 구별하는 것은 작업별 데이터뿐이다.

적어도 그중 첫 번째가 실제로 출시되기 전까지는, 방어 가능한 요약은 이렇습니다. GPT-6.2 Sol은 토큰당 비용이 GPT-6.1 Sol과 같고, Browser Use가 보고한 작은 점수 상승과 큰 비용 개선은 도구 호출 33% 감소와 내부적으로 일관되며, 속도 주장은 벤더가 직접 공개한 중앙값과 일치하지 않는 기준선에 기대고 있습니다. 이는 자체 과제로 이틀간 평가해 볼 명분은 충분하지만, 재작성할 명분은 아닙니다.

이 글에서 비교한 모델1

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트