Mercury 3 vs GPT-6.1 Sol: Inception이 이 테스트를 직접 실행했다, 바로 그게 핵심이다

Mercury 3은 2026년 10월 19일에 출시되었고, Inception이 이에 관해 공개한 유일한 일대일 비교 수치는 GPT-6.1 Sol을 직접 지목합니다. Inception 자체의 프로덕션 웹 에이전트 하네스에서 실행한 50개의 실제 Mind2Web 탐색 작업에서 Mercury 3는 그중 50%를 완료했는데, 출시 게시물에서는 이를 "GPT-6.1-Sol보다 상당히 많다"고 말하며, 동일한 토큰 양과 동일한 수의 에이전트 단계를 사용하면서 토큰당 비용의 일부라고 설명하는 비용으로 수행했습니다. 이는 대부분의 출시 게시물이 내놓는 것보다 더 구체적인 주장이며, 동시에 분모가 없는 주장이기도 합니다. 50개 작업은 작은 표본이고, 하네스는 벤더의 것이며, GPT-6.1 Sol의 완료율은 결코 공개되지 않고, Mercury 3는 GPT-6.1 Sol에 51.8점을 부여한 독립적인 Artificial Analysis 평가 보드 어디에도 아직 나타나지 않습니다. 따라서 정직한 비교는 "어느 모델이 더 똑똑한가"가 아닙니다. 그것은 벤더 자체 테스트가 뒷받침할 수 있는 것, 요금표가 말하는 것, 그리고 GPT-6.1 Sol의 측정된 기록이 여전히 기본적으로 우위를 점하는 지점입니다. 패스스루 요율은 카탈로그 전반에서 동일합니다: 0% 마크업 제공업체 정가로 들어오고, 제공업체 정가로 나갑니다. 이번과 같은 릴리스 뒤에 있는 문서화된 AI 실패 및 에이전트 사건은 다음 자료에 수집되어 있습니다: OrcaRouter AI Incident Archive 여기서 각 항목은 자체 출처, 심각도, 신뢰도 등급, 분쟁 표시를 함께 제공합니다.

먼저, 그 주장에서 이례적으로 검증 가능한 부분

출시 벤치마크는 보통 벤더가 고른 벤치마크의 점수 표이며, 벤더가 고른 모델들과 비교하고, 어느 쪽이 얼마나 많은 컴퓨트를 썼는지는 언급하지 않는다. Inception은 더 드문 일을 했다: 토큰 볼륨과 스텝 수를 고정했다. "동일한 토큰 볼륨과 동일한 수의 에이전트 스텝"은 실험 통제에 관한 진술이며, 빠른 모델이 에이전트 벤치마크를 속이는 가장 흔한 방식이 더 많은 시도를 하는 것이기 때문에 중요하다. Mercury 3가 정말로 GPT-6.1 Sol의 스텝과 토큰을 맞추고도 더 많은 작업을 완료했다면, 차이는 모델이 각 스텝으로 무엇을 했는지에 있지, 얼마나 많은 스텝을 받았는지에 있지 않다.

그 주장에 여전히 부족한 점은:

• GPT-6.1 Sol의 절대 완료율. 명시되지 않은 수치보다 "상당히 더 많다"는 것은 가격을 책정할 수 있는 결과가 아니다.

• 통과 기준. Mind2Web 작업은 내비게이션이 완료로 간주되는 엄격도가 서로 다르며, 하네스는 공개된 것이 아니라 Inception의 것입니다.

• 두 번째 실행. 50개 과제는 몇 건의 결과 반전만으로도 백분율이 몇 포인트씩 움직일 만큼 작은 규모다.

• 공개된 기준선이 있는 벤치마크에서의 어떤 점수든, 그렇기 때문에 Artificial Analysis 보드는 아직 Mercury 3를 전혀 배치할 수 없습니다

TinyFish AI의 Shuhao Zhang이 그 결과에 대해 언급되었는데, 해당 발언은 독립적인 재현 결과가 아니라 고객 추천사입니다. 이는 출시 과정에서 흔한 일이며, 그렇게 밝혀 두는 것이 중요합니다. 왜냐하면 50%라는 수치는 앞으로 몇 달 동안 그러한 단서가 붙지 않은 채로 회자될 것이기 때문입니다.

요금표, 바로 그 부분이 이 사안이 실제로 강한 지점이다

가격 차이는 미미하지 않으며 누구의 하네스에도 좌우되지 않습니다. Mercury 3의 정가는 입력 100만 토큰당 $0.20, 출력 100만 토큰당 $0.70이며, 캐시 입력은 $0.02입니다. 출시 기간 동안 Inception은 그 절반을 청구합니다: 입력 $0.10, 캐시 $0.01, 출력 $0.35입니다. GPT-6.1 Sol의 정가는 입력 $2.00, 캐시 $0.10, 캐시 쓰기 $2.50, 출력 $10.00입니다. 정가 기준으로 Mercury 3의 출력 단가는 GPT-6.1 Sol의 14분의 1이며, 출시 할인 기간에는 28분의 1입니다.

40단계를 실행하고 각 단계마다 12,000개의 입력 토큰을 보내며 400개의 출력 토큰을 내보내는 브라우저 에이전트를 가정해 보자. 그러면 해당 실행에서 입력 토큰 480,000개와 출력 토큰 16,000개가 되며, 모두 캐시되지 않은 경우로, 이는 더 저렴한 모델에 대한 비관적 시나리오이다:

• GPT-6.1 Sol — 입력은 100만 토큰당 $2.00로 $0.96, 출력은 100만 토큰당 $10.00로 $0.16: 실행당 약 $1.12

• Mercury 3 정가 기준 — 입력 $0.096 + 출력 $0.011, 100만 개당 $0.70: 실행당 약 $0.107, 즉 10.4배 더 저렴

• Mercury 3 출시 요금 기준 — $0.048에 $0.006 추가: 실행당 약 $0.054, 약 21배 더 저렴

이제 여기에 완료율을 얹어 보자. Mercury 3가 100개 작업 중 50개를 완료하고 GPT-6.1 Sol이 그보다 적은 수를 완료한다면, 실행당 절감은 완료된 실행에서만 실현된다. 스텝당 비용이 10분의 1이면서 완료 빈도가 3분의 2인 모델은 완료된 작업당 비용으로는 여전히 더 저렴하며, 대시보드에 올라가야 할 숫자는 바로 이것이다. 하지만 작업이 50개일 때는 아직 아무도 두 번째 비율을 모른다.

두 가지 비용 세부 사항은 대표 수치보다 더 중요하면서도 놓치기 쉽습니다. GPT-6.1 Sol의 캐시 입력 $0.10은 Mercury 3의 정가 입력 가격의 절반이자 캐시 가격의 20배이므로, 길고 안정적인 시스템 프롬프트에서는 GPT-6.1 Sol의 캐싱이 격차의 일부를 좁혀 줍니다. 다만 이는 입력 측면에만 해당하며, 에이전트 루프가 비용을 지출하는 곳은 출력입니다. 또한 GPT-6.1 Sol은 입력 토큰이 272,000개를 초과하면 요청 전체의 가격을 다시 책정합니다. 입력과 캐시는 2배, 출력은 1.5배입니다. 이 급변 지점은 긴 에이전트 트랜스크립트가 정확히 도달하는 지점이며, 장문 프롬프트 할증이 공표되지 않은 Mercury 3의 100만 토큰 윈도는 같은 시나리오에서 구조적 이점입니다.

GPT-6.1 Sol에는 있지만 Mercury 3에는 없는 것: 측정된 기록

위의 모든 내용은 요금표와 한 업체의 테스트를 기준으로 한 비교입니다. 독립적인 평가표는 상황이 다르며, 그중 이 모델은 단 하나만 올라 있습니다.

• Intelligence Index — Mercury 3은 목록에 없음; GPT-6.1 Sol은 최대 추론 강도에서 51.8, 2026년 10월 20일 Artificial Analysis 기준

• 인덱스 작업당 비용 — Mercury 3는 측정되지 않음; GPT-6.1 Sol은 $0.72이며, 보드 중앙값은 그보다 훨씬 높음

• Terminal-Bench 4.0 — Mercury 3는 측정되지 않음; GPT-6.1 Sol 0.5606

• SciCode — Mercury 3는 측정되지 않음; GPT-6.1 Sol 0.5417

• Humanity's Last Exam — Mercury 3 측정되지 않음; GPT-6.1 Sol 0.5292

• AA-LCR 장문맥 추론 — Mercury 3는 측정되지 않음; GPT-6.1 Sol 0.83

• GDPval-AA, 경제적으로 가치 있는 지식 노동 — Mercury 3는 측정되지 않음; GPT-6.1 Sol Elo 1593.85

• AA-Omniscience — Mercury 3은 측정되지 않음; GPT-6.1 Sol 41.5

• 컨텍스트 및 출력 — Mercury 3 1,000,000 입력 / 131,072 출력; GPT-6.1 Sol 1,050,000 입력 / 128,000 출력

• 가중치 — 둘 다 비공개이며, 어느 쪽도 체크포인트를 제공하지 않습니다

• 모달리티 — 둘 다 텍스트 지원; GPT-6.1 Sol은 이미지와 파일도 처리

그 마지막 문장은 일부 팀에게 가장 화려하지는 않지만 가장 결정적인 차이입니다. GPT-6.1 Sol은 이미지와 파일 입력을 받아들입니다. Mercury 3의 자체 문서에는 지원 형식이 텍스트로 명시되어 있습니다. 에이전트가 스크린샷, PDF 또는 스캔한 인보이스를 읽어야 한다면, 가격과 무관하게 비교는 거기서 끝나며, 초당 토큰 수가 아무리 많아도 그것을 바꾸지 못합니다.

추론 레벨 체계도 같은 형태가 아닙니다. Mercury 3는 instant, low, medium, high를 제공하며 temperature는 0.5에서 1.0까지 조정할 수 있습니다. GPT-6.1 Sol은 low, medium, high, xhigh, max를 제공하며 더 이상 no-reasoning 설정을 전혀 받지 않습니다. 'instant' 단계가 있는 모델은 다른 제품 약속을 하는 것입니다. 즉, 일부 요청은 생각하지 말아야 한다고 말하며 그에 맞게 비용을 청구합니다. 이는 실제 설계 차이이며, 단일 지능 수치에서는 보이지 않습니다.

각 모델이 적합한 경우

Mercury 3는 워크로드가 지연 시간에 민감하고, 텍스트 전용이며, 단계별 비용이 예산을 좌우할 때 올바른 선택입니다. 브라우저 탐색, 채팅 지원, 실시간 튜터링, 대량 분류에 준하는 작업, 그리고 매 턴마다 사람이나 다른 시스템이 기다리는 모든 루프가 여기에 해당합니다. 1M 컨텍스트와 131,072토큰 출력 상한은 긴 에이전트 트랜스크립트에 맞고, 사고해서는 안 되는 요청을 위한 즉시 응답 단계도 존재합니다. 위험은 독립 평가자가 아직 점수를 매긴 적이 없다는 점이므로, 현재로서는 품질 범위가 공급업체의 주장에 불과합니다.

GPT-6.1 Sol은 작업에 비전이나 파일 입력이 필요할 때, 트래픽을 투입하기 전에 측정된 역량 하한선이 필요할 때, "high"를 넘어서는 추론 사다리를 원할 때, 또는 272,000토큰 요청이 일반적이라기보다 예외일 때 올바른 선택입니다. 인덱스 작업당 비용은 업계에서 가장 좋은 수준 중 하나이며, 이는 논거의 나머지 절반입니다. 토큰당 저렴한 것과 완료된 작업당 저렴한 것은 서로 다른 주장이고, GPT-6.1 Sol은 두 번째 수치가 공개된 쪽입니다.

현실적인 실수는 이것을 승자독식 선택으로 취급하는 것이다. Mercury 3는 OrcaRouter에 없고 — Inception 자체 API와 여러 타사 플랫폼을 통해 제공된다 — 반면 GPT-6.1 Sol은 OpenAI의 정가에 0% 마크업으로 제공되므로, 마크업된 동급품이 아니라 벤더 자체의 요율표가 곧 지불하는 가격이다. 그 덕분에 분할 테스트는 저렴하게 실행할 수 있다. GPT-6.1 Sol은 프로덕션 경로에 두고, Mercury 3는 트래픽 일부에 대해 벤더 API 뒤에 배치한 뒤, 초당 토큰이 아니라 달러당 완료된 작업을 비교하라. 그 일부가 버텨 준다면 지연에 민감한 단계들을 옮기면 되고, 그렇지 않다면 일주일과 작은 청구서를 잃었을 뿐이다. 자동 페일오버는 바로 이 구간에서 가장 중요하다. 하루 된 모델이 시험대에 오르고 검증된 모델이 부하를 감당할 때 말이다.

이 문제를 해결할 수 있는 방법은 무엇일까요?

답을 얼마나 바꿀 수 있는지 순서대로 세 가지:

• Mercury 3에 대한 Artificial Analysis 등재 항목. 지수 숫자 하나와 작업당 비용 하나면 이 글의 모든 추정치를 대체할 수 있다. 그것이 존재하기 전까지 올바른 상태는 "독립적인 점수 없음"이며, "미검증"도 아니고 "프런티어급"도 아니다

• 동일한 50개 작업에서 GPT-6.1 Sol의 완료율, 또는 Inception이 아닌 누군가가 해당 하네스를 공개적으로 재실행한 결과. 통제된 토큰 주장은 좋은 방법론이지만, 아직 다른 누구도 검토할 수 있는 결과는 아니다

• diffusion 출력이 어떻게 청구되는지에 관한 공개된 답변. Mercury 3는 토큰을 병렬로 생성하고 여러 패스에 걸쳐 정제하며, Inception의 문서는 디노이징 패스가 청구되는 출력 토큰에 포함되는지 여부를 밝히지 않는다. 포함되지 않는다면 실질적 비용 우위는 요금표가 시사하는 것보다 크고, 포함된다면 초당 1,068토큰은 청구 기준이 아니라 처리량 수치다.

그때까지 방어 가능한 입장은 좁지만 유용하다. Mercury 3는 이 비교에서 가장 저렴한 고속 텍스트 모델로, 가격 차이가 10배에 달하며, 최소한 노력을 통제하도록 설계된 벤더 테스트에 기반하고, 100만 토큰 창을 갖췄지만 독립적인 점수는 없다. GPT-6.1 Sol은 더 비싸고 느리지만 신중한 모델로, 이미지도 읽을 수 있고 완료된 작업당 비용이 공개되어 있다. 틀리면 안 되는 작업에는 두 번째를 사고, 기다리는 것이 실제 비용인 작업에는 첫 번째를 시험해 보라.