DevRev의 GPT-6.1 Sol 이야기는 사실 GPT-6 Astra가 없는 곳에 관한 이야기다

OpenAI는 이번 주 "DevRev, GPT-6.1 Sol로 자율 셀프서비스 제공"이라는 제목의 고객 사례를 발표했는데, 그 안에서 가장 유익한 문장은 전혀 GPT-6.1 Sol에 관한 것이 아니다. 바로 DevRev의 세일즈 엔지니어들이 컨퍼런스 부스용 데모를 만들기 위해 GPT-6 Astra를 사용한다고 언급된 문장이다. DevRev의 최고기술책임자 Ahmed Bashir는 모델 자산을 두 갈래로 나눈 회사를 설명한다: 중간 계층 모델은 프로덕션 지원 경로를 맡고, 최전선 모델은 잠재 고객이 90초 동안 들여다보는 부분을 맡는다. 이는 게시물의 어떤 벤치마크보다 더 유용한 증거인데, 비용을 지불해야 하는 사람이 내린 배포 결정이기 때문이다.

타이밍이 중요하다. GPT-6.1 Sol은 2026년 9월 29일 DevDay에서 GPT-6 Sol보다 일주일 뒤에 출시되었으며, 입력 토큰 100만 개당 $2.00, 출력 토큰 100만 개당 $10.00이었다. OpenAI 파트너십에 관한 DevRev 자체 설명문에는 2026년 11월 2일 업데이트 표시가 붙어 있으며, 이 고객 사례는 이름이 공개된 프로덕션 서비스가 플래그십이 아니라 중간 등급 모델을 고객 대면 경로에 배치한 첫 사례다. 이것은 출시가 아니다. 첫 번째 업무 참조 사례다.

DevRev가 실제로 운영하는 것

DevRev는 동일한 기반 위에서 두 가지 제품을 만듭니다. Computer는 비즈니스 데이터 전반에서 답변하고 행동하는 AI 팀원이며, Operator는 승인된 작업을 수행하거나 요청을 적합한 사람에게 라우팅하는 에이전트입니다. 둘 다 모델이 고객에게 접근하도록 허용되기 전에 동일한 세 가지가 필요합니다. 회사 맥락, 개인의 역할과 일치하는 권한, 그리고 되돌릴 수 있는 작업입니다. 모델은 추론, 계획, 도구 선택을 제공합니다. DevRev의 하네스가 나머지를 제공하며, Agent Studio는 고객이 도구가 어떻게 동작해야 하는지를 대화로 설명한 다음, 고정 규칙으로 달라지면 안 되는 부분을 고정하는 곳입니다.

이 이야기에서 두 가지 속성은 칭찬보다 더 가치가 있다. 행동은 되돌릴 수 있다. 답변은 출처를 인용한다. 이 두 가지가 바로 기업이 에이전트로 하여금 티켓을 닫게 하지 못하게 만드는 두 가지 실패 모드이며, DevRev는 둘 다를 모델 동작이 아닌 제품 동작이라고 주장하고 있다. 어떤 셀프서비스 에이전트를 평가하든, 그것이 바로 물어봐야 할 질문이며, 어떤 리더보드도 그 질문에 답하지 못한다.

이 이야기에 붙을 숫자는 7월의 것이며, Sol에 관한 것이 아니다.

DevRev와 OpenAI에 관한 보도를 검색해 보면 눈에 띄는 두 가지 수치를 발견하게 될 것입니다: 정확도 48% 향상, 그리고 정답 응답당 토큰 4.4배 감소. 이 수치들은 실제이며, 공개된 것이고, GPT-6.1 Sol과는 아무런 관련이 없습니다.

Those figures come from a 9 July 2026 release announcing Enterprise-Bench, an open enterprise-agent benchmark DevRev built with the Laude Institute and published on the Harbor harness. In that comparison, DevRev's Computer scored 94.3% against 63.6% on the XL dataset, and used roughly 5,598 tokens per correct response against 24,461. The comparison was explicitly harness against harness, with both systems running the same underlying model. DevRev attributed the gap to its retrieval and shared-memory architecture, not to the model underneath. It was also benchmarked against Claude Code, not against anything OpenAI shipped in September.

OpenAI 고객 사례는 Enterprise-Bench를 언급하며, Bashir는 GPT-6.1 Sol이 그 벤치마크에서 좋은 성과를 낸다고 말합니다. 그것은 정성적인 진술입니다. 점수도 없고, 데이터셋 일부도 없고, 비교도 없습니다. 7월 수치를 11월 사례에 억지로 갖다 붙이는 사람은 다른 분기에 다른 모델에서 다른 것을 측정하고 있는 것입니다. 솔직한 해석은 더 좁지만 여전히 흥미롭습니다. DevRev에는 바로 이 결정을 위해 만든 벤치마크가 있으며, DevRev는 그 벤치마크에 Sol 행을 공개하지 않았습니다.

이야기가 말하지 않는 것

OpenAI의 글에는 해결률도, 티켓 처리량도, 지연 시간 백분위수도, 토큰 수도, 가격도 없습니다. 자율적인 셀프서비스에 관한 고객 사례라면, 점수판 전체가 빠진 셈입니다.

가장 근접한 공개 수치는 DevRev의 BILL 개념 증명으로, 여기서 BILL은 자체 평가를 사용해 실제 고객 질의에서 70%의 AI 해결률을 보고했습니다. DevRev 자료는 또한 자체의 이전 접근법과 비교해 측정한 것으로, 토큰 77% 감소와 다단계 질문에서 약 9분에서 약 1.5분으로의 단축을 언급합니다. 이들은 공급업체가 보고한 것으로 재현되지 않았으며, 어느 것도 현재 프로덕션에 있는 모델 세대와 연결되어 있지 않습니다. 이는 주장의 규모가 아니라 주장의 형태로 받아들이십시오.

Bashir 자신의 제약 조건이야말로 놓치지 말아야 할 핵심이다. “이것들은 분이 아니라 초 단위로 스스로 실행되고 완료될 수 있어야 한다.” 추론에 20분이 걸리는 지원 상호작용은 점수가 어떻든 셀프서비스가 아니다. 그 한 문장이 어떤 벤치마크 표보다 모델 선택을 더 잘 설명해 준다.

지원 데스크가 확인할 수 있는 계산

일반적인 티켓 하나를 예로 들어 보자. 검색된 컨텍스트 20,000 입력 토큰, 추론을 포함한 2,000 출력 토큰이다. GPT-6.1 Sol의 정가 기준으로 입력에 0.04달러, 출력에 0.02달러이므로 약 6센트다. 동일한 요청을 GPT-6 Astra에서 처리하면 입력 10.00달러, 출력 50.00달러 기준으로 0.20달러에 0.10달러를 더한 약 30센트가 된다. 같은 작업인데 청구서는 다섯 배다.

6센트는 예측치라기보다 하한선이다. 추론 토큰은 출력으로 청구되고, 재시도는 두 번 청구되며, 어떤 도구 루프든 이 둘을 배수로 늘린다. 그러나 핵심은 그 비율이며, 이는 세 가지 단서에도 불구하고 유효하다. OpenAI 자체의 벤더 보고 비용 수치도 같은 방향을 가리킨다. Terminal-Bench Science 0.1에서 OpenAI는 GPT-6.1 Sol을 작업당 $5.47로, GPT-6 Astra를 $23.80, Claude Opus 5.5를 $23.21로 제시했으며, Sol은 최대 노력에서 57.02%를 기록해 Astra의 68.1%와 대비된다. 당신은 네 배의 비용으로 11포인트의 역량을 사는 것이고, 지원 대기열에서 열한 번째 포인트는 보통 해결된 티켓이 아니라 더 나은 바꿔 말하기일 뿐이다.

다음은 OrcaRouter 가격 모델이 기반으로 삼는 계산입니다: 제공업체의 목록 가격을 마크업 없이 그대로 전달하므로 $2.00, $10.00 같은 요율이 곧 지불하는 금액이며, 공급업체의 가격 변경이 다음 계약 갱신 때가 아니라 같은 날 반영됩니다. 두 모델 모두 하나의 키 뒤에 있으므로, DevRev가 아키텍처에서 나눈 구분 — 대량 트래픽 경로에는 저렴한 모델, 답변이 곧 제품인 곳에는 비싼 모델 — 은 두 번째 조달이 아니라 라우팅 결정입니다. 잘못된 도구 호출이 비용이 큰 단계에서는 요청별로 더 강력한 모델로 장애 조치하는 것이 나쁜 오후와 나쁜 한 주의 차이를 만듭니다.

왜 중급 모델이 프로덕션 경로를 차지하는가

본능적으로 이것을 비용 이야기로 읽게 된다. 이는 부분적으로는 지연 시간 이야기다. GPT-6.1 Sol은 낮음부터 최대까지 다섯 가지 노력 수준 전반에서 추론이 항상 켜진 채로 실행되며 기본값은 중간이고, temperature나 top_p를 전혀 받지 않는다. 이는 에이전트가 느리다고 느껴질 때 대부분의 팀이 찾는 조정 손잡이를 없애고, 노력 수준만 조절 장치로 남긴다. 낮음과 최대 사이에서 첫 답변 토큰까지 걸리는 시간 차이는 밀리초가 아니라 분 단위로 측정된다.

독립적인 수치들은 이 자리에 있는 모델에 대해 예상할 만한 수준에 있습니다. Artificial Analysis Intelligence Index v5.0.1에서 GPT-6.1 Sol은 최대 노력에서 55점을 기록하며, 초당 56토큰, 완료된 인덱스 작업당 $1.27, 실행 전체에서 6,370만 출력 토큰을 나타냅니다. 자체 7일 텔레메트리에서는 첫 토큰까지 걸리는 시간 중앙값 937ms, 오류율 5.7%, 출력 속도 초당 39.5토큰을 보여주는데, 이는 지원 흐름을 구축할 수 있는 유형의 프로필입니다. 사용 가능한 가장 빠른 모델은 아니지만, 대기열 규모를 그에 맞춰 산정할 수 있을 만큼 예측 가능합니다.

컨텍스트 윈도는 그 선택의 나머지 절반입니다. 1,050,000토큰에 128,000토큰 출력 상한을 갖춘 환경에서는 케이스 파일과 그 이력, 검색된 지식이 모두 한 번의 요청에 담깁니다. 이것이 정교한 청킹 계층 없이 "실시간 데이터 전반에 걸쳐" 추론하는 에이전트를 가능하게 하는 이유이며, 70% 해결률이 실제로 의존하는 사양서의 부분이기도 합니다.

무엇이 이것을 사례 연구로 만들 수 있을까요?

세 가지가 갖춰지면 이것은 페이지 위의 로고에서 벗어나 계획의 근거가 되는 증거로 바뀔 것입니다. 이름이 밝혀진 데이터셋에서 Operator의 해결률을 공개하고 그 옆에 인간 에스컬레이션 비율을 함께 제시하는 것. 평균이 아니라 지연 시간 분포를 제시하는 것—셀프서비스가 무너지는 지점이 바로 p95이기 때문입니다. 그리고 Enterprise-Bench에서의 Sol 대 Astra 절제 실험—DevRev는 이미 하네스를 보유하고 있으며, 자사 아키텍처에 유리할 때는 결과를 공개하겠다는 점을 이미 보여주었기 때문입니다.

바시르는 다음으로 원하는 두 가지를 지목한다. 규칙으로 인코딩하기에는 비용이 많이 들지만 깊은 추론은 필요 없는 작은 판단을 위한 Decisions API, 그리고 10월 8일부터 구매 가능한 OpenAI의 6배 속도 등급으로 입력 100만 토큰당 $12.00, 출력 100만 토큰당 $60.00인 Ultrafast다. 둘 다 지능을 사지 않고 지연 시간을 사려는 시도로, 이는 지원 대기열에는 올바른 본능이며 대부분의 에이전트 로드맵이 좇는 것과는 정반대다.

주목할 패턴은 특별히 DevRev가 아니다. GPT-6.1 Sol의 첫 번째로 이름이 알려진 프로덕션 배포가 저렴한 모델은 고객이 있는 곳에, 비싼 모델은 잠재 고객이 있는 곳에 두었다는 점이다. 그것이 엔터프라이즈 에이전트 스택의 일반적인 형태가 된다면 — 대량 트래픽 경로에는 일꾼을, 데모에는 플래그십을 — 모든 벤더에게 흥미로운 질문은 어느 모델이 가장 똑똑한가가 아니라 요청을 두 모델 사이에서 얼마나 깔끔하게 이동시킬 수 있는가가 되기 시작한다.