GPT-6.1 Sol 추론 흔적: 유출되었기 때문이 아니라 요약이기 때문에 읽을 수 있다

2026년 10월 21일 00:46 UTC에 GPT-6.1 Sol의 추론 텍스트 스크린샷이 X에서 유포되기 시작했다. @scaling01이 "추론 트레이스가 완전히 읽힌다, 걱정할 것 없다"라는 캡션과 함께 게시한 것이었다. 이 농담은 — 정말로 농담이다 — 트레이스가 평범한 영어로 읽힌다는 점인데, 이는 바로 Andrej Karpathy가 2024년 9월에 강화 학습이 제대로 작동하지 않게 되었다는 뜻이라고 말했던 조건과 정확히 일치한다. 우선 두 가지를 말해야 한다. 첫째, 이 모델은 새로운 것이 아니다: GPT-6.1 Sol은 2026년 9월 29일에 출시되었다. O​penAI DevDay에서였으며, 이 글에는 출시나 버전 범프, 기능 발표가 전혀 없다. 둘째, 스크린샷은 스크린샷이다 — 한 응답에 대한 한 관찰자의 시각을, 이를 재현하지 않은 사람들이 다시 게시한 것이다. 새롭고 날짜를 특정할 수 있는 것은 이 스크린샷이 촉발한 논쟁으로, 10월 21일 내내 이어졌고 Karpathy의 답글과 잠재 추론을 두고 논쟁하는 연구자 무리를 끌어들였다. 그 논쟁은 해부해 볼 가치가 있다. 그 밑에 깔린 전제가 특정하고 검증 가능한 방식으로 틀렸기 때문이다. 그중 어느 것도 가상이 아니다. 이번 같은 릴리스 뒤에 있는 문서화된 AI 실패와 에이전트 사건들은 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 고유한 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 붙어 있다.

무엇이 실제로 게시되었고, 무엇이 실제로 검증되었는가

구성을 걷어내면 근거는 빈약한데, 이런 종류의 일에서는 흔한 일이다. 한 사용자가 모델 출력 스크린샷을 게시했는데, 그것은 훈련 압력이 높을 때 사고의 연쇄(chain-of-thought) 텍스트가 흔히 붕괴하는 압축되고 구두점 없는 속기체가 아니라 평범하고 잘 구성된 영어 산문처럼 읽혔다. 그 게시물은 아카이브될 당시 약 65,600회 조회되었다. Karpathy는 "그래, 이제 RL이 제대로 작동한다고 말하겠어"라고 답하며, 모델이 사고의 연쇄에서 영어 말하기를 멈출 때 RL이 제대로 되었다는 것을 알 수 있다는 자신의 2024년 9월 발언을 인용했다. 다른 이들은 더 나아갔다. 한 답글은 이 분야가 "이제 이를 악물고 완전한 잠재 추론으로 전환하는 게 나을지도 모른다"고 제안했고, 또 다른 이는 그 흔적들이 단지 공백을 잃었을 뿐이며, 공백을 복원하면 요구 사항을 만들어내지 않고 모니터링하는 것에 관한 평범하고 간결한 모델 문구가 나왔다고 주장했다.

그 스레드에는 서로 얽혀 있는 세 가지 별개의 주장이 있고, 그 증거적 지위는 매우 다릅니다. GPT-6.1 Sol에 귀속된 출력에 판독 가능한 영어가 나타났다는 것 — 검증되지 않았고, 스크린샷 한 장뿐이며, 프롬프트나 요청 ID가 공개되지 않았습니다. 그 판독 가능성이 모델의 내부 추론이 이제 읽을 수 있게 되었다는 것을 함의한다는 것 — 검증되지 않았고, 다음 절에서 보듯 아마도 범주 오류입니다. 그 판독 가능성이 RL이 얼마나 잘 작동했는지에 관한 무언가를 함의한다는 것 — 이 구성에서 모델을 실행해 본 적이 없는 누군가가 농담으로 제시한 해석입니다. 세 가지 모두 커뮤니티 관찰로 취급하세요. 그중 어느 것도 발견 사항이 아닙니다.

API가 실제로 반환하는 것, 즉 아무도 인용하지 않은 부분

다음은 이 스레드가 건너뛴 세부 사항입니다. GPT-6.1 Sol은 자신의 사고 과정을 돌려주지 않으며, O​penAI 자체 문서에도 그렇게 명시되어 있습니다. API는 모델이 내보내는 원시 추론 토큰을 노출하지 않으며, 실제로 반환하는 추론 항목도 여전히 불투명합니다. 호출자에게 돌아오는 것은 세 가지 별개의 항목이며, 그중 산문인 것은 하나뿐입니다:

• 원시 사고 연쇄 — 어떤 노력 수준에서도, 어떤 매개변수 조합에서도 절대 반환되지 않음.

• 추론 요약 — 선택적으로 사용할 수 있으며, summary 매개변수를 통해 요청되고, 모델이 실제로 추론에 사용한 토큰에서 그대로 가져오는 대신 서사적 설명으로 작성됩니다.

• 토큰 수 — output_tokens_details.reasoning_tokens, 숫자이며 기본적으로 추론이 드러나는 유일한 위치입니다.

그 중간 항목이 바로 그 스크린샷이 거의 확실히 가리키는 것이다. 요약 채널은 설계상 읽을 수 있게 되어 있으며, 그것이 존재하는 이유의 전부다. 그것은 사람이 읽는 문체로, 사람이 읽도록 생성되며, 그 유창함은 그 아래 계산의 형태가 아니라 요약기의 스타일에 대해 알려준다. 단서도 미묘하지 않다. 스크린샷 속 텍스트가 공백이 그대로 남고 문장이 해결된 채로 나왔다면, 그것은 결코 원시 추적이 아니었다. 공백이 단순히 제거되었을 뿐이며 복원될 수 있다고 주장하는 답글은 같은 요점을 반대 방향에서 말하는 것이며, 스레드에서 가장 기술적 근거가 탄탄한 기여다.

왜 카파시의 그 말이 여기서는 그것이 적용되었던 방식대로 적용되지 않는가

2024년의 주장은 특정 진단법에 관한 것이었다. 비영어나 구문 분석이 불가능한 축약형으로 퇴화한 원시 사고 연쇄 텍스트는, 정책이 최적화된 결과 그 언어적 층이 의사소통이 아닌 다른 일을 하고 있다는 증거라는 것이다. 그 진단법은 원시 트레이스에서만 작동한다. 요약본에 적용하면 요약기를 시험하는 셈인데, 요약기는 읽기 쉬움이라는 자체 목표를 가진 별도의 모델 패스다. 기저 정책이 정돈되어 있든 아니든, 얻는 것은 읽기 쉬운 요약이다.

이는 이번을 위해 만들어낸 구분이 아니다. 바로 이 때문에 O​penAI가 모니터링 가능성 부록을 발행하는 것이다. 원시 추론이 사용자가 읽을 수 있는 것이라면, 안전성 논거는 사용자가 그것을 읽는 데 기대게 될 것이기 때문이다. 대신 그 논거는 어떤 API 호출자보다도 토큰에 더 가까이 위치한 모니터들과, 의도적으로 하나의 렌더링인 요약 채널에 기댄다. 독자에게 미치는 결과는 노골적이다. API로는 GPT-6.1 Sol의 추론을 감사할 수 없다. 감사할 수 있는 것은 그 답변, 토큰 수, 그리고 모델이 제시한 요약이다. 스크린샷을 통해 그 모델의 속마음을 읽었다고 주장하는 사람은 모델이 스스로에 대해 쓴 문서를 읽은 것뿐이다.

‘거기 안에 뭔가 잘못된 게 있나’라는 질문과 실제로 관련이 있는 숫자

모델이 스스로에 대해 말하는 내용이 아니라 모델 내부에서 실제로 무슨 일이 일어나는지에 대한 증거를 원한다면, 9월 배포 안전성 부록이 유일한 실질적 공개 자료이며, 그것도 공급업체가 직접 수행한 것입니다 — OpenAI는 자사 모델을 측정했고 방법을 공개했으며, 외부 주체는 이를 재현하지 못했습니다. 그 사고 연쇄 섹션에 나오는 두 가지 수치는 기억해 둘 만합니다.

• CoT 제어 가능성 — GPT-6.1 Sol은 44.8%로, GPT-6 Astra의 60.9%, GPT-6 Sol의 23.2%, GPT-5.6 Sol의 16.1%와 대비됩니다. 높을수록 외부 프롬프트가 추론 텍스트를 더 쉽게 조종할 수 있음을 의미합니다.

• 최대 노력에서의 CoT 모니터 회피 — 거의 0에 가까우며, 전체 맥락 모니터는 공급업체 자체 하네스에서 심어놓은 행동을 100% 복원했습니다.

• 추론에서의 스테가노그래픽 인코딩 — 동일 문서에 따르면 시도되었으나 입증되지는 않음.

그것들을 함께 읽으면 상황은 트윗이 암시한 방향과는 정반대로, 놀라울 것과는 거리가 멀다. 표면상 가장 유창하게 읽히는 모델이 추론이 가장 조종하기 쉬운 모델은 아니다. Astra는 통제 가능성에서 더 높은 점수를 받으면서도, 리뷰어들이 전반적으로 더 유능하다고 묘사하는 모델이다. GPT-6.1 Sol의 추론은 상대적으로 좌지우지하기 어렵고, 벤더 자체 수치상 전체 맥락 모니터가 따라가기 쉽다. "걱정할 것 없다"는 농담이지만, 공개된 증거로 보면 크게 틀린 말도 아니다 — 특히 모니터링 가능성이라는 좁은 질문에 관해서는.

잠재적 추론은 다른 문제에 대한 진짜 해답이다

“완전 잠재 추론으로 전환하자”는 답변은 그 스레드가 보여준 것보다 더 존중받을 만하다. 그것은 실재하는 긴장을 정확히 짚어내기 때문이다. 추론이 연속 벡터에 머문다면 잘못 읽을 만한 읽을 수 있는 것도, 요약할 것도, 조종할 것도 없으며 — 모니터가 읽을 것도 없다. 그래서 연구소들이 그저 그렇게 하지 않은 것이다. 잠재 추론은 모니터링 가능성을 능력 여유분과 맞바꾼다. 그 스레드에서 공짜 점심을 제안한 사람은 아무도 없었다. 그들은 사람들이 창문을 들여다보지 못하게 하려고 그 창문을 닫자고 제안하고 있었을 뿐이다.

알아둘 만한 두 번째 공격 측면이 있다. 올해 발표된 연구는 응답 본문을 읽는 대신 프롬프트 주입과 토큰 타이밍 공격 같은 부채널을 통해 독점 API에서 추론 흔적을 추출하는 방법을 다뤘으며, 반환할 의도가 없었던 흔적도 여전히 유출될 수 있음을 입증했다. O​penAI의 설계는 그 공격의 명백한 형태를 차단한다. 응답 본문에는 추론 흔적이 아니라 렌더링된 결과가 담기기 때문이다. 그러나 타이밍 채널은 막지 못하며, 막는다고 주장하지도 않는다. 그것이 진지한 독자가 주시해야 할 위험이며, 스크린샷이 다룬 위험은 아니다.

이 중 어떤 것이든 스스로 저렴하게 확인하는 방법

이 모든 것은 오후 한나절이면 검증할 수 있고 비용도 충분히 낮아서, 우리를 포함해 누구의 말도 그냥 믿을 이유가 없습니다. GPT-6.1 Sol은 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러이며, 캐시된 입력은 0.10달러, 캐시 쓰기는 2.50달러입니다. 컨텍스트는 1,050,000토큰이고 최대 출력은 128,000토큰입니다. 노력 사다리는 다섯 단계 — low, medium(기본값), high, xhigh, max — 이며 'none'이나 'minimal' 설정이 없으므로 이 모델에 추론을 전적으로 건너뛰도록 요청할 수는 없습니다. reasoning.context받아들입니다all_turns, 이는 매 턴마다 다시 시작하는 대신 다중 턴 대화 전반에 걸쳐 추론 상태를 이어갑니다.

실행할 가치가 있는 실험은 "영어처럼 읽히는가"가 아니라 "요약이 정답을 추적하는가"이다. 동일한 어려운 프롬프트를 low, high, max에서 보내고 각각에서 요약을 요청한 뒤, 요약을 채점된 정확성과 reasoning_tokens에 비교하라. 정확도는 제자리인데 요약만 부풀어 오르면 그 요약은 장식이다. reasoning_tokens가 늘수록 정확도가 올라가는데 요약은 간결하게 유지되면, 그 요약은 손실이 있지만 정직한 지표다. 어느 결과든 스크린샷보다 더 많은 정보를 준다.

그 비교는 또한 라우팅 계층이 나중에 덧붙는 것이 아니라 제 역할을 하는 지점이기도 합니다. OrcaRouter는 openai/gpt-6.1-sol을(를) 0% 마크업으로 하나의 키에서 200개 이상의 다른 모델과 함께 제공하므로, 위의 $2/$10이 실제로 지불하는 금액이며 공급업체 가격 변경도 같은 날 반영됩니다. 이 특정 테스트에서는 장애 조치가 중요합니다. 세 가지 노력 수준을 병렬로 실행한다는 것은 속도 제한이나 잘못된 게이트웨이에 부딪힐 기회가 세 번이라는 뜻이며, 정상 공급자로의 자동 장애 조치가 A/B/C 비교를 절반만 끝내지 않고 끝까지 완료되게 합니다. 각 엔드포인트마다 별도 클라이언트 코드를 작성하지 않고 요약 채널과 원시 답변 채널을 나란히 측정하려면, 라우팅 DSL이 호출을 한곳에 구성합니다.

이 작품을 실제로 바꿀 것은 무엇일까

두 가지 변화가 있어야 이것이 유출물 성격의 해석에서 뉴스 기사로 넘어갈 수 있다. 첫째는 요약이 아닌 다른 것을 반환하는 API 계약의 변경, 즉 원시 트레이스 파라미터, 디버그 모드, 리서치 프리뷰 같은 것이다. O​penAI의 10월 체인지로그에는 추론 트레이스나 원시 사고 연쇄(raw chain-of-thought)에 관한 항목이 없고 문서의 문구도 달라지지 않았으므로, 발행 시점 기준으로 계약은 변경되지 않았다. 둘째는 재현 가능한 독립적 결과다. 누군가 프롬프트, 요청 ID, 출력물을 공개하여 특정 추론 강도(effort) 수준에서 요약이 채점된 정확성과 어긋난다는 것을 보여주는 것이다. 그것이라면 하나의 발견이 될 것이다. 프롬프트가 없는 스크린샷은 발견이 아니다.

이 모든 논쟁이 벌어지는 동안 모델이 실제로 어디에 있는지에 대한 맥락을 말하자면: Artificial Analysis는 GPT-6.1 Sol을 v4.3.2에서 Intelligence Index 52로 측정해 214개 모델 중 12위로 평가했으며, 작업당 $0.72, 초당 55.2토큰이다 — 독립적으로 수행된 측정이고, 작업당 비용 수치를 주목해야 한다. GPT-6 Astra는 $10/$50 가격 책정에서 작업당 $3.26로 53점을 기록하기 때문이다. ARC Prize의 검증된 스위트는 GPT-6.1 Sol을 ARC-AGI-1에서 98.5%, ARC-AGI-2에서 94.2%로 평가한다. 이는 역량 수치다. 그것들은 추론이 읽을 수 있는 형태인지에 대해서는 아무 말도 하지 않으며, 바로 그것이 이 스레드가 안고 달린 혼란이다: 모델은 뛰어나면서도 불투명할 수 있고, 당신이 읽는 요약은 예의상 제공된 것이지 창문이 아니다.