Claude Sonnet 5.5의 Extra Effort: "Next Claude Model"이라는 주장이 자체 테스트 두 가지 모두에서 실패하는 이유

UTC 11월 5일 12시 44분, @chetaslua라는 X 계정이 10월부터 여러 형태로 회자되어 온 한 문장을 게시했습니다: "Sonnet 5.5 Extra는 다음 claude 모델로 라우팅하는 것처럼 보인다." 다음 날 아침까지 이 게시물은 조회수 20,900회, 좋아요 384개, 답글 38개를 기록했습니다. 여기서 언급된 모델은 오늘도 호출할 수 있는 모델입니다 — Claude Sonnet 5.5는 9월 28일 출시되었으며 백만 토큰당 2달러와 10달러에 제공됩니다. "Extra"라는 단어는 두 번째 모델이 아닙니다. 이는 Claude의 effort 메뉴에서 두 번째로 높은 단계로, Anthropic은 이를 Extra high라고 표기하고 API에서는 xhigh라고 부릅니다.

증거로 두 가지 테스트가 제시된다: Andrej Karpathy가 2026년에 어디로 갔는지에 대한 질문과, 전부 SVG로 그린 자전거를 탄 펠리컨. 두 테스트 모두 Anthropic이 9월에 출시한 모델에서 통과한다. 그것이 이 주장의 어려움 전부다. 한 테스트는 한 달이 Claude Sonnet 5.5 자체의 학습 기간 안에 들어가는 사실을 확인한다. 다른 하나는 Extra 설정이 늘리기 위해 존재하는 양을 측정한다. 어느 것도 "더 나은 모델이 답했다"와 "내가 선택한 설정이 문서에 적힌 대로 작동했다"를 구분할 수 없다.

그렇다고 해서 그 글이 쓸모없는 것은 아니다. 그것은 결정적인 것처럼 느껴지지만 실제로는 그렇지 않은 테스트의 깔끔한 표본이 된다. 그리고 그 테스트가 사용하는 두 가지 수법, 즉 지식 탐침과 출력 크기 비교는 올가을 대부분의 라우팅 주장 뒤에 있는 바로 그 두 가지 수법이다. 그것들을 하나씩 짚어보는 것이 Anthropic이 아직 발표하지 않은 것에 대해 또 한 차례 추측하는 것보다 더 유용하다.

실제로 게시된 내용은 무엇이었나요?

해당 게시글은 하나의 채팅 세션과 두 개의 프롬프트를 설명한다. 첫 번째 프롬프트는 2026년에 Karpathy가 어디로 갔는지 물으면서 모델에 웹을 사용하지 말라고 지시했고, 답변은 그가 2026년 5월에 Anthropic의 사전학습 팀에 합류했다고 말했다. 두 번째 프롬프트는 "코드만으로 최대한 사실적으로 자전거를 타는 펠리컨"을 요청했으며, 그 결과는 26,599개의 SVG 요소, 약 6,500개의 깃털 획, 삽입된 이미지나 데이터 URI 또는 스크립트 없음, 1,860줄의 Python으로 묘사된다. 이 두 번의 주고받음으로부터 게시글 작성자는 그 라벨이 이름 붙인 모델보다 더 새로운 무언가를 제공하고 있다고 결론짓는다.

그것을 동반하는 것은 아무것도 없다. 모델 식별자도, 요금표도, 시스템 카드도, Anthropic의 성명도 없다. 그것이 암시하는 후속 모델은 10월부터 여러 이름으로 떠돌았지만, 그중 어느 것도 Anthropic의 것이 아니며 어느 것도 호출할 수 없다. 오늘 확인한 Anthropic 자체 모델 목록에는 네 가지 현행 모델이 실려 있다: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5. 다섯 번째 행은 없으며, 이 게시물 어디에도 독자가 검증해 볼 수 있는 식별자는 없다.

"Extra"가 미스터리가 되기 전에 그것이 무엇인지

Claude 앱의 effort 메뉴에는 다섯 단계가 있습니다. Low, Medium, High, Extra high(xhigh), Max이며, 모델이 권장하는 단계는 Default로 표시됩니다. "Extra"는 사람들이 네 번째 단계를 줄여 부르는 말입니다. Anthropic의 자체 참조 자료에서는 xhigh를 장기 실행 작업을 위한 확장된 역량으로 설명하며, "수백만 단위의 토큰 예산으로 30분 넘게 이어지는 에이전트형 및 코딩 작업"을 겨냥한다고 밝힙니다. 이는 공급업체가 이 단계가 바로 아래 단계보다 훨씬 많은 양을 소비하도록 의도되었다고 미리 알려주는 것입니다.

이 단계 역시 전역이 아니라 모델별로 보정된다. 이 세대에 대한 Anthropic의 마이그레이션 노트는 Claude Sonnet 5.5의 에포트 수준이 재보정되었다고 분명히 밝힌다 — 어떤 수준은 "Claude Sonnet 5에서와 같은 양의 사고를 생성하지 않는다" — 그리고 개발자들에게 설정을 그대로 이어 쓰지 말고 에포트 스윕을 다시 실행하라고 말한다. 그로 인해 두 가지 결과가 나오는데, 둘 다 시시하고 둘 다 이 추론에는 치명적이다. Sonnet 5.5에서 Extra 수준으로 보낸 요청은 이전 모델에서 Extra로 보낸 요청과 같지 않으므로, "내가 기억하는 것과 다르게 느껴진다"는 것은 예상된 일이다. 그리고 다이얼을 High에서 Extra로 돌리는 것은 더 많은 토큰을 쓰라는 지시이므로, 더 길고 더 밀도 높고 더 정교한 그림이 요청된 결과물이다.

짚고 넘어가야 할 표면적인 세부 사항이 하나 더 있습니다. 바로 라벨이 더 이상 들어맞지 않기 시작하는 지점이기 때문입니다. 이 모델에 대한 Claude API의 기본 effort는 high이고, 같은 모델에 대한 Claude Code의 기본값은 medium입니다. 앱에서 Extra로 설정해 받은 응답, API가 기본값으로 내놓은 응답, Claude Code가 기본값으로 내놓은 응답은 한 모델의 서로 다른 세 가지 구성입니다. 이 중 어느 둘을 비교해 놓고 새 모델이 등장했다고 결론 내리는 것은 체크포인트를 비교하는 것이 아니라 기본값을 비교하는 것입니다.

테스트 1: 6월 기준일을 기준으로 검증한 5월의 사실

카파시 질문은 두 가지 탐침 중 더 강력한데, 이 테스트 대부분과 달리 그 답을 공개 기록과 대조해 확인할 수 있기 때문이다. 그것은 사실로 확인된다. 카파시는 2026년 5월 19일 X에서 자신이 Anthropic에 합류했으며 그 주에 사전 학습 팀에서 시작해 Nick Joseph에게 보고했고, Claude를 사용해 사전 학습 연구를 가속화하는 데 집중하는 팀을 만들겠다고 밝혔다. 게시물이 설명하는 답변 — Anthropic 합류, 2026년 5월, 사전 학습 팀 — 은 정확하다.

정확성이 문제다. Claude Sonnet 5.5의 신뢰할 수 있는 지식 컷오프는 2026년 6월이고, 학습 데이터 컷오프도 같다. 그 채용은 그 경계선보다 대략 한 달 앞서 일어났다. 출시된 Claude Sonnet 5.5가 웹을 끈 상태에서 이 질문을 받으면 답할 수 있어야 하며, 답하는 것이 바로 그 문서가 예측하는 바다. 그 프로브는 널 결과를 산출했고, 그것이 발견으로 읽혔다.

지식 프로브가 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 정확히 짚고 넘어갈 필요가 있습니다. 대부분의 이런 주장이 바로 이 지점에서 잘못되기 때문입니다:

• 컷오프 이전 사건에 대한 정답은 정보를 주지 않는다. 해당 계열의 모든 모델이 그 사건에 대해 학습되었기 때문이다.

• 잘못된 답변은 오히려 정보를 주었을 것입니다 — 다만 반대 방향으로요. 2026년 5월 채용 건을 알고 있어야 할 모델이 이를 부인한다면, 그것은 더 강력한 미공개 체크포인트가 아니라 다른, 더 약한 체크포인트라는 증거입니다.

• 오직 컷오프 이후의 사실만이 판별력을 갖는다. 2026년 6월 이후에 발표되어 현재 라인의 어떤 모델도 학습할 수 없었던 사실이야말로 새 체크포인트와 옛 체크포인트를 구분하는 유일한 형태의 질문이다. Karpathy는 11월 2일 자신의 블로그에 워크플로우 정리 글을 발표했다. 웹을 끈 상태에서 그 내용을 묻는 것이야말로 진짜 테스트였을 것이다. 그가 5월에 어디로 갔는지 묻는 것은 그렇지 않았다.

테스트 2: 장황함을 측정하는 펠리컨 개수

펠리컨 프롬프트는 Simon Willison이 오랫동안 이어온 임시 평가(ad-hoc eval)이며, 그는 모델이 출시된 날인 9월 28일에 Claude Sonnet 5.5를 대상으로 이를 실행했다. 그가 공개한 결과는 여기서 유용한 기준선인데, 눈대중으로 세는 대신 날짜와 출처가 명시되고 측정되었기 때문이다.

• 최대 노력 설정에서 — 해당 게시물에서 사용한 설정보다 한 단계 더 높은 — 모델은 출력 토큰 128,000개를 사용했고, 상한에 도달했으며, 비용은 $1.28였고, SVG는 전혀 생성하지 못했습니다.

• xhigh — 이 글에서 Extra라고 부르는 단계 — 에서 같은 모델이 5.74센트로 41초 만에 펠리컨을 만들어냈습니다.

그 두 줄을 함께 읽으면 그 글의 두 번째 테스트는 무너진다. Extra에서 배포된 모델은 이미 새를 그린다. 그것이 41초, 5.74센트짜리 실행이다. 따라서 Extra에서 새가 나오는 것은 변칙이 아니다. Extra보다 한 단계 위의 배포된 모델은 전혀 아무것도 그리지 않는다. 따라서 이 과제에서 effort 다이얼은 압도적으로 지배적인 변수이며, 그 글에서 바꾼 유일한 것은 effort 다이얼이다. 네가 돌린 설정에 따라 달라지는 결과는 그 설정에 관한 증거다.

요소 수는 자체적인 산술 계산이 필요합니다. 왜냐하면 이 수치는 반복될 가능성이 가장 높은 수치이기 때문입니다. Anthropic은 현재 토크나이저에서 1M 토큰이 대략 2.5M 문자라고 밝힙니다. 26,599개 요소가 각각 평균 40자라고 가정하면 — 경로 데이터와 속성을 포함하면 보수적인 수치입니다 — 도면은 약 1.06M 문자, 즉 대략 424,000 토큰이 됩니다. 이는 128,000토큰 동기 출력 한도의 세 배가 넘고, 300,000토큰 배치 한도도 넘습니다. 요소가 평균 7자라면 같은 개수가 약 74,000토큰 안에 여유롭게 들어갑니다.

따라서 개수는 모델의 강도가 아니라 마크업 밀도에 의해 제한되며, 더 간결한 모델이 더 큰 숫자를 게시합니다. 게시물 자체의 설명은 더 그럴듯한 해석을 가리킵니다. 같은 채팅에 1,860줄의 Python이 등장하고, 깃털들을 순회하는 스크립트는 모델이 26,599개 요소를 작성하지 않고도 26,599개 요소를 내보낼 수 있습니다. 게시물은 그 코드가 펠리컨을 그린 것인지 아니면 별개의 산출물이었는지 말하지 않는데, 바로 이것이 독자에게 필요한 세부 사항입니다. 파일 없이 말할 수 있는 것은 요소 개수가 더 많이 생산하는 것이 문서상 역할인 단계에서의 장황함을 측정한다는 것입니다.

설명에서 정말로 흥미로운 단 한 줄은 부정형 문장입니다. 임베드된 이미지도, 데이터 URI도, 스크립트도 없습니다. 그 정도 수준의 디테일을 지닌 펠리컨을 오직 벡터 프리미티브만으로 만들었다는 것은 실제 성과입니다. 다만 그것은 출력 품질에 관한 성과이고, 더 높은 노력 설정에서의 출력 품질은 모델이 내놓을 수 있는 가장 놀랍지 않은 일입니다.

다른 Claude가 답하는 문서화된 유일한 방식

이 중 어느 것도 Anthropic이 하나의 라벨 아래에서 서로 다른 가중치로 요청을 처리하는 일이 결코 없을 것임을 증명하지는 않는다. 다만 이는 그 주장이 Anthropic이 실제로 문서화한 메커니즘들을 설명해야 함을 의미하며, 그 두 메커니즘은 모두 반대 방향을 가리킨다.

첫 번째는 거부 폴백입니다. 거부된 요청은 HTTP 200과 함께 stop_reason: "refusal", 그리고 정책 영역을 명시하는 stop_details 객체를 반환합니다. 서버 측 폴백은 fallbacks: "default"로 설정하며 Claude API에서 베타 상태이고, cyber 및 frontier_llm 거부를 더 오래되고 더 저렴한 모델인 Claude Sonnet 5에서 재시도합니다. 이는 Sonnet 5.5 요청이 다른 무언가에 의해 응답되는 문서화된 사례이며, 응답 자체에서 스스로를 알리는 다운그레이드입니다.

두 번째는 사고 블록 바인딩입니다. 사고 블록은 해당 블록을 생성한 모델을 기록하며, 대화가 이를 읽을 수 없는 모델로 이동하면 API는 모델이 요청을 보기 전에 해당 블록을 삭제하고, 베타 헤더가 설정된 경우 input_transformations에 그 삭제 사실을 보고합니다. 이는 API가 서빙 모델이 변경되었음을 알려 주는 것입니다. 두 메커니즘 중 어느 것도 claude-sonnet-5-5 요청을 동일한 문자열을 사용하는 더 강력한 미공개 모델로 업그레이드하지 않습니다.

메커니즘의 부재는 아무 일도 일어나지 않고 있다는 증거가 아니다. 하지만 그것은 그 주장이 충족해야 하는 기준이다. 오직 개선만을 설명하는 라우팅 이야기는 Anthropic이 공개하는 단 하나의 경로가 왜 내리막으로 흐르고 영수증을 남기는지를 설명해야 한다.

외부 검증에 가장 가까운 것은 독립 평가자들이 Anthropic이 제공하는 모델을 대상으로 실행하는 지수입니다. Artificial Analysis는 Claude Sonnet 5.5를 Intelligence Index v5.0.1에서 55로 기재하며, 이는 69개 모델 중 9위로 중앙값 37과 대비됩니다. 이는 오늘날 제공되는 문자열에 대한 판독값이며, 같은 이름 아래 숨겨진 실질적으로 더 강한 체크포인트가 결국 모습을 드러낼 것으로 예상되는 표면입니다.

그것을 판가름할 수 있는 테스트가 어떤 모습인지

눈앞의 레이블이 다른 무언가에 의해 제공되고 있는지 알고 싶다면, 그 실험은 어렵지 않다. 다만 펠리컨을 게시하는 것보다 덜 재미있을 뿐이다.

• 레이블이 아니라 식별자를 고정하세요. 명시적인 effort 값을 사용해 claude-sonnet-5-5를 호출하면, 매번 동일한 요청이 됩니다. 메뉴의 레이블은 제품 표면이고, 식별자는 대상입니다.

• 두 번 이상 샘플링하세요. 한 단계에서의 응답 하나는 일화에 불과합니다. high에서 열 번, xhigh에서 열 번, 동일한 시스템 프롬프트와 동일한 max_tokens로 샘플링하면 두 개의 분포를 얻습니다. effort는 출력 길이에 매끄럽고 단조로운 변화를 만듭니다. 다른 체크포인트는 길이로는 설명되지 않는 내용상의 불연속을 만들어내는 경향이 있습니다.

• 컷오프 이후의 사실을 사용하세요. 2026년 6월 컷오프라면 6월 이후에 발표된 모든 것은 사용 가능하고, 그 이전의 모든 것은 프로브로서 가치가 없습니다. 이것이 11월 5일 테스트를 실행할 가치가 있게 만들었을 단 하나의 변경입니다.

• 응답 객체를 읽되, 그대로 믿지는 마세요. model 필드, usage, stop_reason, stop_details는 로깅할 가치가 있고, 거기서 거부(refusal) 폴백도 확인할 수 있습니다. 하지만 그 필드들은 서버가 스스로 '이렇게 했다'고 말하는 내용을 그대로 비춰 줄 뿐입니다. 그것은 진술이지 검사가 아니며, 모델에게 자기 자신을 설명해 달라고 요청하는 것과 같은 범주의 증거입니다.

• 실행 전에 가격을 확인하세요. 백만 토큰당 $2 및 $10일 때 128,000토큰 응답의 비용은 $1.28이며, 이는 Willison의 수치이자 요율표 그대로입니다. 상한까지 실행하도록 허용된 응답 20개는 약 $25입니다.

답변을 기다리는 동안 어떤 추가 비용이 발생하나요?

그 소문 아래에는 소문을 해결하지 않고도 따져볼 수 있는 실질적인 질문이 있다. Claude Sonnet 5.5는 사고를 출력으로 청구하고, 사고는 max_tokens에 산입되며, Extra는 수백만 단위의 토큰 예산에 대해 문서화되어 있다. 100만 출력 토큰을 쓰는 단일 응답은 출력 측에서만 10달러가 드는데, 이는 많은 팀이 바로 저렴한 등급이었기 때문에 선택한 요금표에서다.

Extra보다 한 단계 위에서, 측정된 pelican 실행은 128,000토큰 한도에 도달했고 그림을 생성하지 못한 채 1.28달러가 들었다. 이 모델에서 실패한 요청의 비용은 0이 아니다.

• 한 단계 아래에서는 같은 작업이 41초 만에 5.74센트로 끝났다. 둘 사이의 격차는 20배가 넘으며, 이는 드롭다운 하나로 결정된다.

• 하루 1,000건의 Extra 요청을 각각 30,000개의 출력 토큰으로 실행하는 팀은 입력 토큰을 전혀 따지기도 전에 이미 하루 3,000만 개의 출력 토큰, 즉 300달러를 지출하고 있는 셈입니다.

그것이 Anthropic이 다음에 무엇을 내놓든 독자가 오늘 당장 활용할 수 있는 부분이다. Extra가 다른 모델이라면 그 횡재는 실재하지만 계획할 수는 없다. Extra가 이름 그대로라면, high와 medium을 기준으로 점검되지 않은 워크로드는 아무도 측정하지 않은 철저함에 비용을 지불하고 있는 셈이다.

OrcaRouter는 Claude Sonnet 5.5를 공급업체 자체의 $2 및 $10에 추가 마크업 없이 라우팅하며, effort는 별도의 계약이 아니라 요청별 매개변수이므로, 각 단계에 걸친 effort 스윕은 스크립트의 루프입니다. 이는 다음과 같은 주장에 맞선 정직한 헤지이기도 합니다: 의도한 모델 식별자를 고정하고, 각 단계에서 동일한 프롬프트를 실행한 뒤, 스크린샷 대신 직접 토큰 수를 비교하세요. 라우팅 질문을 외부에서 해결할 수 없을 때, 그다음으로 좋은 것은 답을 자체 트래픽에서 측정할 수 있는 설정입니다 — 그리고 high로 또는 다른 모델로 페일오버하는 것이 마이그레이션이 아니라 구성 변경인 설정입니다.

이 페이지를 바꾸려면 무엇이 필요할까요

모델 식별자, 요금표, 시스템 카드, 또는 Anthropic이 후속 모델의 이름을 밝힌 한 문장. 이 중 어느 하나만 있으면 그 질문은 반나절이면 해결되지만, 오늘날 그중 어느 것도 존재하지 않는다. 그중 하나가 존재하기 전까지, 레이블 뒤에 있는 것에 대한 정직한 설명은 Anthropic이 공개한 설명이다: Claude Sonnet 5.5, 2026년 6월 컷오프, 다섯 단계의 노력 설정, 그리고 더 높은 설정의 더 큰 펠리컨은 더 높은 설정의 더 큰 펠리컨이라는 믿을 만한 문서화된 근거.

그 글 자체의 프레이밍이 속내를 드러낸다. 그것은 Extra를 측정값이 아니라 기대치와 비교한다 — Sonnet 5에서의 같은 단계, 또는 최대 설정에서의 같은 단계, 또는 출시 주간에 공개된 베이스라인과 비교한다. 그런 비교는 존재하며 비용도 적게 든다. 누군가 그것들을 실제로 돌리기 전까지, "라우팅처럼 보인다"는 말은 드롭다운이 제 일을 하고 있다는 설명일 뿐이다.