Obsidian 3: 숨겨진 벤치마크 행, 3.6배 청구서, 그리고 Fable 5.5에 관한 의문

이번 주 Cognition의 새 코딩 리더보드에서 가장 흥미로운 수치는 누구도 이름을 댈 수 없는 모델의 것이다. FrontierCode 2.0 뒤의 데이터 파일에 Obsidian 3라는 숨은 항목이 등장했는데, high-effort 점수 46.77%로 Claude Opus 5.5의 45.5%보다 높았다 — Cognition 자체 표에 첫 번째로 올라와 있는 모델이다. 해당 행은 claude-code 하네스에서 실행됐으며, 그 보드에서 Anthropic 모델만 이 하네스를 사용한다. 그리고 추측은 즉시 둘로 갈렸다: Anthropic이 아직 출시하지 않은 플래그십 Claude Fable 5.5와, 한 게시자가 "Opus 5.6"이라 부른 중간 주기 리프레시다. 그중 어느 것도 확인되지 않았다. Anthropic은 아무 말도 하지 않았고, 모델 카드나 API ID도 존재하지 않으며, 이 글에 나오는 모든 Obsidian 3 수치는 우리가 재현할 수 있는 결과가 아니라 X 게시물에서 나온 미검증 주장이다.

확인할 수 있는 것은 더 좁고 더 유용하다. 유출이 지목한 공개 파일, 숨겨진 행에 귀속된 에포트 곡선, 그리고 "3.6× 비용" 주장의 산술이다. 이것들을 종합하면 이야기는 더 이상 "Anthropic의 차기 모델이 현재 모델을 능가한다"가 아니다. 그것은 더 구체적인 것이 된다. 높은 에포트에서 정점을 찍은 뒤 퇴보하는 행, 양쪽에서 서로 다른 에포트 수준을 유지해야만 성립하는 비교, 그리고 그 행을 전혀 포함하지 않는 데이터 파일이다.

무엇이 유출되었고, 언제였나

Cognition은 10월 27일 FrontierCode 2.0을 공개했다. 이 벤치마크는 의도적으로 점수를 조작하기 어렵게 설계됐다. 20명 이상의 메인테이너가 실제 오픈소스 저장소를 바탕으로 만든 132개 과제로, 각 과제 제작에는 대략 40시간이 걸렸으며, 테스트 통과 여부가 아니라 패치가 실제로 병합될지 여부로 채점된다. 모든 실행은 세 번 반복되고, 과제는 비공개이며, 차단 기준을 하나만 실패해도 0점을 받는다. Cognition 자체 표에서는 Claude Opus 5.5가 최대 노력 설정에서 45.5%로 1위, GPT-6 Astra가 42.8%로 2위, Claude Sonnet 5.5가 41.0%로 3위였고, 50%를 넘은 모델은 없었다. Artificial Analysis는 새 Intelligence Index v5에서 15%의 비중으로 이 벤치마크를 채택했고, 독립적으로 동일한 선두 모델을 보고했으며, 반올림 기준 Claude Opus 5.5가 46%였다.

그날 저녁, 10월 27일 21:10 UTC에 @tensorson은 Cognition의 데이터 파일에 표에 표시되지 않은 한 모델이 들어 있다고 게시했습니다. 바로 46.8%의 "Obsidian 3"이며, "1위 Opus 5.5(45.5%)보다 높다"는 것이었습니다. 이 게시물은 claude-code 하네스를 언급하며 Fable 5.5로 추측했습니다. 12시간 후, linux.do 스레드에는 해당 행의 다섯 가지 개별 effort 점수—low 39.19%, medium 39.84%, high 46.77%, xHigh 45.90%, max 45.53%—를 나열하고 데이터 사본을 첨부했습니다. 10월 28일 09:12 UTC에 @teortaxesTex는 비용 수치를 담아 인용 게시물을 올렸습니다. high에서 Opus 5.5는 롤아웃당 $2.42로 34.5%, max에서 Opus 5.5는 $12.82로 45.5%, high에서 Obsidian 3는 "보아 $8.62로" 46.7%를 기록했으며, max에 $47을 써도 더 이상 나아가지 못했습니다. "FrontierCode는 이미 망가진 걸까?"라고 이 게시물은 물었습니다. "아니면 Fable 5.5는 실패작인 걸까?" 16:18 UTC에 @CodexResets1은 같은 수치를 더 널리 퍼뜨리며 그 모델이 Fable 5.5인지 Opus 5.6인지 물었습니다.

파일의 Last-Modified 헤더에는 10월 28일 17:44 UTC라고 표시되어 있습니다. 하루 뒤에 다운로드한 버전은 32,055바이트이고 24개 모델을 나열하며, 그 구조 어디에도 Obsidian 3라는 행이 없습니다. 캐시를 무효화한 요청에서도 동일한 파일 해시가 반환되었습니다. 공식 리더보드 표에는 그 행이 전혀 표시되지 않았고, BenchLM의 20행 미러에도 표시되지 않았으며, Anthropic은 아무것도 공개하지 않았습니다.

한 줄, 다섯 가지 노력 수준, 세 가지 다른 이야기

이 비교에서 공개된 절반은 탄탄합니다. Cognition의 다운로드 가능한 데이터에서 바로 나온 것이기 때문입니다. Claude Opus 5.5의 병합 가능성 보정 점수는 모든 단계에서 상승합니다: low에서 14.7%, medium에서 30.1%, high에서 34.5%, xHigh에서 43.4%, max에서 45.5%입니다. 평균 작업 비용은 high의 $2.42에서 max의 $12.82로 증가합니다. 이는 더 오래 생각하도록 비용을 지불할수록 더 나아지는 모델의 곡선입니다.

주장된 Obsidian 3 곡선은 그런 식으로 동작하지 않습니다:

• 낮은 노력 — 39.19% 기록, 이미 Claude Opus 5.5의 높은 노력 34.5%를 넘어섰습니다.

• 중간 노력 — 39.84% 달성, 0.65포인트 상승.

• 높은 노력 — 46.77%가 청구된 최고치이며, 과제당 청구 금액은 8.62달러입니다.

• xHigh 노력 — 45.90% 기록, 0.87포인트 하락.

• 최대 노력 — 45.53% 달성(주장), 추가로 0.37 하락, 주장된 비용은 약 $47.

다섯 가지 effort 설정이 있으며, 최고 점수는 세 번째에서 나옵니다. 최대 설정에 도달하려고 high-effort 예산의 약 5.5×를 쓰면 점수는 1.24점 더 낮아집니다. Cognition 자체도 이런 일이 일어날 수 있다고 경고합니다. 더 높은 추론 설정은 모델이 더 많은 코드를 작성하고 더 많은 파일을 건드리기 때문에 때때로 점수를 떨어뜨리며, 벤치마크 자체의 예시에는 경쟁 조건을 수정하다가 공개 API 클래스를 삭제한 max-effort 실행도 포함되어 있습니다. 하지만 하락 폭의 크기가 중요합니다. 정점에서 정체되는 모델은 완성된 플래그십일 때보다 초기 체크포인트나 증류 아티팩트일 때가 훨씬 더 많습니다.

이제 비교인데, 헤드라인은 어느 쪽을 선택하느냐에 전적으로 달려 있으니까요:

• 최고 대 최고 — high 설정에서 Obsidian 3의 46.77%는 max 설정에서 Claude Opus 5.5의 45.5%보다 +1.32포인트 높으며, 비용은 $8.62 대 $12.82로 약 33% 더 저렴합니다. 이렇게 보면 숨겨진 행이 두 축 모두에서 이깁니다.

• High 대 High — 46.77% 대 34.5%는 +12.24포인트, $8.62 대 $2.42, 즉 비용은 3.56배입니다. 이렇게 해석하면 큰 품질 향상을 큰 비용으로 얻는 것입니다.

• Max 대 max — 45.53% 대 45.45%는 +0.08포인트로, 약 $47 대 $12.82, 즉 비용이 3.67배다. 이렇게 보면 터무니없는 가격에 통계적으로 동점인 셈이다.

세 가지 모두 산술적으로 참입니다. X 스레드가 서로 엇갈려 논쟁한 이유가 바로 여기에 있습니다: @tensorson은 high를 max와 비교해 1.3점 차 승리라고 했고, @teortaxesTex는 high를 high와 비교해 벤치마크가 망가진 것 아니냐고 물었습니다. "같은 노력에서 3.6× 비용"이라는 수치도 정확하고, "Opus 5.5의 최고 실행보다 저렴하다"도 정확합니다 — 이 둘은 서로 다른 실행 쌍을 설명합니다.

그 모든 것 밑에는 더 큰 단서가 있다. Cognition의 데이터는 실행당 두 개의 숫자를 저장한다: 원시 정답률과 병합 가능성 보정 점수다. Claude Opus 5.5의 공개된 45.5%는 보정된 수치이며, 최대 설정에서의 원시 정답률은 49.7%, high 설정에서는 37.9%다. 이 보정 때문에 공개된 Claude 관련 수치들은 3~4점 깎인다. 우리는 유출된 Obsidian 3 수치가 어느 열에서 나왔는지 알지 못한다. 만약 46.77%가 원시 정답률이라면, 그 보정 점수는 약 43%로 떨어져 Claude Opus 5.5보다 낮아지고, "1위를 넘어섰다"는 주장 전체가 사라진다. 그 단 하나의 미지수가 모두가 논쟁한 1.3점 차이보다 더 크다.

왜 claude-code 레이블이 Anthropic에 대한 전체 논거인가

하네스는 발판이지 지문이 아니다. FrontierCode는 각 모델을 에이전트 루프 안에서 실행하며, 데이터 파일은 모델과 그 모델이 사용한 루프를 매핑한다: OpenAI의 행은 codex에서, Google의 행은 devin-cli에서, xAI의 행은 grok-build에서, Meta의 Muse Wonder는 muse에서, Cognition 자체의 SWE 모델은 devin-cli-swe1에서, 그리고 여섯 Claude 행 모두 claude-code에서 실행된다. Claude 하네스에 있는 익명 행은 그 뒤의 모델이 Anthropic의 도구와 함께 작동하도록 구축되었을 가능성을 강하게 시사한다. 그것이 Anthropic이 그 모델을 구축했다는 증거는 아니다. 벤치마크 운영자는 파트너의 출시 전 모델을 상황에 맞는 하네스에서 테스트할 수 있고, 연구소는 자체 모델을 엠바고된 이름으로 테스트할 수 있다.

이름 자체만으로는 거의 알 수 없다. 10월 29일 Anthropic 자체 모델 개요와 대조해 확인한 Anthropic의 공개 라인업은 Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5다. Fable 5.5도, Opus 5.6도, Obsidian이라는 제품도 없다. "Obsidian 3"은 연구소들이 내부적으로 사용하는 종류의 보석식 코드명이지만, 이를 대조해 확인할 공개 레지스트리가 없고, 끝의 "3"은 Anthropic이 출시한 어떤 순서와도 대응하지 않는다.

그러면 세 가지 해석이 남는데, 증거는 그중 어느 쪽도 선택하지 않는다:

• Fable 등급의 빌드입니다. Claude Fable 5.1은 9월 1일에 출시된, 까다로운 추론을 위한 $10 / $50 플래그십이며, Fable 라인은 현재 라인업에서 뚜렷한 공백입니다. @tensorson의 추측과 해당 게시물에 달린 여러 답글도 가격 구조가 가성비 등급보다는 프리미엄 등급처럼 보이기 때문에 여기에 도달했습니다.

• 중간 주기 Opus 리프레시. @teortaxesTex의 사전 판단은 "Obsidian 3는 Opus 5.6"이라는 것인데, Anthropic이 이전에도 추론 능력 향상이 거의 없는 중간 주기 모델들을 출시한 바 있다는 논거에 근거한다. 주장된 곡선의 평평한 정점은 그 이야기와 들어맞지만, 저노력 점수 — Claude Opus 5.5의 14.7%에 맞선 39.19% — 는 작은 리프레시가 아니라 다른 학습 실행처럼 보인다.

• 증류 아티팩트 또는 초기 체크포인트. @teortaxesTex의 또 다른 가설이며, 곡선 형태가 가장 잘 뒷받침하는 가설: 낮은 노력과 중간 노력에서는 강하고, 높은 노력에서 정점에 도달한 뒤 더 많은 여유가 주어지면 퇴보한다는 것입니다. 완성된 프런티어 모델은 예산을 늘릴 때마다 더 나빠져서는 안 됩니다.

IPO 시점이 더하는 것 — 그리고 더하지 않는 것

이 스레드를 시작한 신호는 타이밍에 관한 질문이었다. 왜 Fable은 IPO 전에 출시되지 않았을까? Anthropic은 FrontierCode 2.0 출시 하루 전날인 10월 26일, 나스닥에서 티커 ANT로 약 750억 달러 조달을 위한 S-1을 공개 제출했다. Renaissance Capital에 따르면 로드쇼는 11월 9일이 있는 주에, 가격 책정은 11월 16일이 있는 주에 예상된다. 가격 책정 전에 출시되는 차기 플래그십은 상장에 제품 스토리를 부여할 것이고, 그 후에 출시되는 플래그십은 로드맵 스토리를 부여할 것이다.

하지만 숨겨진 벤치마크 항목은 출시 신호가 아니다. 연구소들은 벤치마크 운영자와 함께 출시 전 모델을 정기적으로 테스트하며, 대개 엠바고 아래에서 이루어진다. 운영자의 임무는 벤더가 달리 말할 때까지 모델을 익명으로 유지하는 것이다. 만약 Cognition이 Anthropic 빌드를 테스트했다면, 올바른 해석은 Anthropic이 여전히 반복 개선 중이라는 것이지 출시가 몇 일 남았다는 뜻이 아니다. 유일한 공식 데이터 포인트는 여전히 Anthropic의 문서이며, 여기에는 현재 네 개 모델이 나열되어 있고 그중 어느 것도 Obsidian이 아니다. IPO는 사람들이 Fable 티어를 왜 그렇게 면밀히 지켜보는지 설명해 준다. 그러나 그것이 해당 항목을 실제로 만들어 주지는 않는다.

독자가 오늘 실제로 할 수 있는 것

Obsidian 3에 관해 호출 가능하거나, 가격이 책정되거나, 문서화된 것은 아무것도 없으므로 이번 주에 어떤 결정도 바꾸지 않습니다. 지금 이용 가능한 최고의 병합 가능성 점수가 필요하다면 Claude Opus 5.5가 공개되어 있습니다: 백만 토큰당 입력 $4, 출력 $20, 100만 토큰 컨텍스트 창, 최대 출력 128K, API ID claude-opus-5-5, 9월 22일 출시. 비용이 제약이라면 GPT-6.1 Sol은 같은 보드에서 작업당 약 $1.03로 39.0%를 기록했습니다. 이는 두 Claude 실행 중 어느 것보다 훨씬 더 나은 달러당 점수 효율이며, 표의 맨 위가 유일하게 유용한 행이라고 가정하기 전에 확인해 볼 가치가 있는 숫자입니다.

Claude Opus 5.5은(는) Anthropic의 정가에 마크업 없이 OrcaRouter를 통해 라우팅할 수 있으며, 하나의 API에서 자동 장애 조치와 함께 200개 이상의 다른 모델과 나란히 사용할 수 있습니다. 이는 이번 유출이 실제로 초대하는 단 하나의 실험, 즉 Claude Opus 5.5를 높음과 최대로 설정해 자체 워크로드에서 실행하고 승인된 패치당 비용을 측정하는 실험에서 중요합니다. FrontierCode의 자체 곡선에 따르면 마지막 두 단계의 노력 설정은 작업당 11점을 위해 10.40달러가 더 들지만, 여러분의 저장소는 이를 같은 방식으로 가격 책정하지 않을 수 있습니다. 노력 설정과 토큰당 가격은 Anthropic 자체의 것으로 그대로 전달되므로, 이 비교는 두 번째 계약이 아니라 매개변수 변경에 불과하며, Anthropic이 정가를 인하하면 그 인하는 같은 날 라우트에 즉시 적용됩니다.

Obsidian 3를 사실로 만들려면 무엇이 필요할까?

• 해당 행은 모델 키와 다섯 개의 effort 항목이 모두 포함된 다운로드 가능한 데이터 파일로 반환되므로, 스크린샷 없이도 숫자를 확인할 수 있습니다.

• Cognition은 사전 공개 모델을 테스트했는지, 그리고 어떤 조건으로 했는지를 밝힙니다. 벤치마크 운영자가 엠바고가 걸린 실행을 확인해 주면 해당 업체의 이름을 밝히지 않고도 출처가 확정될 것입니다.

• Anthropic이 모델 카드, API ID 또는 문서 항목을 공개합니다. 벤치마크 표의 한 행을 제품으로 바꾸는 유일한 사건은 바로 이것입니다.

• 가격이 표시됩니다. 가격이 없는 모델은 독자가 선택할 수 있는 옵션이 아니라 벤치마크 항목입니다.

• 두 번째 운영자가 이를 측정합니다. Artificial Analysis는 서로 다른 외부 설정으로 자체 FrontierCode 2.0 하네스를 실행합니다. 그곳에 Obsidian 행이 있다면 동일한 스크린샷을 다시 게시한 것이 아니라 보강 증거가 될 것입니다.

그 행은 발표가 아니라 영수증이다. 그 영수증이 담고 있는 내용은 헤드라인보다 더 흥미롭다: 낮은 노력에서도 강하고, 높은 노력에서 정점을 찍은 뒤, 다섯 배의 예산을 들여 더 나빠지는 모델. 만약 그 곡선이 Anthropic의 차기 플래그십 모델의 것이라면, 그 회사는 출시 전에 풀어야 할 추론 스케일링 문제를 안고 있는 셈이다. 만약 초기 체크포인트의 것이라면, 이름이 바뀌기 전에 숫자가 먼저 바뀔 것이다. 어느 쪽이든, 46.8은 주목할 수치가 아니다. 주목해야 할 것은 그 곡선이 언젠가 단조성을 띠게 되는지 여부다.

자주 묻는 질문

Obsidian 3이 출시되었나요?

아니요. Obsidian 3라는 모델은 Anthropic의 문서나 Cognition이 공개한 FrontierCode 2.0 표에 나타나지 않으며, 해당 모델을 나열한 API 카탈로그도 찾지 못했습니다. 유일한 근거는 10월 27일과 28일 X 게시물에 보고된 숨겨진 행과 다섯 개의 effort 점수를 재현한 포럼 스레드입니다. Anthropic은 언급하지 않았고, 우리가 10월 29일에 다운로드한 공개 데이터 파일에는 해당 행이 포함되어 있지 않습니다.

Obsidian 3는 Claude Fable 5.5인가요, 아니면 Claude Opus 5.6인가요?

알 수 없습니다. 둘 다 식별자에서 나온 것이 아니라 claude-code 하네스 레이블에서 비롯된 추측입니다. Fable 5.5는 Anthropic의 라인업에서 Claude Fable 5.1 위의 빈자리에 들어맞고, Opus 5.6은 Anthropic이 이득이 적은 중간 주기 리프레시를 출시한다는 이론에 들어맞습니다. 두 이름 모두 Anthropic 문서에는 나타나지 않으며, 비용 프로필은 가성비형 Opus보다 프리미엄 Fable 등급에 더 맞습니다.

왜 지금 FrontierCode 2.0에서 Obsidian 3가 빠져 있나요?

이유는 확인할 수 없습니다. 원문 게시물에 링크된 파일은 10월 28일 17:44 UTC에 마지막으로 수정되었으며, 우리가 10월 29일에 다운로드한 사본에는 Obsidian 3 항목 없이 24개의 모델이 나열되어 있습니다. 게시물이 퍼진 뒤 삭제되었을 수도 있고, 공개 빌드에 애초에 포함되지 않았을 수도 있습니다. X 게시물과 포럼 아카이브는 우리가 찾을 수 있었던 유일한 기록이며, 둘 다 1차 출처가 아닙니다.

3.6× 비용 주장은 타당한가?

Cognition이 공개한 Claude Opus 5.5 비용에 비추어 보면 계산은 맞는다. $8.62는 $2.42 high-effort 실행의 3.56배이고, 대략 $47 max 수치는 $12.82 max 실행의 약 3.67배다. 확인할 수 없는 것은 장부의 Obsidian 3 쪽이다. 그 비용 수치가 X 게시물에만 존재하고 다운로드 가능한 파일에는 없기 때문이다.