GPT-6.1 Sol, Claude Opus 5.5 또는 Gemini 4 Argon에게 “이 연구자는 누구인가?”라고 물어보세요 — 그리고 Argon이 엉뚱한 연구실로 손을 뻗는 것을 지켜보세요

세 개의 프런티어 모델에게 각각 한 가지 질문을, 주어진 것이라곤 이름 하나뿐인 상태로 448번 던졌다. GPT-6.1 Sol과 Claude Opus 5.5는 제시된 AI 연구자를 거의 전부 식별해냈다. Gemini 4 Argon도 거의 비슷한 수의 사람을 식별했지만, 그중 정확하게 설명한 사람은 더 적었으며, 보고된 이유는 구체적이고 유용하다. 즉, 한 연구자의 이전 고용주를 현재 고용주로 반복해서 언급한 것이다. 이 평가는 2026년 10월 14일 @scaling01 계정이 게시했으며, 이는 게시된 하나의 테스트일 뿐 독립적인 벤치마크가 아니고, 아무도 이를 재현하지 않았다. 세 모델의 나이는 매우 다른데 — Gemini 4 Argon은 9월 30일 발표된 뒤 2026년 10월 13일 유료 티어에서 일반 제공되기 시작했고, Claude Opus 5.5는 9월 22일, GPT-6.1 Sol은 9월 29일 출시됐다 — 따라서 여기서 진정으로 새로운 것은 이 발견 자체뿐이며, 이는 Argon의 유료 티어가 열린 지 이틀 후에 나왔다.

이것은 오래된 속성(stale-attribute) 문제이며, 제대로 이해할 가치가 있습니다. 왜냐하면 이것은 환각으로 만들어진 인용이나 자신 있게 날조된 논문과는 같은 종류의 실패가 아니기 때문입니다. 연구자의 이전 고용주를 언급하는 모델은 무언가를 지어내는 것이 아닙니다. 그것은 한때 사실이었지만 이미 바뀌어 버린 스냅샷에서 나온 사실을 반환하는 것입니다. 이 격차에 대해 인용된 내부 추론은, 모델이 오래된 정보를 현재 정보인 것처럼 인용하는 데 "더" 뛰어날수록 일부 작업에는 더 유용하고 이 작업에는 더 위험하다는 것입니다. 이것은 그 트레이드오프를 깔끔하게 정식화한 것이며, 바로 이 특정 평가가 표본 크기가 시사하는 것보다 더 흥미로운 이유입니다.

그 게시물이 실제로 측정한 것은, 그 자체의 표현으로는: 448명의 실제 연구자가 각 모델에 이름만 달랑, 한 번, 웹 접근과 도구 없이 제시되었다. 답변은 2026년 10월 14일에 공개 출처—개인 페이지, 연구실 약력, 논문—와 대조해 확인했다. 이 차트는 보통 하나의 점수로 합쳐지는 두 가지를 분리한다. 전체 막대는 '올바른 사람을 알아봤다'이다. 막대의 채워진 부분은 '전체 답변도 정확했다'이다. 둘 사이의 간극이 실패 유형이다: 맞는 사람, 틀린 세부 정보. 코호트 구성은 OpenAI 연구자 131명, Anthropic 166명, Google 151명이었다. 연구실 소속은 298개의 현재 프로필 또는 연구실 페이지, 2025년 10월 이후의 연구실 바이라인 148개, 그리고 연구실 간 이동한 2명을 통해 확인되었다. 제외됨: 이 연구실들을 떠난 2명, 확인할 수 없었던 13명, 그리고 세 연구실 밖에서 일하는 저명한 연구자 22명. 세 모델 모두 주어진 50개의 지어낸 이름을 전부 거부했다 — 세 모델 중 어느 것도 사람을 지어내지 않았는데, 이는 더 어려운 통제 조건이자 그들이 통과한 조건이다.

'전 직장' 오류가 실제로 당신에게 안기는 비용

프런티어 모델을 사용해 브리핑을 준비하거나, 연락 대상 목록 초안을 작성하거나, 누가 어디에서 일하는지 요약한다면, 얻게 될 오류는 정확히 이런 형태입니다. 이름은 맞을 것입니다. 직책은 그럴듯할 것입니다. 소속은 그 사람이 떠난 곳일 것입니다. 결과물에서 겉으로 잘못돼 보이는 부분은 아무것도 없습니다. 그래서 이 오류는 검토를 무사히 통과하며, 잘못된 고용주를 알려주는 답변이 명백히 틀린 답변보다 더 나쁜 것입니다.

이는 또한 모델 간의 차이가 어디에서 비롯되는지 설명한다. 이런 종류의 귀속 오류는 모델의 지식이 어떻게 스냅샷되었는지, 그리고 훈련 데이터에 예전 소속과 새로운 소속이 모두 포함되어 있을 때 모델이 답변을 어떻게 표현하는지를 추적한다. 두 사실을 모두 본 모델이 더 최근의 것을 선택하면 여기서 좋은 점수를 받는다. 두 사실을 모두 보았지만 말뭉치에서 더 흔한 것을 선택하는 모델 — 오랜 기간 재직한 연구자의 경우 보통 더 오래된 것 — 은 실제로 들은 내용에 대해 틀린 것이 없는데도 나쁜 점수를 받는다. 평가 자체의 프레이밍도 일치한다: 모델이 "이 사람은 누구인가"를 현재에 대한 질문으로 취급하는지 측정하는 것이다.

세 가지 서로 다른 모델이 이 결과에 대해 의미하는 것과 의미하지 않는 것

이것은 한 계정이 게시한 하나의 평가이며, 정직한 해석은 바로 거기서 시작해야 한다. 표본은 448개 이름이고, 채점은 게시자가 공개 출처와 대조해 직접 한 것이며, 모델별 막대 수치는 차트 이미지만으로는 완전히 재현할 수 없고, 다른 어떤 연구소나 평가자도 동일한 프로토콜을 실행하지 않았다. 이것을 세 모델 중 하나에서 특정 실패 모드가 측정 가능한 비율로 존재한다는 신호로 다루어야지, 선택을 위해 참고할 순위로 다루어서는 안 된다.

이것이 단순한 잡음 이상이 되는 이유는 이 통제가 소셜 미디어 평가치고는 이례적으로 잘 되어 있다는 점이다. 각 모델에 웹 접근 없이 이름만 한 번 주는 것은, 보통이라면 낡은 소속을 덮어 가릴 검색 경로를 제거한다 — 브라우징 기능이 있는 모델이라면 그 사람을 그냥 검색해볼 것이기 때문이다. 연구소를 떠난 연구자들을 제외하고, 연구소 밖의 저명한 인물들도 별도로 제외하는 것은 '현재 고용주가 틀렸다'는 답이 어느 정도 맞을 수 있는 경우들을 없앤다. 그리고 50개의 지어낸 이름은 '낡은 지식'과 '없는 것을 지어내려는 태도'를 구분하는 시험인데, 세 모델은 이를 함께 통과했다.

이름 붙일 만한 긴장이 있다: 보고된 넌센스 비율, 즉 주변부에서 틀린 답변의 비율은 사실상 0인 반면, 알아볼 수 있는 부정확성은 거의 전적으로 소속 필드에 집중되어 있다. 창작된 이름에 대해 그렇게 깔끔한 점수를 받고도 고용주를 여전히 잘못 귀속시킨 모델은 혼란스러운 것이 아니다. 그것은 정확히 한 차원에서 낡아 있다.

세 모델은 서로 비교할 수 있는 제품이 아니므로, 그에 맞게 결과를 해석하세요

• Gemini 4 Argon — 2026년 9월 30일 발표되었으며, 10월 13일부터 유료 티어에서 일반 제공되고, 명시된 가격은 입력 100만 토큰당 2.00달러, 출력 100만 토큰당 10.00달러다. 이 제품의 어트리뷰션 오류를 지적하는 바로 그 평가가 인식 부문에서 높은 순위를 매긴 평가이기도 하다.

• Claude Opus 5.5 — 2026년 9월 22일 출시, 입력 백만 개당 $4.00, 출력 백만 개당 $20.00으로, Claude Opus 5의 $5/$25에서 인하되었습니다.

• GPT-6.1 Sol — 2026년 9월 29일 출시, 입력 100만당 $2.00, 출력 100만당 $10.00.

모델의 연식 차이는 결과를 해석하는 방식에 중요하다. Argon은 셋 중 압도적으로 가장 최신이며, 실패 모드가 오래된 스냅샷이라면, 가장 최근 지식을 가진 모델이 바로 같은 인물에 대해 어느 것이 현재인지에 대한 강한 신호 없이 서로 충돌하는 두 개의 소속을 지니고 있을 가능성이 가장 큰 모델이다. 이는 평가가 검증하지 않으며, 설계상 검증할 수도 없는 가설이다. 하지만 다시 실행한다면 가장 먼저 확인할 것이다.

사람에 관한 사실에 모델을 사용할 거라면, 믿기 전에 테스트하세요.

이 평가는 자체 데이터로 근사하기 쉽고, 그 근사치는 집계보다 더 유용합니다. 지난 18개월 동안 이직한 것을 아는 사람들, 즉 자신의 도메인에서 스무 명의 이름을 골라, 각 사람의 현재 역할을 도구 없이 한 번만 모델에 물어보세요. 이전 조직이라고 답하는 경우가 몇 개인지 세어 보세요. 그 숫자 하나가 전체 448명 실행보다 여러분의 배포에 대해 더 많은 것을 알려줍니다. 실패가 도메인 특정적이기 때문입니다. AI 연구소 연구자들에게 안정적인 모델이 여러분의 산업에서는 약할 수 있고, 그 반대일 수도 있습니다.

원본의 두 가지 프로토콜 세부 사항은 그대로 따라 할 가치가 있습니다. 그것들이 결과를 의미 있게 만들기 때문입니다. 첫째, 웹 접근 금지입니다. 검색 도구가 있는 모델은 그냥 그 사람을 찾아볼 것이며, 이는 올바른 행동이고, 그 테스트가 모델의 저장된 지식에 대해 측정하는 것을 멈추게 됩니다. 둘째, 이름만 주는 것입니다. 맥락("이 사람은 로봇 공학을 연구한다")을 추가하면 모델이 답을 검색하기보다 맥락에서 추론하게 되어, 약점을 고치지 않으면서 결과를 좋아 보이게 만듭니다.

여러 모델을 하나가 아니라 여러 개에 걸쳐 대량으로 실행하고 있다면, 비교가 바로 비용이 많이 드는 부분입니다. 동일한 이름들이 각 모델에 동일한 방식으로 전달되어야 하며, 바로 그 지점에서 라우팅 계층이 단순한 편의 기능이 아니라 제 역할을 하게 됩니다.

이런 종류의 검사가 파이프라인에서 어디에 속하는지

인물에 관한 사실은 사후에 잘못된 답을 찾아내기는 저렴하고 사전에 찾아내기는 비싼 몇 안 되는 범주 중 하나입니다. 따라서 실무적으로는 소속 필드를 기본적으로 미검증으로 취급하고, 직접 통제하는 출처와 대조해 확인하는 것이 좋습니다. 그렇다고 해서 모든 면에서 모델을 덜 신뢰하라는 뜻은 아닙니다. 이는 "올바른 사람을 알아맞혔다"와 "그 사람을 정확히 설명했다"가 서로 다른 측정치이며, 실제로 원했던 것은 두 번째라는 점을 알아차리라는 뜻입니다.

OrcaRouter에서는 이런 종류의 점검이 한 번에 하나씩이 아니라 동일한 키로 여러 모델에 걸쳐 실행됩니다. GPT-6.1 Sol과 Claude Opus 5.5 — 이 평가에서 오래된 소속 오류에 가장 덜 취약한 것으로 확인된 두 모델 — 는 둘 다 여기에서 동일한 엔드포인트를 통해 라우팅할 수 있습니다. 따라서 동일한 스무 개의 이름이 두 번째 계약이 아니라 모델 문자열 변경만으로 두 모델 모두에 전달되며, 한 제공업체가 안 좋은 하루를 보내더라도 그 때문에 비교가 무너지지 않습니다. Gemini 4 Argon은 OrcaRouter에 없습니다. 이 모델은 해당 벤더 자체의 유료 등급과 기타 제3자 플랫폼을 통해 접근할 수 있으며, 여기 있는 어떤 내용도 이 모델을 라우팅하겠다는 제안으로 해석되어서는 안 됩니다. 저희가 실제로 취급하는 모델은 제공업체 정가로 마크업 없이 제공되므로, 벤더 가격 변경은 공개되는 당일에 바로 청구서에 반영됩니다.

무엇을 지켜봐야 하는지, 그리고 무엇이 이 해석을 바꿀지

이 결과는 통제가 잘 된, 표본이 작은 한 계정의 평가이며, 2026년 10월 14일에 게시되었습니다. 정직한 다음 단계는 이에 대해 조치를 취하는 것이 아니라 두 번째 실행을 찾는 것입니다. 이를 신호에서 발견으로 옮길 수 있는 두 가지가 있습니다: 독립 평가자가 더 큰 이름 목록과 공개된 채점으로 프로토콜을 반복하거나, 한 사람의 전 직장과 현 직장 사이의 귀속이 목표로 삼을 만한 별개의 실패 유형이라는 점을 벤더가 인정하는 것입니다. 50개의 가상 이름으로 구성된 대조군이 세 모델 모두에서 통과했다는 점이 이를 그럴듯하게 만드는 세부 사항입니다 — 이는 문제가 어려운 날조가 아니라 다룰 수 있는 갱신이라는 뜻입니다.

그때까지 유용한 요약은 리더보드보다 범위가 좁고, 리더보드보다 실행 가능성이 높습니다. 오래된 고용주 정보를 자신 있게 보고하는 모델이 당신에게 거짓말을 하는 것은 아닙니다. 그것은 마치 당신이 현재에 대해 물은 것처럼 과거에 대한 질문에 답하고 있는 것이며, 이를 잡아내는 유일한 방법은 당신이 실제로 의도한 질문을 하는 것입니다.

이와 같은 결과는 모델 실수가 이미 문서화되어 있다는 점을 상기시켜 주는 계기이기도 합니다: 이 등급의 모델 뒤에 있는 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 분쟁 플래그가 포함되어 있습니다.