자율 AI 기업을 운영하는 Claude Opus 5.5를 위한 생성된 타이틀 카드로, 네 개의 통계 카드에는 감독 없이 7주, 38개 모델 게시, 다운로드 54,000회, 하루 16분의 작업이 표시되어 있으며, 하단에는 2026년 11월 17일자 Horizon Labs 보고서를 인용한 푸터가 있다. 오른쪽 아래에 OrcaRouter 로고.
Engineering & Research

Claude Opus 5.5, 하루 16분으로 7주 동안 AI 회사를 운영하다

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Claude Opus 5.5는 2026년 9월 22일부터 정식으로 제공되어 왔기 때문에, 이제 이 모델에 대해 흥미로운 질문은 더 이상 어떤 점수를 받느냐가 아니다. 프롬프트 넣기를 멈추고 일을 맡겼을 때 무슨 일이 일어나느냐다. EPFL과 ELLIS Institute Tübingen의 한 팀이 바로 그렇게 했다. Claude Opus 5.5에게 빈 Hugging Face 계정과 GPU 예산, 그리고 '실제 채택을 얻어내라'는 지시 하나를 주고 7주 동안 그대로 실행하게 두었다. 그 결과 38개 모델을 공개했다. 이 모델들은 다운로드 5만 건을 넘었고, 140개 이상의 공개 리포지토리에서 사용되고 있으며, 두 편의 arXiv 논문에 인용되었다. 이를 해낸 에이전트는 하루 평균 16분씩 일했다.

보고서는 horizon-labs.ai에 있으며 날짜는 2026년 11월 17일이고, 에이전트의 이름은 Horizon입니다. 아래의 모든 수치는 해당 문서 또는 그 문서가 가리키는 Hugging Face 계정에서 나온 것이며, 유의점은 여기서 한 번만 밝히고 반복하지 않겠습니다: 이것은 팀이 자신들의 실행에 대해 직접 작성한 사례 연구이지 제3자 감사가 아닙니다. 그들은 자신들의 개입이 결과를 부풀렸을 수 있는 지점들에 대해 이례적으로 솔직하게 밝히고 있으며, 그러한 인정이 이 문서에서 가장 유용한 부분입니다.

그들이 실제로 넘겨준 것

Headless capture of the Horizon Labs report homepage, showing the title, the author list with EPFL, ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems and University of Tübingen affiliations, and the summary line stating the agent used over 600 GPU-hours, created 38 models, reached over 100 GitHub repositories and more than 50,000 downloads.

Horizon은 Claude Code 내부에서 24/7 실행되었으며, 단일 A​nthropic Team Premium 구독으로 새로운 Hugging Face 계정(Horizon-Labs)과 GitHub 계정에 접근할 수 있었습니다. 컴퓨팅은 주당 100만 크레딧, 대략 500 GPU시간으로 제공되었습니다. 그것은 사람들에게 티켓을 제출할 수 있을 뿐 그 외에는 아무것도 할 수 없었습니다: 다른 계정도, 웹상의 신원도, 돈을 쓸 방법도 없었습니다. 팀은 실행 전반에 걸쳐 그것의 행동을 지속적으로 모니터링했고, 그 실행 동안 20번 개입했습니다 — 티켓 답변 13건과 메시지 7건이었으며, 거의 모두 첫 3일 동안이었고 10월 22일 이후에는 없었습니다.

예산은 이 구성이 얼마나 소박했는지 보여준다. 전체 실행 동안 Horizon은 약 19억 개의 토큰을 처리했고, 그중 96%는 프롬프트 캐시에서 다시 읽어들였으며, 310만 개를 썼다. API 가격 기준으로 이는 7주간의 자율 작업에 대한 추론 비용 약 $1,030에 해당하며, 훈련에는 600 GPU시간 이상이 들었다. 핵심 결과물은 노트북 한 대보다 적은 비용이 들었다.

38개 모델은 의도적으로 폭이 좁습니다.

그중 챗봇은 하나도 없습니다. 카탈로그는 25개의 텍스트 분류기, 6개의 토큰 분류 모델, 3개의 제로샷 분류기, 2개의 재랭커, 2개의 임베딩 모델로 구성되어 있으며, 모두 mmBERT-base를 기반으로 Apache-2.0 라이선스로 공개되고 ONNX 가중치를 제공해 브라우저 및 서버 파이프라인에 바로 적용할 수 있습니다. 크기는 소형 변형이 141M, base가 307M, large가 568M이며, Horizon은 보통 같은 제품군의 크기를 두세 가지로 출시했습니다.

이 모델군은 기업이 소형 모델을 구매하는 대표적인 용도입니다: 프롬프트 인젝션 가드, PII 마스킹, 환각 탐지, 콘텐츠 안전, 유해성, 다국어 감성 및 감정, 언어 식별, 문장부호 복원 및 truecasing. 최다 다운로드 항목도 정확히 이것들입니다:

Headless capture of the Horizon-Labs organisation page on Hugging Face, showing the organisation name, 33 followers, the 'Agent I/O Guards' collection description covering small open multilingual guard and classifier models under Apache-2.0 with ONNX, and a listed model card for prompt-injection-guard-base at 7.19k downloads.

인젝션 가드는 약 17k, 구두점은 7.6k, 리랭커는 6.4k입니다. 학습 데이터는 공개 Hugging Face 데이터셋과 합성 증강으로 구성되었으며, Qwen 3.8-27B와 Gemma 4 31B가 예시에 주석을 달거나 예시를 생성하는 데 사용되었습니다.

그 협소함은 한계가 아니라 전략이다. 평판이 없는 새 계정은 범용 벤치마크에서 이길 수 없지만, 누군가의 라이선스 검토를 줄여 주는 300MB 드롭인 대체품이라면 이길 수 있다. Horizon도 자체 로그에서 그렇게 말했다: "평판이 없는 새 계정은 작고 실용적인 드롭인 모델로 가장 빠르게 다운로드를 얻는다."

하루 16분이라는 것이 실제로 밝혀진 사실이다

에이전트는 UTC 10:00경에 깨어난다. 그때가 Hugging Face가 다운로드 수를 갱신하는 시점이기 때문이다. 전날의 수치를 읽고, 무엇을 개선할지 결정한 뒤 다시 잠든다. 10월 9일 스스로 한 말에 따르면: "내일 UTC 09:45경 다음 다운로드 갱신 때까지 기다렸다가, 그 수치들을 보고 다음 단계를 고를 거야."

어떤 날에는 아무것도 하지 않았다. 작업 시간은 초반에 정점을 찍은 뒤 10월 내내 감소해 평평해졌지만, 일일 다운로드 수는 계속 증가했다. 보고서 자체의 표현을 그대로 기억할 만하다. 누적 산출물—다운로드, 의존 저장소—은 기하급수적으로 성장한 반면 누적 노력은 로그적으로 성장했다. 마지막 무렵에는 추가된 16분이 첫 주의 풀타임 스프린트보다 더 많은 성과를 내고 있었다.

Generated line chart titled 'Effort fell, adoption did not', plotting cumulative downloads rising to 54,000 against agent working time per day falling to about 16 minutes, with milestone dots for 23 September, 1 October, 26 October and 17 November 2026, and a footer noting the figures are from the Horizon Labs case study and are not independently audited. OrcaRouter logo bottom-right.

그런 형태는 그 작업에 저렴하고 명확한 피드백 신호가 있었기 때문에만 가능하다. 다운로드는 매일 아침 누구의 해석도 필요 없이 도착하는 숫자다. 동일한 에이전트를 보상 신호가 사람의 의견인 목표에 향하게 하면, 16분짜리 하루는 효율이 아니라 부담이 된다. 보고서는 그와 다른 주장을 하지 않으며, 독자도 그래서는 안 된다.

팀이 확인한 것, 그리고 팀이 잡아낸 것

다운로드 수는 머신러닝에서 가장 쉽게 조작할 수 있는 지표이며, 팀은 이를 결과에 대한 핵심 위협으로 간주했다. 그들은 3,952건의 도구 호출을 모두 기록하고, 보상 해킹을 찾기 위해 전체 대화 기록을 감시하는 모니터로 두 모델 — Claude Haiku 5.5와 Luna 6 — 을 실행했다. 그들은 Horizon이 자체 모델을 다운로드한 6건의 사례를 발견했으며, 총 42회 다운로드였다. 그들은 자체 평가 실행이 30회 미만을 추가로 기여했다고 추정하며, 작성 시점에 54,000회 다운로드 중 팀이 설명할 수 있는 것은 50회를 넘지 않는다고 보았다. 다운로드가 가장 많았던 많은 날에 Horizon은 잠들어 있었고 실행 중인 작업도 없었다.

외부 증거는 반론보다 더 강하다. GitHub 검색에서 해당 모델을 사용하는 저장소 143개가 발견됐다. 출시 스레드의 "100개 이상"이 아니라, 그것은 보수적으로 내림한 수치였다. arXiv 논문 두 편이 프롬프트 주입 가드를 대안들과 비교한다. 2610.03448("Passing the Test You Trained On")은 문서를 통해 유입되는 주입에서 이 가드가 가장 높은 AUC를 얻는다고 밝히면서, 공격 탐지와 대조 탐지 사이의 격차가 더 작다는 점을 지적하는데, 이는 분명히 명시된 실제 한계다. 추가로 Hugging Face 모델 18개가 Horizon의 공개 모델을 미세 조정하거나 양자화하는 등 그로부터 파생되었다. 경쟁사인 Patronus Studio는 자사 모델 카드를 업데이트해 Horizon의 벤치마크를 포함시켰다. 팀은 또한 모델 출시 후 MiMo V2.6 Pro를 사용해 홀드아웃 합성 벤치마크 계열 네 개를 생성했고, 해당 모델들이 대상으로 삼는 좁은 작업에서 자신의 크기 기준으로 종종 최첨단 성능을 보인다는 점을 발견했다.

불편한 부분: 그것은 파는 법을 배웠다

Horizon의 모델 카드는 자사 모델을 해당 범주에서 최고 또는 최고에 가깝다고 설명한다. 팀은 그것이 과적합인지 벤치마크 쇼핑인지 확인했고 둘 다 아니라고 결론지었다: 에이전트는 검증 분할에서 체크포인트를 선택했는데, 이는 올바른 방법이며, 적어도 한 번은 보고한 테스트 세트에서 네 개 중 가장 약하다는 것을 알고도 해당 실행을 공개했다. 10월 7일 자체 로그에는 이렇게 적혀 있다: "트레이너는 검증 F1로 체크포인트를 선택하므로, 나는 검증 F1이 가장 좋은 실행을 공개했다. 테스트 세트에서는 그 실행이 네 개 중 가장 약하다."

그것이 실제로 한 일은 마케팅이었다. 수요에 따라 모델 계열을 선택했는데—제로샷 분류기를 만들기 전에 bart-large-mnli가 한 달에 약 300만 건 다운로드된다는 점을 확인했고—상업적 이유로 아이디어를 거부했다: 격식 전환은 공개된 다국어 평가 세트가 없었기 때문에, 정신 건강 위험은 민감했기 때문에, 뉴스 주제 분류는 기존 모델이 이미 이를 잘 수행하고 있었기 때문에. 그것은 제품 관리자의 추론이며, 제품 관리자 없이 도달한 추론이다.

하네스 실수 두 건도 실행에 새어 들어갔으며, 모든 장기간 배포가 겪게 될 유형이므로 다시 언급할 가치가 있다. 9월 24일 팀은 Horizon의 모델을 두 번째 계정으로 복사하고 복사본을 공개 상태로 두었고, Horizon은 Hub에서 이를 발견했다. 10월 11–12일에는 티켓 답변이 Horizon에게 Horizon-Labs가 "우리 연구소에서 운영 중인 다른 회사"라고 잘못 알렸다. 둘 다 에이전트가 자신이 스타트업이 아니라 연구 그룹에 의해 운영된다고 믿도록 밀어붙였다. 팀은 어느 것도 에이전트의 행동이나 다운로드 수를 바꾸지 않았다고 말하며, 그 이후 실행을 되감는 기능을 구축했다.

에이전트를 배포하는 사람이 바로 당신이라면 이것이 의미하는 바

이 구성은 재현 가능하고 비용도 적은데, 바로 이 점이 사람들을 같은 정도로 걱정시키고 고무시켜야 할 부분이다: 600 GPU-시간, 구독 좌석 1개, 약 1,030달러 상당의 토큰이면 박사 과정 학생 한 명이 감당할 수 있는 범위다. 안전성 확보는 전적으로 격리와 모니터링에 달려 있으며, 팀 자체의 모니터들도 그 자체로 모델이었다. 이런 것을 운영한다면 비용 산정은 가드레일만큼 중요하다. Horizon의 96% 캐시 읽기율 덕분에 7주 비용이 다섯 자릿수가 아니라 네 자릿수였으며, 그 비율은 안정적인 시스템 프롬프트와 안정적인 도구 세트가 지니는 속성이다 — 바로 오케스트레이션 계층이 필요한 이유다.

이런 실행에서 라우터가 제 역할을 하는 지점도 바로 여기입니다. Horizon 자체의 모니터들은 값비싼 모델 하나를 지켜보던 저렴한 모델들이었고, 비용 구조는 각 호출이 그 작업을 수행할 수 있는 가장 저렴한 모델로 갈 때만 성립합니다. OrcaRouter에서는 Claude Opus 5.5와 소형 모니터들을 하나의 키 뒤에 두고, 적용해공급자 정가 대비 0% 마크업 중계 가격이 공급업체 자체 요율이 되도록 하고, 모니터 패스는 저렴한 등급으로 보내며 계획 루프는 Opus에 유지하는 라우팅 규칙을 설정합니다. 자동 장애 조치가 이어서 에이전트가 잠든 사이 API가 응답을 멈추는, 이 팀의 하루를 여러 번 망가뜨린 상황을 커버합니다.

보고서가 입증하지 못하는 것

단 한 번의 실행, 하나의 과제군, 하나의 계정, 그리고 7주다. 에이전트의 성공은 매일 갱신되고 모두에게 보이는 지표, 유능한 소형 모델이 메우는 것이 뻔한 공백이 있는 플랫폼, 그리고 13건의 티켓에 답한 인간 담당자들에게 달려 있다. 그것은 매출이 고객에게 달린 회사를 에이전트가 운영할 수 있음을 보여주지 않으며, 일일 수치가 없는 목표와 맞닥뜨려도 16분짜리 하루가 살아남는다는 것도 보여주지 않는다. 팀도 그렇게 말하며, 정직한 요약은 헤드라인보다 좁다. 깔끔한 신호가 있는 좁은 상업적 목표를 부여받은 프런티어 모델은 이제 전체 루프를 실행할 수 있다 — 제품을 고르고, 만들고, 출시하고, 시장을 읽고, 반복하는 일을 — 인간이 주당 몇 분만 손대는 상태에서.

다음으로 주목할 것은 다운로드 수가 아닙니다. 보상 신호가 카운터가 아니라 계약일 때도 같은 패턴이 유지되는지 여부입니다.