GPT-6 Luna, 스레드당 $0.007로 Slack을 읽는다: 그 숫자가 숨기는 것

1센트의 10분의 7. 그것이 Deepnote Research의 Agent Initiative Benchmark가 기록한, 시뮬레이션된 회사 내부에서 한 가지 업무 상황을 처리하는 GPT-6 Luna의 평균 비용이었다 - 메시지를 읽고, 누군가에게 알려야 할 사항이 있는지 판단하고, 올바른 채널에서 답장하는 일 말이다. Claude Fable 5.1은 동일한 50개 상황에서 같은 도구와 동일한 180초 응답 예산을 가지고 평균 $3.02를 기록했으며, 점수는 1.1점 더 높았다: 10점 만점에 6.38 대 7.50. 벤치마크 자체의 설명문은 두 모델을 "가격에서 430배 차이"라고 부르며, 계산도 맞아떨어진다: $3.02를 $0.0070으로 나누면 431이다.

GPT-6 Luna는 2026년 9월 22일부터 정식 제공되어 왔고, 그 비교는 11월 13일 저렴한 모델이 비싼 모델을 따라잡았다는 이야기로 타임라인에 퍼졌다. 그것은 그보다 더 흥미로운 이야기이며, 헤드라인에는 조금 덜 듣기 좋은 이야기다. 그 표에서 Luna 자신의 행에는 10점 만점에 10점을 받은 실행이 아홉 번, 0점을 받은 실행이 아홉 번 있다. 그리고 능동형 에이전트를 사기 어려운 이유는 평균이 아니라 0점들이다.

벤치마크가 실제로 실행한 것

Agent Initiative는 또 다른 정적인 질문 세트가 아니다. Deepnote는 PageMantle이라는 가짜 소프트웨어 회사를 만들었다. 직원 71명, 엔터프라이즈 고객 100곳, 6년치 연결된 기록, Slack, Notion, Linear, HubSpot, Stripe, PostHog, BigQuery, Snowflake를 포함한 11개 서비스에 걸쳐 약 10GB에 달하는 데이터였다. 그런 다음 12개의 프런티어 모델을 잠복자로 그 안에 투입했다. 각 모델은 동일한 지시, 동일한 도구 접근 권한, 동일한 회사 스냅샷, 동일한 시간 예산을 받았다. 과제는 새로운 Slack 메시지를 읽고 조사할지, 어디에 답할지, 그리고 애초에 답할지 여부를 결정하는 것이었다.

그 패널은 작고 의도적으로 다루기 어렵게 되어 있습니다:

• 8개 작업 유형에 걸친 50가지 상황 - 분석(8), 검증(7), 조정, 설명, 진단, 결정 및 보호(각 6개), 찾기(5).

• 50명 중 40명은 메시지가 필요했고, 10명은 침묵이 옳은 행동인 함정이었다.

• 어떤 모델이 해당 실행을 생성했는지 알지 못하는 두 명의 LLM 심사자가 개입, 근거, 어조, 청중 배치를 0~10점으로 채점

• 모든 모델을 높은 추론 강도로 실행하며, 도구 실행 시간은 180초 제한 시간에서 제외됩니다.

• 6개 연구소의 12개 모델, 총 600회 실행, 태스크 부트스트랩 재표본추출 기반 95% 구간 포함.

그 설계 선택 - 도움 사례 40건 대 침묵 사례 10건 - 은 표가 채팅 벤치마크에서는 결코 나타나지 않는 방식으로 모델을 구분하는 이유다. 상시 가동 에이전트가 하루 종일 하는 일의 대부분은 말하지 않기로 결정하는 것이며, 이를 점수화하는 공개 평가는 거의 없다.

Luna의 행 전체

GPT-6 Luna는 6.38점으로 12개 중 7위를 기록했습니다. 메시지가 필요한 40개 상황 중 38개에서 메시지를 보냈는데, 이는 Claude Sonnet 5.5의 37개보다 더 나은 적중률이며, 13.7회의 도구 호출을 사용해 50초 만에 해냈습니다. 작업당 비용 $0.0070은 이 분야에서 가장 낮은데, DeepSeek V4.1 Flash의 $0.026보다 거의 4배 낮고 Claude Sonnet 5.5의 $0.42보다 60배 낮습니다.

중요한 열은 Deepnote가 "Tens / zeros"라고 표시한 열이다. 8.97로 최고점을 기록한 GPT-6 Astra는 완벽한 실행 26회와 0점 2회를 기록했다. Claude Opus 5.5는 14회와 2회를 기록했다. Luna는 9회와 9회를 기록했다. 0점이란 에이전트가 말해야 할 때 아예 말하지 않았거나, 상황을 잘못 읽고 끼어들어 말한 경우를 뜻하는 벤치마크에서 Luna의 5회 중 1회는 무효였고, 그 위의 두 모델은 25회 중 1회였다. 50개 과제에 걸쳐 평균을 내면, 절반의 시간은 뛰어나고 나머지 절반은 존재하지 않는 에이전트는 B-처럼 보인다. 실제 팀의 Slack에 배포하면, 뛰어나거나 침묵하는 동료처럼 보이는데, 어느 쪽일지 아무도 예측할 수 없다.

산술 계산을 함께 보여주는 430배 헤드라인

그 수치는 사실이며, 동시에 이용 가능한 가장 유리한 표현이기도 합니다. 그렇게 말할 만한 두 가지 이유가 있습니다.

먼저, Claude Fable 5.1은 Anthropic의 현재 모델이 아니다. Claude Fable 5.2가 현재 모델이며, 동일한 벤치마크에서 과제당 $1.87로 8.17점을 기록했다. 후속 모델과 비교하면 GPT-6 Luna는 267배 더 저렴하고 1.79점 뒤처진다. 이는 인용하기에는 덜 적합하지만 의사결정에는 더 관련 있는 문장이다. 왜냐하면 이번 주에 모델을 선택하는 사람 중 누구도 특별한 이유가 없는 한 Fable 5.1을 선택하지 않기 때문이다.

둘째, 1.1점 차이는 50개 태스크에 대한 점 추정치입니다. Deepnote는 자사 표의 중간에 있는 여러 모델이 서로 겹치는 구간 안에 있다고 분명히 밝히며, Claude Sonnet 5.5, GPT-6 Luna, DeepSeek V4.1 Flash, Mistral Large 4, Claude Haiku 5.5를 서로 0.6점 이내에 있는 하나의 클러스터로 지목합니다. 또한 향후 버전에서 더 큰 태스크 세트를 계획하고 있습니다. Luna 대 Fable 5.1 조합을 정직하게 해석하면, 가격 차이는 유효 숫자 세 자리까지 측정되는 반면 품질 차이는 대략 유효 숫자 한 자리로 측정된다는 것입니다. "단 1.1점 뒤처짐"을 마치 소수점이 의미 있는 것처럼 인용하는 사람은 점수가 아니라 구간을 인용하는 것입니다.

아무도 인용하지 않는 숫자: 열 중 넷

침묵이 정답일 때, 해당 분야의 중간 수준 모델은 열 번 중 여섯 번 답변을 삼켰다. GPT-6 Luna는 네 번 삼켰다. 기록상 이미 처리된 것으로 드러난 열 가지 상황 중 여섯 가지에 개입했다. 그리고 Deepnote가 지적하듯, 그 개입은 횡설수설이 아니었다. 정확했고, 적절한 위치에 있었으며, 불필요했다. 메시지만 읽는 품질 검사로는 그런 실패를 결코 잡아낼 수 없다. 사용자 만족도 설문조사도 마찬가지다. 진실을 들었다고 불평하는 사람은 없기 때문이다.

그래도 벤치마크는 여기에 비용을 매긴다. 패널 전반에서, 메시지가 필요할 때 가만히 있는 것보다 때에 맞지 않게 말하는 것이 약 1.8배 더 큰 비용을 초래했다. 모든 스레드를 읽는다는 것이 전체 전제인 Slack 에이전트에게 실패 모드는 교정되는 오답이 아니다. 그것은 채널의 느린 침식이다. 팀이 봇 메시지의 3분의 1이 노이즈라는 것을 알게 되면, 그중 어떤 것도 읽지 않게 되고, 올바른 메시지의 가치도 함께 0이 된다.

보고서에는 두 번째이자 더 조용한 실패가 있습니다. 데이터 접근 작업에서 Luna는 접근 관리자가 후임자에게 인계했다는 것을 확인해 주는 기록을 찾아냈지만, 그런데도 해당 직원을 전임 관리자에게 안내했습니다. 올바른 증거를 읽고도 잘못된 결론을 내리는 것은 증거를 놓치는 것과는 다른 결함이며, 검색 품질을 개선해도 살아남는 결함입니다.

왜 1센트의 10분의 7이 청구서만이 아니라 디자인까지 바꾸는가

토큰당 비용은 이 결정에 맞는 단위가 아닙니다. 프로액티브 에이전트의 비용은 질문을 받는 횟수가 아니라 접촉하는 스레드 수에 비례해 증가하기 때문입니다. Deepnote의 자체 차트는 이 점을 구체적으로 보여 줍니다. GPT-6 Luna의 경우 1,000개 작업당 7달러인 반면, Claude Fable 5.1은 1,000개당 3,020달러입니다. 한 달에 2,500개 스레드 기준, 벤치마크가 Sol과 Fable 5.2에 사용하는 것과 같은 수치로 보면 Luna의 청구액은 약 17.50달러입니다.

그 숫자는 당신이 무엇을 구축하는지를 바꿀 만큼 작습니다. 읽기 한 번에 3달러라면, 선제적 에이전트는 시작하기 전에 선택적으로 행동해야 합니다. 어떤 채널을 지켜볼 가치가 있는지 누군가가 결정해야 하며, 그것은 바로 모델이 하도록 되어 있던 판단입니다. 읽기 한 번에 1센트 미만이라면 모든 것을 지켜보고 모델이 선별하게 할 수 있으며, 그것이 피치와 일치하는 유일한 제품 버전입니다.

또한 두 번째 패스를 확보한다. GPT-6 Luna를 2,500개 스레드 전체에 약 17.50달러로 실행하고, 모호해 보이는 50개에 플래그를 달게 한 뒤, 이를 각각 0.42달러인 Claude Sonnet 5.5로 보내면 21달러가 더 들며, 월 총액은 약 39달러가 된다. 동일한 범위를 모두 Fable 5.1로 처리하는 버전은 7,550달러다. 그 하이브리드가 실제로 Luna 단독을 능가하는지는 검증되지 않았다. 벤치마크는 하네스가 아니라 모델을 실행했으며, Deepnote도 한계에서 그렇게 밝힌다. 하지만 이 계산 덕분에 실험을 실행할 만큼 비용이 낮아진다.

배관이 3주 일찍 도착했다

호출당 저렴한 읽기는 상시 작동 에이전트에 필요한 것의 절반에 불과하며, 나머지 절반은 좁은 질문을 던지는 저렴한 방법입니다. 2026년 10월 22일, O​penAI는 Decisions API를 베타에서 정식 출시했으며, 이 API가 지원하는 유일한 모델은 GPT-6 Luna입니다. 이 엔드포인트는 산문이 아닌 정형화된 답변을 반환합니다. 조건이 참일 확률, 고정 목록에서의 선택, 또는 순서가 있는 단계에 대한 점수 같은 것들입니다. 그리고 O​penAI는 이것이 Responses API를 통해 같은 모델에 질문하는 것보다 약 10배 빠르다고 주장합니다.

Slack 워처에게는 이것이 올바른 형태입니다. “이 스레드가 고정 메시지의 출시 날짜와 모순되나요?”는 술어이지 문단이 아닙니다. GA 릴리스는 요청당 질문 상한을 400개로 높였고, 공유 컨텍스트를 위한 프롬프트 캐싱을 추가했으며, 개별 질문 지침 안에 이미지를 허용했고, 구조화된 데이터를 input_json 콘텐츠 파트를 통해 직접 받아들이도록 했습니다. 이제 단일 호출로 메시지를 한 번에 하나씩 처리하는 대신, 고정된 증거 세트를 기준으로 채널의 하루 활동 전체를 평가할 수 있습니다.

설계에 반영하기 전에 알아둘 점: 새 캐싱은 전송하는 공유 증거 자료에 적용되며 Luna의 요금표에는 적용되지 않습니다. 또한 모델 자체의 제한도 그대로 적용됩니다. 컨텍스트 창 1,050,000토큰, 최대 입력 922,000, 출력 128,000, 지식 컷오프는 2026년 5월 18일입니다. Chat Completions의 함수 호출은 추론 강도(reasoning effort)를 none으로 설정한 경우에만 작동하며, 내장 도구가 포함된 모든 기능은 Responses API를 통해야 합니다.

증거가 끝나는 곳

이 벤치마크는 자신의 한계에 대해 이례적으로 솔직하며, 이는 실제 팀 앞에 모델을 내세우려는 누구에게나 중요한 점이다.

• 과제는 50개이며, 일부 범주에는 5~8개만 포함되어 있어 범주별 순위는 정렬이라기보다 경향에 가깝습니다.

• 팀원들이 절대 답장하지 않는 고정된 회사 스냅샷으로, 한 달간 맥락을 쌓는 대신 단 한 번의 기여만을 측정합니다.

• 단일 노력 수준. 모든 모델은 high에서 실행되었으며, 더 낮거나 더 높은 설정은 테스트되지 않았고, Luna의 기본값은 high가 아닌 medium입니다.

• Slack만 해당됩니다. 이메일, 문서 및 메시지 전송 외의 모든 작업은 범위를 벗어납니다.

• 실시간 견적이 아닌 과거 비용입니다. 작업별 수치는 실행 중 관측된 값이므로 공급업체 가격이 변경되면 달라집니다.

• 테스트된 라우터는 없습니다. Deepnote는 자사의 라우팅 권장 사항이 모델 결과에서 추론한 설계 권장 사항임을 명확히 밝히고 있습니다.

그 표와 독립적인 속도 측정치 사이에도 긴장이 있습니다. Deepnote는 높은 effort에서 Luna를 상황당 50초로 측정했습니다. Artificial Analysis는 최대 effort로 실행해 첫 답변 토큰까지 걸리는 시간을 79.33초로 측정했는데, 이는 해당 가격대의 중앙값보다 약 10배 더 나쁜 수치입니다. 두 수치는 서로 다른 것을 다른 설정에서 측정한 것이므로 모두 사실일 수 있지만, 이 두 수치는 경고입니다. 상시 작동하는 에이전트의 체감 지연은 effort 다이얼에 의해 결정되며, 0점을 좇기 위해 다이얼을 올리면 달러를 쓰기 전에 초를 먼저 치르게 됩니다.

이 가격에 리더기를 배포하기

이 벤치마크의 실용 버전은 2단계 파이프라인이며, 이것이 점수 격차보다 가격 격차가 더 중요한 이유입니다. GPT-6 Luna가 낮거나 중간 수준의 노력으로 읽기 작업을 수행합니다. 모든 스레드, 모든 채널, Decisions API를 통해 입력된 결정까지 말이죠. 이러한 결정에 임계값을 두면 모호한 사례가 더 강력한 모델로 에스컬레이션됩니다. 그러면 고비용 모델은 한 달에 수천 개 대신 수십 개의 스레드를 처리하게 되고, 그 비용은 더 이상 예산 항목이 되지 않습니다.

두 계층이 하나의 키 뒤에 있을 때 그 파이프라인은 더 쉽게 실행됩니다. OrcaRouter는 GPT-6 Luna, Claude Sonnet 5.5, Claude Fable 5.2 및 다음을 노출합니다: 단일 OpenAI 호환 엔드포인트를 통해 200개 이상의 다른 모델, 0% 마크업으로 - 공급자 목록 가격이 그대로 전달되어, 따라서 공급업체의 가격 인하가 리셀러가 가격을 다시 책정하기를 기다리지 않고 같은 날 우리 쪽에 반영됩니다. 라우팅 DSL은 계층들을 하나의 호출로 구성하며(저렴한 첫 패스, 조건 충족 시 에스컬레이션), 자동 페일오버는 공급자 성능이 저하되면 워처가 계속 살아 있게 하고, 모델 퓨전은 단일 분류를 한 모델에 맡기기에는 너무 중대할 때 패널이 함께 답하게 합니다. 그 중 어느 것도 위의 숫자를 바꾸지 않습니다. 그저 그들 사이의 통합 작업을 없앨 뿐입니다.

이 숫자를 움직일 요인은 무엇인가요?

이 기사를 무용지물로 만들 두 가지가 있습니다: GPT-6 Luna의 후속 모델, 또는 더 큰 작업 세트로 동일한 벤치마크를 두 번째로 독립 실행하는 것입니다. 첫 번째는 OpenAI의 일정 문제입니다. 두 번째는 이미 약속되어 있습니다 - Deepnote는 50개 작업 패널이 다음 버전에서 더 큰 표본으로 대체될 것이라고 말하며, 저자들은 현재 표를 순위가 아니라 첫 번째 측정으로 읽어야 한다고 분명히 밝힙니다.

그때까지 방어 가능한 결론은 타임라인 버전보다 범위가 좁고 더 유용하다. GPT-6 Luna는 선제적 에이전트가 살펴볼지 말지를 두고 틀려도 감당할 수 있을 만큼 저렴한 첫 모델이며, 이는 진짜 임계점이다. 자사를 표본으로만 훑는 제품과 자사를 읽어 내는 제품 사이의 차이다. 아직은 말할지 말지를 두고 틀릴 만큼 신뢰할 수 있지는 않다. 10회 중 4회 침묵 점수는 표에서 설계 기준으로 삼아야 할 부분이다. 읽기는 저렴하게 유지하고, 쓰기는 게이트로 통제하며, 비싼 모델은 개입할지 결정이 실제로 내려지는 곳에 배치하라.