GPT-6.1 Terra의 가장 큰 숫자는 38%다: IQ가 아니라 환각률

GPT-6.1 Terra의 출시 보도는 6포인트 지능 향상과 반값 카드에 집중됐다. 모델 활용 방식을 실제로 바꾸는 숫자는 38%다. 이는 Terra가 모르는 상황에서 추측하는 빈도를 나타내는 Artificial Analysis의 측정치로, GPT-5.6 Terra의 88%에서 하락한 수치다. 추측이 50포인트 줄어든 것은 이번 출시의 모든 품질 향상을 합친 것보다 큰 변화이며, 모델을 “답이 지어낸 것이라고 가정”에서 “샘플링하고 검증”으로 이동시킨다.

이 글은 이번 릴리스에서 사람들이 환각이라고 부르는 두 가지 다른 것 — 독립적인 전지성 측정과 OpenAI의 내부 오류 테스트 — 을 구분하고, 실제 검증 파이프라인에서 38%의 추측률이 얼마의 비용을 초래하는지 산정합니다.

38%가 측정하는 것은 무엇인가

Artificial Analysis의 AA-Omniscience 평가는 모델에게 답을 모를 수 있는 질문을 던지고, 그래도 자신 있게 답하는 빈도를 집계합니다. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. 같은 기간 동안 정확도는 2포인트 상승했습니다.

그 두 사실을 함께 읽으면, 그것은 ‘모르겠다’고 말할 의향이 더 커진 모델을 설명합니다 — 훨씬 더 많은 지식을 갖게 된 모델이 아니라. 지능 지수는 42에서 48로 6포인트 움직였습니다. 응답 유보 행동은 50포인트 움직였습니다. 모델을 사용해 사실을 추출하는 사람에게는 그 변화가 더 가치 있습니다.

아직 좋지 않습니다. 38퍼센트라는 것은 모델이 답할 수 없는 질문 집합에서 세 개 중 하나 이상이 여전히 자신감 있게 잘못된 답을 내놓는다는 뜻입니다. 모를 때 62%의 비율로 답변을 보류하는 모델은 12%의 비율로 보류하는 모델보다 훨씬 안전하며 — 그래도 점검 없이 고객 앞에 내놓을 수 있는 것은 아닙니다.

공급업체의 번호는 별개의 테스트입니다.

OpenAI가 내세운 핵심 수치는 오류를 유도하도록 설계된 프롬프트에서 37포인트 하락한 것입니다. 낮은 노력 수준의 GPT-5.6 Terra에서 53.6%이던 것이 Terra에서 16.7%, 최대 노력에서는 4.3%로 떨어집니다. 이 테스트는 내부 테스트이며 공개되지 않았고, 적대적으로 구성되었습니다. 이 테스트는 모델이 실패하도록 설계된 프롬프트에 저항할 수 있는지를 측정할 뿐, 모델이 정보가 없을 때 사실을 지어내는지는 측정하지 않습니다.

두 수치 모두 사실일 수 있다. 벤더 테스트는 적대적 프롬프트에 대한 강건성을 측정하고, 독립 테스트는 무지 상태에서의 보정(calibration)을 측정한다. 두 가지는 상관관계가 있지만 상호 교환 가능한 것은 아니며, 출시 관련 보도는 첫 번째를 두 번째의 근거로 대체로 취급해 왔다. 그러나 그것은 근거가 아니다.

38%의 추측률이 초래하는 비용

검증은 모든 저비용 모델 배포에서 숨겨진 비용 항목이며, 추측률에 따라 규모가 커집니다. 월 100,000페이지를 처리하는 문서 추출 파이프라인을 예로 들면, 인간 표본 검사 비용은 검사한 페이지당 2달러입니다.

• 88%의 추측 정답률에서는 표본 검사를 할 수 없습니다. 모든 것을 검사해야 합니다: 100,000페이지 × $2 = 월 $200,000. 토큰 비용은 무관합니다.

• 38%에서는 샘플링 체계가 실행 가능해집니다. 페이지의 20%를 검사: 월 20,000 × $2 = $40,000이며, 나머지에는 알려진 누락률이 적용됩니다.

• 가상의 10% 상황에서 5%를 점검하면 월 10,000달러가 들고도 여전히 오류율을 제한할 수 있습니다.

Terra의 요율 기준으로 파이프라인 자체의 토큰 비용은 — 페이지당 입력 20,000개, 출력 500개 토큰이라고 하면 — 100,000페이지당 $2,250입니다. 검증 항목은 모델 항목보다 10~90배 더 큽니다. 이것이 저렴한 모델을 비교하는 올바른 기준틀입니다: 청구서는 모델에 검토를 더한 것이며, 검토는 추측률에 따라 결정됩니다.

어느 작업이 추측을 용인합니까?

• 관대함 — 완전히 컨텍스트 안에 있는 문서의 요약(답변이 입력에 근거함), 고정된 레이블 집합을 사용하는 분류, 사람이 편집하는 초안 작성, 잘못된 형식의 출력을 거부하는 스키마를 사용한 추출.

• 비관용 — 검색 없이 사실형 질문에 답하기, 금융 수치, 법률 인용, 의료 용량, 그럴듯하지만 잘못된 답이 답하지 않는 것보다 더 나쁜 모든 경우.

모델의 지능 점수가 아니라, 답변을 출처와 대조해 확인할 수 있는지 여부가 그 경계를 가릅니다. 모든 출력이 검증되는 작업에서 38%의 추측률은 효율성 문제입니다. 출력이 곧바로 고객에게 전달되는 작업에서는 그것이 위험 요소입니다.

자체 데이터에서 이를 측정하는 방법

• 모델이 문맥만으로 답할 수 없는 질문 세트를 구성하세요. 추측률은 전체 테스트 세트가 아니라 답할 수 없는 항목에서 측정됩니다 — 모든 질문에 답이 있는 테스트는 보정을 측정하는 것이 아니라 정확도를 측정합니다.

• 두 가지가 아니라 세 가지 결과에 점수를 매기세요: 정답, 오답, 응답 보류. 답할 수 없는 항목에서 “unknown”이라고 답하는 모델은 올바르게 행동하는 것입니다.

• 동일한 세트에서 GPT-5.6 Terra와 비교하십시오. 50포인트 향상은 공급업체와 무관한 주장이지만, 이는 Artificial Analysis의 질문에서 측정된 것이므로 귀하의 질문은 다를 수 있습니다.

• 노력 설정을 주의해서 볼 것. 오류율 관련 주장은 특정 노력 설정에 국한된 것이며, 답변 보류 행동 역시 추론 노력에 따라 달라질 가능성이 크다 — 낮은 노력 설정으로 실행하면 최대 노력 설정보다 더 많이 추측할 수 있다.

기권 유도 프롬프트

캘리브레이션은 부분적으로 프롬프트의 속성입니다. 확신에 찬 추측을 안정적으로 줄이는 세 가지 패턴:

• 모델에게 명시적인 출구를 마련하세요 — “답이 제공된 컨텍스트에 없으면 UNKNOWN이라고 답하세요” — 그리고 답할 수 없는 항목에서는 그 응답을 정답으로 채점하세요.

• 모든 사실적 주장에 대해 출처 인용을 요구하고, 인용이 맥락과 일치하지 않는 출력은 거부하세요.

• 확신도 레이블을 요청하고, 확신이 낮은 답변은 값싼 모델이 확실해지도록 요구하기보다 두 번째 모델이나 사람에게 전달하세요.

이들 각각은 토큰을 소모하고 단계를 추가한다. 각각은 잘못된 답변이 고객에게 도달하는 것보다 비용이 적으며, 38%라는 수치는 이 절충에 비용을 매기는 것이 무시하는 것보다 가치 있게 만드는 이유다.

이것이 지수보다 더 중요한 이유

6포인트의 지능 향상은 모델이 애초에 수행할 수 있는 작업 자체를 바꾼다. 추측에서의 50포인트 변화는 인간이 개입하지 않고도 수행할 수 있는 작업을 바꾼다. 라우팅 결정에서 더 유용한 축은 두 번째다. 그것은 저렴한 모델이 해당 작업을 감독 없이 처리할 수 있는지를 결정하며, 감독은 프로덕션 비용을 지배하는 비용이다.

GPT-6.1 Terra는 환각을 멈춘 모델이 아니다. 전작보다 환각 발생 빈도가 절반에도 못 미치고, 가격은 절반이며, 지식 마감 시점은 더 최신인 모델이다. 그 조합은 정말 유용하다 — 그리고 그것은 능력에 관한 이야기가 아니라 검증에 관한 이야기다.

오늘 실행할 수 있는 것

이 글 작성 시점에 GPT-6.1 Terra는 OrcaRouter 카탈로그에 없으므로, 그 기권 행동은 OpenAI를 직접 기준으로 측정해야 합니다. 비교 대상은 모두 우리 측에서 공급자 정가 대비 0% 마크업으로 라이브 상태입니다 — GPT-5.6 Terra는 $2/$12, GPT-6.1 Sol은 $2/$10, GPT-6 Astra는 $10/$50, GPT-6 Luna는 $0.10/$0.50, Claude Sonnet 5.5는 $2/$10 — 이는 Terra가 출시되기 전에 캘리브레이션 세트와 검증 비용 모델을 구축하기에 충분합니다.

그 실험에 적용할 숫자는 48이 아니라 38입니다. 그리고 물어야 할 질문은 그 추측률에서 검토 예산이 어떻게 되는지입니다.