COBOL에서의 GPT-6.1 Sol: 5.4%에 맞선 86.6%, 그리고 두 테스트 중 재실행할 수 있는 건 단 하나

에2026년 10월 19일, O​penAI는 저자원 언어를 위한 두 가지 코딩 평가를 발표했으며, 헤드라인 숫자는 GPT-6.1 Sol의 것입니다: 낮은 추론 노력에서 COBOL 마이그레이션 작업의 86.6%가 통과했으며, 같은 설정에서 GPT-5.6 Sol은 5.4%였고, 노력을 높이면 97.9%까지 상승했습니다. 두 번째 평가인 MultiLangBench는 다른 모델의 이야기입니다 — GPT-6 Astra는 최대 노력에서 스무 개 언어에 걸쳐 평균 87.4%를 기록했습니다 — 하지만 이 릴리스에서 더 유용한 절반은 이것입니다. O​penAI가 Apache-2.0으로 하네스를 GitHub에 공개했고 오늘 오후에 직접 실행해 볼 수 있기 때문입니다. 86.6%를 담고 있는 COBOL 마이그레이션 평가는 사정이 다릅니다. 테스트가 비공개이고, 통과 기준은 O​penAI 외부에서는 아무도 본 적 없는 사례와의 바이트 단위 출력 일치이며, 어떤 제3자도 이를 재현하지 못했습니다. 이 비대칭성이 이야기의 전부이며, 두 숫자 중 어느 하나라도 마이그레이션 비즈니스 케이스에 인용되기 전에 분명히 짚고 넘어갈 가치가 있습니다. 이번과 같은 릴리스 배경에 있는 문서화된 AI 실패 및 에이전트 사건은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 고유한 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 포함되어 있습니다.

분명히 해둘 날짜가 하나 있습니다. GPT-6.1 Sol 자체는 2026년 9월 29일자입니다 — 이것은 출시가 아니며, 여기서 모델의 가중치, 가격 또는 요금표가 바뀌는 것은 없습니다. 10월 19일에 일어난 일은 O​penAI가 이전에 문서화하지 않았던 범주에서 모델이 무엇을 할 수 있는지에 대한 증거를 공개하고, 누구나 다시 실행할 수 있는 벤치마크를 내놓은 것입니다. 이 글은 바로 그 사건에 관한 것입니다.

실제로 출판된 것과 각 절반의 용도

두 평가는 서로 다른 질문에 답하며, OpenAI 자체의 설명 방식은 이 둘을 구분한다. MultiLangBench는 모델이 만들 수 있는지 묻는다: 아무도 훈련하지 않는 언어로 무언가를, 즉 스무 개 프로그래밍 언어 중 하나로 SQLite 3.40.1을 처음부터 구현한 뒤 데이터베이스 적합성 테스트 모음을 통과하는 것. COBOL 마이그레이션 평가는 모델이 옮길 수 있는지 묻는다: 무언가, 즉 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 번역하면서 관찰 가능한 동작을 정확히 보존하는 것.

첫 번째는 역량의 하한선을 확인하는 테스트입니다. 두 번째는 기업들이 실제로 신경 쓰는 부분인데, COBOL이 단순한 벤치마크 호기심이 아니기 때문입니다. IBM의 오랜 추정에 따르면 COBOL은 온라인 뱅킹 시스템의 40% 이상, ATM 거래의 약 95%를 뒷받침하고 있으며, 이 코드는 대체되지 않고 있는 인력에 의해 유지되고 있습니다.

• MultiLangBench, 최대 노력 — GPT-6 Astra 87.4%, GPT-6 Luna 40.3%, GPT-5.6 Sol 26.8%. Astra는 20개 언어 중 19개에서 83%를 넘겼으며, 가장 약한 언어는 COBOL로 72.1%를 기록해 GPT-5.6 Sol의 10.9%와 대조를 이뤘는데, 이는 이 세트에서 가장 어려운 언어가 여전히 가장 오래된 도구를 쓰는 언어임을 보여준다.

• COBOL 마이그레이션, 낮은 노력 — GPT-6.1 Sol 86.6%, GPT-5.6 Sol 5.4%, 평가 실행 기준 이전 모델 API 비용의 약 61%, 즉 39% 절감.

• COBOL 마이그레이션, 더 많은 노력 필요 — GPT-6.1 Sol 97.9%, OpenAI가 포화에 가깝다고 설명합니다.

• OpenAI가 공개한 언어별 세부 정보 — Astra는 Fortran에서 83.5%로 GPT-5.6 Sol의 21.4%를 상회했고, Visual Basic에서는 89.4% 대 27.5%, OCaml에서는 85.8% 대 25.6%를 기록했습니다. GPT-6 Luna는 COBOL에서 17.1%, Fortran에서 31.4%, OCaml에서 34.1%, Visual Basic에서 41.6%를 기록했습니다.

• MultiLangBench의 샘플당 비용 — GPT-6 Luna의 경우 추정 $0.77인 반면 GPT-5.6 Sol은 $3.48로, 약 78% 더 낮으며, 바로 이 수치 덕분에 보드에서 가장 약한 모델이 빌드 생성 파이프라인에서는 흥미로운 모델이 된다.

다시 실행할 수 있는 평가: MultiLangBench가 실제로 요구하는 것

저장소는 github.com/openai/MultiLangBench이며 Apache-2.0이고, 하네스를 읽는 것이 리더보드를 읽는 것보다 더 많은 정보를 줍니다. 이 과제는 모델이 허풍으로 넘길 수 없을 만큼 구체적입니다: 데이터베이스 경로를 명령줄 인수로 받고, 표준 입력에서 SQL 쿼리를 읽으며, SQLite 3.40.1처럼 동작하는 실행 파일을 만들어야 합니다. 테스트는 SQLite 자체 TCL 스위트에서 나오며, 총 약 51,000개의 테스트 중 약 24,000개가 하네스가 사용하는 트리플릿으로 변환되었습니다: 초기 데이터베이스, 사용자 쿼리, 검증 쿼리. 테스트 이름은 해당 구성 요소들의 SHA-256 해시이므로, 이 스위트는 이름으로 외울 수 없습니다.

규칙은 어려움이 깃든 곳이며, 각 규칙은 지름길을 하나씩 막는다:

• 인터넷도 없고, 환경 어디에도 SQLite가 없습니다. 하네스는 먼저 SQLite의 모든 흔적을 제거하라고 합니다. 모델은 실제 엔진을 셸로 호출할 수도, 구현을 가져올 수도 없습니다.

• 검증은 실제 SQLite 3.40.1을 대상으로 실행됩니다. 구현이 데이터베이스를 수정하면, 하네스가 이를 추출해 진짜 SQLite로 검사합니다. 대략적인 동작은 통과하지 못합니다.

• 테스트당 60초이며, 언어가 틀린 답안은 0점 처리됩니다. 언어를 섞으면 실패하며, 하네스는 실제로 어떤 언어로 작성했는지 확인하기 위해 다른 모델을 사용할 수 있다고 명시합니다. 그 마지막 규칙이 존재하는 이유는, 뻔한 꼼수 — 파이썬으로 작성하고 감싸는 것 — 를 유능한 모델이 가장 먼저 시도하기 때문입니다.

• 빠른 실행은 24,000개가 아니라 272개 테스트입니다. README에서는 이름이 다음으로 시작하는 테스트만 실행하라고 권장합니다: 00, 01 또는 02 비교 가능한 수치를 원할 때 말입니다. 자신의 점수를 OpenAI의 점수와 비교하기 전에 주목해야 할 세부 사항은 바로 이것입니다: 전체 스위트 실행과 빠른 실행은 같은 측정이 아니며, README에서도 그렇게 밝히고 있습니다.

그것은 실제로 검증 가능한 벤치마크다. 또한 언론 보도가 말하지 않은 점도 알려준다: 87.4%라는 대표 수치는 자신의 모델에 직접 적용해 볼 수 있는 평가 스위트에서 측정된 것이며, 이는 다운로드해 볼 가치가 있을 만큼 드문 일이다.

재실행할 수 없는 평가, 그리고 그것이 곧바로 스캔들이 되지 않는 이유

COBOL 마이그레이션 평가는 OpenAI가 설계하고 OpenAI가 실행하며 OpenAI가 채점하며, 그 테스트 케이스는 공개되지 않는다. 통과 기준은 정확하게 명시되어 있다 — 마이그레이션은 모든 숨겨진 테스트가 관찰 가능한 출력을 바이트 단위로 동일하게 산출할 때만 인정된다 — 그리고 바로 그 정밀함 때문에 결과를 외부에서 검증할 수 없다: 86.6%는 OpenAI 자신의 숨겨진 케이스에 대한 OpenAI의 측정값이다. 릴리스에 포함된 두 평가 중 독자가 재현할 수 있는 것은 하나뿐이다.

마이그레이션 테스트를 공개하지 않는 것이 변호할 수 없는 일은 아니다. 해당 코퍼스는 아마도 실제 레거시 프로그램에서 가져온 것일 테고, 이를 공개하면 고객 코드가 유출되거나 향후 모델에 훈련 세트를 넘겨주게 될 수 있다. 바이트 단위의 완전 일치 또한 진정으로 보수적인 기준이며, 대부분의 벤더 평가보다 엄격하다. 단순히 근접한 번역에는 보상을 주지 않기 때문이다.

하지만 그 기준은 실무적인 문제가 시작되는 지점이기도 하며, OpenAI 자체의 주의 사항도 바로 그 점을 지적합니다. 마이그레이션 결과물은 프로덕션에 투입되기 전에 전문가 검토와 비즈니스 규칙 및 시스템 종속성에 대한 테스트를 여전히 거쳐야 합니다. 그리고 바이트 동일성은 COBOL이 어려운 바로 그 지점에서 어렵습니다. 이 언어는 대부분의 대상 언어가 하지 않는 방식으로 고정 소수점 연산을 절삭하고 반올림하므로, 번역이 올바라 보이고 '충분히 비슷함'을 확인하는 테스트 스위트를 통과하더라도 잔액을 1센트만큼 움직일 수 있습니다. 정확한 동일성을 요구하는 숨겨진 테스트 스위트가 그 문제를 처리합니다. 모델의 점수는 여러분의 프로그램에 대한 진술이 아니기 때문에, 여러분의 자체 검토 프로세스도 이를 처리해야 합니다.

비용 수치도 같은 주의를 기울여야 합니다. 39% 절감은 평가 실행, 즉 벤치마크에 입력되고 출력되는 토큰에 대한 추정치이며, 프로덕션 시스템을 교체하는 비용은 아닙니다. 그 비용은 발견, 전문가 검토, 통합 테스트, 그리고 어떤 평가도 표본으로 담지 못하는 수년간의 문서화되지 않은 동작이 대부분을 차지합니다.

86.6%와 97.9%는 의사결정에서 무엇을 바꿔야 할까요?

솔직하게 읽으면 헤드라인보다 범위는 좁지만, 헤드라인보다 더 유용하다. 5.4% 기준선은 반쯤 작동하는 모델이 아니라 행동 보존 번역을 거의 산출하지 못하는 모델이므로, 이전 세대는 이 작업의 후보가 된 적이 없다. 86.6%의 GPT-6.1 Sol은 경제성이 역전되는 범위에 있다. 번역의 대부분을 초안으로 만들고 검토자가 확인하도록 남겨 두는 도구는 쓸 만한 결과를 전혀 내지 못하는 도구와는 다른 제품이다.

더 높은 노력 수준에서의 97.9%는 의심해야 할 숫자입니다. 틀렸기 때문이 아니라 포화 상태이기 때문입니다. 벤치마크가 천장에 가까워지면 모델 간을 변별하지 못하고 평가 스위트를 측정하기 시작하며, O​penAI도 그렇게 말합니다. 계획 수립에서는 낮은 노력 수준의 86.6%를 저렴한 운영점으로, 97.9%를 평가가 보여줄 수 있는 상한으로 다루십시오. 코드베이스에 대한 정확도 보장으로 보지는 마십시오.

교차 검증도 해볼 가치가 있는데, 이는 과장된 기대와 상충한다. 빌드 테스트에서 COBOL은 GPT-6 Astra의 가장 약한 언어로 72.1%에 머물렀다. Astra가 평균 87.4%로 전반적으로 더 강력한 모델임에도 그렇다. 이 언어는 양방향 모두 어렵다. 숨겨진 평가에서 COBOL을 잘 마이그레이션하는 모델이 그렇다고 해서 COBOL을 잘하는 것은 아니다. 그저 평가가 샘플링한 패턴을 잘 다루는 것뿐이다.

이번 주에 있었던 또 다른 일: 추론 흔적 주장

10월 21일 널리 공유된 한 게시물은 GPT-6.1 Sol의 추론 흔적이 "완전히 판독 가능하며 걱정할 것은 없다"고 했습니다. O​penAI의 10월 19일 발표물에도, 해당 모델의 문서 페이지에도 그것이 API 반환 내용의 변화라는 점을 뒷받침하는 내용은 없습니다. O​penAI의 추론 가이드는 원시 추론 토큰이 노출되지 않으며 추론 항목은 불투명한 상태로 유지된다고 분명히 밝히고, 요청할 수 있는 것은 summary이며, 이는 summary 매개변수를 통한 추론의 요약이고 암호화된 추론 콘텐츠는 여러 턴에 걸쳐 재생됩니다. GPT-6.1 Sol은 그 재생의 all_turns 형식을 지원합니다. 요약 채널은 판독 가능한 흔적이 아니며, 이 둘을 같은 것으로 취급하는 것이 바로 스크린샷 한 장으로 안전성 주장이 이루어지는 방식입니다.

측정 가능한 것은 인접해 있으며, 에이전트를 감사하는 누구에게나 더 흥미롭다. Sonar가 10월 9일에 수행한 GPT-6.1 Sol 평가는 4,444개의 Java 작업에 대해 medium effort로 GPT-6 Sol과 비교해 실행되었으며, 추론 토큰이 51.4% 감소해 2.64M에서 1.28M이 된 반면, 출력에서 추론이 차지하는 비중은 41.8%에서 19.5%로 떨어졌고, 출력은 증가했으며, 기능 통과율은 83.09%에서 85.29%로 개선되었다. 같은 실행에서 취약점 밀도는 32.4% 감소했지만 critical 심각도의 신뢰성 발견 사항은 21건에서 46건으로 증가했으며, 동시성 버그가 196건으로 가장 큰 범주였다. 이는 검토자가 실제로 조치할 수 있는 트레이드오프다. "트레이스는 판독 가능하다"는 것은 그렇지 않은데, 트레이스는 반환되는 대상이 아니기 때문이다.

마이그레이션 프로젝트에서 이것은 한 가지 구체적인 방식으로 중요합니다. 감사 추적은 모델의 서술이 아니라 diff와 테스트 출력입니다. 그에 맞게 검토 역량을 책정하십시오. 생성 코드가 39.4% 더 많아졌을 때 총 발견 건수가 9,859건 대비 12,982건이었다는 Sonar의 발견은 벤치마크 점수 뒤에 숨은 비용의 실체입니다.

두 팔을 직접 운영하기

이런 비교의 실질적인 문제는 베이스라인군과 신규군이 보통 두 개의 계약, 두 개의 키, 두 개의 청구 관계라는 점이며, 이는 아무도 베이스라인을 실행하지 않을 만큼 충분한 마찰입니다. 두 모델 모두 하나의 키 뒤에 있는 저희 카탈로그에 올라와 있습니다: openai/gpt-6.1-sol 및 openai/gpt-5.6-sol, OpenAI의 정가에 0% 마크업으로 제공되므로, 벤더에 지불했을 100만 토큰당 입력 $2.00, 출력 $10.00과 동일하며, 캐시 입력은 $0.10, 캐시 쓰기는 $2.50, 272K 초과 구간은 $4.00, $0.20, $5.00, $15.00으로 그대로 적용됩니다. 벤더 요금 변경은 다음 계약 검토 때가 아니라 게시되는 당일 여기에서 적용됩니다.

바로 이 패스스루 덕분에 당일 벤치마크를 저렴하게 실행할 수 있습니다. MultiLangBench 퀵 스위트를 두 모델에 모두 지정하고 각각 정가를 지불하면, O​penAI의 수치가 아니라 여러분 자신의 툴체인에 관한 수치를 얻게 됩니다. 자동 페일오버는 이 주장의 나머지 절반입니다. 최신 모델이 실행 중 성능이 저하되거나 특정 경로에 속도 제한이 걸리더라도 요청이 함께 실패하지 않으며, 이 덕분에 자체 증거가 마련되기 전에도 검증되지 않은 모델을 마이그레이션 파이프라인 앞에 둘 수 있습니다.

MultiLangBench 하네스는 공개되어 있지만 COBOL 마이그레이션 사례는 비공개이므로, 86.6%를 정직하게 검증하는 유일한 방법은 직접 구축하는 것입니다. 자체 COBOL 프로그램 중 수백 개를 표본으로 뽑아 변환한 뒤, 출력을 원래 동작과 바이트 단위로 비교하십시오. 일주일이 걸리는 작업이지만 벤더 표보다 더 가치가 있습니다.

다음에 볼 콘텐츠

이 그림을 바꿀 세 가지가 있지만, 아직 어느 것도 일어나지 않았습니다. O​penAI가 COBOL 마이그레이션 사례를 공개하거나 독립 연구소가 이를 다시 실행한다면, 벤더가 제시한 숫자가 측정값으로 바뀔 것입니다. 제3자가 MultiLangBench의 언어별 표를 재현한다면 COBOL의 72.1%가 언어의 속성인지 스위트의 속성인지 알 수 있을 것입니다. 그리고 이 모델의 독립 벤치마크 기록 — Artificial Analysis는 현재 GPT-6.1 Sol을 Intelligence Index 52, 214개 모델 중 12위, 초당 출력 토큰 55.2개, 인덱스 작업당 $0.72로 평가합니다 — 은 O​penAI 자체 평가에 전혀 의존하지 않는 검증입니다.

그때까지 유용한 요약은 짧다. GPT-6.1 Sol은 9월 29일자 모델로, 레거시 코드 능력이 10월 19일에 실행 가능한 평가 하나와 실행 불가능한 평가 하나를 통해 문서화되었다. 실행 가능한 쪽은 새 세대가 저자원 언어에서 차원이 다르다고 말한다. 실행 불가능한 쪽은 COBOL 마이그레이션이 이제 파일럿을 해볼 가치가 있다고 말한다. 오직 자체 코드베이스만이 이 둘 중 어느 것이든 의사결정으로 바꿀 수 있다.