생성된 타이틀 카드에는 'Java4Shell'이 표시되고, 부제는 'CVE-2026-114938: 65바이트 입력, 끝을 넘어 62바이트 기록'이며, 콜아웃에는 '50바이트 버퍼', 세 개의 칩에는 'OpenJDK 17.0.6+', 'x86-64 AVX-512 전용', '2026년 11월 17일 패치됨'이 표시됩니다.
Guides & Insights

Java4Shell: Base64 65바이트, 50바이트 할당, 그리고 그 끝을 넘어 기록된 62바이트

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

입력은 65바이트입니다. 대문자 A 64개와 등호 하나로 이루어져 있습니다. OpenJDK는 이를 50바이트로 크기를 잡은 버퍼에 디코딩하고, 이어서 HotSpot Base64 intrinsic이 오프셋 48에서 시작해 64바이트를 기록합니다. 그중 62바이트는 원래 대상이었던 배열 밖, 힙에 떨어집니다. 이런 일은 당신에게 일어날 수 없다는 것이 핵심 약속인 언어에서 말입니다. Calif는 2026년 11월 17일 이 공격 체인을 Java4Shell로 공개했고, CVE-2026-114938로 추적되며, OpenJDK와 Oracle은 같은 날 오후에 수정 사항을 배포했습니다. 이 발견은 AI 지원을 받은 것으로 보도되고 있으며, 보도에서 지목된 구체적 모델은 2026년 11월 5일 공개된 보안 특화 OpenAI 모델인 GPT-6 Cyber입니다. 그 귀속은 이 이야기에서 가장 흥미롭고 가장 확정되지 않은 부분이며, 이미 확정되었고 심각한 버그와는 분리해서 볼 가치가 있습니다.

내재적 가치가 잘못 짚은 것

Java는 언어 수준에서는 메모리 안전하지만, 여기서 중요했던 수준에서는 그렇지 않다. HotSpot은 Base64를 손으로 작성한 x86-64 어셈블리로 가속하는데, 이는 디코딩 처리량이 병목인 바로 그 워크로드에서는 일반적으로 컴파일된 Java가 충분히 빠르지 않기 때문이다. 이 루틴은 입력을 256바이트 블록으로 처리하고, 64바이트 블록으로 폴백하며, 64바이트보다 짧은 잔여 부분에 대해서는 벡터 레지스터의 64바이트 중 실제로 메모리에 도달하는 바이트를 결정하는 64비트 쓰기 마스크와 함께 evmovdqub — VMOVDQU8의 AVX-512 형태 — 를 사용한다.

그 마스크는 입력 및 출력 길이로 만들어지고, 그다음 Base64 패딩에 맞게 조정된다. 이 글은 그 계산 과정을 차례로 설명한다: 출력 길이는 (input_length / 4) * 3이고, 끝에 붙는 = 하나에 대해 한 번 감소하고 두 번째 =에 대해 한 번 더 감소한다. 패딩된 꼬리 =, ==, X=, X==, XY= 및 ===의 경우 디코딩된 길이는 0이고, 그런 다음 패딩 조정이 0에서 빼기를 수행한다. 값은 언더플로되어 -1 또는 -2가 된다. 마스크 계산은 이를 클램프하지 않으므로 마스크는 모두 1이 되고 64바이트 전부가 기록된다.

버퍼 크기는 정직하게 산정되었습니다. 65바이트 입력에 대한 런타임 할당량은 (ceil(65 / 4) * 3) - 1, 즉 50바이트입니다. 스필은 오프셋 48에서 시작합니다. 이 위치는 최종 디코딩된 바이트가 들어갔어야 할 자리이므로, 인접한 힙의 62바이트가 덮어써집니다. 해당 스필의 48번째부터 63번째 바이트는 항상 0x9a입니다. 공격자가 제어할 수 있는 것은 처음 두 바이트뿐이며, 그것도 부분적으로만 가능합니다. 디코더는 여전히 입력을 거부하고 Java는 여전히 IllegalArgumentException을 발생시킵니다. 쓰기는 거부 전에 일어납니다. OpenJDK 17에서는 영향을 받는 코드 경로에 도달하기 위한 임계값이 더 높으므로, 해당 환경에서 공개된 트리거는 128개의 A와 등호 기호입니다.

대부분 상수 데이터인 고정된 62바이트 쓰기는 원격 코드 실행 프리미티브처럼 들리지 않으며, 그 자체로 프리미티브도 아닙니다. Calif가 구축한 것은 체인입니다:

• 먼저, 스필이 인접 배열의 길이 필드에 떨어지도록 힙을 배치합니다. 그러면 해당 배열은 선언된 길이가 내용보다 훨씬 큰 라이터가 되어, 고정 쓰기를 경계가 정해진 선택값 쓰기로 바꿉니다.

• 둘째, 데이터가 HTTP 응답으로 다시 복사되는 두 번째 배열의 길이를 변조합니다. 그 배열은 리더이며, 그것이 반환하는 힙 내용이 정보 노출 프리미티브가 됩니다. Calif는 이 JavaBleed의 코드 실행 전 단계를 다음과 같이 부릅니다: 개인 식별 데이터, 개인 키, 세션 토큰 또는 기타 비밀을 보유할 수 있는 힙 메모리.

• 셋째, 선형 쓰기가 손상시킨 객체들을 복구하여 JVM이 계속 실행되게 하고, 공개된 원본을 사용해 헤더와 인접 객체들을 복원한 뒤, 제한된 쓰기를 Code Cache와 JVM의 훅에 도달하는 임의 쓰기로 확장하십시오.

• 넷째, 애플리케이션별 변경을 수행하고 실제 요청을 통해 검증하십시오. 이 논문은 개별 제품에 대해서는 그 마지막 단계 앞에서 멈추며, 무기화된 체인은 사용자들이 업그레이드할 기회를 가질 때까지 비공개로 유지된다고 말합니다.

그루밍 계층은 이것을 로컬이 아니라 원격으로 만드는 부분이다. G1은 힙을 고정 영역으로 나누고, HotSpot은 각 스레드에 전용 할당 버퍼를 부여하며, 공격자는 그중 어느 것도 볼 수 없다. Calif의 해답은 오래된 방법 — 디코더 출력이 그중 하나 바로 옆에 위치할 때까지 writer와 reader 쌍을 뿌리는 것 — 에 더해 HTTP에 특화된 트릭이다: 중요한 할당이 일어나는 지점까지 요청 본문을 보내고, TCP 승인을 기다린 다음, 나머지를 보낸다. 작은 패킷은 하나의 큰 패킷보다 더 안정적이며, 이는 할당 제어와 타이밍 제어를 모두 제공한다. 이 공격은 왕복 시간과 지터에 민감하다. 테스트 환경에서는 TCP 스택을 튜닝하는 대신 대상과 같은 리전에 VM을 임대하여 이 문제를 해결했다.

진지하며, 이름이 시사하는 것보다 범위가 좁다

두 가지 제약이 노출을 크게 줄여 주며, 누구든 인시던트 브리지를 시작하기 전에 둘 다 짚고 넘어갈 가치가 있습니다.

첫째는 버전입니다. Java4Shell은 OpenJDK 17.0.6 이상에 영향을 미치며, 따라서 이를 기반으로 빌드된 모든 배포판에도 영향을 줍니다: Amazon Corretto, Eclipse Temurin, Microsoft Build of OpenJDK, Azul Zulu, BellSoft Liberica, SAP SapMachine, Red Hat OpenJDK, Oracle OpenJDK, Oracle Java SE 및 Oracle GraalVM for JDK. Oracle의 영향을 받는 Java SE 빌드 목록은 8u511b33-perf, 17.0.21.0.3, 21.0.13.0.3, 25.0.5.0.3 및 27.0.1.0.3입니다. OpenJDK 계열에서 17.0.6보다 오래된 것은 영향을 받는 코드 경로 밖에 있습니다.

두 번째는 실리콘입니다. 취약한 루틴은 AVX-512 VBMI 어셈블리이므로 해당 명령어를 구현한 x86-64 칩에만 존재합니다. ARM64는 전혀 영향을 받지 않으며, 따라서 Graviton, Ampere, Apple 실리콘 배포는 모두 한 줄로 대상에서 제외됩니다. Intel 쪽 목록은 Xeon Ice Lake, Sapphire Rapids, Emerald Rapids, Granite Rapids이고, AMD 쪽은 Zen 4 이후의 EPYC와 Ryzen입니다. Calif는 검사를 공개합니다:

grep -m1 '^flags' /proc/cpuinfo | tr ' ' '\n' | grep -E '^(avx512f|avx512bw|avx512vbmi|bmi2)$'

네 가지 플래그가 모두 나타나야 합니다. 이는 범위의 실질적인 축소이지만, 영향을 받는 칩은 바로 2021년부터 2025년 사이에 클라우드 플릿을 채운 칩들이므로 "Sapphire Rapids가 필요하다"는 말은 들리는 것처럼 안심이 되지 않습니다. Graviton에서 실행되는 Java 서비스는 안전합니다. 현재 세대 Intel 인스턴스에서 실행되는 동일한 서비스도 범위에 포함되며, 그 뒤에 있는 Jira, Confluence, Keycloak, Jenkins, Artifactory 또는 PingFederate 인스턴스도 마찬가지입니다. Calif가 각각의 기본 구성에서 인증 전 RCE를 입증했기 때문입니다.

시연된 영향 목록은 명확히 두 갈래로 나뉜다. 인증 전: Keycloak, Atlassian Jira, Atlassian Confluence, JFrog Artifactory, Jenkins 및 PingFederate. 인증 후: Apache Kafka Broker, Apache Solr, Elasticsearch, Gerrit 및 Netflix Spinnaker. Apache Struts 및 Spring Boot 샘플 애플리케이션도 악용되었다. 이 목록들은 명시적으로 전수 목록이 아니며, 제품 이름보다 더 중요한 세부 사항이 하나 있다. 취약한 JVM이 자체 서비스를 노출할 필요는 없다는 점이다. 연구자 samczsun은 Calif와 함께 클라이언트 측 체인을 공유했는데, 여기서는 악성 서버에 TLS 연결을 열기만 하는 Java 프로그램이 그 응답에 의해 침해된다.

A generated summary card headed 'Java4Shell — what is in scope', listing six rows: affected OpenJDK 17.0.6 and later; silicon x86-64 with AVX-512 VBMI; not affected ARM64, Graviton and Apple silicon; pre-authentication impact on Keycloak, Jira, Confluence, Artifactory and Jenkins; authentication required for Kafka, Solr, Elasticsearch and Gerrit; and no public report of exploitation in the wild.

패치, 그리고 시간을 벌어 주는 두 개의 플래그

OpenJDK는 2026년 11월 17일 권고문을 발표했고, Oracle은 같은 날 오후 1시(PT)에 11개의 새로운 Java SE 패치를 포함한 Critical Patch Update를 출시했습니다. Oracle은 CVE-2026-114938에 대해 Calif.io의 Quang Luong과 Albert Yang의 공로를 인정했습니다. OpenJDK 메인라인의 수정은 작습니다 — 하나의 완전한 블록보다 짧은 패딩된 Base64 꼬리를 최적화된 루틴 대신 Java 핸들러로 라우팅하는 4줄짜리 가드입니다. 한 문장으로 말하면 이것이 버그의 형태입니다: 막대한 양의 데이터를 디코딩하는 애플리케이션을 위한 최적화가 모든 런타임에 배포되었고, 그로 인해 아무런 이득도 얻지 못한 애플리케이션들이 노출되었습니다.

업데이트가 적용될 때까지 두 가지 JVM 플래그가 인트린직을 비활성화합니다:

• -XX:-UseBASE64Intrinsics는 하드웨어 가속 Base64 인코딩 및 디코딩을 비활성화합니다. 이 옵션은 아키텍처 독립적이므로 두 가지 중 더 안전합니다.

• -XX:UseAVX=2는 AVX-512를 비활성화합니다. 이 플래그는 x86-64에서만 작동합니다 — ARM의 OpenJDK는 이 플래그를 인식하지 못해 시작을 거부하므로, 아키텍처가 혼합된 플릿에서는 일괄 적용할 수 없습니다.

두 플래그 모두 해결책이 아니며, 둘 다 그 intrinsic을 작성할 가치가 있게 만든 바로 그 워크로드에서 처리량을 희생합니다. 유용하게 짚어둘 점은 둘 다 애플리케이션 코드를 재배포할 필요가 없다는 것인데, 이는 오늘 밤 바로 실행할 수 있는 완화책과 그럴 수 없는 완화책의 차이입니다.

11월 17일과 18일의 보도는 런타임 버그에 관한 것으로는 이례적으로 광범위했다. New York Times는 “AI, 인터넷에 필수적인 소프트웨어 플랫폼 Java의 중대한 보안 버그 발견을 돕다”라는 제목으로 이를 다뤘고, BBC와 Politico도 모두 보도했으며, 독일 연방 사이버 보안청은 권고문을 발표했고, CISA의 지침은 즉각적인 패치를 촉구하면서도 해당 결함이 자사의 Known Exploited Vulnerabilities 목록에는 없다고 언급한 것으로 보도되었다. 마지막 차이점이야말로 놓치지 말아야 할 부분이다. 광범위한 보도는 악용의 증거가 아니며, 이 글을 쓰는 시점에 Java4Shell이 실제 환경에서 사용되었다는 공개 보고는 없다.

모델 크레딧, 그리고 그것이 말하는 것과 말하지 않는 것

이야기가 신중을 요하는 지점이 바로 여기다. 왜냐하면 유통되는 판본이 기록보다 더 깔끔하기 때문이다.

Calif가 직접 쓴 글에는 GPT-6 Cyber라는 이름이 나오지 않는다. 그 글에서는 감사할 영역을 사람이 선택한 뒤 넘겼다고 말한다: “나는 2026년의 진지한 보안 연구자라면 누구나 그럴 것처럼 Codex에게 그 영역들을 살펴보라고 지시했다.” Codex는 OpenAI의 코딩 에이전트이며 서로 다른 기반 모델을 지정할 수 있으므로, GPT-6 Cyber를 선택한 상태로 Codex를 실행한 연구자라면 정확히 그런 문장을 만들어냈을 것이다. 하지만 그 글에는 어떤 모델이 뒤에 있었는지 전혀 나오지 않고, 비용이나 토큰 수도 명시하지 않는다. 반복해서 언급된 수치들, 즉 발견까지 약 1시간, 작동하는 익스플로잇까지 2시간, 토큰 비용 200달러 미만은 Calif의 논문이 아니라 이번 공개를 다룬 보도에서 나온 것이다.

A screenshot of the Calif write-up titled 'Java4Shell: A case study in AI-assisted vulnerability discovery and exploitation', bylined 'Calif and OpenAI — November 17, 2026'. The visible text refers to directing Codex at chosen areas of the codebase and does not name a specific underlying model.

모델 이름도 같은 출처에서 나온다. 11월 17일과 18일에 게재된 보도는 이 발견을 특히 GPT-6 Cyber의 공으로 돌리며, 뉴욕타임스는 보다 포괄적인 "AI가 도왔다"는 틀을 취한다. OpenAI는 11월 18일 현재까지 이 발견에 관한 자체 설명을 공개하지 않았다. 가장 최근의 사이버 관련 게시물 두 건, 즉 11월 17일 NATO 업데이트와 11월 10일 Cogent 파트너십 게시물에는 Java가 언급되지 않는다. 따라서 정직한 표현은 이렇다. AI 지원 발견은 연구자 본인의 기록으로 확인되지만, 특정 모델은 문서화된 것이 아니라 보도된 것이며, 효율성 수치는 간접적으로 전해진 것이다.

그 격차가 결과를 깎아내리지는 않는다. 다만 그 결과로부터 무엇을 추론할 수 있는지를 바꾼다. 30년 된 런타임에서 1시간 만의 발견은 탐색 비용에 관한 주장이며, 이를 입증할 수 있는 유일한 당사자는 청구 기록을 보유한 쪽이다. 그중 누군가가 기록을 공개하기 전까지, 방어 가능한 설명은 이렇다. 한 소규모 기업이 성숙한 코드베이스에 에이전트를 투입했고, 수년간 코드 리뷰와 퍼징 모두가 씨름해 온 영역인 JIT 내부의 손으로 작성된 어셈블리에서 치명적인 메모리 손상 버그를 찾아냈다는 것이다.

write-up의 익스플로잇 개발 부분은 발견 부분보다 더 흥미롭고, 더 분명히 인간적이다. Calif는 에이전트가 힙 그루밍 프리미티브에서 막혔고, 해결책은 팀이 에이전트가 힙 상태를 볼 수 있도록 작성한 힙 트레이서 및 시각화 도구였다고 설명한다. 그것은 이름 붙일 가치가 있는 분업이다. 모델은 탐색을 넓혔고, 사람들은 발견을 체인으로 바꾸는 계측 도구를 만들었다.

Patch the Planet은 프레임이지 서류 제출이 아니다

Java4Shell 공개는 Trail of Bits와 함께 운영되는, 오픈소스 유지관리자를 지원하기 위한 OpenAI의 Daybreak 이니셔티브인 Patch the Planet의 일부로 설명되고 있다. 이 프로그램은 실제로 존재하며 Calif는 여기에 이름이 명시된 파트너이다 — Patch the Planet 자체 설명에 따르면 OpenAI는 "취약점 분류, 조정된 공개, 그리고 추가적인 집중 취약점 발견 노력으로 우리의 활동을 더욱 발전시키는 데 도움을 주고 있는 HackerOne 및 Calif와 파트너 관계를 맺고 있다". 따라서 이 조정 경로는 바로 이니셔티브가 설명하는 경로와 정확히 일치한다.

아직 존재하지 않는 것은 공식 신고 접수다. Patch the Planet 사이트에는 현재 두 건의 취약점 공개가 등록되어 있다: Brotli의 CVE-2026-111497, 그리고 php2shell로 알려진 PHP 결함인 CVE-2026-109618과 CVE-2026-109619이다. Java4Shell은 그 목록에 없다. 10월 21일 OpenAI 자체의 Patch the Planet 게시물은 PHP 대응을 설명하며, 이를 발견한 모델로 GPT-6 Cyber가 아니라 GPT-5.6 Sol을 지목한다. 이 프로그램의 첫 대표적 버그는 전작 모델로 발견되었다.

A screenshot of the patchtheplanet.org homepage, headed 'Working with frontier AI and security experts to help secure open source software'. It shows the five-stage response framework and a 'Patch the Planet Disclosures' section listing only the Brotli and PHP (php2shell) disclosures — Java4Shell is not listed.

그것은 모순이 아니라 순서에 관한 사실이며, 해당 보도를 한 모델의 역량 주장으로 읽는 사람이라면 누구에게나 중요하다. Patch the Planet은 이름이 명시된 파트너들과 공개된 5단계 대응 절차를 갖춘 조정 프레임워크다. 업스트림에서 검증하고 수정하며, 영향을 받은 조직에 시간을 주고, 정부와 조율하고, 여러 제품에 걸쳐 업데이트를 준비하고, 지침을 공개하는 것이다. Java4Shell은 그 프레임워크 중 단일 업스트림과 관련된 부분을 거쳤다. OpenJDK와 Oracle은 공개 당일 패치했고, Calif는 제품별 체인을 보류했다. 빠진 것은 그 발견을 프로그램 안에 공식 기록으로 남길 OpenAI의 게시물이다.

이런 검색을 운영하는 데 드는 비용

경제성은 방어자가 실제로 활용할 수 있는 부분이며, 이는 대부분의 팀이 갖고 있는 직관을 뒤집는다. 보고된 수치가 사실이라면, 발견에는 수백 달러가 들었고 익스플로잇에는 같은 작업으로 두 시간이 더 들었다. 이 작전에서 비용이 많이 드는 부분은 결코 추론이 아니었다.

이는 OpenAI가 Cyber 출시 2주 전에 자체 리눅스 커널 스캔에 관해 공개한 내용과 일치합니다. 후보 2,308개, 재현 1,724개, 고유 권한 상승 익스플로잇 948개, API 크레딧 $1,213,430, 그리고 10일 후 업스트림 수정 61건입니다. 발견은 수정에 비해 저렴하며, 제약은 토큰 청구서가 아니라 트리아지와 공개에 있습니다. 이런 종류의 작업에 예산을 책정하는 팀은 모델 지출의 몇 배에 달하는 인적 검토 비용도 예산에 포함해야 합니다.

라우팅 계층이 구호가 아니라 제값을 하는 지점이기도 합니다. 파이프라인에는 모델 요구 사항이 정말로 다른 단계들이 있습니다 — 가설 생성은 감당할 수 있는 가장 넓고 저렴한 탐색을 원하고, 검증은 크래시를 실행해 보고 읽어낼 수 있는 모델을 원하며, 패치 생성은 저장소 전반에 걸친 긴 컨텍스트를 원합니다. 세 단계를 모두 하나의 모델로 실행한다는 것은 가장 저렴한 단계의 작업에 가장 비싼 단계의 요금을 지불한다는 뜻입니다. 각 단계를 서로 다른 모델로 연결하면하나의 API 키로 200개 이상의 모델에 걸쳐, 0% 마크업의 제공자 정가로, 파이프라인을 세 개의 계약 대신 하나의 청구서와 하나의 자격 증명으로 유지할 수 있습니다.

한 가지 분명히 해둘 점: GPT-6 Cyber는 OrcaRouter 카탈로그에 없으며, 이를 호출하는 계정에 Daybreak Red 승인이 있기 전까지는 카탈로그에 포함될 수 없습니다. 우리가 실제로 제공하는 것은 그것이 파생된 일반적인 사다리입니다 — GPT-6 Astra가 $10/$50 (백만 토큰당) 등 — 즉 익스플로잇 개발이 아니라 분류, 패치 생성, 코드 리뷰를 수행하는 보안 파이프라인의 일부입니다. 자동 페일오버는 모델이 새롭고 속도 제한이 알려지지 않은 바로 그 단계에서 가장 중요하며, 이는 이런 파이프라인의 탐색 단계에 해당합니다.

무엇을 볼까요?

6개월 뒤 이 글이 어떻게 읽힐지는 세 가지에 달려 있다.

첫 번째는 보류된 체인들이 논문으로 공개되기 전에 실제 환경에서 먼저 나타나는지 여부다. 취약점과 일반 기법은 공개하되 제품별 익스플로잇은 보류하기로 한 Calif의 결정은 책임 있는 공개 방식이며, 이는 패치 속도가 리버스 엔지니어링 속도를 앞설 때만 통한다. Oracle의 업데이트는 나왔고, 변수는 패치되지 않은 17.0.x 빌드의 수다.

두 번째는 Java4Shell이 CISA의 Known Exploited Vulnerabilities 목록에 오르는지 여부입니다. 현재는 그 목록에 없으며, "치명적"과 "악용됨" 사이의 간극이 대부분의 기업 우선순위 논쟁이 벌어지는 지점입니다.

셋째는 OpenAI가 자체 해명을 공식 기록으로 남기는지 여부다. 모델과 프롬프트, 비용을 명시한 기술 문서는 보도된 주장을 문서로 입증된 주장으로 바꿔 놓을 것이며, Cyber-class 모델이 사전에 누구도 그것을 위해 선택하지 않은 대상에서 무엇을 하는지에 대한 첫 공개 증거가 될 것이다. 그때까지 버그는 사실이고, 귀속은 이야기다.

이 글에서 비교한 모델2

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트