Gemini 4 Pro vs GPT-6 Astra, Xbox 360 컨트롤러 테스트 — 그리고 Fable 5.2가 여기 포함되지 않은 이유

9월 21일, 세 개의 이름과 영상 하나, 그리고 "SOTA 비교"라는 문구를 담은 X 게시물이 올라왔다: Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. 그중 두 이름은 아무도 호출할 수 없는 모델의 것이다. 하나는 18일째 판매 중인 모델의 것이다. 그리고 그 게시물이 가리키는 결과물 — 단일 프롬프트 하나로 단번에 벡터 그래픽으로 그려낸 게임 컨트롤러 — 은 실제로 실행해 본 사람들에 따르면 처음 두 모델 간의 2자 비교였다. Claude Fable 5.2는 거기에 없었다. Claude Fable 5.1도 없었다.

프레이밍과 증거 사이의 그 간극이 바로 현재 Gemini 4 Pro 이야기의 전체 상황이며, 이를 일축하기보다는 면밀히 뜯어볼 가치가 있다. 컨트롤러 테스트는 결코 하찮은 것이 아니다. 그것은 이번 달 누구든 미출시 프런티어 모델에 관해 내놓은 것 중 가장 재현 가능해 보이는 단일 산출물이고, 그 뒤에는 4개월에 걸친 계보가 있으며, 많은 사람이 이를 하나의 평결로 읽고 있다. 그것은 평결이 아니다. 그것은 테스터 본인도 다음 날 반복하지 못한 단 한 번의 시도에서 나온 무승부다 — 그리고 그것이 어디까지 가고 어디까지 가지 않는지를 정확히 아는 것은 과대광고든 눈 굴리기든 어느 쪽보다 더 유용하다.

테스트, 그리고 SVG가 기준이 된 이유

이 프롬프트는 지금 그것으로 평가하려는 모델들보다 더 오래되었습니다. Gemini 3.0 시대에 다음과 같은 문구로 유통되었습니다: "Xbox 360 컨트롤러의 SVG 이미지를 만들어 줘. 마크다운 여러 줄 코드 블록으로 출력해." 이 표현 방식은 중요합니다. 왜냐하면 이것은 언어 모델에 의도적으로 적대적이기 때문입니다. 벡터 드로잉은 전부 구조이고 질감은 없습니다 — 모델이 뒤에 숨을 수 있는 사진적 노이즈도 없고, 실수를 매끄럽게 덮어 줄 디퓨전 샘플러도 없습니다. 모든 곡선은 좌표로 지정해야 합니다. 컨트롤러는 그것에게 어려운 표적입니다: 두 개의 대칭적인 그립, 오목한 접시 모양, 원근법으로 렌더링된 숄더 트리거, 각각 위치가 지정되어야 하는 열여섯 개 남짓한 버튼, 비율이 하나만 어긋나도 즉시 잘못되었다고 읽히는 실루엣. 그리고 답변이 뷰어에 붙여넣을 수 있는 텍스트로 도착하기 때문에, 비교는 저렴하고 이식성이 좋습니다. 누구도 다른 사람의 채팅 창 스크린샷을 신뢰할 필요가 없습니다.

9월에 커뮤니티는 그 프롬프트를 다시 꺼내 들었다. 아레나 세션에서 돌고 있는 결과물들 — 자전거를 탄 펠리컨, 다섯 개의 매크로 카메라 각도에서 렌더링된 PlayStation 5 컨트롤러, 조명을 바꿀 수 있는 3D 파고다, 복셀 사원 장면, Airbus H145 헬리콥터 페이지 — 은 보고서에서 각각 높은 사고 노력 수준에서 대략 8분에서 20분가량 걸린다고 설명된다. 비교용 스크린샷으로 찍힌 것은 바로 그 컨트롤러다.

컨트롤러 비교가 실제로 보여주는 것

다음은 테스터가 보고한 그대로의 결과이며, 이는 타임라인이 그것에 대해 만들어 온 주장보다 훨씬 작은 주장입니다.

• 평결 — 무승부. 이를 진행한 사람은 Lumina라는 이름으로 글을 올리며 두 결과물 모두 '거의 완벽하다'고 평했다.

• 유일한 비대칭점은 — Astra의 버전에 로고가 약간 잘못 들어가 있었다는 것이다. 그것은 단일 세부 사항의 우위이며, 테스터는 이를 일반적인 우위가 아니라 단일 세부 사항의 우위로 규정했다.

• 시각적 완성도 — 두 렌더링 모두 디테일한 컨트롤러 본체와 컨트롤, 음영을 보여줍니다. 어느 쪽도 형태가 무너지지 않았습니다.

• 비교가 입증하지 못하는 것 — 미출시 모델이 앞서 있다는 점. 두 출력이 똑같이 좋다고 평가되는 것은 우위를 점하지 못함의 정의다.

• 재현성 — 해당 출력은 전날 밤에 생성된 것으로 보고되었고 약 20분이 걸렸으며, 테스터는 다음 날 비교 가능한 결과를 얻지 못했다.

• 정체성 — 출력이 나온 아레나 항목은 gemini-3.8-flash로 표시되어 있었습니다. 이 이름은 이미 9월 2일에 Google이 출시한 모델의 이름이며, 나중에 보도에 따르면 gemini-3.7-flash로 이름이 바뀌었습니다. 이 별칭 뒤에 실제로 어떤 모델이 있었는지는 밝혀지지 않았고, 같은 기간에 다른 테스터 두 명도 자신들이 어떤 모델을 사용했는지 확인할 수 없었다고 말했습니다.

목록을 순서대로 읽으면 증거의 윤곽이 분명해진다. 흥미로운 주장은 "출시되지 않은 모델이 이겼다"가 아니다. 정체를 아무도 알 수 없는 모델이, 출시된 모델의 이름 아래 실행되면서, 신중한 테스터가 9월 대부분 동안 일반적으로 이용 가능했던 프런티어 모델의 출력과 구분할 수 없는 벡터 작업물을 단 한 번의 시도로 만들어냈다는 점이다. 그것은 실제 관찰이다. 그것은 또한 어느 한 오후에 관한 관찰이며, 테스터도 그렇게 말했다.

양방향 결과와 삼방향 주장

이 글을 시작하게 한 게시물은 세 가지 모델을 말한다. 같은 컨트롤러 세션을 설명하는 글들은 두 가지를 말한다. Claude Fable 5.2의 이번 주 실제 상태는 뉴스 주기를 우연히 함께하는 별개의 이야기이며, 혼동이 양방향으로 작용하고 있기 때문에 정확히 짚고 넘어갈 가치가 있다.

• 주장된 내용 — X 계정 @chetaslua는 9월 18일 Claude Fable 5.2가 "claude code에서 fable 5.1을 이쪽으로 라우팅하는 방식으로 테스트되고 있다"고 게시했습니다. 이는 단일 계정에서 나온 Claude Code에 관한 라우팅 주장입니다.

• 이름이 무엇인지 — 기자 자신의 가정이다. JAZII라는 이름으로 글을 올린 테스터는, 9월 18일 작성한 글이 그 동작에 관한 가장 상세한 설명인데, "Fable 5.2"는 자신들이 붙인 이름이며 누구도 확인한 이름은 아니라고 분명히 밝힌다. 모델 카드도, API 식별자도, 가격 페이지도, 시스템 카드도 없고, Fable 5.2 경로를 독자적으로 보도하는 두 번째 매체도 없다.

• 교차 검증된 Claude 라우팅 이야기가 실제로 무엇을 포함하는지 — 이 블로그는 이를 별도로 다뤘습니다: 여러 독립 매체가 받아 보도한 9월 중순의 조용한 라우팅 관련 보도는 Fable이 아니라, 아직 공개되지 않은 Opus급 체크포인트에 관한 것이었습니다. Fable 귀속은 단일 출처입니다. 이를 하나의 발견이 아니라, 한 계정의 보고로 취급하세요.

• 테스터가 실제로 보고한 것 — 높은 추론 노력 수준에서, 차기 Fable로 의심되는 모델이 GPT-6 Astra보다 선호되었으며, 더 느리고 더 비쌌다. 그것은 한 사람이 자신의 작업에 대해 내린 선호일 뿐이다.

• 출시된 모델에 대해 검증된 것 — Claude Fable 5.1은 2026년 9월 1일부터 일반 제공되었습니다. 그 모델은 존재하고, 가격이 있으며, 오늘 호출할 수 있습니다.

그러니까 그 삼자 구도를 솔직하게 말하자면 이렇습니다: 그 글에 나온 세 이름 중 둘은 커뮤니티가 이름을 붙인 미발표 모델이고, 컨트롤러 테스트에는 정체가 적어도 아레나 항목에 연결된 하나만 포함됐으며, Fable 칸은 모델 이름을 밝히지 않겠다고 명시적으로 거부한 단일 테스터의 선호입니다. 그렇다고 해서 그것들 중 어느 것도 무시할 이유는 아닙니다. 오히려 세 이름을 하나의 신뢰 수준이 아니라 서로 다른 세 신뢰 수준으로 다뤄야 할 이유입니다.

실제로 논쟁을 벌이고 있는 건 벤치마크 표

컨트롤러 SVG는 눈에 보이는 결과물이다. 실제로 설득하는 것은 9월 18일경 등장해 그 이후 중국어와 영어 기술 언론에서 계속 재인용된 벤치마크 시트다. 그것은 나열해 볼 가치가 있다. 숫자들이 검증할 수 있을 만큼 구체적인데도 어느 것 하나 검증된 적이 없기 때문이다.

• DeepSWE v1.1 — 88.7%, GPT-6 Astra보다 약 2포인트 높은 것으로 설명된다.

• GDPval-AA v2 — 2,064 Elo, 위 비교에서 2,000을 넘는 유일한 항목이라고 설명됨.

• Terminal-bench 2.1 — 95.3%, 표에서 가장 높은 점수로 제시됨.

• OSWorld-2.0 — 86.8%, GPT-6 Astra와 Claude Fable 5.1 둘 모두를 앞섰습니다.

• 주장된 가격 — 입력 토큰 백만 개당 $2.25, 출력 토큰 백만 개당 $11.25.

• 주장된 사양 — 1,000만 토큰 입력 한도, 256K 토큰 출력 상한, 대화 간 메모리.

위의 모든 내용은 커뮤니티의 주장입니다. 구글은 이 중 어느 것도 확인하지 않았고, 해당 아레나 항목이 Gemini 4 Pro인지조차 확인하지 않았으며, 논평 요청에도 응답하지 않았습니다. 그 표에는 체크포인트 식별자도, 추론 노력 설정도, 에이전트 하네스도, 도구 권한도, 테스트 분할도, 표본 크기도, 실행 로그도 없습니다 — 실제 평가에는 포함되지만 슬라이드 스크린샷에는 없는 것들입니다. 벤치마크 이름들 역시 OpenAI가 자체 9월 출시 자료에서 사용한 것과 같은 계열에서 가져온 것으로, 이는 어디서 측정되었는지가 아니라 그 시트가 어디서 조립되었는지를 알려주는 단서입니다.

이번 달 어떤 프런티어 비교든 주의해야 할 두 번째 이유가 있습니다: 모두가 찾는 독립 지수가 9월 7일에 v4.3으로 재버전화되었고, 재버전화는 순위표 상단을 압축하거나 늘립니다. 버전이 함께 표기되지 않은 점수는 3주 전의 점수와 비교할 수 없습니다. 우리 것이든 누구의 것이든 마찬가지입니다.

Gemini 4 Pro에 대해 실제로 확인된 것은 무엇인가요?

주장을 걷어내면 확고한 기록은 짧다.

• 2026년 7월 21일 — Google은 Gemini 4를 위한 지금까지 가장 야심찬 사전 학습 실행을 시작했다고 확인했다. 최고 경영자는 2분기 실적 발표 콜에서 이를 거듭 언급했다.

• 2026년 9월 2일 — Gemini 3.8 Flash 출시. Google의 최신 정식 출시 모델은 여전히 Flash 등급 모델입니다.

• 2026년 9월 15–18일 — "Lentils"라는 이름으로 글을 올리는 한 유출자는 Gemini 4 Pro 체크포인트가 내부에서 "argon"이라는 코드명으로 나타나고 있다고 주장한다. 커뮤니티 추적자들은 출시된 gemini-3.8-flash 라벨 아래에 아레나 항목 하나를 기록하는데, 이는 답변당 8~10분이 걸리고 해당 모델이 만들어내는 것을 훨씬 뛰어넘는 벡터 및 3D 작업물을 생성한다.

• 오늘 — Gemini 4 모델 ID도, 엔드포인트도, 가격도, 모델 카드도 없다. 6월에 선보일 예정으로 예고되었지만 끝내 출시되지 않은 Gemini 3.5 Pro는 개선 폭이 너무 작아 폐기되었다고 Wall Street Journal이 보도했다.

그것이 확인된 표면의 전부다. 그 밖에 떠도는 모든 것 — 표, 가격, 콘텍스트 윈도, 코드명, 아레나 출품작의 정체 — 은 소수점을 입은 추론이다.

기다리는 동안 실제로 실행할 수 있는 것

이것이 비교 게시물들이 빼놓는 부분이며, 결정을 바꾸는 것도 바로 이 부분입니다.

GPT-6 Astra는 소문이 아닙니다. 2026년 9월 3일에 출시되었으며, 모델 ID가 gpt-6-astra이고, 오늘 OpenAI 자체 정가인 입력 토큰 100만 개당 $10.00, 출력 100만 개당 $50.00, 캐시된 입력 $1.00에 호출할 수 있습니다. 동일한 제공업체 정가에 0% 마크업으로 OrcaRouter에서 실행됩니다 — 저희는 벤더 요율을 그대로 전달하기 때문에, 요율이 움직이면 누군가 마진을 갱신할 때가 아니라 같은 날 저희 쪽 숫자도 함께 움직입니다. OpenAI가 보고한 벤치마크 수치는 DeepSWE v1.1 74%, OSWorld 2.0 72.6%, Terminal-Bench 4.0 57.9%, ExploitBench 100%이며, 이것이 이 모델을 Critical 사이버 역량 임계값 너머로 밀어 올린 요인입니다. 이는 벤더가 보고한 것이며 재현되지 않은 수치이고, 유출된 Gemini 4 Pro 자료가 암묵적으로 반박하고 있는 숫자이기도 합니다.

Gemini 4 Pro는 OrcaRouter에 없으며, 우리는 아닌 척하지 않겠습니다. 엔드포인트도, 모델 ID도, 가격도 없습니다. 출시된 모델이 없기 때문입니다. 반면 Claude Fable 5.1은 9월 1일부터 정식 제공되어 자체 정가로 라우팅할 수 있으며, Claude Opus 5와 현행 프런티어 등급의 나머지 모델도 마찬가지입니다 — 하나의 API가 200개 이상의 모델을 제공업체 정가로 마크업 없이 아우릅니다, 따라서 이와 같은 비교를 실행하는 데 세 개의 계정과 세 개의 SDK, 세 개의 청구서가 필요하지 않습니다.

컨트롤러 결과가 미공개 모델을 중심으로 프로덕션 경로를 재구성하도록 유혹한다면, 현명한 움직임은 증거가 지지하는 것입니다: 하지 마세요. 가지고 있는 경로를 유지하고, 그 효과가 자신의 작업에도 일반화되는지 알아보고 싶다면, 이미 신뢰하는 모델로의 폴백을 뒤에 둔 아직 검증되지 않은 경로로 트래픽의 일부를 라우팅하세요. 그러면 안 좋은 오후 하나가 장애가 아니라 트래픽 1퍼센트포인트의 손실로 끝나고, 다른 사람의 20분짜리 결과를 빌리는 대신 자신만의 답을 얻게 됩니다.

컨트롤러 결과가 의미를 가지려면 무엇이 필요할까?

• 별칭은 진짜 이름을 얻는다. 아레나 항목은 리더보드 행이 붙은 소문이다. 벤더 자체 문서에 실린 모델 ID가 곧 제품이다. 타임라인이 아니라 모델 목록을 주시하라.

• 그 결과는 재현된다. 한 테스터는 다음 날 같은 출력을 얻지 못했다. 모델이 명시된 상태에서 세 명의 독립적인 사람이 요청할 때마다 그것을 얻는다는 것은 전혀 다른 차원의 증거다.

• 유출된 시트에는 이제 방법론이 따른다. 체크포인트, 추론 노력 설정, 그리고 하네스가 없는 벤치마크 점수는 측정값이 아니다. 그것은 측정값에 관한 주장일 뿐이다.

• 가격이 등장한다. 주장된 $2.25/$11.25라면 아직 공개되지 않은 프런티어 모델이 세 모델 중에서 큰 차이로 가장 저렴해질 것인데, 이런 종류의 주장은 요금표에 나타나거나 나타나지 않거나 둘 중 하나다.

• Fable 귀속에 두 번째 출처가 생긴다. 지금은 하나뿐인데, 그것을 만든 사람은 그 이름이 애초에 자신의 것이었다고 말했다.

답할 가치가 있는 질문들

아레나 출품작이 정말 Gemini 4 Pro라면, 왜 이미 출시된 모델의 이름으로 돌리는 건가요?

기존 모델의 라벨 뒤에서 새 체크포인트를 테스트하는 것은 블라인드 벤치마킹의 표준 관행이다 — 이는 연구소가 이름이 투표에 영향을 미치지 않은 상태로 맞대결 투표를 수집할 수 있게 해 준다. 또한 이는 라벨이 그 뒤에 무엇이 있는지에 대해 아무것도 알려주지 않는다는 뜻이며, 바로 이것이 여기서의 문제다: 그 별칭은 무언가가 테스트되고 있다는 증거이지, 무엇이 테스트되고 있는지에 대한 증거가 아니다.

GPT-6 Astra와 비겼다는 게 그 미출시 모델이 실망스럽다는 뜻일까?

아니요, 그리고 바로 여기에서 그 프레이밍이 가장 큰 피해를 줍니다. 아직 포스트트레이닝 단계에 있고, 별칭 뒤에서 실행되며, 어려운 원샷 과제에서 이미 출시된 프런티어 모델과 맞먹는 체크포인트는 출시일 차트보다 훨씬 강한 신호입니다. 그것은 구매할 수 있는 제품에 관한 것이 아니라 방향성에 관한 신호일 뿐인데, 비교 게시물에서는 이 둘이 같은 것으로 읽힙니다.

이 때문에 오늘 뭔가 바꿔야 할까요?

이 때문은 아니다. 컨트롤러 테스트의 어떤 것도 무엇이 사용 가능한지, 무엇의 비용이 얼마인지, 어떤 모델이 무엇을 잘하는지를 바꾸지 않는다. 이번 주 의사결정에 관련된 사실은 GPT-6 Astra와 Claude Fable 5.1이 둘 다 출시되어 있고 가격이 책정되어 있다는 것, 그리고 Gemini 4 Pro는 둘 다 아니라는 것이다. 그 가능성에 대비하려면, 재작성보다는 라우팅으로 대비하라.

솔직한 해석

컨트롤러 테스트는 Gemini 4 Pro에 관해 누구든 내놓은 최고의 증거이며, 누구든 내놓은 최고의 증거는 무승부다. 재현되지 않은 단 한 번의 시도에서, 아무도 이름을 댈 수 없는 모델에서 나왔고, 아무도 확인할 수 없는 벤치마크 표와 함께 보고된 무승부다. 그건 일축하는 말처럼 들리지만, 그렇지 않다. 이 테스트가 퍼진 이유는 이것이 이 이야기에서 슬라이드가 아니라 제품처럼 보이는 첫 번째 산출물이기 때문이다. 실제 프롬프트, 실제 출력, 그것을 비교하는 실제 사람, 그리고 어느 쪽 지지자도 온전히 자기 것이라고 주장하지 못한 결과다.

그것이 하지 않는 일은 아무것도 확정하지 않는 것이다. 이번 주에 출시해야 한다면, 현재 존재하는 프런티어 등급 — $10/$50의 GPT-6 Astra, 자체 정가의 Claude Fable 5.1 — 이 바로 당신의 결정이 실제로 놓여 있는 곳이며, 둘 다 두 번째 계약 없이 하나의 키로 호출할 수 있다. 구글이 무엇을 갖고 있는지 알고 싶다면, 이것을 지금까지 아는 내용을 정리한 글에서 출시 기사로 옮겨 줄 유일한 신호는 모델 ID, 요율표, 그리고 재현 결과다. 그것들이 나오기 전까지 Xbox 360 컨트롤러 비교에 대한 올바른 해석은 그것을 진행한 사람이 내놓은 것이다: 아주 훌륭한 그림 두 장, 그리고 승자는 없다.