AlphaProof Code 대 SWE-2: 두 에이전트 시스템, 증명에 대한 완전히 다른 두 가지 개념

AlphaProof Code와 Cognition SWE-2는 모두 소프트웨어를 자동으로 작성하는 에이전트 시스템이며, 둘 다 "에이전트"라는 단어를 내세워 대중에게 판매되었습니다. 그 점을 빼면 두 릴리스는 거의 같은 세계에 존재하지 않습니다. 2026년 9월에 발표되고 Devin Desktop과 CLI 내부에서만 사용할 수 있는 Cognition SWE-2는 패치를 작성합니다. Cognition 자체 수치에 따르면 FrontierCode 1.1 Main에서 50.0%를 기록해 50.9%의 Claude Fable 5.1과 1포인트 차이였으며, 비용은 64% 덜 들었습니다. 2026년 11월 10일 Google DeepMind가 발표한 AlphaProof Code는 증명을 작성합니다. Signal의 컴파일된 AArch64 바이너리가 열 가지 보안 정리를 충족함을 입증하는 약 650만 줄의 Lean 코드이며, 평가 기준이 아니라 Lean의 커널로 검증됩니다. 한 시스템의 출력은 인간 검토자가 잡아낼 수 있는 방식으로 틀릴 수 있습니다. 다른 시스템의 출력은 전혀 틀릴 수 없습니다 — 아니면 커널이 이를 거부하고 작업은 계속됩니다.

“Correct”는 두 가지 다른 의미를 가집니다.

‘해결했다’는 말부터 시작해야 합니다. 두 시스템을 비교할 때 문제가 바로 그 단어에서 생기기 때문입니다. Cognition이 SWE-2가 FrontierCode 1.1 Main 작업의 50.0%를 해결했다고 보고할 때, ‘해결했다’는 것은 채점 과정에서 병합 가능하다고 인정한 패치가 생성되었다는 뜻입니다. FrontierCode의 작업은 20명 이상의 오픈소스 유지관리자가 각 작업당 40시간 이상을 들여 작성했으며, 각 유지관리자는 자신의 저장소에서 ‘병합 가능’이 무엇을 의미하는지 정의했습니다. 이는 진지한 평가 설계이며, 동시에 여전히 하나의 diff에 대한 인간의 판단입니다.

DeepMind가 libsignal v0.105.4에 대한 정리가 증명되었다고 보고할 때, "증명되었다"는 것은 Lean의 커널이 명세로부터의 도출을 승인했다는 뜻입니다. 의견을 낼 검토자는 없습니다. 게이트키퍼 에이전트는 각 제출물을 비교기로 따로 보관된 명세 사본과 대조해 확인하고, 나머지는 Lean이 확인합니다 — 이것이 다섯 명의 연구자로 구성된 팀이 코드베이스의 99%를 인간의 검토 없이 남겨 두고도 전체에 대해 주장할 수 있었던 방식입니다.

그 차이는 각 시스템이 무엇에 적합한지를 결정한다. SWE-2는 코드를 작성할 수 있다. AlphaProof Code는 프로덕션 코드를 작성할 수 없고 그러려고 하지 않는다. 대신 다른 사람이 작성한 코드가 명세된 대로 작동함을 입증하며, 의도적으로 망가뜨린 버전은 그렇지 않음을 입증할 수도 있다 — 다시 도입된 두 가지 Signal 버그, 즉 약한 상태 버그와 작은 부분군 버그 모두 불안전성에 대한 기계 검증 증명을 산출했다.

두 가지가 진정으로 닮은 부분

예상보다 많으며, 흥미로운 부분은 그 유사점이다. 둘 다 운영 비용이 비싸다. AlphaProof Code는 4주에 걸쳐 팀당 단일 머신에서 24~72시간 동안 실행되는 40~80개 에이전트 팀을 사용했으며, 팀 오케스트레이터 위에는 감독 에이전트가 있었고 에이전트들은 자체 출력을 감사해 약 1%를 인간 검토 대상으로 표시했다. SWE-2의 비용은 토큰당 공개되지 않는데, Cognition이 토큰을 판매하지 않기 때문이다. 가격은 Devin 구독이며, 64% 더 저렴하다는 주장은 정가 기준 Claude Fable 5.1과의 비교다.

두 모델 모두 같은 종류의 기본 모델에 의존합니다. SWE-2는 Moonshot AI의 Kimi K3를 포스트 트레인한 모델로, 토큰당 약 1,040억 개 매개변수가 활성화되는 2.8조 매개변수 전문가 혼합(MoE) 모델이며, Cognition은 자사의 강화 학습이 여러 벤치마크에서 5~6점을 추가했다고 말합니다. AlphaProof Code의 증명 에이전트는 Gemini 4 Carbon으로 구동되었고, Claude Opus 5.5는 Signal의 Lean 명세를 초안 작성하고 검토하는 데 사용된 모델 중 하나였습니다. 두 연구소 모두 에이전트를 처음부터 구축하지는 않았습니다.

둘 다 작업이 완료되었는지 알기 위해 검증기에 의존한다. Cognition의 검증기는 FrontierCode에 인코딩된 테스트 스위트와 유지관리자 판단이다. DeepMind의 검증기는 증명 커널이다. 검증기는 각 시스템의 상한이 정해지는 곳이며, 그것이 두 논문 어느 것에서든 기억할 만한 문장이다.

벤치마크 정직성 문제를 나란히 살펴보기

AlphaProof Code에는 벤치마크 표가 없으므로, 벤더 수치에 관한 통상적인 주의사항은 여기에 적용되지 않는다. 대신 정리가 있으며, 정리는 이진적이다. 그것이 가진 것은 구조적 제외 항목의 집합이다. SPQR의 치유 속성에 대한 포스트양자 보장은 없다. 래칫 정리들이 공격자가 SPQR 키를 선택한다고 가정하기 때문이다. 페이로드 프라이버시도 없다. 결코 승격되지 않는 핸드셰이크의 첫 메시지에 대한 응답자 인증도 없다. 승격당 하나의 세션, 고정된 메시지 길이, 다중 장치 상태 없음, 최초 사용 시 신뢰(TOFU) 신원 키. 이차적으로 증가하고 단일 세션에서 약 25,000개 메시지에서 공허해지는 8바이트 MAC 위조 항. AES-256-CBC, X25519, Kyber1024, ML-KEM-768을 포함해 검증되지 않고 계약으로 명세된 37개 루틴. 그리고 대상은 Signal 앱이 아니라 팀이 빌드한 libsignal-cli를 새 프로세스로 실행한 것이다.

SWE-2의 주의점은 구조적이라기보다 통계적이며, 가장 뼈아픈 점은 작업 길이에 따른 확장성이다. Terminal-Bench 2.1에서 Terminal-Bench 4로 가면 Claude Fable 5.1은 약 35.6점, GPT-6 Astra는 약 32.0점을 잃는다. SWE-2는 약 65.5점을, 그 기반인 Kimi K3는 약 66.8점을 잃는다. 따라서 장기 호라이즌 작업에서 SWE-2는 비교 대상인 프런티어 모델보다 대략 두 배 빠르게 성능이 저하된다. Terminal-Bench 4가 현재 에디션이고 2.1은 대체된 것이므로, SWE-2가 앞서는 행은 은퇴한 벤치마크이고 뒤처지는 행은 현행 벤치마크다.

두 보고서는 출시 게시물 기준으로 보면 이례적으로 솔직하다. 차이는 솔직함의 대가가 무엇인가에 있다. DeepMind의 제외 조항은 주장의 범위를 좁히지만 주장은 여전히 유효하다. Cognition의 제외 조항은 주장의 적용 범위를 한정하며, 독자는 현재 장기 지평 벤치마크에서의 27.3% 점수가 자신의 워크로드에 중요한지 결정해야 한다.

서빙, 가격, 그리고 어느 쪽도 당신에게 팔지 않는 것

• AlphaProof Code — 연구 프레임워크. 엔드포인트, 가중치, 가격, 대기자 명단 없음. 아티팩트는 github.com/google-deepmind/code-verification의 Lean 개발이며, 랜딩 페이지에는 라이선스가 명시되어 있지 않습니다.

• Cognition SWE-2 — 독점 모델이며 Devin 전용입니다. 공개된 토큰당 요금표도, 호출할 모델 ID도, 가중치도 없습니다. SWE-2를 원한다면 Devin을 구매해야 합니다.

• 기본 모델 — Kimi K3는 OrcaRouter 카탈로그에 입력 100만 토큰당 $3, 출력 100만 토큰당 $15로 실려 있으며, 제공업체 정가는 0% 마크업으로 그대로 전달됩니다. Signal 사양 초안 작성에 사용된 모델 중 하나인 Claude Opus 5.5는 $4와 $20입니다. AlphaProof Code의 증명 에이전트를 구동한 G​emini 4 Carbon은 저희가 제공하는 서비스가 아니며, 여기서 AlphaProof Code 자체를 호스팅한다고 시사하는 바는 없습니다.

그 세 번째 줄은 이 비교에서 오늘 결제할 수 있는 청구서가 붙은 유일한 부분입니다. 에이전트형 코딩 워크플로를 구축하고 있다면, 실질적인 선택은 이 두 시스템 사이가 아니라 그 아래에 있는 모델들 사이에 있습니다. 그리고 Kimi K3와 Claude Opus 5.5 모두 키 하나만 있으면 사용할 수 있으며, 제공자가 잠시 문제를 겪을 경우 자동 페일오버가 제공됩니다. 라우팅 DSL을 사용하면 동일한 작업을 두 모델에 보내고, 둘 중 어느 쪽이든 저장소를 건드리기 전에 diff를 비교할 수 있습니다.

어떤 실패 모드를 감수할 수 있습니까?

SWE-2는 컴파일되지 않는 패치를 만들거나, 컴파일은 되지만 잘못되었거나, 올바르지만 병합할 수 없는 경우 실패합니다. 이러한 실패는 모두 diff를 읽거나 테스트를 실행하면 발견할 수 있으며, 그 각각은 리뷰 사이클을 한 차례씩 소비합니다. 시스템은 이 점을 중심으로 설계되었습니다. Cognition은 추론 강도 설정 전반에서 best-of-N을 보고하는데, 이는 출력이 확률적일 때 취하는 방식입니다.

AlphaProof Code는 증명을 산출하지 못하면 실패하며, 그 시점에 에이전트들은 계속 작업합니다. 몇 시간, 때로는 며칠 동안 말이죠. 깨끗한 빌드에는 몇 시간이 걸릴 수 있고, 한 줄의 소스 변경으로 증명 수리가 촉발되기도 합니다. 논문은 생성된 증명과 기법 모두에 "최적화할 여지가 상당히 있다"고 말하는데, 이는 그 과정이 느리고 취약하다는 것을 완곡하게 표현한 것입니다. 그러나 성공할 때는 검토 주기가 전혀 없습니다. 검토할 것이 없기 때문입니다. Lean이 이미 동의한 상태이니까요.

목요일에 기능을 출시하는 팀에게는 그 트레이드오프가 명백하며 SWE-2가 승리한다. 10년 동안 대화를 보호할 암호화 프로토콜을 출시하는 팀에게는 SWE-2의 전체 범주가 잘못된 도구이며, 그것이 Terminal-Bench 2.1에서 92.8%를 기록했다는 사실은 무관하다.

이것들이 실제로 비교 가능해지려면 무엇이 필요할까요?

한 가지: 에이전트의 출력이 옳은지가 아니라 받아들여지는지를 측정하는 벤치마크입니다. FrontierCode는 메인테이너가 정의한 병합 가능성으로 이를 근사하는데, 이는 코드 생성이 지금까지 접근한 가장 가까운 지점입니다. AlphaProof Code는 커널이 판정할 수 있는 도메인을 선택함으로써 이 문제를 완전히 우회합니다. 누군가 정답이 명세—테스트 스위트가 아니라 명세—에 비추어 기계적으로 검증 가능한 과제 모음을 만든다면, 두 시스템은 하나의 축에서 점수화될 수 있고 그 비교는 의미가 있을 것입니다.

그때까지는 유용한 해석의 범위가 더 좁다. AlphaProof Code는 에이전트 도구를 갖춘 5인 팀이 예전에는 수년이 걸리던 증명 코퍼스를 생산할 수 있음을 보여주며, 이는 검증 비용에 관한 진술이다. SWE-2는 포스트 트레이닝된 오픈 웨이트 기반 모델이 코딩 벤치마크에서 프런티어와 1점 이내의 성능을 64% 더 낮은 비용으로 낼 수 있음을 보여주며, 이는 코딩 비용에 관한 진술이다. 두 비용 모두 하락하고 있다. 서로 다른 속도로, 서로 다른 이유로 하락하고 있으며, 이 둘을 같은 표에 올리는 리더보드는 당신에게 거짓말을 하는 셈이다.

실용적인 요점을 원한다면: 테스트 스위트로 게이팅할 수 있는 코드에는 SWE-2 형태의 시스템을 사용하고, 테스트 스위트로 게이팅할 수 없는 코드가 있다면 AlphaProof Code 아티팩트 저장소를 읽기 시작하라. 두 번째 범주는 대부분의 팀이 생각하는 것보다 작지만, 그 누구도 인정하는 것보다 더 중대하다.