SWE-2 Flash 소개: 여덟 개의 벤치마크 행, 단 하나의 엔드포인트도 없다

Cognition은 2026년 11월 4일 SWE-2 Flash를 발표했으며, 그 게시물은 이례적으로 숫자를 아낌없이 담고 있습니다. 여덟 개의 벤치마크 행, 두 개의 학습 전후 델타, 속도 수치와 가격 수치까지 있습니다. 하지만 그 안에는 모델을 호출할 방법이 없습니다. SWE-2 Flash는 Devin Desktop과 Devin CLI 내부에서 실행되며, 2026년 11월 30일까지 무료입니다. API 엔드포인트도, 모델 ID도, 토큰당 요금도, 공개 가중치도 없습니다. "빠르고 효율적"이라는 문구를 내세운 출시에서 개발자가 알 수 있는 가장 유용한 사실은, 현재 그 효율성이 여러분이 구매할 수 있는 토큰이 아니라 여러분이 지불하지 않는 달러로 측정된다는 점입니다.

그것은 모델에 대한 비판이 아니다. 그것은 이 제안의 형태이며, 오늘 이 발표에 따라 행동할 수 있는 사람과 기다려야 하는 사람을 결정한다.

11월 4일에 실제로 출시된 것은 무엇인가?

스펙 시트는 한 화면에 담길 만큼 짧은데, 그 자체가 시사하는 바가 있다 — Cognition은 이 모델에 대해 9월에 SWE-2에 대해 공개한 것보다 더 적게 공개했다.

• 기본 모델 — Thinking Machines Lab의 오픈 웨이트 전문가 혼합(MoE) 모델인 Inkling-Small(총 파라미터 276B, 활성 파라미터 12B, 업스트림 Apache 2.0)에서 포스트 트레이닝되었습니다.

• 서빙 — Devin Desktop 및 Devin CLI 전용. 호스팅 엔드포인트 없음, 벤더 API 없음, 가중치 다운로드 없음.

• 가격 — 토큰당 요금은 공개되지 않습니다. 2026년 11월 30일까지 무료로 이용할 수 있습니다.

• 속도 — 초당 약 200 토큰으로, SWE-2의 60 토큰과 대비됩니다. 이 수치는 Cognition이 실제 엔드포인트의 응답 시간을 측정한 것이 아니라, 축약된 세션 트랜스크립트를 시뮬레이션된 속도로 재생하여 산출한 것입니다.

• 컨텍스트 창, 최대 출력, effort 설정 — 출시 게시물 어디에도 명시되지 않음.

베이스 모델 교체는 진정으로 새로운 엔지니어링이다. SWE-2는 총 2.8T / 활성 104B 베이스인 Kimi K3 기반으로 구축되었다. SWE-2 Flash는 총 파라미터 기준 약 10분의 1, 활성 파라미터 기준 8분의 1 크기의 베이스 위에 있으며, Cognition은 품질 회복의 대부분이 규모보다는 더 나은 강화학습 과제와 감사를 거친 검증기에서 비롯됐다고 말한다. 이 게시물은 또한 회사가 RL 이전에 사용한 첫 중간 학습 단계도 설명한다. 즉, 과학 기사, 블로그, 코드로 이루어진 수조 개 토큰을 세 차례에 걸쳐 실행하되 가장 희귀한 데이터는 마지막에 둔다.

반복될 주장, 그리고 그것이 기대는 행

모두가 인용할 문장은 SWE-2 Flash가 "모든 미국 오픈웨이트 모델을 능가하며, 심지어 3배 더 큰 모델까지 능가한다"는 것이다. 그 문장이 바로 아래에 있는 표와 맞부딪혔을 때 얼마나 살아남는지 정확히 아는 것은 가치 있는 일이다.

출시 자료에서 더 작은 미국 오픈 웨이트 코더와 동일 벤치마크로 직접 비교한 유일한 항목은 Terminal-Bench 2.1이며, 여기서 SWE-2 Flash는 Flint v1.0의 54.9에 맞서 89.2를 보고한다. 이는 동일한 벤치마크 버전에서 큰 격차이며, 해당 주장을 뒷받침하는 가장 강력한 단일 증거다. 하지만 Flint v1.0은 총 39.8B이고 Cohere의 North Mini Code는 30B다. 둘 다 276B 모델보다 3배 더 큰 것은 아니다. 오히려 더 작기 때문에, 이들을 이기는 것은 인상적이기보다 대수롭지 않다.

Cognition 자체 표에서 3배 더 큰 비교 모델은 총 616B의 Muse Spark Open과 총 763B의 DeepSeek V4.1 Flash 1017입니다. DeepSWE 1.1에서 SWE-2 Flash는 Muse Spark Open의 60.0에 맞서 60.1을 보고합니다. 이는 0.1점 차이로, 어떤 합리적인 노이즈 범위 안에 들어가며, 비교 대상 모델은 같은 맥락에서 오픈 웨이트라고 설명되지 않습니다. 한편 DeepSeek V4.1 Flash 1017은 미국 모델이 아니므로 "미국 오픈 웨이트" 주장의 일부가 될 수 없습니다. 또한 이 모델은 Terminal-Bench 4.0에서 SWE-2 Flash를 22.3점 차이로 이깁니다. 42.3 대 20.0이며, 이는 전체 비교에서 단일 항목 기준 가장 큰 패배입니다.

이 중 어느 것도 그 주장을 거짓으로 만들지는 않는다. 다만 그 주장의 범위를 들리는 것보다 좁힐 뿐이다. 미국 오픈웨이트 모델 하나를 상대로 한 하나의 공유 벤치마크, 그리고 라이선스가 별개의 문제인 모델을 상대로 한 반올림 오차 수준의 승리일 뿐이다. 이 모든 수치는 Cognition 자체의 것이며, 게시물이 이름을 밝히지 않은 하네스에서 실행된 것이다.

Terminal-Bench 수치 두 개, 70점 차이

Cognition의 표에서 한 가지만 읽어야 한다면, 이 쌍을 읽으세요. SWE-2 Flash는 Terminal-Bench 4.0에서 20.0, Terminal-Bench 2.1에서 89.2를 기록합니다. 이 둘은 같은 대상에 대한 경쟁적인 추정치가 아니라, 서로 다른 작업 세트와 난이도를 가진 서로 다른 벤치마크 세대이며, 언뜻 볼 때 이들을 구분하는 것은 버전 번호뿐입니다. 둘 다 나열한 출시 표는 20.0을 경쟁사의 2.1 점수와 비교하거나 89.2를 경쟁사의 4.0 점수와 비교하는 바로 그 오류를 유도합니다.

이 모델과, 공급업체가 둘 이상의 Terminal-Bench 버전을 보고하는 모든 모델에 대한 안전한 규칙은 다음과 같습니다. 2.1은 2.1과, 4.0은 4.0과 비교하고, 어느 버전을 인용하는지 밝히십시오. 출시 표의 평면화된 텍스트 렌더링이 이미 2차 보도에서 한 행을 잘못 배정했기 때문에 우리는 이에 대한 메모를 계속 유지하고 있습니다.

가중치가 문 뒤에 있는 이유 — 그리고 그 문이 무엇인지

Cognition은 공개를 보류한 가중치를 투명성 대 위험의 맞교환으로 규정하며, 해당 게시물은 위험 측면에 대해 이례적으로 직설적이다. 회사는 보안 업무를 위해 의도적으로 훈련했으며, ExploitBench 점수를 기초 훈련 중 11.3에서 후속 훈련 후 34.8로 끌어올렸다고 밝혔다. 그 가중치를 공개하면 유능한 익스플로잇 작성 모델이 일반 유통에 풀리게 될 것이다.

그래서 대신 프로그램이 있습니다. 가중치는 파트너와 연구자에게 "securely" 공유될 예정이며, 게시물은 "몇 주 안에" 세부 사항을 약속합니다. 이 글을 쓰는 시점에는 신청서도, 자격 기준도, 라이선스도, 날짜도 없으며, 공유된 가중치를 재배포하거나 상업적으로 사용할 수 있는지에 대한 설명도 없습니다. 파트너 프로그램은 오픈 가중치가 아니며, 이 구분은 자체 호스팅을 계획하는 모든 사람에게 중요합니다: 조건이 마련되기 전까지 올바른 계획 가정은 SWE-2 Flash가 절대 다운로드 가능하지 않을 것이라는 점입니다.

11월 30일까지 무료, 이후 가격 미정

상업적 제안은 Devin 내에서 한 달간 무료로 이용하는 것입니다. 그 이후에는 Cognition 외부의 누구도 비용이 얼마인지 알지 못합니다. 토큰당 요금이 공개되지 않았기 때문입니다. "SWE-2 가격의 5분의 1"이라는 문구는 자체 번들 가격이 있는 제품에 대한 비율일 뿐, 요금표가 아닙니다.

그것을 중심으로 워크플로를 구축하려고 고려하고 있다면, 그것은 실질적인 계획 리스크입니다. 가격이 책정되지 않은 의존성은 비싼 의존성보다 더 나쁩니다. 모델링할 수 없기 때문입니다. 지금부터 11월 30일 사이의 현명한 행동은 측정할 수 있는 것을 측정하는 것입니다. 즉, 자체 저장소에서 해당 모델의 출력 품질이 Devin 구성을 전환할 만큼 충분한지 확인하고, Cognition이 숫자를 공개할 때까지 비용 문제는 미정으로 두는 것입니다.

오늘 실제로 전화할 수 있는 것

SWE-2 Flash는 OrcaRouter에 없으며, Cognition이 엔드포인트나 라이선스된 가중치 릴리스를 출시하기 전까지는 없을 것입니다. 우리는 그렇지 않은 척하지 않겠습니다. 지금 호출 가능한 것은 이번 출시가 암묵적으로 경쟁하는 나머지 분야입니다 — 그중에는 Meta의 Muse Spark 1.2와 1.1도 있으며, 둘 모두 카탈로그에 라이브 상태이고, 둘 모두 SWE-2 Flash의 DeepSWE 1.1 점수를 0.1점 차로 설정한 모델입니다.

12월이 아니라 이번 주에 에이전트 루프에서 저렴하고 빠른 코딩 모델을 원해서 이 글을 읽고 있다면, 실질적인 선택은 다음과 같습니다: Cognition의 가격 책정과 파트너 프로그램을 기다리거나, 기존 클라이언트의 연결 대상을 200개가 넘는 모델을 위한 단일 API로 지정하고 자체 테스트 스위트에 대해 대안을 A/B 테스트하는 것입니다. OrcaRouter는 제공업체 정가를 0% 마크업으로 그대로 전달하므로, Cognition이 결국 요금을 공개한다면 여기에서는 첫날부터 마크업된 리셀러 가격이 아니라 그 요금을 보게 될 것입니다.

출시 게시물에서 빠진 것

네 가지 누락은 숫자가 의미 있는지를 결정하는 것이므로, 짚고 넘어갈 가치가 있다:

• 하네스 없음. 9월 SWE-2 게시물은 자사의 스캐폴드와 노력(effort) 설정을 공개했다. 이번 게시물은 이를 공개하지 않았으며, 이로 인해 모든 에이전틱 점수가 블랙박스가 된다.

• best-of-N 공개 없음. 이것이 pass@1인지 best-of-five인지 알 수 없습니다.

• 컨텍스트 창이 없습니다. 에이전트 안에서 저렴한 선택지로 자리매김한 모델에게 컨텍스트 예산은 각주가 아닙니다.

• 독립적인 실행 없음. 여기의 모든 수치는 벤더가 보고한 것이며 재현되지 않았습니다. 24.0이라는 FrontierCode 2.0 점수도 마찬가지입니다. 그리고 FrontierCode는 Cognition 자체 벤치마크라는 점, 바로 그 항목이 승리를 보여주는 행이라는 점을 기억해 둘 필요가 있습니다.

주목해야 할 것은 또 다른 벤치마크 항목이 아니다. 바로 파트너 프로그램 페이지다: 날짜, 라이선스, 가격. 이 세 가지가 갖춰지면 SWE-2 Flash는 평가할 수 있는 모델이 된다. 그때까지는 무료 한 달이 딸린, 문서화가 잘 된 데모일 뿐이다.