SWE-2 Flash vs SWE-2: 0.2점 차 승리가 실제로 얼마나 가치 있는가

Cognition 자체 비교표에서는SWE-2 Flash를 상대로 단 한 번만 앞섭니다SWE-2: FrontierCode 2.0에서 24.0 대 23.8입니다. Cognition 자체 벤치마크에서, 더 작은 모델의 최선을 보여주기 위해 Cognition이 만든 표에서 0.2점 차이입니다. 이 수치는 또한 이번 릴리스에서 가장 유용한 숫자입니다. 그 아래 행들이 무엇을 하는지 때문이고, 화면 상단에 보이는 한 행이 조용히 빼놓는 것이 무엇인지 때문이기도 합니다.

책상에서 결정하는 사람을 위해 끝까지 읽지 않고 요약하자면: Flash는 더 작은 SWE-2가 아니다. 서로 다른 기반에서 나온 다른 모델이며, 작업의 범위가 한정된 쪽에 맞춰 조정되었고, 같은 제품 안에서 5분의 1 가격으로 책정되었다. 0.2점 우위는 사실이지만 보이는 것보다 의미는 작다.

같은 벤치마크의 두 판본이 서로 불일치하며, 그것이 첫 번째 발견이다.

FrontierCode 두 행을 나란히 놓으면, 그 표는 더 이상 작은 모델이 따라잡는 이야기가 아니게 된다.

• FrontierCode 2.0 — SWE-2 Flash 24.0 대 SWE-2 23.8

• FrontierCode 1.1 메인 — 45.5 vs 50.0

같은 측정 도구, 두 개의 에디션, 상반된 판정. 최신 에디션에서는 Flash가 근소하게 앞서고, 이전 에디션에서는 4.5점 뒤처진다. 그 두 행 중 하나는 출시 슬라이드에 들어가고 다른 하나는 들어가지 않을 것이며, 어느 쪽이 선택되는지는 모델보다 발표자에 대해 더 많은 것을 말해준다.

방어 가능한 해석이 하나 있다. 두 행 모두 사실이고 어느 쪽도 모순되지 않는다는 해석이다. 2.0 에디션은 더 어렵고, 절대 점수는 압축되며, 더 새로운 과제 세트는 Flash가 사후 학습된 대상을 보상할 수 있다. 덜 호의적인 해석도 있다. 한 벤치마크의 두 에디션 사이에서 4.5점 변동은 그 도구가 얼마나 민감한지를 보여 주는 척도이며, 0.2점 차이는 그 민감도 안에 있다. Cognition은 신뢰구간도 반복 실행도 공개하지 않으므로, 주어진 정보로는 24.0과 23.8의 차이를 노이즈와 구별할 수 없다. 말할 수 있는 것은 더 좁지만 여전히 유용하다. Cognition의 최신 벤치마크에서 두 모델은 동등한 수준이며, 우열이 갈리지 않는다.

열세 개의 점이 어디로 가는지

표의 나머지 부분은 차이가 크고, 그 격차의 형태가 중요한 정보를 담고 있는 부분이다.

• DeepSWE 1.1 — SWE-2 Flash 60.1 대 SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 대 27.3

• SWE-Atlas QA — 50.0 대 56.3

• Terminal-Bench 2.1 — 89.2 대 92.8

• SWE-Bench Pro v2 Hard — 89.9 vs 90.6

• ExploitBench — 34.8 대 36.1

그것들을 과제가 에이전트에게 얼마나 많은 자유를 주는지 기준으로 정렬해 보면 패턴이 나타난다. 잘 명세된 이슈와 정의된 수정이 있는 SWE-Bench Pro v2 Hard에서 Flash는 0.7점 뒤처진다. Terminal-Bench 2.1에서는 3.6점 뒤진다. Terminal-Bench 4.0에서는 격차가 7.3점이고, 장기 지평 행인 DeepSWE 1.1에서는 12.9점이다. 과제가 모델에게 다음에 무엇을 할지 결정하도록 요구할수록 격차는 더 벌어진다.

그것은 그럴듯한 메커니즘이지만 입증된 것은 아니다. 활성 파라미터가 10분의 1에 불과한 모델은 긴 계획을 일관되게 유지할 역량이 더 적으며, 장기 호라이즌 벤치마크에서 그 점이 가장 먼저 드러난다. 하지만 Cognition은 SWE-2에 대해 공개했던 방식으로 Flash에 대한 턴 수, 토큰 수 또는 작업별 세부 내역을 공개하지 않는다 — SWE-2에서는 중간 노력도에서 평균 단계 수가 127에서 53으로 감소했다고 보고했다 — 따라서 이 메커니즘은 입증된 것이 아니라 표의 형태로부터 추론된 것이다. 당신의 경험과 부합하든 아니든, 그것을 하나의 가설로 취급하십시오.

가격과 속도, Cognition이 제시하는 유일한 기준으로

두 모델 모두 토큰당 가격이 없습니다. 두 모델 모두 엔드포인트가 없기 때문입니다. Cognition이 공개한 것은 비율입니다. SWE-2 Flash는 SWE-2의 5분의 1 비용으로, 3배 빠른 속도인 200 tok/s 대 60으로 실행됩니다. 두 수치 모두 동일한 리플레이 방법론에서 나온 것입니다. 즉, 각 모델의 Terminal-Bench 4.0 gsea-proteomics 작업 실행을 시뮬레이션된 속도로 리플레이하고 트랜스크립트를 동일한 길이로 줄인 것이므로, 둘 다 측정된 것이 아니라 의도된 서빙 프로필을 설명합니다.

그 비율은 다음 단계를 밟는다는 전제하에 이번 릴리스에서 여전히 의사결정과 가장 관련이 깊은 숫자다. 작업 단위당 가격은 해결된 작업당 비용과 같지 않으며, 팀이 실제로 지불하는 것은 후자다. 만약 다섯 번째가 작업 비용의 5분의 1이라면 — 구독 제품 안에서 그 주장을 의미 있게 만드는 유일한 해석은 — 산수는 간단하다.

• DeepSWE 1.1에서 — Flash는 5분의 1의 비용으로 82%에 해당하는 작업을 해결하며, 가장 크게 뒤지는 행에서도 해결된 작업당 비용이 약 4.1배 더 저렴합니다.

• FrontierCode 2.0에서 — 비용은 5분의 1로 약간 더 많은 작업을 해결하며, 이는 해결된 작업당 대략 5배 더 저렴합니다.

• Terminal-Bench 4.0에서 — 5분의 1 비용으로 73% 수준의 작업을 해결하며, 해결된 작업당 약 3.7배 더 저렴합니다.

그 수치들은 모두 다섯 번째가 토큰이 아니라 작업 비용에 적용된다고, 그리고 해결률이 여러분의 큐에 그대로 전이된다고 가정합니다. Cognition은 어느 쪽인지 말하지 않으며, 그 가정이 결과를 크게 좌우합니다. 다섯 번째가 작업당 더 많은 토큰을 내보내는 모델의 토큰 가격이라면, 이점은 줄어들고 장기 호라이즌 행에서는 뒤집힐 수도 있습니다. 이 산술은 측정이 아니라 민감도 점검이며, 여러분의 자체 로그를 기준으로 다시 실행해야 합니다.

의심할 여지가 없는 것은 프로모션 기간이다. SWE-2 Flash는 2026년 11월 30일까지 Devin Desktop과 CLI에서 무료다. SWE-2 자체의 무료 기간은 10월 10일에 종료되었다. 앞으로 몇 주 동안 Devin 내부의 가격 비교는 5분의 1 대 0인데, 이는 비교라고 할 수 없다. 마감이 있는 평가 기간일 뿐이다.

그들은 같은 계보가 아니며, 매개변수 격차는 그들에 관해 가장 덜 흥미로운 부분이다.

SWE-2는 Kimi K3에서 포스트트레이닝되었다: 2.8조 개 파라미터, 토큰당 104B 활성, 에이전틱 코딩을 위한 광범위한 RL을 이미 거친 기반 모델이다. SWE-2 Flash는 Thinking Machines의 Inkling-Small에서 포스트트레이닝되었다: 총 276B, 활성 12B, Apache 2.0. Cognition 자체 크기 차트는 Flash를 1x, SWE-2를 10.1x로 표시한다. 활성 파라미터 기준으로는 비율이 약 9대 1에 더 가깝다.

이제 이것을 점수와 비교해 보자. 활성 파라미터의 8.5배 차이는 FrontierCode 1.1 Main에서 4.5점을 얻고 FrontierCode 2.0에서는 전혀 아무것도 얻지 못한다. 한편 포스트트레이닝 단계 자체는 파라미터 차이보다 훨씬 더 큰 가치가 있다: Cognition의 표에 따르면 Inkling-Small은 FrontierCode 1.1 Main에서 21.5, Flash는 45.5로, 동일한 베이스에서 중간 훈련과 RL을 통해 24점 상승한 것이다. 포스트트레이닝에 기인하는 분산은 두 모델 간 전체 파라미터 격차에 기인하는 분산의 약 5배다.

그것이 두 모델이 함께 만들어내는 발견이며, 어느 한 모델보다 더 큽니다. 이는 또한 Cognition이 더 작은 모델을 5분의 1 가격에 판매하려는 이유를 설명해 줍니다: SWE-2에서 비싼 부분은 결코 기본 모델이 아니었습니다. 그것은 데이터와 검증기, 그리고 RL 환경이었으며, Flash는 그 투자를 더 저렴한 기본 모델 위에서 재사용합니다.

여기에는 두 가지 주의할 점이 있습니다. 이 비교는 한 공급업체가 자사가 통제하는 벤치마크에서 만든 표이며, 그 안의 어떤 것도 독립적으로 재현되지 않았습니다. 또한 기본 모델들은 서로 동등한 입력이 아닙니다 — Kimi K3는 100만 토큰 컨텍스트와 네이티브 비전을 갖추고 있는 반면, Inkling-Small은 멀티모달 지원이 다른 별개의 아키텍처입니다 — 따라서 "동일한 사후 학습, 더 저렴한 베이스"는 고립된 변수라기보다 Cognition의 프레이밍입니다.

노력 설정의 비대칭성

SWE-2는 문서화된 세 가지 추론 노력 수준, 즉 medium, high, max와 함께 출시되었으며, Cognition의 9월 발표에서는 각 수준의 용도를 설명했습니다. medium은 더 빨리 행동에 들어가는 반면, high와 max는 더 많이 계획하고, 코드베이스를 더 폭넓게 탐색하며, 검증에 더 많은 비용을 씁니다. 또한 이 발표에서는 각 모델이 노력 설정 전반에서 기록한 최고 점수를 보고했다고 밝혔습니다.

SWE-2 Flash는 effort 제어를 전혀 문서화하지 않는다. 출시 게시물에서도 언급하지 않고, 벤치마크 표에는 설정 열도 없다. 따라서 공개된 그대로의 비교는 SWE-2를 최상의 상태로, Flash를 명시되지 않은 구성으로 맞붙인 것이다. 이는 Flash에 설정이 하나뿐일 때만 동등한 비교가 되고, 여러 개라면 어느 방향인지 알 수 없는 불공정한 비교가 된다.

Flash에 정말로 effort 제어 기능이 없다면, 그것은 문서 공백이라기보다는 명확히 짚고 넘어갈 만한 제품 차이입니다. effort는 작업별로 비용과 깊이를 맞바꾸는 방법이며, 그것이 없는 모델은 사소한 작업과 어려운 작업이 함께 들어 있는 큐에 설정 하나만 제공합니다. 그것이 바로 비율이 여러분이 하도록 해 주어야 하는 트레이드입니다.

각각 어느 대기열에 속하나요?

Cognition이 직접 밝힌 프레임이 여기서는 가장 정직한 길잡이다. 이 회사는 더 작은 모델들이 "자동화, 코드 리뷰, 기능 개발, 문서 업데이트 등 소프트웨어 에이전트가 수행하는 작업의 상당 부분을 점점 더 잘 처리할 수 있게 되고 있다"고 말하며, SWE-2 Flash가 바로 그런 작업을 위해 개발되었다고 설명한다. 그 목록을 벤치마크의 형태와 견주어 보면 둘은 일치한다. 범위가 정해진 작업, 완료 기준이 명확함, 높은 처리량, 지연 시간에 대한 낮은 허용치다.

• 작업이 하나의 프롬프트에 담기고 완료 기준이 명확하다면 — 리뷰 패스, 문서 업데이트, 작은 기능, 예약된 자동화 — Flash가 올바른 기본값이며, 위에서 계산한 해결된 작업당 비용은 더 적은 작업을 해결하는 경우에도 몇 배 더 저렴하다고 말해 줍니다.

• 에이전트가 다음에 무엇을 할지 몇 번 넘게 결정해야 하는 경우 — 마이그레이션, 저장소 간 리팩터링, 첫 번째 가설이 대개 틀리는 디버깅 세션 같은 경우 — 13포인트 DeepSWE 격차야말로 SWE-2로 사게 되는 바로 그것이며, 그 비율이 이를 상쇄하지는 못합니다.

• 과제가 그중 어느 것인지 판별할 수 없다면 Flash에서 시작하고 에스컬레이션하세요. 그것이 Cognition이 SWE-2에서 노력 수준을 만든 판단이며, Flash에 노력 제어 기능이 없다는 점 때문에 에스컬레이션은 매개변수가 아닌 라우팅 결정이 됩니다.

피해야 할 실수는 0.2점 차 승리를 근거로 어려운 큐를 옮길 권한으로 삼는 것입니다. 그것은 하나의 벤치마크, 하나의 에디션, 하나의 벤더에 불과하며, 그 자체로 해당 도구의 민감도 범위 안에 들어 있습니다.

Devin 외에는 둘 다 후보가 아닙니다

두 모델 모두 API가 없습니다. 둘 다 공개 가중치도 없습니다. 당신의 하네스가 자체 제작한 것이라면, 그 쌍은 당신이 선택할 수 있는 것이 아니며, 무료 창은 당신에게 도움이 되지 않습니다 — 그것은 당신이 구매해야 하는 제품 내부의 체험판일 뿐입니다.

이 스택에서 접근 가능한 절반이 기본 계층입니다. Kimi K3는 OrcaRouter에서 라우팅됩니다 모델 ID는 kimi/kimi-k3이며, 요금은 입력 토큰 100만 개당 $3.00, 출력 토큰 100만 개당 $15.00이고, 1M 토큰 컨텍스트 창과 네이티브 도구 호출을 지원하고, 공급자 정가로 추가 마크업 없이 제공됩니다. 하나의 API가 200개 이상의 모델을 포괄하므로, 위의 큐 분할을 Devin 외부에서도 구현할 수 있습니다. 라우팅 규칙이 범위가 한정된 작업은 저렴한 모델로 보내고 장기 작업은 더 강력한 모델로 에스컬레이션할 수 있으며, 클라이언트는 어떤 모델이 응답했는지 알 필요가 없습니다. 자동 페일오버는 에스컬레이션된 경로 뒤에 두어야 합니다. 에스컬레이션 대상 모델은 사용할 수 없게 되면 안 되는 모델이기 때문입니다.

그것은 SWE-2 Flash와는 다른 제품이며, SWE-2 Flash를 대체하는 것이 아닙니다. 그것은 평가하려는 대상에 엔드포인트가 없을 때 하는 방식입니다.

무엇이 그것을 해결할까요?

세 가지 공개가 있어야 이 비교는 벤더의 표에서 증거로 바뀐다. Cognition이 아니며 Cognition의 하네스를 사용하지 않는 주체가 두 모델 모두에서 DeepSWE 1.1과 Terminal-Bench 4.0을 독립적으로 실행한 결과. SWE-2 출시 당시 제공된 것과 일치하도록 Flash 표의 각 행 이면에 있는 effort 설정과 스캐폴드를 밝히는 진술. 그리고 0.2포인트 차이를 실행 간 변동과 구분할 수 있도록 한 반복 실행.

그때까지 방어 가능한 해석은 좁은 쪽이다. SWE-2 Flash는 훨씬 작은 기반 위에 구축된 비용 최적화 형제 모델로, 최신 벤치마크에서는 SWE-2와 동등하고 장기 작업에서는 분명히 뒤처지며, 입수 가능한 증거상 해결된 작업당 비용이 몇 배 더 저렴해지는 비율로 판매된다. 그것은 좋은 제품 결정이자 소박한 기술적 주장이다. 0.2점 승리는 그것이 무엇인가를 대체했다는 증거가 아니다 — 그것은 어느 한 도구에서, 어느 하루에, 격차가 잡음 속으로 사라질 만큼 충분히 좁혀졌다는 증거다.