SWE-2 Flash vs North Mini Code: 벤치마크 안의 벤치마크

불편한 조합이다. SWE-2 Flash는 2026년 11월 4일 공개된 276B 파라미터 포스트트레인으로, 벤치마크 행은 여덟 개지만 호출할 방법은 없다. North Mini Code는 Cohere가 2026년 6월 Apache 2.0으로 출시한 30B 파라미터 모델로, 벤치마크 표가 SWE-2 Flash와 정확히 0개 행에서 겹치며, SWE-2 Flash에는 전혀 없는 독립 점수도 갖고 있다. 서류상으로는 더 새롭고 더 큰 모델이 모든 면에서 이긴다. 증거로 보면, 더 오래되고 더 작은 쪽이 제3자가 측정한 두 모델 중 유일하다.

그 뒤집힘이 바로 이 글의 전부이며, 점수 비교보다 더 유용하다. 왜냐하면 점수 비교는 실제로 할 수 없기 때문이다.

매개변수 예산이 상반된 두 MoE

둘 다 동일한 비용 논리를 바탕으로 구축된 희소 전문가 혼합(mixture-of-experts) 모델입니다. 즉, 전체 파라미터가 아니라 활성 파라미터에 비용을 지불한다는 것입니다. 두 모델은 그 범위의 거의 반대쪽 끝에 위치합니다.

• 총 파라미터 — SWE-2 Flash 276B 대 North Mini Code 30B

• 토큰당 활성 — SWE-2 Flash 12B vs North Mini Code 3B

• 전문가 레이아웃 — SWE-2 Flash는 Inkling-Small의 구조를 계승하며, North Mini Code는 128개 전문가 중 8개로 라우팅합니다

• 컨텍스트 — SWE-2 Flash 미공개 vs North Mini Code 256K, 최대 출력 64K

• 최대 출력 — SWE-2 Flash 미공개 vs North Mini Code 64K

• 라이선스 — SWE-2 Flash는 비공개, North Mini Code는 Apache 2.0(BF16, FP8, W4A16)

활성 파라미터에서의 9배 차이는 나머지 모든 것을 설명해 주는 숫자입니다. SWE-2 Flash는 더 크고 학습이 더 느린 모델을 감당할 수 있는데, 토큰당 저렴하게 실행되는 이유는 12B만 활성화되기 때문입니다. North Mini Code는 그 일부 규모로 실행되며, 이것이 Cohere가 이를 노트북급 배포 환경에 올릴 수 있는 이유이고 벤치마크 상한이 더 낮은 이유입니다.

왜 89.2를 36.0 옆에 둘 수 없나요

회자될 비교는 Terminal-Bench입니다: SWE-2 Flash 89.2, North Mini Code 36.0. 53점 차이로, 이는 기사로 성립하지 않게 만듭니다. 하지만 쉽게 놓칠 수 있는 이유 때문에, 이는 유효한 뺄셈이 아닙니다.

North Mini Code는 "Terminal-Bench v2"를 36.0, "Terminal-Bench Hard"를 31.1로 보고합니다. SWE-2 Flash는 "Terminal-Bench 2.1"을 89.2, "Terminal-Bench 4.0"을 20.0으로 보고합니다. "v2"와 "2.1"은 동일한 태스크 세트일 수도 있고 아닐 수도 있는 대상에서 인접한 레이블이며, 두 공급업체 모두 비교 대상 자료에서 태스크 수, 하네스 또는 채점 관례를 밝히지 않습니다.

내부 증거는 이 버전들이 전혀 다른 측정 도구라는 점이다. SWE-2 Flash 자체의 두 Terminal-Bench 행은 69점 차이다 — 4.0에서는 20.0, 2.1에서는 89.2. 한 모델이 이름은 같고 숫자는 다른 두 벤치마크에서 20점과 89점을 받는다면, 측정 대상은 버전이다. 2.x 점수를 v2 점수와 맞세워 그 차이를 역량 격차라고 부르는 것은 이 비교 영역에서 가장 흔한 단일 오류다.

다른 행들은 공유된 것처럼 보이지만 실제로는 그렇지 않습니다. North Mini Code는 SWE-bench Pro를 40.2로 보고합니다. SWE-2 Flash는 SWE-Bench Pro v2 Hard를 89.9로 보고합니다. 서로 다른 벤치마크 세대와 필터링된 하위 집합입니다. North는 SWE-bench Verified를 67.6으로 보고합니다. SWE-2 Flash는 Verified를 전혀 보고하지 않습니다. North는 SciCode 38.2와 LiveCodeBench v6 70.3을 보고합니다. SWE-2 Flash는 둘 다 보고하지 않습니다.

그러면 DeepSWE 1.1만 남는데, 여기서 SWE-2 Flash는 60.1을 보고하고 North Mini Code는 아무것도 보고하지 않습니다.

그들 중 오직 하나만이 가지고 있는 독립적인 번호

North Mini Code는 Artificial Analysis Intelligence Index가 27.6이고 Coding Index가 33.4입니다. 이는 일관된 방법론에 기반한 제3자 측정치로, 누구나 다운로드해 다시 실행할 수 있는 모델을 대상으로 측정한 것입니다.

SWE-2 Flash는 Artificial Analysis 항목이 없습니다. Artificial Analysis는 API를 통해 모델을 측정하는데 SWE-2 Flash에는 API가 없기 때문입니다. 여기에 붙은 모든 수치 — 60.1, 89.2, 20.0, FrontierCode 2.0의 24.0 — 는 Cognition 자체의 것이며, 공개되지 않은 하네스에서 산출되었고, FrontierCode는 Cognition 자체의 벤치마크입니다. 여기서 그 수치들이 틀렸다고 말하는 것은 아닙니다. 이는 독자가 실제 역량과 후한 스캐폴드를 구분할 방법이 없다는 뜻입니다.

6월에 나온 30B 오픈 웨이트 모델로서는 AA 코딩 지수 33.4가 무난한 점수입니다. GLM-4.7-Flash의 25.9보다 높고, Qwen3.6 35B-A3B의 35.2보다 낮습니다. 또한 이는 검증할 수 있는 점수이기도 하며, 검증할 수 없는 벤더의 표 행보다 더 가치가 있습니다.

속도, 그리고 어떤 주장이 검증 가능한가

Cohere는 자체 API에서 초당 약 199개의 출력 토큰을 보고하는데, 이는 Devstral Small 2 처리량의 약 2.8배입니다. 이는 서비스 중인 엔드포인트에서의 측정치입니다. 요청이 들어가고 토큰이 나오며, 접근 권한이 있는 사람이라면 누구나 이를 재현할 수 있습니다.

Cognition은 SWE-2 Flash의 경우 초당 약 200토큰, SWE-2의 경우 60토큰이라고 보고하는데, 이는 시뮬레이션된 속도로 축약된 세션 기록을 재생하여 산출된 수치입니다. 두 숫자는 서로 초당 1토큰 이내 차이지만 의미는 전혀 다릅니다. 하나는 처리량 측정치이고, 다른 하나는 모델이 그 속도에서 어떤 모습일지를 보여주는 시연입니다.

이것이 전체 비교에서 나타나는 패턴입니다. 더 오래된 모델은 더 많은 방법론을 덧붙이면서 덜 인상적인 주장을 발표합니다. 더 새로운 모델은 아무것도 덧붙이지 않으면서 더 좋아 보이는 주장을 발표합니다.

North Mini Code가 진정으로 약한 부분

코히어에 유리한 것만 있는 것은 아니다. North Mini Code는 코딩 전문 모델이며 그에 걸맞게 동작한다. 일반 모델이라면 훨씬 더 나은 성과를 냈을 코딩이 아닌 에이전트 평가인 GDPval-AA에서 14%, τ²-Bench Telecom에서 37%를 기록했다. 에이전트가 코드 작성과 테스트 외의 일—고객 워크플로 처리, 비즈니스 프로세스 추론—을 해야 한다면 North Mini Code는 잘못된 도구이며, SWE-2 Flash의 더 넓은 기반이 아마 더 나은 선택일 것이다.

이 모델의 컨텍스트 창은 공개되어 있으며 크다 — 256,000토큰에 출력 상한은 64,000토큰이다 — 다만 실제 사용 가능한 창은 여전히 서빙 스택에 달려 있다. 그리고 활성 파라미터가 3B인 30B 모델은 활성 파라미터가 12B인 276B 모델보다 상한이 낮으며, 방법론적 투명성을 아무리 높여도 그 차이는 메워지지 않는다.

비용, 그리고 라우팅 계층이 필요한 이유

North Mini Code는 Apache 2.0에 따라 무료로 다운로드할 수 있으며, Cohere 자체 API에서 호스팅 요금이 적용되고 여러 타사 플랫폼을 통해 이용할 수 있습니다. SWE-2 Flash는 2026년 11월 30일까지 Devin 내에서 무료이며 그 이후에는 가격이 책정되지 않았고, 어느 시점에도 다운로드 가능한 형태는 없습니다.

둘 다 OrcaRouter 카탈로그에 없습니다. Cohere의 모델은 하드웨어만 갖춘 사람이라면 누구나 자체 호스팅할 수 있고, Cognition의 모델은 라우팅할 엔드포인트가 없습니다 — 따라서 솔직히 말하면 이 결정은 어느 쪽이든 우리 카탈로그 밖에서 내려지는 것입니다. 라우팅 계층이 실제로 바꾸는 것은 잘못될 때의 비용입니다. OrcaRouter 제공업체 정가를 0% 마크업으로 그대로 전달하고 자동으로 장애 조치하므로, 하나의 모델 ID를 대상으로 작성된 애플리케이션은 한 공급업체의 가동 시간을 전제로 작성된 애플리케이션이 아닙니다. 한쪽은 12월 1일에 가격이 조정될 수 있고 다른 쪽은 영원히 호출 불가능할 수 있는 조합이라면, 그 이식성이야말로 엔지니어링할 가치가 있는 부분입니다.

결정하는 방법

직접 실행하고 검사하고 양자화하고 벤치마크할 수 있는 모델을 원한다면, North Mini Code가 이 조합에서 유일한 선택지이며, 공개된 컨텍스트 윈도우와 3B 활성 예산 덕분에 보통 사양의 하드웨어에서도 실용적입니다. 더 낮은 성능 상한과 코딩에만 좁게 집중한다는 점을 받아들이세요.

Devin 안에 있고 무료 기간이 핵심이라면, SWE-2 Flash는 자체 수치 기준으로 훨씬 더 강력한 모델이며, 11월 30일까지 사용해 보는 비용은 0입니다.

당신이 해서는 안 되는 일은 89.2를 36.0 옆에 놓고 어떤 결론이든 내리는 것입니다. 그 숫자들은 서로 다른 회사가 보고한, 버전 번호 자체가 측정값인 벤치마크 계열에 대한, 서로 다른 도구에서 나온 것입니다. 이 쌍에 대해 할 수 있는 유일하게 방어 가능한 진술은 가장 판결처럼 들리지 않는 것입니다: 둘 중 하나는 독립적으로 점수가 매겨졌고 다른 하나는 그렇지 않으며, 그것이 어느 표의 어떤 행보다도 더 큰 차이입니다.