SWE-2 Flash vs Flint v1.0: 정직한 벤치마크 한 행과 수많은 잡음

활성 파라미터가 작은 전문가 혼합(MoE) 코딩 모델 두 개가 15일 간격으로 공개되었으며, 둘 다 플래그십 비용의 일부로 동일한 성능 등급을 주장한다. Cognition의 SWE-2 Flash는 2026년 11월 4일에 공개되었고, 총 파라미터 276B에 활성 파라미터 12B이다. Recursive의 Flint v1.0은 2026년 10월 21일에 공개되었으며, 총 39.8B에 활성 파라미터는 약 2.5B이다. 이들은 매우 다른 규모에서 같은 아키텍처적 베팅을 하고 있으며, 정직하게 비교하는 방법은 이들의 공개 표가 정확히 한 행에서만 겹친다는 점을 먼저 인정하는 것이다.

그 행은 Terminal-Bench 2.1입니다: SWE-2 Flash가 89.2, Flint v1.0이 54.9입니다. 34점 차이이며, 이 대결에서 두 회사가 산출한 단일 최고 수치이고, 이를 해석하는 방식을 바꿀 만큼 큰 두 가지 주의 사항이 따릅니다. 비교하고 싶어질 수 있는 다른 모든 것은 서로 다른 벤치마크 버전이거나 같은 벤치마크의 다른 하위 집합입니다.

같은 베팅, 정반대의 라이선스

공통된 논지는 추론 비용을 좌우하는 것은 전체 파라미터가 아니라 활성 파라미터라는 것이다. 따라서 큰 희소 모델을 만들고 실제로 작동하는 부분에만 비용을 지불할 수 있다. Flint는 49개 레이어에 걸쳐 토큰당 256개 라우팅 전문가 중 6개와 공유 전문가 1개를 투입하며, 그중 35개는 513토큰 창을 사용하는 슬라이딩 윈도우이고 14개는 전체 어텐션이다. SWE-2 Flash는 Inkling-Small 베이스에서 이 구조를 물려받았다. 총 276B, 활성 12B이며, Cognition이 이전에 사용하지 않았던 중간 학습 단계를 거쳐 사후 학습되었다.

어떤 아키텍처 세부 사항보다 더 중요한 차이는 출력으로 무엇을 할 수 있느냐입니다:

• 가중치 — Flint v1.0은 Hugging Face에서 BF16, FP8 및 양자화된 형태로 Apache 2.0 라이선스로 제공됩니다. SWE-2 Flash는 전면 비공개되었으며, 파트너 공유 프로그램은 약속되었지만 아직 구체적으로 명시되지 않았습니다.

• 배포 — Flint는 사용자가 직접 소유한 하드웨어에서 llama.cpp, Ollama, LM Studio, vLLM 및 SGLang에서 실행됩니다. SWE-2 Flash는 Devin Desktop과 Devin CLI 내에서만 실행되며 그 외 다른 곳에서는 실행되지 않습니다.

• 가격 — Flint의 한계 비용은 여러분의 GPU입니다. SWE-2 Flash는 2026년 11월 30일까지 무료이며, 그 이후에는 공개된 토큰당 요금이 없습니다.

• 컨텍스트 — Flint는 262,144 토큰을 공개하며, 약 512K까지 구성할 수 있습니다. SWE-2 Flash는 아무것도 공개하지 않습니다.

그것은 태도상의 작은 차이가 아니다. 하나는 살펴보고, 양자화하고, 미세 조정하고, 노트북에서 실행할 수 있는 아티팩트다. 다른 하나는 한 달 무료가 붙은 제품이다.

비교할 수 있는 단 하나의 행

Terminal-Bench 2.1은 두 회사가 동일한 버전에서 숫자를 보고한 유일한 벤치마크입니다. Flint의 54.9는 Terminus 2를 통해 산출되었으며, pass@1은 최소 다섯 번의 시도에 걸쳐 평균을 낸 값입니다. SWE-2 Flash의 89.2는 Cognition이 이름을 밝히지 않은 하네스에서, 공개하지 않은 에포트 설정으로, 9월의 전임 모델이 포함했던 방법론 부록을 생략한 출시 게시물을 통해 산출되었습니다.

34포인트 격차는 두 수치가 동일한 작업 세트에서 보고되었다는 점에서 실제이고, 한쪽은 어떻게 그 수치에 도달했는지 밝혔고 다른 쪽은 밝히지 않았다는 점에서 유연합니다. 공동 설계된 에이전트 스캐폴드 — 즉 Devin이 그러한 것 — 안에서 채점된 모델은 일반적으로 범용 하네스를 통해 채점된 동일한 모델을 능가합니다. Flint의 수치가 보수적인 것은 바로 Recursive가 방법을 공개했기 때문입니다.

한 문장으로 말하자면, 유일하게 공통된 항목에서 SWE-2 Flash가 훨씬 앞서 있으며, 어느 회사도 독립적인 제3자가 검증할 수 있게 하지 않았다.

똑같아 보이지만 실제로는 다른 두 개의 Pro 점수

이번 맞대결의 함정은 바로 여기에 있으며, 잠시 속도를 늦춰 볼 가치가 있습니다. Recursive는 SWE-bench Pro v2에서 Flint v1.0이 89.7을 기록했다고 보고합니다. Cognition은 SWE-Bench Pro v2 Hard에서 SWE-2 Flash가 89.9를 기록했다고 보고합니다. 두 숫자는 0.2점 차이로, 여러분이 찾을 수 있는 모든 집계에서 나란히 놓여 있습니다.

그것들은 같은 측정이 아니다. "Hard"는 부분집합, 즉 전체 작업 세트가 아니라 필터링된 일부일 뿐이다. Flint의 수치는 mini-swe-agent 아래에서의 전체 Pro v2 실행 결과이며, 웹에서 검색한 해법을 실패로 간주한 것으로, 이는 대부분의 공급업체가 채택하는 것보다 더 엄격한 채점 관례다. 89.9를 89.7 옆에 놓고 무승부라고 부르는 것은 확신에 찬 잘못된 결론을 낳는 종류의 비교다.

두 표 모두에 없는 행에도 같은 주의가 적용됩니다. Flint는 SWE-bench Verified를 74.2로 보고합니다. SWE-2 Flash는 Verified를 전혀 보고하지 않습니다 — 대신 Pro v2 Hard, DeepSWE 1.1, SWE-Atlas QA를 보고합니다. 따라서 대부분의 팀이 직관적으로 이해하는 벤치마크를 최신 모델에서는 사용할 수 없으며, 이로 인해 "Flint가 SWE-bench에서 뒤처진다"는 말은 발견된 사실이 아니라 근거 없는 주장이 됩니다.

컨텍스트는 결정을 내리는 명세입니다.

에이전트형 코딩에서 컨텍스트 창은 각주가 아니다 — 모델이 한 번의 계획 단계에서 저장소의 관련 표면을 통째로 유지할 수 있는지, 아니면 조각조각 제공받아야 하는지를 결정한다. Flint는 262,144 토큰을 공개한다. SWE-2 Flash는 아무것도 공개하지 않았고, 3일간의 보도 끝에도 어떤 매체도 이를 확인하지 못했다.

Flint의 컨텍스트에는 나름의 주의점이 따릅니다. 커뮤니티 측정에 따르면 긴 컨텍스트에서 처리량이 급격히 무너집니다. 짧은 프롬프트에서는 대략 초당 110토큰이지만, 115,000토큰 부근에서는 초당 9토큰 쪽으로 떨어집니다. 초당 9토큰으로 작동하는 262K 창은 한 번의 큰 읽기를 위해 의도적으로 사용하는 창이지, 긴 세션 내내 열어 두는 창이 아닙니다. 양자화는 연산 비용을 완화하지만 그 곡선을 완화하지는 못합니다.

SWE-2 Flash의 공개되지 않은 윈도는 더 큰 미지수입니다. 왜냐하면 Devin은 장기 세션 제품이기 때문입니다. 폐쇄형 모델이 더 큰 저장소를 더 잘 처리한다는 가정하에 두 제품 중 하나를 고르고 있다면, 당신은 아무도 공개하지 않은 숫자에 기대어 선택하고 있는 것입니다.

검증할 수 있는 속도와 검증할 수 없는 속도

Cognition은 SWE-2 Flash가 초당 약 200토큰으로 실행된다고 말하며, 이는 SWE-2의 초당 60토큰과 대비된다. 이 수치는 실제 라이브 엔드포인트의 시간을 측정한 것이 아니라, 축약된 세션 트랜스크립트를 시뮬레이션된 속도로 재생한 데서 나온 것이다. 이는 시연일 뿐 측정이 아니며, 현재 Cognition 외부에서는 누구도 이를 검증할 방법이 없다.

Flint의 처리량 주장은 그에 비하면 소박한 편이고 훨씬 더 쉽게 반증할 수 있습니다. M4 Pro MacBook Pro에서 대략 초당 125~131토큰, 64GB RTX Spark에서는 150토큰 이상입니다. 이는 구매할 수 있는 하드웨어에서, 구성을 공개한 사람들이 측정한 수치입니다. NVFP4 양자화 빌드는 벤치마크에서 BF16과 약 0.7포인트 이내의 차이를 보인다고 보고되며, 이는 커뮤니티가 검증할 수 있고 또 실제로 검증할 만한 유형의 주장입니다.

꼭 알아둘 만한 실제 단점 하나: GGUF 경로는 llama.cpp에서 채팅 템플릿 버그가 있었고, 이 모델은 주요 연구소의 어떤 모델과 비교해도 커뮤니티 사용 실적이 얇습니다. 초기 도입자들이 디버깅을 하고 있습니다.

각 선택지가 실제로 당신에게 얼마의 비용을 초래하는지

Flint v1.0은 무료로 다운로드할 수 있고, 비용은 추론 비용만큼만 듭니다. 39.8B 모델이 2.5B 활성 파라미터로 충분히 좋은 사양의 노트북에서 쓸 만한 속도로 실행되는데, 바로 이것이 이 아키텍처의 핵심입니다. 도입 비용은 운영 측면에 있습니다. 즉 서빙 스택, 양자화 선택, 그리고 장애 모드를 직접 책임져야 합니다.

SWE-2 Flash는 2026년 11월 30일까지 비용이 전혀 들지 않고, 그 이후에는 알 수 없는 금액이 듭니다. Cognition이 요율이 아니라 비율, 즉 SWE-2 가격의 5분의 1을 발표했기 때문입니다. 팀의 계획 프로세스에 스프레드시트에 넣을 숫자가 필요하다면, 걸림돌은 벤치마크 격차가 아니라 바로 그 부분입니다.

두 모델 모두 현재 OrcaRouter 카탈로그에 없으며, 그렇지 않다고 말할 생각도 없습니다. 이 맞대결에서 유용한 것은 이 둘 사이의 라우팅이 아니라 그 주변의 모델군을 벤치마킹하는 것입니다: 200개 이상의 모델이 하나의 OrcaRouter 키 뒤에 있으며 제공업체 정가 대비 0% 마크업이 적용되어, 동일한 저장소 작업을 십여 개의 후보로 실행하는 일이 문자열 하나를 바꾸는 문제가 됩니다. 한쪽은 하네스를 공개했고 다른 쪽은 공개하지 않은 두 모델 중에서 선택해야 할 때에는, 직접 수행한 평가가 어느 벤더의 표보다도 더 가치 있습니다.

누가 무엇을 골라야 할까요?

가중치가 필요하다면 Flint v1.0을 선택하십시오. 제약 조건이 데이터 레지던시, 오프라인 운영, 파인튜닝, 또는 다른 회사의 가격 결정에 의존하지 않는 토큰당 비용이라면, 34포인트의 Terminal-Bench 격차는 기꺼이 지불할 만한 대가일 수 있습니다. 그리고 Flint의 262K 컨텍스트와 공개된 하네스는 블랙박스가 아니라 여러분이 직접 추론해 볼 수 있는 모델을 제공합니다.

이미 {{2}}Devin{{/2}} 안에 있고 무료 기간이 질문에 답하기에 충분하다면 {{1}}SWE-2 Flash{{/1}}를 선택하세요. 두 회사가 측정한 단 하나의 항목에서 압도적인 차이로 더 뛰어난 성능을 보인 모델이며, 11월 말까지는 시도해 보는 데 비용이 들지 않습니다.

누구도 SWE-bench Pro 수치만 믿고 둘 중 하나를 선택해서는 안 된다. 89.7과 89.9는 같은 테스트가 아니며, 두 수치 사이의 차이는 어느 한 수치와 당신의 저장소가 실제로 만들어낼 결과 사이의 차이보다 작다.