Flint v1.0 vs Qwen3.8 27B: 모델 Recursive가 스스로를 벤치마킹한 상대

Recursive는 자사의 Recursive Flint v1.0 출시 자료에서 대부분의 보도가 건너뛴 한 문장을 공개했습니다: 회사 자체의 6개 테스트 평균에서 오직 Qwen3.8 27B만이 Flint보다 높은 점수를 기록했습니다. 그것은 벤더가 출시일에 싣기에는 드문 내용입니다. 또한 이번 발표 자료에서 가장 유용한 문장입니다. 어떤 비교를 확인해야 하는지 알려주기 때문입니다. Qwen3.8 27B는 2026년 8월 14일 Apache 2.0으로 공개된 오픈 가중치 밀집 모델이며, Recursive의 비교 세트에서 벤더 스스로 구성한 종합 점수에서 Flint를 앞선 유일한 모델입니다. 따라서 흥미로운 질문은 Flint가 좋은지 여부가 아닙니다. Qwen3.8 27B가 정확히 어디서 더 나은지, 그리고 그 격차가 관련 하네스에 대한 면밀한 검토를 견디는지입니다.

점수를 읽기 전에 클래스 클레임을 읽으세요.

Flint의 대표 주장은 신중하게 범위가 한정되어 있습니다. 즉, SWE-bench Pro v2, Terminal-Bench 2.1, SWE-bench Verified에서 총 매개변수 500억 개 미만의 전문가 혼합 모델을 앞선다는 것입니다. Qwen3.8 27B는 전문가 혼합 모델이 아닙니다. 이는 덴스 모델로, 매개변수가 270억 개이며 모든 토큰마다 전체 매개변수가 활성화되고, 비전 인코더를 포함하면 280억 개이며, 은닉 크기 5,120의 64개 층을 갖습니다. 따라서 이 모델은 구조상 Flint의 비교 범주 밖에 있으며, Recursive는 이를 주장에서 완전히 제외할 수 있었습니다.

"dense"가 무엇을 대가로 무엇을 얻는지 정확히 짚을 필요가 있다. Qwen의 270억 개 파라미터는 모두 모든 토큰에 참여하며, 그래서 BF16 기준 약 55.6GB와 실제 GPU가 필요하고, 활성화 메모리 사용량이 Flint의 약 11배인 것이다. 또한 밀집 27B 모델이 정확도에서 2.5B 활성 파라미터 희소 모델을 능가할 수 있는 이유이기도 하다. 토큰당 더 많은 연산을 수행하며, 그 대가를 비용으로 청구하기 때문이다.

Terminal-Bench 2.1: 18점 격차

이것은 이용 가능한 가장 깔끔한 비교인데, 두 연구소 모두 동일한 벤치마크 버전을 보고하며, 그 격차가 충분히 커서 하네스 잡음만으로 전부 설명되기는 어렵기 때문입니다.

• Flint — Terminal-Bench 2.1에서 54.9%, 인터넷이 활성화된 Terminus 2 하네스에서 실행되었으나, 웹 검색을 통해 얻은 해결책은 실패로 간주되었습니다.

• Qwen3.8 27B — 알리바바 모델 카드 기준, Terminal-Bench 2.1에서 73.0%.

그것은 Qwen에 유리한 18.1점 차이이며, 에이전트형 터미널 작업과 가장 유사한 벤치마크에서 나온 결과입니다 — 바로 두 모델 모두가 판매되고 있는 작업이죠. 두 가지 주의점은 서로 반대 방향으로 작용하며, 둘 다 짚고 넘어가야 합니다.

첫째는 Flint에 유리하다. Recursive는 경쟁사들은 적용하지 않았을 수도 있는 핸디캡을 적용했다. 에이전트가 웹에서 답을 찾으면 Recursive는 이를 오답으로 채점했다. 검색하고 인용할 수 있는 모델은 동일한 하네스에서 더 높은 점수를 받을 것이다. 얼마나 더 높은지는 알 수 없으며, Recursive는 핸디캡을 적용하지 않은 수치를 공개하지 않는다.

두 번째는 어떤 깔끔한 해석에도 어긋난다. 제3자인 PrismML은 Qwen3.8 27B를 Terminal-Bench 2.1에서 알리바바의 73.0이 아니라 69.7로 평가했다. 동일한 모델과 벤치마크에서 3.3점 차이는 유용한 기준점이 된다. 이는 이 표에서 몇 점 차이는 노이즈이고, 18점 차이는 아마도 그렇지 않다는 것을 알려준다.

더 낮은 Qwen 수치를 택하더라도 69.7 대 54.9는 14.8점 차이를 남깁니다. 방향성은 의심할 여지가 없습니다.

LiveCodeBench v6: 더 깔끔한 벤치마크에서 드러난 두 번째 격차

경쟁 프로그래밍은 두 연구소가 보고한 벤치마크 중 하네스에 가장 덜 민감합니다. 모델이 문제를 받아 코드를 생성하면 심사 프로그램이 이를 실행하기 때문입니다. 결과가 달라질 여지가 있는 에이전트 루프가 없습니다.

• Flint — LiveCodeBench v6에서 80.3%.

• Qwen3.8 27B — LiveCodeBench v6에서 90.3%.

10점 격차이며, 제가 가장 비중 있게 평가하는 바로 그 지점입니다. 왜냐하면 그것이 가장 설명해 넘기기 어렵기 때문입니다. Flint의 80.3은 25억 개 매개변수를 활성화하는 모델로서는 괜찮은 수치입니다. Qwen의 90.3은 270억 개를 활성화하는 모델로서는 강한 수치입니다. 어느 쪽도 놀랍지 않습니다. 요점은 Flint가 내세우는 효율성 이점이 공짜로 오는 것이 아니며, 이 벤치마크에서 그 대가가 드러난다는 것입니다.

Flint의 승리처럼 보이지만 실제로는 그렇지 않은 벤치마크

대부분의 비교 페이지가 바로 이 지점에서 잘못되며, 잠시 속도를 늦춰 짚어볼 가치가 있습니다.

Flint는 SWE-bench Pro v2에서 89.7%를 보고합니다. Qwen3.8 27B는 SWE-bench Pro에서 61.7%를 보고합니다. 빠르게 읽으면 Flint의 28포인트 승리처럼 보입니다. 하지만 이는 전혀 비교가 아닙니다. "v2"는 Alibaba가 보고하는 것과 다른 벤치마크로, 작업 세트와 평가 프로토콜이 다르며, 두 수치는 뺄 수 없습니다. 이 둘을 나란히 놓고 승자를 선언하는 페이지는 모델에 대해서가 아니라 작성자에 대해 말해 주는 것입니다.

같은 함정이 바로 한 줄 아래에 있습니다. Flint는 SWE-bench Verified에서 74.2%를 보고합니다. Qwen3.8 27B는 SWE-bench Verified 점수를 공개하지 않습니다. Alibaba의 모델 카드는 SWE-bench Pro, QwenSWEBench 79.0, DeepSWE 1.1 42.2, Terminal-Bench 2.1 73.0, LiveCodeBench v6 90.3, NL2Repo-Bench 42.3을 보고합니다. 비교할 Verified 수치가 없습니다. Qwen3.8 27B의 Verified 점수로 유통되는 숫자는 해당 제품군의 이전 모델에서 물려받은 것이거나, 여러 다른 벤치마크에서 모델 카드와 동시에 상충하는 2차 출처에서 가져온 것입니다. 검증되지 않은 것으로 간주하십시오.

알리바바 측에 한 가지 추가 단서를 붙이자면, SWE-bench Pro와 QwenSWEBench 실행에는 순수 모델이 아니라 외부 에이전트 하네스가 사용되었으므로, 다른 연구소의 SWE-bench Pro 수치와 비교하는 것조차 불안정합니다. 이는 알리바바만의 문제가 아닙니다. 이는 에이전트형 코딩 벤치마크 전반의 현황이며, 여기서 Terminal-Bench와 LiveCodeBench 행이 SWE-bench 행보다 더 큰 비중을 차지하는 이유이기도 합니다.

Flint가 이기는 부분, 그리고 그 차이는 크다

정확도가 유일한 축은 아니며, 다른 축들에서는 순서가 크게 뒤집힙니다.

• 메모리 — Flint는 약 24GB에서 실행되며, 디스크에는 22.86GB NVFP4 빌드가 있습니다. Qwen3.8 27B는 BF16에서 약 55.6GB가 필요합니다. 하나는 고급형 노트북이나 소비자용 카드 한 장에 들어가고, 다른 하나는 제대로 된 GPU 할당이 필요합니다.

• 토큰당 활성 연산량 — Flint는 약 25억 개의 파라미터를 활성화합니다. Qwen은 270억 개 전부를 활성화합니다. 이 비율이 속도 격차가 존재하는 이유이자 Flint가 대량 서비스에서 더 저렴한 이유입니다.

속도 — Recursive는 M4 Pro MacBook Pro에서 초당 125개 이상의 토큰을, 짧은 컨텍스트 기준 64GB RTX Spark에서는 150개 이상을 기록한다고 주장한다. 같은 노트북에서 dense 27B 모델은 그 범위에 들지 않는다. Qwen3.8 27B 역시 로컬에서 느리고 토큰을 유난히 많이 소모하는 것으로 보고된다 — Artificial Analysis는 자사 인덱스 테스트 전반에서 약 1억 6천만 개의 출력 토큰을 측정했는데, 이는 어떤 에이전트 루프에서든 비용 배수로 작용한다.

• 컨텍스트 — 두 모델 모두 기본적으로 262,144 토큰을 지원하며, Qwen은 YaRN 스케일링으로 1,000,000까지 확장됩니다. Flint의 발표에서는 최대 512K를 언급합니다. 표면상으로는 기본 윈도에서 막상막하지만, 실제로는 긴 컨텍스트에서의 Flint 처리량이 더 약한 부분이며, 독립 테스트에서는 약 115,000 토큰 근처에서 초당 약 9토큰으로 떨어진다고 보고합니다.

• 멀티모달리티 — Qwen3.8 27B는 텍스트는 물론 이미지와 영상도 입력으로 받으며, 48개의 Gated DeltaNet 선형 어텐션 레이어와 16개의 전체 어텐션 레이어를 3:1 비율로 배치한 하이브리드 어텐션 구조를 갖추고 있어 262K 윈도우를 경제적으로 서빙할 수 있습니다. Flint는 텍스트 전용입니다.

당신이 실제로 선택하고 있는 것

• 최대 코딩 정확도가 목표이고 하드웨어가 갖춰져 있다면, 두 모델을 깔끔하게 비교할 수 있는 모든 벤치마크에서 Qwen3.8 27B가 더 강력한 모델입니다. Recursive 자체의 6개 테스트 평균도 같은 결과를 보여줍니다.

• 모델이 노트북에서 실행되어야 하거나, 오프라인 상태를 유지해야 하거나, 소스 코드를 해당 머신에 보관해야 하거나, 활성 파라미터가 비용을 좌우할 만큼 충분한 볼륨을 처리해야 한다면, Flint는 배포를 결정짓는 축에서 우위를 점합니다. 초당 125토큰으로 동작하는 활성 파라미터 2.5B 모델은 GPU 노드가 필요한 27B 덴스 모델과는 다른 제품입니다.

• 둘 다 원한다면, 이들은 잘 조합됩니다: 일상적이고 민감한 작업에는 로컬 모델, 어려운 작업에는 호스팅 모델입니다. 이 분리는 대부분의 팀이 선택하는 방식이며, 바로 이 지점에서 라우팅 계층은 더 이상 세부 사항이 아니게 됩니다.

Qwen3.8 27B는 이 비교에서 OrcaRouter가 직접 제공하는 유일한 모델입니다 — 식별자는 qwen/qwen3.8-27b이며, 당사 라이브 모델 목록에 있고 텍스트, 이미지, 비디오를 262,144 포지션의 전체 윈도로 처리합니다. 제공업체 정가가 추가 마크업 없이 그대로 전달되므로, 알리바바 측의 가격 변동은 다음 갱신 시점이 아니라 같은 날 당사에도 반영됩니다. OrcaRouter는 Flint를 제공하지 않습니다. 그것은 다운로드입니다. 따라서 위의 하이브리드는 진정한 하이브리드입니다. 하나는 호스팅된 프론티어급 모델로 가는 경로이고, 다른 하나는 기기를 벗어나서는 안 되는 모든 것을 위한 로컬 파일입니다.

아무도 해본 적 없는 실험

이 기사의 모든 수치는 각자의 모델을 자체 측정한 lab에서 나온 것이며, 단 한 가지 예외가 있습니다 — PrismML이 Terminal-Bench에서 Alibaba와 보인 3.3포인트의 불일치인데, 이는 다른 누군가가 초읽기를 잡았을 때 이 수치들이 얼마나 달라질 수 있는지에 관해 입수 가능한 유일한 단서입니다.

이 문제를 해결할 방법은 명확하고, 아직 일어나지 않았다. 두 모델, 하나의 하네스, 하나의 작업 세트, 하나의 머신, 공개된 트레이스다. 그때까지 방어 가능한 입장은 좁은 쪽이다. 두 연구소가 정직하게 보고하는 벤치마크에서는 Qwen3.8 27B가 더 정확한 코더다. 모델이 애초에 실행될 수 있는지를 결정하는 배포 축에서는 Flint가 더 효율적이다. Recursive가 자사 출시 글에서 가장 먼저 그렇게 말했고, 그것이 전체 릴리스에서 가장 신뢰할 만한 부분이다.