SWE-2 Flash so với Flint v1.0: Một hàng benchmark trung thực và rất nhiều nhiễu

Hai mô hình lập trình mixture-of-experts kích hoạt nhỏ, ra mắt cách nhau mười lăm ngày, cùng tuyên bố đạt cùng đẳng cấp hiệu năng với chi phí chỉ bằng một phần nhỏ so với mô hình hàng đầu. SWE-2 Flash, của Cognition, ra ngày 4 tháng 11 năm 2026, có tổng cộng 276B tham số với 12B kích hoạt. Flint v1.0, của Recursive, ra ngày 21 tháng 10 năm 2026, có tổng cộng 39.8B tham số với khoảng 2.5B kích hoạt. Chúng là cùng một đặt cược kiến trúc ở những quy mô rất khác nhau — và cách trung thực để so sánh chúng là thừa nhận ngay từ đầu rằng các bảng công bố của chúng chỉ trùng nhau đúng một dòng.

Hàng đó là Terminal-Bench 2.1: 89,2 cho SWE-2 Flash so với 54,9 cho Flint v1.0. Đó là khoảng cách 34 điểm, là con số mạnh nhất duy nhất mà mỗi công ty đã tạo ra trong cuộc đối đầu này, và nó đi kèm hai lưu ý đủ lớn để thay đổi cách bạn đọc nó. Mọi thứ khác mà bạn có thể muốn so sánh hoặc là một phiên bản benchmark khác hoặc là một tập con khác của cùng benchmark đó.

Cùng một canh bạc, giấy phép trái ngược

Luận điểm chung là các tham số hoạt động, chứ không phải tổng tham số, mới quyết định chi phí suy luận — vì vậy bạn có thể xây dựng một mô hình thưa lớn và chỉ trả tiền cho phần được kích hoạt. Flint đưa 6 trong số 256 chuyên gia được định tuyến cùng một chuyên gia chia sẻ vào hoạt động cho mỗi token, xuyên suốt 49 lớp, trong đó 35 lớp dùng cửa sổ trượt với cửa sổ 513 token và 14 lớp dùng chú ý đầy đủ. SWE-2 Flash kế thừa cấu trúc đó từ nền tảng Inkling-Small của mình: tổng cộng 276B, 12B hoạt động, được huấn luyện hậu kỳ với một giai đoạn huấn luyện giữa mà Cognition chưa từng sử dụng trước đây.

Sự khác biệt quan trọng hơn bất kỳ chi tiết kiến trúc nào chính là những gì bạn được phép làm với đầu ra:

• Trọng số — Flint v1.0 dùng giấy phép Apache 2.0 trên Hugging Face ở các dạng BF16, FP8 và lượng tử hóa. SWE-2 Flash bị giữ kín hoàn toàn, với một chương trình chia sẻ với đối tác đã được hứa hẹn nhưng chưa được nêu cụ thể.

• Phân phối — {{1}}Flint{{/1}} chạy trên {{2}}llama.cpp{{/2}}, {{3}}Ollama{{/3}}, {{4}}LM Studio{{/4}}, {{5}}vLLM{{/5}} và {{6}}SGLang{{/6}} trên phần cứng bạn sở hữu. {{7}}SWE-2 Flash{{/7}} chạy bên trong {{8}}Devin Desktop{{/8}} và {{9}}Devin CLI{{/9}}, không ở đâu khác.

Giá — chi phí biên của Flint chính là GPU của bạn. SWE-2 Flash miễn phí đến hết ngày 30 tháng 11 năm 2026 và không có mức giá công bố theo từng token sau thời điểm đó.

• Ngữ cảnh — Flint công bố 262,144 token, có thể cấu hình lên khoảng 512K. SWE-2 Flash không công bố gì.

Đó không phải là một khác biệt nhỏ về lập trường. Một bên là một artefact mà bạn có thể kiểm tra, lượng tử hoá, tinh chỉnh và chạy trên laptop. Bên kia là một sản phẩm có một tháng miễn phí.

Hàng duy nhất bạn có thể so sánh

Terminal-Bench 2.1 là benchmark duy nhất mà cả hai công ty đều báo cáo một con số trên cùng một phiên bản. Flint đạt 54.9 thông qua Terminus 2, với pass@1 được lấy trung bình qua ít nhất năm lần thử. SWE-2 Flash đạt 89.2 trên một harness mà Cognition không nêu tên, ở một thiết lập effort mà họ không tiết lộ, từ một bài đăng ra mắt đã lược bỏ phần phụ lục phương pháp luận mà phiên bản tiền nhiệm tháng Chín của nó có.

Vậy khoảng cách 34 điểm là có thật theo nghĩa cả hai con số đều được báo cáo trên cùng một bộ nhiệm vụ, và chỉ là tương đối theo nghĩa một bên cho bạn biết nó đạt được con số đó bằng cách nào còn bên kia thì không. Một mô hình được chấm điểm bên trong một khung tác nhân được đồng thiết kế — mà Devin chính là như vậy — nhìn chung sẽ đánh bại chính mô hình đó khi được chấm qua một harness chung. Con số của Flint là con số thận trọng chính vì Recursive đã công bố phương pháp.

Nếu bạn muốn một câu duy nhất: trên hàng duy nhất được chia sẻ, SWE-2 Flash vượt trội rất xa, và cả hai công ty đều chưa trao cho một bên độc lập khả năng kiểm chứng.

Hai điểm số Pro trông giống hệt nhau nhưng thực chất không giống vậy

Đây là cái bẫy trong màn đối đầu này, và đáng để chậm lại mà xem xét. Recursive báo cáo Flint v1.0 đạt 89,7 trên SWE-bench Pro v2. Cognition báo cáo SWE-2 Flash đạt 89,9 trên SWE-Bench Pro v2 Hard. Hai con số, cách nhau 0,2 điểm, nằm cạnh nhau trong mọi bảng tổng hợp bạn sẽ tìm thấy.

Đây không phải là cùng một phép đo. “Hard” là một tập con — một lát cắt đã được lọc của bộ tác vụ, chứ không phải toàn bộ bộ đó. Con số của Flint là toàn bộ lần chạy Pro v2 dưới mini-swe-agent, trong đó các lời giải được truy xuất từ web bị tính là thất bại, đây là một quy ước chấm điểm nghiêm ngặt hơn so với hầu hết các nhà cung cấp áp dụng. Đặt 89.9 cạnh 89.7 và gọi đó là hòa là kiểu so sánh tạo ra những kết luận sai lầm đầy tự tin.

Cũng cần thận trọng tương tự với một hàng mà cả hai bảng không cùng có. Flint báo cáo SWE-bench Verified ở mức 74,2. SWE-2 Flash hoàn toàn không báo cáo Verified — thay vào đó, nó báo cáo Pro v2 Hard, DeepSWE 1.1 và SWE-Atlas QA. Vì vậy, điểm chuẩn mà hầu hết các nhóm đều có hiểu biết trực quan về nó lại không có sẵn cho mô hình mới hơn, khiến “Flint đang tụt lại trên SWE-bench” trở thành một tuyên bố thiếu cơ sở chứ không phải là một phát hiện.

Ngữ cảnh chính là bản đặc tả quyết định

Đối với agentic coding, context window không phải là chú thích phụ — nó quyết định liệu một mô hình có thể nắm trọn bề mặt liên quan của một repository trong một bước lập kế hoạch, hay phải được nạp vào từng phần. Flint công bố 262.144 token. SWE-2 Flash không công bố gì, và sau ba ngày đưa tin, chưa có cơ quan báo chí nào xác lập được con số đó.

Ngữ cảnh của Flint đi kèm một lưu ý riêng. Các đo đạc từ cộng đồng cho thấy thông lượng sụp đổ ở ngữ cảnh dài — khoảng 110 token mỗi giây với prompt ngắn, giảm dần xuống còn khoảng 9 token mỗi giây khi gần 115.000 token. Một cửa sổ 262K chạy ở 9 tok/s là cửa sổ bạn dùng có chủ đích, cho một lần đọc lớn duy nhất, chứ không phải loại bạn để mở suốt một phiên dài. Lượng tử hóa làm dịu chi phí tính toán nhưng không làm phẳng đường cong đó.

Cửa sổ chưa được công bố của SWE-2 Flash là ẩn số lớn hơn, vì Devin là một sản phẩm dành cho phiên làm việc dài. Nếu bạn đang chọn giữa chúng với giả định rằng mô hình đóng xử lý các kho mã lớn hơn tốt hơn, thì bạn đang chọn dựa trên một con số mà chưa ai công bố.

Tốc độ bạn có thể kiểm chứng so với tốc độ bạn không thể kiểm chứng

Cognition cho biết SWE-2 Flash chạy ở tốc độ khoảng 200 token mỗi giây, so với 60 token mỗi giây của SWE-2. Con số này đến từ việc phát lại các bản ghi phiên làm việc đã được rút gọn ở tốc độ mô phỏng, chứ không phải từ việc đo thời gian của một endpoint trực tiếp. Đây là một buổi trình diễn, không phải một phép đo, và hiện tại không có cách nào để bất kỳ ai bên ngoài Cognition kiểm chứng được điều đó.

Khi so sánh, các tuyên bố về thông lượng của Flint khá khiêm tốn và dễ bị bác bỏ hơn nhiều: khoảng 125 đến 131 token mỗi giây trên MacBook Pro M4 Pro, trên 150 trên RTX Spark 64 GB. Những con số đó được đo trên phần cứng bạn có thể mua, bởi những người đã công bố cấu hình. Bản dựng lượng tử hóa NVFP4 được báo cáo là đạt mức cách BF16 khoảng 0,7 điểm trên các bài kiểm chuẩn, một kiểu tuyên bố mà cộng đồng có thể và sẽ kiểm chứng.

Một điểm hạn chế thực sự cần biết: đường dẫn GGUF từng có lỗi mẫu trò chuyện trong llama.cpp, và mô hình này có ít thành tích được cộng đồng ghi nhận so với bất kỳ sản phẩm nào từ một phòng thí nghiệm lớn. Những người dùng sớm đang phải tự gỡ lỗi.

Mỗi tùy chọn thực sự khiến bạn phải trả giá bao nhiêu

Flint v1.0 miễn phí tải về và chi phí của nó đúng bằng chi phí suy luận của bạn. Một mô hình 39,8B với 2,5B tham số hoạt động sẽ chạy trên một chiếc laptop cấu hình tốt ở tốc độ dùng được, và đó chính là điểm mấu chốt của kiến trúc này. Cái giá phải trả khi áp dụng là ở khâu vận hành: bạn phải tự lo toàn bộ stack phục vụ, lựa chọn lượng tử hoá và các kiểu lỗi phát sinh.

SWE-2 Flash không tốn phí cho đến ngày 30 tháng 11 năm 2026 và sau đó sẽ tốn một khoản không xác định, vì Cognition đã công bố một tỷ lệ — bằng một phần năm giá của SWE-2 — thay vì một mức giá. Nếu quy trình lập kế hoạch của nhóm bạn cần một con số để đưa vào bảng tính, thì đó mới là vấn đề chặn, chứ không phải khoảng cách về điểm chuẩn.

Cả hai mô hình hiện chưa có trong danh mục của OrcaRouter, và chúng tôi sẽ không gợi ý điều ngược lại. Điều hữu ích trong màn so tài này không phải là định tuyến giữa hai mô hình này mà là đánh giá chuẩn toàn bộ các mô hình xung quanh chúng: hơn 200 mô hình nằm sau một khóa OrcaRouter với mức tăng giá 0% so với giá niêm yết của nhà cung cấp, khiến việc chạy cùng một tác vụ kho mã nguồn qua hàng tá ứng viên chỉ còn là chuyện đổi một chuỗi. Khi bạn đang cân nhắc giữa hai mô hình mà một bên đã công bố bộ khung đánh giá của mình còn bên kia thì chưa, đánh giá của chính bạn có giá trị hơn bảng của bất kỳ nhà cung cấp nào.

Ai nên chọn cái nào

Chọn Flint v1.0 nếu bạn cần trọng số. Nếu ràng buộc của bạn là lưu trú dữ liệu, vận hành ngoại tuyến, tinh chỉnh, hoặc chi phí mỗi token không phụ thuộc vào quyết định định giá của một công ty khác, thì khoảng cách 34 điểm trên Terminal-Bench là cái giá mà bạn rất có thể sẵn lòng trả — và ngữ cảnh 262K cùng bộ khung đánh giá đã công bố của Flint cho bạn một mô hình có thể suy xét thay vì một hộp đen.

Hãy chọn SWE-2 Flash nếu bạn đã ở trong Devin và khung thời gian miễn phí đủ để trả lời câu hỏi của bạn. Đây là mô hình hoạt động tốt hơn trên hàng duy nhất mà cả hai công ty đã đo, với khoảng cách lớn, và bạn không tốn gì để dùng thử cho đến cuối tháng 11.

Điều mà không ai nên làm là chọn một trong hai chỉ dựa vào độ mạnh của các con số SWE-bench Pro. 89.7 và 89.9 không phải là cùng một bài kiểm tra, và khoảng cách giữa chúng còn nhỏ hơn khoảng cách giữa mỗi con số đó với những gì kho mã của bạn sẽ thực sự tạo ra.