SWE-2 Flash so với North Mini Code: Chuẩn đánh giá bên trong chuẩn đánh giá

Đây là một cặp đáng khó chịu. SWE-2 Flash là một bản post-train 276B tham số được phát hành ngày 4 tháng 11 năm 2026 với tám dòng benchmark và không có cách nào để gọi nó. North Mini Code là một mô hình 30B tham số do Cohere phát hành vào tháng 6 năm 2026 theo Apache 2.0, với một bảng benchmark trùng với SWE-2 Flash đúng không dòng nào — và một điểm số độc lập mà SWE-2 Flash hoàn toàn không có. Trên giấy tờ, mô hình mới hơn, lớn hơn thắng mọi thứ. Về bằng chứng, mô hình cũ hơn, nhỏ hơn là mô hình duy nhất trong hai mô hình đã được một bên thứ ba đo lường.

Sự đảo ngược đó chính là toàn bộ nội dung bài viết, và nó hữu ích hơn việc so sánh điểm số, bởi vì thực ra không thể thực hiện việc so sánh điểm số.

Hai MoEs với ngân sách tham số trái ngược nhau

Cả hai đều là những mô hình mixture-of-experts thưa được xây dựng xoay quanh cùng một lập luận về chi phí: trả chi phí cho các tham số hoạt động, chứ không phải tổng số tham số. Chúng nằm ở gần hai đầu đối lập của phạm vi.

• Tổng số tham số — SWE-2 Flash 276B so với North Mini Code 30B

• Hoạt động trên mỗi token — SWE-2 Flash 12B so với North Mini Code 3B

• Bố cục chuyên gia — SWE-2 Flash kế thừa cấu trúc của Inkling-Small; North Mini Code định tuyến tới 8 trong số 128 chuyên gia

• Bối cảnh — SWE-2 Flash chưa phát hành so với North Mini Code 256K, với đầu ra tối đa 64K

• Đầu ra tối đa — SWE-2 Flash chưa công bố so với North Mini Code 64K

• Giấy phép — SWE-2 Flash không được công bố so với North Mini Code Apache 2.0 ở BF16, FP8 và W4A16

Chênh lệch gấp chín lần về số tham số hoạt động chính là con số giải thích mọi thứ còn lại. SWE-2 Flash có thể cho phép mình là một mô hình lớn hơn, huấn luyện chậm hơn nhưng chạy rẻ trên mỗi token vì chỉ 12B trong đó được kích hoạt. North Mini Code chạy trên một phần nhỏ của con số đó, đó là lý do Cohere có thể đưa nó vào một triển khai cấp laptop và lý do trần điểm chuẩn của nó thấp hơn.

Tại sao bạn không thể đặt 89.2 bên cạnh 36.0

Phép so sánh sẽ được lan truyền là Terminal-Bench: SWE-2 Flash đạt 89,2, North Mini Code đạt 36,0. Một khoảng cách 53 điểm lẽ ra khiến đây không thể thành bài báo. Đó không phải là một phép trừ hợp lệ, vì một lý do dễ bị bỏ qua.

North Mini Code báo cáo "Terminal-Bench v2" ở mức 36.0 và "Terminal-Bench Hard" ở mức 31.1. SWE-2 Flash báo cáo "Terminal-Bench 2.1" ở mức 89.2 và "Terminal-Bench 4.0" ở mức 20.0. "v2" và "2.1" là các nhãn liền kề trên thứ có thể là hoặc có thể không phải cùng một tập tác vụ, và không bên cung cấp nào nêu số lượng tác vụ, harness hay quy ước chấm điểm trong tài liệu đang được so sánh.

Bằng chứng nội tại cho thấy đây là những phiên bản công cụ hoàn toàn khác nhau. Hai dòng Terminal-Bench của chính SWE-2 Flash cách nhau 69 điểm — 20,0 trên 4.0, 89,2 trên 2.1. Khi một mô hình đạt 20 và 89 trên hai benchmark cùng tên nhưng khác số phiên bản, thì phiên bản chính là đối tượng được đo. Đặt điểm số 2.x cạnh điểm số v2 rồi gọi khoảng cách đó là chênh lệch năng lực là sai lầm phổ biến nhất trong lĩnh vực so sánh này.

Các hàng khác trông có vẻ dùng chung nhưng không phải vậy. North Mini Code báo cáo SWE-bench Pro ở mức 40,2; SWE-2 Flash báo cáo SWE-Bench Pro v2 Hard ở mức 89,9. Khác thế hệ benchmark và là một tập con đã lọc. North báo cáo SWE-bench Verified ở mức 67,6; SWE-2 Flash hoàn toàn không báo cáo Verified. North báo cáo SciCode 38,2 và LiveCodeBench v6 70,3; SWE-2 Flash không báo cáo cả hai.

Điều đó chỉ còn lại DeepSWE 1.1, trong đó SWE-2 Flash báo cáo 60.1 và North Mini Code không báo cáo gì.

Con số độc lập mà chỉ một trong số họ có

North Mini Code có Artificial Analysis Intelligence Index là 27,6 và Coding Index là 33,4. Đó là các phép đo của bên thứ ba theo một phương pháp nhất quán, được thực hiện trên một mô hình mà bất kỳ ai cũng có thể tải xuống và chạy lại.

SWE-2 Flash không có mục trên Artificial Analysis, vì Artificial Analysis đo các mô hình qua API và SWE-2 Flash không có API. Mọi con số gắn với nó — 60.1, 89.2, 20.0, 24.0 trên FrontierCode 2.0 — đều là của chính Cognition, được tạo ra trên một harness không được tiết lộ, và FrontierCode là bộ đánh giá của chính Cognition. Ở đây không có gì nói rằng những con số đó sai. Điều đó nói rằng người đọc không có cách nào để phân biệt một năng lực thực sự với một scaffold hào phóng.

Đối với một mô hình trọng số mở 30B từ tháng Sáu, Chỉ số Lập trình AA 33,4 là một điểm khiêm tốn — cao hơn 25,9 của GLM-4.7-Flash, thấp hơn 35,2 của Qwen3.6 35B-A3B. Đó cũng là một điểm số bạn có thể xác minh, điều này đáng giá hơn một dòng của nhà cung cấp mà bạn không thể xác minh.

Tốc độ, và tuyên bố nào có thể kiểm chứng được

Cohere báo cáo khoảng 199 token đầu ra mỗi giây trên API riêng của mình, gấp khoảng 2,8 lần thông lượng của Devstral Small 2. Đó là phép đo trên endpoint được phục vụ: một yêu cầu được gửi vào, token được trả ra, và bất kỳ ai có quyền truy cập đều có thể tái tạo lại.

Cognition báo cáo khoảng 200 token mỗi giây đối với SWE-2 Flash so với 60 của SWE-2, được tạo ra bằng cách phát lại các bản ghi phiên đã rút ngắn ở tốc độ mô phỏng. Hai con số chỉ cách nhau trong vòng một token mỗi giây và mang ý nghĩa hoàn toàn khác nhau. Một là phép đo thông lượng; cái còn lại là minh họa mô hình sẽ trông như thế nào ở tốc độ đó.

Đây là mô thức xuyên suốt toàn bộ phép so sánh. Mô hình cũ hơn công bố những tuyên bố kém ấn tượng hơn nhưng gắn với nhiều phương pháp hơn. Mô hình mới hơn công bố những tuyên bố trông hấp dẫn hơn mà không kèm theo gì.

Những điểm mà North Mini Code thực sự yếu

Không phải mọi thứ đều có lợi cho Cohere. North Mini Code là chuyên gia lập trình và hành xử đúng như vậy: nó đạt 14% trên GDPval-AA và 37% trên τ²-Bench Telecom, cả hai đều là các đánh giá tác tử phi lập trình, nơi một mô hình tổng quát sẽ làm tốt hơn nhiều. Nếu tác tử của bạn phải làm bất cứ việc gì khác ngoài việc viết và kiểm thử mã — xử lý quy trình khách hàng, suy luận về một quy trình kinh doanh — thì North Mini Code là công cụ sai và nền tảng rộng hơn của SWE-2 Flash có khả năng là lựa chọn tốt hơn.

Cửa sổ ngữ cảnh của nó được công bố và rất lớn — 256.000 token với giới hạn đầu ra 64.000 token — dù cửa sổ khả dụng vẫn phụ thuộc vào ngăn xếp phục vụ. Và một mô hình 30B với 3B hoạt động có trần thấp hơn một mô hình 276B với 12B hoạt động; minh bạch phương pháp đến đâu cũng không thu hẹp được khoảng cách đó.

Chi phí và lập luận ủng hộ một lớp định tuyến

North Mini Code được tải xuống miễn phí theo Apache 2.0, với mức giá dành cho bản được lưu trữ trên API riêng của Cohere và có sẵn thông qua nhiều nền tảng bên thứ ba. SWE-2 Flash miễn phí trong Devin đến ngày 30 tháng 11 năm 2026 và chưa có giá sau đó, đồng thời không có hình thức tải xuống trong bất kỳ khung thời gian nào.

Cả hai đều không có trong danh mục của OrcaRouter. Mô hình của Cohere có thể được tự triển khai bởi bất kỳ ai có phần cứng, còn mô hình của Cognition không có endpoint nào để định tuyến tới — vậy nên cách diễn đạt trung thực là dù theo cách nào, quyết định này được đưa ra ngoài danh mục của chúng ta. Điều mà một lớp định tuyến thực sự thay đổi là chi phí của việc sai. OrcaRouter chuyển thẳng giá niêm yết của nhà cung cấp với mức cộng thêm 0% và tự động chuyển đổi dự phòng, nên một ứng dụng được viết cho một ID mô hình không đồng nghĩa với một ứng dụng bị ràng buộc vào thời gian hoạt động của một nhà cung cấp. Với một cặp mà một bên có thể bị đổi giá vào ngày 1 tháng 12 và bên kia có thể sẽ không bao giờ gọi được, thì khả năng di động đó chính là phần đáng để đầu tư công sức kỹ thuật.

Cách quyết định

Nếu bạn muốn một mô hình mà mình có thể tự chạy, kiểm tra, lượng tử hoá và đo điểm chuẩn, thì North Mini Code là lựa chọn duy nhất trong cặp này, và cửa sổ ngữ cảnh đã công bố cùng ngân sách hoạt động 3B của nó khiến nó trở nên thực tế trên phần cứng khiêm tốn. Hãy chấp nhận trần năng lực thấp hơn và trọng tâm hẹp về lập trình.

Nếu bạn đang ở trong Devin và khoảng thời gian miễn phí là điểm mấu chốt, thì SWE-2 Flash là mô hình mạnh hơn theo chính các con số của nó với khoảng cách lớn, và chi phí dùng thử nó đến ngày 30 tháng 11 là bằng không.

Điều bạn không nên làm là đặt 89.2 cạnh 36.0 rồi kết luận bất cứ điều gì. Những con số đó đến từ các công cụ khác nhau, được báo cáo bởi các công ty khác nhau, trên một họ benchmark mà số phiên bản chính là phép đo. Phát biểu duy nhất có thể bảo vệ được về cặp này là phát biểu nghe ít giống một phán quyết nhất: một trong hai đã được chấm điểm độc lập còn cái kia thì chưa, và đó là khác biệt lớn hơn bất kỳ hàng nào trong cả hai bảng.