SWE-2 Flash so với SWE-2: Chiến thắng 0,2 điểm thực sự đáng giá bao nhiêu

Bảng so sánh của chính Cognition cho SWE-2 Flashđúng một chiến thắng trước SWE-2: 24,0 so với 23,8 trên FrontierCode 2.0. Hai phần mười điểm, trên chính benchmark của Cognition, trong một bảng mà Cognition dựng lên để cho thấy mô hình nhỏ hơn ở trạng thái tốt nhất. Đó cũng là con số hữu ích nhất trong bản phát hành, bởi vì những gì các hàng bên dưới nó thể hiện — và bởi vì điều mà hàng duy nhất ở phần trên cùng lặng lẽ bỏ sót.

Bản ngắn gọn dành cho người đang ngồi ở bàn cần ra quyết định thay vì đọc đến cuối: Flash không phải là một SWE-2 nhỏ hơn. Đây là một mô hình khác, từ một nền tảng khác, được tinh chỉnh cho phần công việc có phạm vi giới hạn, và có giá bằng một phần năm trong cùng một sản phẩm. Mức hơn 0,2 điểm là có thật, và nó có ý nghĩa ít hơn vẻ ngoài.

Hai ấn bản của cùng một bộ đánh giá đưa ra kết quả không nhất quán, và đó là phát hiện đầu tiên

Đặt hai dòng FrontierCode cạnh nhau, và bảng đó không còn là câu chuyện về một mô hình nhỏ đang bắt kịp nữa.

• FrontierCode 2.0 — SWE-2 Flash 24.0 so với SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 so với 50,0

Cùng một công cụ, hai phiên bản, hai kết luận trái ngược. Ở phiên bản mới hơn, Flash nhỉnh hơn một chút; ở phiên bản cũ hơn, nó kém 4,5 điểm. Một trong hai dòng đó sẽ xuất hiện trên slide ra mắt còn dòng kia thì không, và việc chọn dòng nào cho bạn biết nhiều hơn về người thuyết trình so với mô hình.

Có một cách diễn giải có thể bảo vệ được, trong đó cả hai hàng đều đúng và không hàng nào mâu thuẫn: bản 2.0 khó hơn, điểm tuyệt đối bị nén lại, và một tập nhiệm vụ mới hơn có thể thưởng cho đúng thứ mà Flash được post-train cho. Cũng có một cách diễn giải kém tâng bốc hơn: mức dao động 4,5 điểm giữa hai phiên bản của cùng một benchmark là thước đo mức độ nhạy của công cụ, và biên 0,2 điểm nằm trong độ nhạy đó. Cognition không công bố khoảng tin cậy và không chạy lặp lại, nên với thông tin đã cho, không thể phân biệt khác biệt giữa 24.0 và 23.8 với nhiễu. Điều có thể nói thì hẹp hơn nhưng vẫn hữu ích — trên benchmark mới nhất của Cognition, hai mô hình ngang nhau, không tách biệt.

Mười ba điểm được đặt ở đâu

Phần còn lại của bảng không gần nhau, và hình dạng của khoảng cách mới là phần mang thông tin.

• DeepSWE 1.1 — SWE-2 Flash 60.1 so với SWE-2 73.0

• Terminal-Bench 4.0 — 20,0 so với 27,3

• SWE-Atlas QA — 50,0 so với 56,3

• Terminal-Bench 2.1 — 89,2 so với 92,8

• SWE-Bench Pro v2 Hard — 89,9 so với 90,6

• ExploitBench — 34.8 so với 36.1

Hãy sắp xếp những mục đó theo mức độ tự do mà nhiệm vụ trao cho tác nhân và một quy luật sẽ xuất hiện. Trên SWE-Bench Pro v2 Hard — một vấn đề được đặc tả rõ ràng với bản sửa đã xác định — Flash kém 0,7 điểm. Trên Terminal-Bench 2.1, nó kém 3,6 điểm. Trên Terminal-Bench 4.0, khoảng cách là 7,3, và trên DeepSWE 1.1, hàng tầm xa, là 12,9. Nhiệm vụ càng đòi hỏi mô hình phải quyết định làm gì tiếp theo, khoảng cách càng lớn.

Đó là một cơ chế hợp lý, không phải một cơ chế đã được chứng minh. Một mô hình có một phần mười tham số hoạt động có ít năng lực hơn để giữ một kế hoạch dài được gắn kết với nhau, và các benchmark dài hạn là nơi điều đó xuất hiện đầu tiên. Nhưng Cognition không công bố số lượt, số token hay phân tích chi tiết theo từng tác vụ cho Flash theo cách đã làm với SWE-2 — nơi họ báo cáo số bước trung bình giảm từ 127 xuống 53 ở mức nỗ lực trung bình — nên cơ chế này được suy ra từ hình dạng của bảng chứ không phải được chứng minh. Hãy coi đó là một giả thuyết có thể khớp hoặc không khớp với kinh nghiệm của chính bạn.

Giá và tốc độ, tính theo đơn vị duy nhất mà Cognition báo giá

Cả hai mô hình đều không có giá theo từng token, vì cả hai đều không có endpoint. Điều Cognition công bố là một tỷ lệ: SWE-2 Flash có chi phí bằng một phần năm SWE-2 và chạy nhanh gấp ba lần, 200 tok/s so với 60. Cả hai con số đều đến từ cùng một phương pháp phát lại — lần chạy của mỗi mô hình trên tác vụ gsea-proteomics của Terminal-Bench 4.0, được phát lại ở tốc độ mô phỏng với bản ghi được rút ngắn cho bằng nhau về độ dài — nên cả hai mô tả một hồ sơ phục vụ dự kiến chứ không phải một hồ sơ được đo thực tế.

Tỷ lệ vẫn là con số liên quan nhất đến việc ra quyết định trong bản phát hành, miễn là bạn thực hiện bước tiếp theo. Giá trên mỗi đơn vị công việc không giống với chi phí cho mỗi tác vụ đã giải quyết, và con số thứ hai mới là thứ mà một đội thực sự phải trả. Nếu mức thứ năm bằng một phần năm chi phí của một tác vụ — cách lý giải duy nhất khiến tuyên bố có ý nghĩa bên trong một sản phẩm thuê bao — thì phép tính rất rõ ràng.

• Trên DeepSWE 1.1 — Flash giải được 82% số tác vụ với một phần năm chi phí, tức là rẻ hơn khoảng 4,1 lần cho mỗi tác vụ được giải, ngay cả ở dòng mà nó kém nhất.

• Trên FrontierCode 2.0 — nó giải được nhiều tác vụ hơn một chút với một phần năm chi phí, tức là rẻ hơn khoảng 5 lần cho mỗi tác vụ được giải.

Trên Terminal-Bench 4.0 — nó giải được 73% số lượng với một phần năm chi phí, rẻ hơn khoảng 3,7 lần cho mỗi tác vụ được giải.

Mỗi con số trong số đó đều giả định rằng mức một phần năm áp dụng cho chi phí của một tác vụ chứ không phải cho một token, và rằng tỷ lệ giải được sẽ chuyển sang hàng đợi của bạn. Cognition không nói rõ là trường hợp nào, và giả định này đang gánh rất nhiều trọng lượng. Nếu mức một phần năm là giá token trên một mô hình phát ra nhiều token hơn cho mỗi tác vụ, lợi thế sẽ thu hẹp và có thể đảo ngược ở các hàng tầm xa. Phép tính này là một kiểm tra độ nhạy, không phải một phép đo, và nên được chạy lại dựa trên nhật ký của chính bạn.

Điều không còn nghi ngờ là cửa sổ khuyến mãi. SWE-2 Flash miễn phí trong Devin Desktop và CLI đến hết ngày 30 tháng 11 năm 2026. Cửa sổ miễn phí của chính SWE-2 đã kết thúc vào ngày 10 tháng 10. Trong vài tuần tới, so sánh giá bên trong Devin là một phần năm so với không — đó không phải là so sánh chút nào, mà là một giai đoạn đánh giá có thời hạn.

Chúng không cùng một dòng dõi, và khoảng cách về tham số là điều kém thú vị nhất ở chúng.

{{1}}SWE-2{{/1}} được huấn luyện hậu kỳ từ {{2}}Kimi K3{{/2}}: 2,8 nghìn tỷ tham số, 104B tham số hoạt động mỗi token, một mô hình nền đã trải qua quá trình RL chuyên sâu cho lập trình tác tử. {{3}}SWE-2 Flash{{/3}} được huấn luyện hậu kỳ từ {{4}}Inkling-Small{{/4}}: tổng 276B, 12B hoạt động, Apache 2.0, đến từ {{5}}Thinking Machines{{/5}}. Biểu đồ kích thước của chính {{6}}Cognition{{/6}} đặt {{7}}Flash{{/7}} ở mức 1x và {{8}}SWE-2{{/8}} ở mức 10,1x. Nếu tính theo tham số hoạt động, tỷ lệ này gần với chín trên một hơn.

Giờ hãy đối chiếu điều đó với các điểm số. Một chênh lệch 8,5 lần về số tham số hoạt động mang lại 4,5 điểm trên FrontierCode 1.1 Main và không mang lại gì trên FrontierCode 2.0. Trong khi đó, bản thân bước hậu huấn luyện có giá trị lớn hơn nhiều so với chênh lệch tham số: bảng của Cognition cho thấy Inkling-Small đạt 21,5 trên FrontierCode 1.1 Main và Flash đạt 45,5, tức tăng 24 điểm nhờ mid-training và RL trên cùng một nền tảng. Phương sai quy cho hậu huấn luyện xấp xỉ gấp năm lần phương sai quy cho toàn bộ khoảng cách tham số giữa hai mô hình.

Đó là phát hiện mà cặp đôi này cùng tạo ra, và nó lớn hơn cả hai mô hình. Nó cũng giải thích vì sao Cognition sẵn sàng bán mô hình nhỏ hơn với giá bằng một phần năm: phần đắt đỏ của SWE-2 chưa bao giờ là mô hình nền. Đó là dữ liệu, các bộ xác minh và các môi trường RL, và Flash tận dụng lại khoản đầu tư đó trên một mô hình nền rẻ hơn.

Có hai lưu ý cần nêu ở đây. Phép so sánh này là bảng của một nhà cung cấp trên các benchmark do chính nhà cung cấp đó kiểm soát, và không có nội dung nào trong đó được tái lập độc lập. Và các mô hình nền không phải là đầu vào tương đương — Kimi K3 đi kèm ngữ cảnh một triệu token và khả năng thị giác gốc, trong khi Inkling-Small là một kiến trúc khác với hỗ trợ đa phương thức khác — nên "cùng hậu huấn luyện, nền rẻ hơn" là cách diễn đạt của Cognition chứ không phải một biến số tách biệt.

Sự bất đối xứng trong việc thiết lập mức độ nỗ lực

SWE-2 được phát hành với ba mức nỗ lực suy luận đã được ghi trong tài liệu — medium, high và max — và buổi ra mắt tháng 9 của Cognition đã giải thích từng mức dùng để làm gì: medium bắt tay vào hành động sớm hơn, trong khi high và max lập kế hoạch nhiều hơn, khám phá nhiều hơn trong cơ sở mã và dành nhiều hơn cho việc xác minh. Tài liệu này cũng nêu rõ rằng điểm số tốt nhất của mỗi mô hình trên các thiết lập nỗ lực đều đã được báo cáo.

SWE-2 Flash hoàn toàn không ghi nhận cơ chế kiểm soát mức nỗ lực nào. Bài đăng ra mắt không đề cập đến điều này, và bảng benchmark không có cột thiết lập. Vì vậy, so sánh như được công bố là SWE-2 ở mức tốt nhất so với Flash ở một cấu hình không được nêu — đây chỉ là so sánh tương xứng nếu Flash chỉ có một thiết lập, và là một so sánh không công bằng theo hướng không xác định nếu nó có nhiều thiết lập.

Nếu Flash thực sự không có kiểm soát effort, thì đó là một khác biệt sản phẩm đáng được nêu rõ chứ không phải là một khoảng trống trong tài liệu. Effort là cách bạn đánh đổi chi phí lấy độ sâu theo từng tác vụ và một mô hình không có nó sẽ chỉ cho bạn một cài đặt duy nhất cho một hàng đợi chứa cả công việc tầm thường lẫn khó. Đó chính xác là sự đánh đổi mà tỷ lệ này được cho là giúp bạn thực hiện.

Mỗi cái thuộc hàng đợi nào

Cách Cognition tự diễn giải là chỉ dẫn trung thực nhất ở đây. Tài liệu nói rằng các mô hình nhỏ hơn “ngày càng có khả năng xử lý một phần đáng kể công việc mà các tác nhân phần mềm đảm nhận, chẳng hạn như tự động hóa, đánh giá mã, phát triển tính năng và cập nhật tài liệu”, và rằng SWE-2 Flash được phát triển cho công việc đó. Đối chiếu danh sách đó với hình thái của bộ chuẩn đánh giá, cả hai khớp nhau: các nhiệm vụ có phạm vi giới hạn, định nghĩa hoàn thành rõ ràng, khối lượng lớn, khả năng chấp nhận độ trễ thấp.

• Nếu tác vụ vừa trong một prompt và định nghĩa hoàn thành rõ ràng — một lượt đánh giá, một cập nhật tài liệu, một tính năng nhỏ, một tự động hóa theo lịch — thì Flash là mặc định phù hợp, và phép tính chi phí trên mỗi tác vụ được giải ở trên cho thấy nó rẻ hơn vài lần ngay cả khi nó giải được ít tác vụ hơn.

• Nếu agent phải quyết định việc cần làm tiếp theo nhiều hơn một vài lần — một đợt migration, một lần tái cấu trúc xuyên kho mã, một phiên gỡ lỗi mà giả thuyết đầu tiên thường sai — thì khoảng cách 13 điểm trên DeepSWE chính là thứ bạn đang mua với SWE-2, và tỷ lệ đó không bù đắp được cho nó.

• Nếu bạn không thể xác định một tác vụ thuộc loại nào trong số đó, hãy bắt đầu nó trên Flash và leo thang. Đó là quyết định mà Cognition đã xây dựng các mức nỗ lực trên SWE-2 để hỗ trợ, và việc Flash thiếu kiểm soát mức nỗ lực khiến việc leo thang trở thành một quyết định định tuyến thay vì một tham số.

Sai lầm cần tránh là lấy chiến thắng 0,2 điểm làm cớ để dịch chuyển hàng đợi khó. Đó chỉ là một đánh giá chuẩn, một phiên bản, một nhà cung cấp, và nằm trong chính độ nhạy của công cụ.

Ngoài Devin ra, cả hai đều không phải là ứng cử viên.

Cả hai mô hình đều không có API. Cả hai đều không có trọng số công khai. Nếu harness của bạn là của riêng bạn, thì cặp này không phải là lựa chọn mà bạn có thể đưa ra, và cửa sổ miễn phí không giúp được gì cho bạn — đó là một bản dùng thử nằm bên trong một sản phẩm mà bạn phải mua.

Nửa có thể tiếp cận của ngăn xếp này là phần nền tảng. Kimi K3 được định tuyến trên OrcaRouter với tên kimi/kimi-k3 ở mức $3.00 mỗi triệu token đầu vào và $15.00 mỗi triệu token đầu ra, với cửa sổ ngữ cảnh 1M token và khả năng gọi công cụ gốc, theo giá niêm yết của nhà cung cấp, không cộng thêm khoản chênh lệch. Một API bao phủ hơn 200 mô hình, khiến việc tách hàng đợi ở trên có thể triển khai bên ngoài Devin: một quy tắc định tuyến có thể gửi công việc có giới hạn đến một mô hình rẻ và chuyển các tác vụ dài hạn lên một mô hình mạnh hơn, mà phía khách hàng không biết mô hình nào đã trả lời. Cơ chế chuyển đổi dự phòng tự động nên nằm sau nhánh đã chuyển lên, vì mô hình mà bạn chuyển lên chính là mô hình mà bạn không thể để nó không khả dụng.

Đó là một sản phẩm khác với SWE-2 Flash, và nó không phải là sản phẩm thay thế cho SWE-2 Flash. Đó là việc bạn làm khi thứ bạn muốn đánh giá không có endpoint.

Điều gì sẽ giải quyết được chuyện đó?

Ba thông tin công bố sẽ biến so sánh này từ bảng của một nhà cung cấp thành bằng chứng. Một lần chạy độc lập DeepSWE 1.1 và Terminal-Bench 4.0 trên cả hai mô hình, do một bên không phải Cognition thực hiện và không dùng harness của Cognition. Một tuyên bố về thiết lập effort và scaffold đằng sau từng hàng trong bảng Flash, khớp với những gì bản ra mắt SWE-2 đã cung cấp. Và một lần chạy lặp lại, để có thể phân biệt mức chênh 0,2 điểm với phương sai giữa các lần chạy.

Cho đến lúc đó, cách diễn giải có thể bảo vệ được là cách diễn giải hẹp. SWE-2 Flash là một sản phẩm anh em được tối ưu chi phí, xây dựng trên một nền tảng nhỏ hơn nhiều, ngang bằng với SWE-2 trên bộ đánh giá mới nhất và kém rõ rệt ở các công việc dài hạn, được bán theo một tỷ lệ khiến nó rẻ hơn vài lần cho mỗi tác vụ được giải quyết dựa trên bằng chứng hiện có. Đó là một quyết định sản phẩm tốt và một tuyên bố kỹ thuật khiêm tốn. Chiến thắng 0,2 điểm không phải bằng chứng cho thấy nó đã thay thế bất cứ thứ gì — đó là bằng chứng rằng trên một công cụ đo, trong một ngày, khoảng cách đã thu hẹp đủ xa để biến mất vào nhiễu.