Thẻ tiêu đề cho MAI Code 2 so với SWE-2. MAI Code 2 được hiển thị là mô hình của Microsoft bên trong GitHub Copilot không có API, có giá $0,50 cho đầu vào và $2,50 cho đầu ra trên mỗi triệu token, không có tỷ lệ vượt qua được công bố và không có trọng số. SWE-2 được hiển thị là mô hình của Cognition bên trong Devin không có giá theo token, đạt 73,0% trên DeepSWE 1.1, 92,8% trên Terminal-Bench 2.1 và 27,3% trên Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Cùng hai bộ benchmark, nhưng chỉ một bên công bố chúng

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

MAI Code 2 và SWE-2 nhắc đến gần như y hệt cùng những benchmark trong tài liệu ra mắt của mình, và chỉ một trong số đó cho biết nó đạt điểm bao nhiêu. Bài đăng ngày 17 tháng 11 năm 2026 của Microsoft liệt kê DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas và FrontierCode v1.1 rồi báo cáo các tỷ lệ: đạt 96% hiệu năng của Claude Opus 5.5 với 5% chi phí. Bài đăng về SWE-2 của Cognition, xuất bản ngày 10 tháng 9 năm 2026, liệt kê hai benchmark đầu tiên giống hệt và in ra một con số cho mỗi benchmark: 73,0% trên DeepSWE 1.1, 92,8% trên Terminal-Bench 2.1, 27,3% trên Terminal-Bench 4.0. Con số thứ ba đó là con số cần giữ lại, vì đó là phiên bản mà Microsoft không báo cáo — và nó cho thấy điều gì xảy ra với một mô hình lập trình khi benchmark terminal trở nên khó hơn.

Cả hai mô hình cũng có chung một ràng buộc phân phối khiến chúng trở nên khác thường trong nhóm so sánh này: không mô hình nào có API công khai tính theo token. Có thể truy cập MAI Code 2 bằng cách chọn nó trong ứng dụng khách GitHub Copilot. SWE-2 chạy bên trong Devin. Hai mô hình mà bạn không thể gọi từ mã của riêng mình, một trong số đó công bố các con số của nó.

Ấn bản chuẩn mực mà không ai mở đầu bằng

Bảng của Cognition là tài liệu hữu ích nhất mà hai nhà cung cấp này đã công bố, và không phải vì SWE-2 thắng được gì trên đó. Nó hữu ích vì cho thấy cùng một mô hình được đo trên hai phiên bản của cùng một benchmark.

• Terminal-Bench 2.1 — SWE-2 đạt 92,8%, so với 91,4% của Claude Fable 5.1, 89,9% của GPT-6 Astra và 88,3% của Kimi K3

• Terminal-Bench 4.0 — SWE-2 đạt 27,3%, so với 55,8% của Claude Fable 5.1, 57,9% của GPT-6 Astra và 21,5% của Kimi K3

• DeepSWE 1.1 — SWE-2 đạt 73.0%, so với 74.1% của GPT-6 Astra, 72.7% của GPT-5.6 Sol và 67.4% của Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 đạt 50,0%, so với 53,3% của GPT-6 Astra và 50,9% của Claude Fable 5.1

Đọc hai dòng đầu tiên cùng nhau. SWE-2 đứng thứ hai trên 2.1 và áp chót trên 4.0, giảm khoảng 65 điểm, và nó không đơn độc: Kimi K3 giảm 67 điểm qua cùng cặp phiên bản đó. Những mô hình trụ vững là những mô hình được tinh chỉnh cho công việc tầm xa. Đây không phải là điểm dị thường trong harness của một phòng thí nghiệm — mà là phiên bản benchmark đang trở nên khó hơn, và đó chính xác là lý do vì sao “chúng tôi đã chạy Terminal Bench 2.1” là một tuyên bố yếu hơn vào tháng 11 năm 2026 so với tháng 9.

Microsoft đã chạy Terminal Bench 2.1. Microsoft không công bố điểm nào trên đó. Microsoft không công bố gì về 4.0. Ba sự thật đó cộng lại nghĩa là người mua không thể biết MAI Code 2 là loại mô hình lập trình nào: loại vẫn trụ vững khi các tác vụ terminal trở nên dài hơn, hay loại không làm được như vậy.

Mỗi nhà cung cấp thực sự đã tiết lộ những gì

Khoảng cách về công bố thông tin còn lớn hơn cả mức giá của các mô hình, nên điều đó đáng được nói rõ ràng.

Cognition đã công bố một bảng bảy mô hình với bốn benchmark, một bộ so sánh được nêu rõ, một ghi chú rằng các mô hình đối thủ được chạy trong CLI của chính Cognition ở mức nỗ lực suy luận tốt nhất của chúng, và một tiết lộ trung thực về điều mà hãng đã loại trừ: Claude Fable 5.1 ở mức nỗ lực tối đa đạt 50,3% trên FrontierCode với chi phí 12,83 USD mỗi tác vụ, thấp hơn kết quả ở mức nỗ lực trung bình của chính nó, nên nó đã bị loại khỏi biểu đồ. Một nhà cung cấp cho bạn biết điểm dữ liệu nào họ đã loại bỏ là nhà cung cấp đang trao cho bạn công cụ để đánh giá thấp bảng số liệu của họ.

Microsoft đã công bố tên các benchmark, harness — MSBench, nền tảng đánh giá nội bộ của mình, thông qua GitHub Copilot CLI với các subagent bị tắt và mọi mô hình đều ở mức nỗ lực suy luận tối đa — cùng các tỷ lệ mà các benchmark đó đạt được khi lấy trung bình. Hãng không công bố tỷ lệ đạt nào cho MAI Code 2 trên bất kỳ benchmark nào trong bốn benchmark đó, không có số lượng tham số, không có giới hạn đầu ra, và không có bảng so sánh với các đối thủ được nêu tên ngoài hai tỷ lệ đó. Tính đến ngày 18 tháng 11 năm 2026, Artificial Analysis không có hàng nào cho mô hình này, vì vậy không có kết quả đánh giá từ bên thứ ba để thay thế.

Một trong hai tiết lộ này cho phép bạn tái tạo lại lập luận. Tiết lộ còn lại yêu cầu bạn chấp nhận một kết luận.

Không mô hình nào là endpoint, và điều đó làm thay đổi việc mua hàng.

SWE-2 không có giá công bố trên mỗi token và không có API công khai. Bài đăng của Cognition cho biết nó có mặt trong Devin Desktop và CLI, sẽ được triển khai dần sang Devin Web và Fusion, và những con số chi phí duy nhất trong đó là chi phí benchmark cho mỗi tác vụ — kiểu con số bạn đưa ra để cho thấy đối thủ đắt đỏ, chứ không phải kiểu con số bạn dùng để lập hóa đơn.

MAI Code 2 có bảng giá do GitHub công bố: 0,50 USD mỗi triệu token đầu vào, 0,025 USD cho token được lưu đệm, 2,50 USD cho đầu ra, áp dụng khuyến mãi đến ngày 17 tháng 5 năm 2027, sau đó là 1,00 USD / 0,05 USD / 5,00 USD. Nó không có API riêng. MAI Code 2 Flash, phiên bản nhỏ hơn trong cùng dòng, là mô hình duy nhất trong gia đình có API — bản xem trước hạn chế quyền truy cập trong Microsoft Foundry thông qua Responses API tương thích với OpenAI.

• Giá — MAI Code 2 ở mức $0.50 / $0.025 / $2.50 mỗi triệu token, giá khuyến mại đến 17 tháng 5 năm 2027, trong khi SWE-2 không có giá công bố theo token

• Quyền truy cập — một suất GitHub Copilot trên các gói Pro, Pro+, Max, Business và Enterprise, so với gói đăng ký Devin trên Desktop và CLI

• Trọng lượng — không được phân bổ ở bên nào

• Ngữ cảnh — không có số liệu ngữ cảnh nào được công bố cho SWE-2, so với 1 triệu token trên MAI Code 2 chỉ khả dụng trong Visual Studio Code và Copilot CLI

• Điểm chuẩn được công bố — không có cho MAI Code 2, so với bốn của SWE-2

• Hàng chỉ mục độc lập — không mô hình nào có

Kết quả thực tế là cả hai giao dịch mua đều là mua theo ghế chứ không phải mua theo token, và chỉ một trong hai đi kèm một thước đo mà bạn có thể mô hình hóa. Nếu nhóm tài chính của bạn cần chi phí trên một đơn vị, MAI Code 2 cung cấp được con số đó còn SWE-2 thì không. Nếu nhóm kỹ thuật của bạn cần biết liệu mô hình có cải thiện trên các kho mã của bạn hay không, SWE-2 cung cấp một bảng so sánh còn MAI Code 2 cung cấp một tỷ lệ.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Mỗi mô hình được xây dựng để làm gì

Bản tóm tắt của Microsoft về MAI Code 2 là công việc doanh nghiệp hằng ngày: đưa mã nguồn lên production, gỡ lỗi chuyên sâu, triển khai nhiều tệp, suy luận trên toàn bộ repo, UI và dashboard. Bài đăng ra mắt thẳng thắn rằng các mô hình "rõ ràng là chưa được tinh chỉnh cho những bài toán khó hơn, như nghiên cứu khoa học cơ bản và công việc tác tử có chân trời rất dài" — một câu nằm ngượng nghịu bên cạnh tuyên bố về Terminal Bench 2.1, vì Terminal-Bench là một benchmark tác tử có chân trời dài. Cách định vị của chính Microsoft cho thấy hãng đã không tinh chỉnh cho thứ mà benchmark đó đo lường.

Bản tóm tắt của Cognition về SWE-2 lại đi theo hướng ngược lại: ít bước hơn, rollout rẻ hơn, một mô hình được đồng thiết kế với agent vận hành nó. Bài đăng báo cáo số bước trung bình mỗi lần chạy giảm còn 53 trên SWE-2 medium so với 127 của SWE-1.7, medium tốn ít hơn 81% so với SWE-1.7, và trung vị 18 bước để đến chỉnh sửa thực sự đầu tiên so với 48. Đó là những tuyên bố kỹ thuật về hiệu quả của agent, và chúng quan trọng hơn với một người đăng ký Devin so với bất kỳ dòng benchmark nào, vì chúng quyết định một tác vụ tiêu tốn bao nhiêu trong hạn mức hàng tháng.

Vậy là hai mô hình lại được tinh chỉnh nhắm đến những mục tiêu khác nhau: một cho tác vụ hằng ngày bên trong IDE, một cho số bước bên trong một tác nhân tự trị. Không mô hình nào là phiên bản tốt hơn của mô hình kia.

Nơi bộ định tuyến chứng tỏ được vai trò của mình khi cả hai mô hình đều không thể định tuyến

Cả MAI Code 2 lẫn SWE-2 đều không có trong danh mục của OrcaRouter, và không có cách nào trung thực để nói khác đi: một cái là mục trong trình chọn mô hình của Copilot, cái còn lại nằm bên trong Devin. Điều mà một lớp định tuyến thay đổi không phải là quyền truy cập vào hai mô hình đó, mà là chi phí xây dựng phép so sánh. Mô hình đối chứng trong bất kỳ đánh giá nào về chúng phải là một mô hình bạn có thể gọi và đo — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — và những mô hình đó nằm sau một khóa duy nhất với giá niêm yết của nhà cung cấp và mức markup 0%, nên một lần chạy benchmark với chúng sẽ được tính phí đúng theo mức giá của nhà cung cấp.

Điều đó ở đây quan trọng hơn trong hầu hết các phép so sánh, vì câu hỏi thú vị về cả hai mô hình mang tính so sánh: liệu một mô hình lập trình thường ngày có đánh bại một mô hình tiên phong về chi phí mỗi lần merge, trên mã của bạn, hay không? Bạn không thể trả lời bằng cách đọc hai bảng của nhà cung cấp được tạo trên hai bộ khung đánh giá. Bạn có thể trả lời bằng cách chạy mô hình có thể đo lường song song với mô hình nào trong hai mô hình mà nhóm bạn thực sự có thể tiếp cận, và đếm các tác vụ đã hoàn thành thay vì token. Chuyển đổi dự phòng tự động chính là thứ giữ cho phép so sánh đó tiếp tục chạy khi giới hạn tần suất của nhà cung cấp xảy ra giữa chừng, và vì giá được chuyển tiếp theo giá niêm yết, chi phí mỗi tác vụ của nhóm đối chứng không bị thổi phồng bởi lớp bạn đang dùng để đo lường nó.

Nên chọn cái nào, dựa trên những gì bạn có thể xác minh

• Đội của bạn đang dùng Devin và bạn muốn ít bước hơn mỗi lần triển khai — SWE-2, và các con số về số bước và mức giảm chi phí trong bài đăng của Cognition là những thứ quyết định điều đó.

• Nhóm của bạn đang dùng Copilot và bạn muốn có token rẻ để sửa chữa thường ngày — MAI Code 2 ở mức $0.50 và $2.50, được mô hình hóa theo mức giá tháng 5/2027 đã tăng gấp đôi cũng như mức giá khuyến mãi.

• Bạn cần bảo vệ lựa chọn bằng một con số — SWE-2, vì nó công bố bốn còn mô hình kia không công bố gì.

• Bạn cần công việc tác nhân dài hạn — theo bằng chứng hiện có, không bên nào đáp ứng được. Microsoft nói họ không tinh chỉnh cho việc đó; bảng của chính SWE-2 cho thấy mức sụt 65 điểm khi benchmark trở nên khó hơn.

• Bạn cần một mô hình chi phí theo token — MAI Code 2, vì SWE-2 không có mức giá công bố để mô hình hóa.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

Điều đáng chú ý là liệu Microsoft có bao giờ công bố con số khiến phép so sánh này trở nên thực chất hay không. Tỷ lệ đạt Terminal Bench 2.1 sẽ làm được điều đó; tỷ lệ Terminal Bench 4.0 sẽ giải quyết dứt điểm, vì đó là phiên bản mà bảng của chính SWE-2 cho thấy một mô hình lập trình trông như thế nào khi các tác vụ trở nên dài hơn. Cho đến khi một trong những con số đó tồn tại, MAI Code 2 chỉ là một bảng giá kèm theo một lời hứa, còn SWE-2 là một bảng kèm theo số bước, và chỉ một trong hai có thể được kiểm chứng từ bên ngoài nhà cung cấp.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

So sánh trong bài viết này1

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày