Flint v1.0 so với Qwen3.8 27B: Mô hình Recursive đã tự đánh giá chính mình để so sánh

Recursive đã đăng một câu trong Recursive Flint v1.0 tài liệu ra mắt mà phần lớn các bài đưa tin đã bỏ qua: trên mức trung bình sáu bài kiểm tra của chính công ty, chỉ có Qwen3.8 27B đạt điểm cao hơn Flint. Đó là một điều bất thường để một nhà cung cấp công bố trong ngày ra mắt. Đây cũng là câu hữu ích nhất trong thông cáo, vì nó cho bạn biết nên đi kiểm tra phép so sánh nào. Qwen3.8 27B là một mô hình dense trọng số mở, được phát hành ngày 14 tháng 8 năm 2026 theo Apache 2.0, và là mô hình duy nhất trong bộ so sánh của Recursive vượt Flint trên chỉ số tổng hợp do chính nhà cung cấp xây dựng. Vậy nên câu hỏi thú vị không phải là liệu Flint có tốt không. Mà là chính xác ở đâu Qwen3.8 27B tốt hơn, và liệu khoảng cách đó có chịu được sự xem xét của các bộ khung đánh giá liên quan hay không.

Hãy đọc yêu cầu của lớp trước khi đọc điểm.

Tuyên bố chính của Flint được giới hạn cẩn thận: nó dẫn đầu các mô hình hỗn hợp chuyên gia có tổng số tham số dưới 50 tỷ trên SWE-bench Pro v2, Terminal-Bench 2.1 và SWE-bench Verified. Qwen3.8 27B không phải là mô hình hỗn hợp chuyên gia. Nó là mô hình dense — 27 tỷ tham số, tất cả đều hoạt động cho mỗi token, 28 tỷ nếu tính cả bộ mã hóa thị giác, 64 lớp với kích thước ẩn 5.120. Vì vậy, do chính cách nó được thiết kế, nó nằm ngoài nhóm so sánh của Flint, và Recursive hoàn toàn có thể không đưa nó vào tuyên bố.

Đáng để nói rõ "dense" tốn gì và mang lại gì. Mỗi một trong 27 tỷ tham số của Qwen đều tham gia vào mỗi token, đó là lý do nó cần khoảng 55,6 GB ở BF16 và một GPU thực thụ, và cũng là lý do dấu chân kích hoạt của nó lớn hơn khoảng mười một lần so với Flint. Đó cũng là lý do một mô hình dense 27B có thể vượt một mô hình sparse với 2,5B tham số hoạt động về độ chính xác: nó thực hiện nhiều phép toán hơn trên mỗi token, và bạn phải trả giá cho điều đó.

Terminal-Bench 2.1: khoảng cách mười tám điểm

Đây là phép so sánh rõ ràng nhất hiện có, vì cả hai phòng thí nghiệm đều báo cáo cùng một phiên bản benchmark, và khoảng cách đủ lớn để nhiễu từ harness khó có thể giải thích toàn bộ điều đó.

• Flint — 54,9% trên Terminal-Bench 2.1, chạy trên harness Terminus 2 với internet được bật, nhưng mọi giải pháp có được thông qua truy xuất web đều bị tính là thất bại.

• Qwen3.8 27B — 73,0% trên Terminal-Bench 2.1, theo thẻ mô hình của Alibaba.

Đó là khoảng cách 18,1 điểm nghiêng về phía Qwen, trên bộ đánh giá chuẩn mô phỏng sát nhất công việc terminal mang tính tác tử — chính xác là loại công việc mà cả hai mô hình đều được chào bán để đảm nhận. Có hai lưu ý đi theo hai hướng trái ngược nhau và cả hai đều cần được nêu rõ.

Cách thứ nhất có lợi cho Flint. Recursive đã áp dụng một điểm trừ mà các đối thủ cùng loại có thể không áp dụng: nếu tác nhân tìm thấy câu trả lời trên web, Recursive chấm là sai. Một mô hình được phép tìm kiếm và trích dẫn sẽ đạt điểm cao hơn trên cùng bộ kiểm thử. Cao hơn bao nhiêu thì chưa rõ, và Recursive không công bố con số khi không bị áp dụng điểm trừ.

Điểm thứ hai đi ngược lại mọi cách lý giải rạch ròi. Một bên thứ ba, PrismML, cho Qwen3.8 27B đạt 69,7 trên Terminal-Bench 2.1, thay vì 73,0 của Alibaba. Mức chênh lệch 3,3 điểm trên cùng một mô hình và bộ đánh giá là một phép hiệu chuẩn hữu ích: nó cho bạn biết rằng các khoảng cách vài điểm trong bảng này chỉ là nhiễu, còn khoảng cách 18 điểm thì có lẽ không phải.

Ngay cả khi lấy con số thấp hơn của Qwen, 69,7 so với 54,9 vẫn còn chênh 14,8 điểm. Xu hướng thì không còn phải bàn cãi.

LiveCodeBench v6: khoảng trống thứ hai, trên một bộ đánh giá sạch hơn

Lập trình thi đấu là bài đánh giá ít nhạy cảm nhất với khung kiểm thử trong số các benchmark mà cả hai phòng thí nghiệm báo cáo, vì mô hình nhận một bài toán, tạo ra mã và một trình chấm chạy mã đó. Không có vòng lặp tác nhân nào để tạo ra khác biệt.

• Flint — 80,3% trên LiveCodeBench v6.

• Qwen3.8 27B — 90,3% trên LiveCodeBench v6.

Đó là một khoảng cách 10 điểm, và đây chính là điều tôi sẽ đặt trọng số lớn nhất, chính xác vì nó là thứ khó lý giải cho qua nhất. 80,3 của Flint là một con số đáng nể đối với một mô hình kích hoạt 2,5 tỷ tham số. 90,3 của Qwen là một con số mạnh đối với một mô hình kích hoạt 27 tỷ tham số. Cả hai đều không có gì đáng ngạc nhiên. Vấn đề là lợi thế hiệu quả mà Flint đang quảng bá không hề miễn phí, và benchmark này chính là nơi cái giá đó hiện rõ.

Bài kiểm chuẩn trông giống một chiến thắng của Flint nhưng không phải vậy

Đây chính là chỗ mà hầu hết các trang so sánh mắc lỗi, và điều đó đáng để ta chậm lại mà xem xét.

Flint báo cáo 89,7% trên SWE-bench Pro v2. Qwen3.8 27B báo cáo 61,7% trên SWE-bench Pro. Đọc nhanh, có vẻ như Flint thắng cách biệt 28 điểm. Đây hoàn toàn không phải là một phép so sánh. "v2" là một benchmark khác với benchmark mà Alibaba báo cáo, với tập tác vụ khác và giao thức đánh giá khác, và không thể trừ hai con số này cho nhau. Bất kỳ trang nào đặt chúng ở các cột cạnh nhau và tuyên bố ai thắng đều đang cho bạn biết điều gì đó về tác giả của trang đó, chứ không phải về các mô hình.

Cái bẫy tương tự nằm ở hàng ngay bên dưới. Flint báo cáo 74,2% trên SWE-bench Verified. Qwen3.8 27B không công bố điểm SWE-bench Verified — thẻ mô hình của Alibaba báo cáo SWE-bench Pro, QwenSWEBench ở 79,0, DeepSWE 1.1 ở 42,2, Terminal-Bench 2.1 ở 73,0, LiveCodeBench v6 ở 90,3 và NL2Repo-Bench ở 42,3. Không có con số Verified nào để so sánh. Những con số đang lưu hành về Qwen3.8 27B trên Verified hoặc là được kế thừa từ một mô hình trước đó trong dòng mô hình, hoặc được lấy từ một nguồn thứ cấp mâu thuẫn với thẻ mô hình ở nhiều benchmark khác cùng lúc. Hãy coi chúng là chưa được xác minh.

Một lưu ý bổ sung về phía Alibaba: các lần chạy SWE-bench Pro và QwenSWEBench của họ đã dùng một harness tác tử bên ngoài thay vì một mô hình trần, nên ngay cả việc so sánh với con số SWE-bench Pro của một phòng thí nghiệm khác cũng không vững chắc. Điều này không chỉ riêng Alibaba. Đây là tình trạng chung của các benchmark lập trình tác tử, và đó là lý do các dòng Terminal-Bench và LiveCodeBench ở đây có trọng lượng hơn các dòng SWE-bench.

Nơi Flint giành chiến thắng, và không hề sát nút

Độ chính xác không phải là trục duy nhất, và ở những trục khác, thứ tự đảo ngược rõ rệt.

Bộ nhớ — Flint chạy trong khoảng 24 GB, với bản dựng NVFP4 22,86 GB trên đĩa. Qwen3.8 27B cần khoảng 55,6 GB ở định dạng BF16. Một bên vừa vặn với một chiếc laptop cao cấp hoặc một card đồ họa tiêu dùng đơn lẻ; bên còn lại cần một khoản cấp phát GPU thực sự.

• Tính toán hoạt động trên mỗi token — Flint kích hoạt khoảng 2,5 tỷ tham số. Qwen kích hoạt toàn bộ 27 tỷ. Tỷ lệ đó chính là lý do tồn tại khoảng cách tốc độ và cũng là lý do Flint rẻ hơn khi phục vụ ở quy mô lớn.

• Tốc độ — Recursive tuyên bố đạt hơn 125 token mỗi giây trên một chiếc MacBook Pro M4 Pro và hơn 150 trên một RTX Spark 64 GB ở ngữ cảnh ngắn. Một mô hình dense 27B trên cùng chiếc laptop đó không nằm trong khoảng này. Qwen3.8 27B cũng được báo cáo là chậm khi chạy cục bộ và tiêu tốn token bất thường — Artificial Analysis đo được khoảng 160 triệu token đầu ra trong quá trình kiểm thử chỉ số của mình, đây là yếu tố nhân chi phí trong bất kỳ vòng lặp agent nào.

• Ngữ cảnh — cả hai đều có cửa sổ 262,144 token gốc và Qwen mở rộng lên 1,000,000 nhờ YaRN scaling. Thông báo của Flint nêu tối đa 512K. Trên lý thuyết, điều này là hòa nhau ở cửa sổ gốc; trên thực tế, thông lượng của Flint ở ngữ cảnh dài là câu chuyện yếu hơn, với kiểm thử độc lập báo cáo mức giảm xuống khoảng 9 token mỗi giây gần 115,000 token.

• Đa phương thức — Qwen3.8 27B chấp nhận hình ảnh và video cũng như văn bản, với bố cục chú ý lai gồm 48 lớp chú ý tuyến tính Gated DeltaNet so với 16 lớp chú ý đầy đủ theo tỷ lệ 3:1, và chính điều này khiến một cửa sổ 262K trở nên khả thi về chi phí khi phục vụ. Flint chỉ hỗ trợ văn bản.

Điều bạn thực sự đang lựa chọn

• Nếu mục tiêu là độ chính xác lập trình tối đa và bạn có phần cứng phù hợp, Qwen3.8 27B là mô hình mạnh hơn trên mọi benchmark có thể so sánh rõ ràng giữa hai mô hình. Đó cũng là điều mà mức trung bình qua sáu bài kiểm tra của chính Recursive cho thấy.

• Nếu mô hình phải chạy trên laptop, hoạt động ngoại tuyến, giữ mã nguồn trên máy, hoặc phục vụ đủ khối lượng mà các tham số hoạt động chiếm ưu thế trong hóa đơn, Flint thắng trên trục quyết định việc triển khai. Một mô hình 2.5B hoạt động ở tốc độ 125 token mỗi giây là một sản phẩm khác với một mô hình dày đặc 27B cần một nút GPU.

• Nếu bạn muốn cả hai, chúng kết hợp với nhau rất tốt: mô hình cục bộ cho những công việc thường ngày và nhạy cảm, mô hình chạy trên nền tảng hosted cho những tác vụ khó. Cách phân chia đó chính là điều mà hầu hết các nhóm đều hướng tới, và đó cũng là lúc lớp định tuyến không còn chỉ là một chi tiết nhỏ nữa.

Qwen3.8 27B là mô hình duy nhất trong so sánh này mà OrcaRouter phục vụ trực tiếp — định danh là qwen/qwen3.8-27b trong danh sách mô hình đang hoạt động của chúng tôi, và nó chấp nhận văn bản, hình ảnh và video với cửa sổ đầy đủ 262.144 vị trí. Vì giá niêm yết của nhà cung cấp được chuyển thẳng không cộng thêm phụ phí, thay đổi giá phía Alibaba sẽ có hiệu lực phía chúng tôi ngay trong cùng ngày thay vì ở lần gia hạn tiếp theo. OrcaRouter không phục vụ Flint; mô hình đó là bản tải về. Vì vậy, thiết lập kết hợp ở trên thực sự là kết hợp: một đường đến mô hình đẳng cấp tiên phong được lưu trữ, và một tệp cục bộ cho mọi thứ không được rời khỏi máy.

Thí nghiệm mà chưa ai từng thực hiện

Mọi con số trong bài viết này đều đến từ một phòng thí nghiệm tự đo mô hình của chính mình, với một ngoại lệ — mức chênh lệch 3,3 điểm giữa PrismML và Alibaba trên Terminal-Bench, đây là manh mối duy nhất hiện có về mức độ những con số này có thể thay đổi khi người khác cầm đồng hồ bấm giây.

Điều có thể giải quyết chuyện này rất đơn giản và vẫn chưa xảy ra: cả hai mô hình, cùng một harness, cùng một bộ tác vụ, cùng một máy, công bố trace. Cho đến lúc đó, lập trường có thể bảo vệ được là lập trường hẹp. Trên các benchmark mà cả hai phòng lab báo cáo một cách trung thực, Qwen3.8 27B là coder chính xác hơn. Trên các trục triển khai quyết định liệu một mô hình có thể chạy được hay không, Flint là cái hiệu quả hơn. Recursive đã nói điều đó trước tiên, trong bài đăng ra mắt của chính mình, và đó là điều đáng tin cậy nhất trong toàn bộ bản phát hành.