Recursive Flint 40B-A2.5B: Một mô hình lập trình được xây dựng để ưu tiên tốc độ hàng đầu

Con số quyết định liệu Recursive Flint 40B-A2.5B có đáng chiếm dung lượng ổ đĩa của bạn hay không không phải là 54,9%. Mà là 2,5. Mô hình lập trình trọng số mở đầu tiên của Recursive mang 39,8 tỷ tham số và chỉ đánh thức khoảng 2,5 tỷ trong số đó cho mỗi token nó viết, và gần như mọi quyết định khác trong bản phát hành — cách bố trí attention, công thức lượng tử hóa, kernel Metal tùy chỉnh, động cơ suy luận — đều bắt nguồn từ tỷ lệ đó. Flint ra mắt ngày 21 tháng 10 năm 2026 theo Apache 2.0, khiến nó mới một ngày tuổi tại thời điểm viết bài và nằm trong khoảng thời gian mà một màn ra mắt vẫn còn là tin tức chứ chưa phải lịch sử. Bởi vì một bảng benchmark mới một ngày tuổi là lời hứa chứ không phải phép đo, chúng tôi lưu giữ hồ sơ vận hành thực tế riêng: the AI Incident Archive ghi lại cách các tuyên bố về mô hình và nhà cung cấp đã đứng vững ra sao khi chúng phục vụ lưu lượng thực tế.

Bản tóm tắt ngắn gọn cho bất kỳ ai đang cân nhắc ngay lúc này: đây là một mô hình mixture-of-experts thưa được xây dựng để trở thành thứ nhanh nhất trong cùng phân khúc của nó trên máy tính xách tay, nó công bố ba điểm số agentic coding đều do nhà cung cấp báo cáo và chưa được tái lập, và đây là mô hình đầu tiên đến từ một công ty có mục đích được nêu rõ là tự động hóa nghiên cứu tạo ra các mô hình. Cả ba sự thật đó đều quan trọng, và sự thật thứ ba là điều vẫn sẽ còn thú vị sau một năm nữa.

Những gì thực sự đã được phát hành

Bốn kho lưu trữ, không phải một. Kho chính RecursiveSI/flint chứa checkpoint BF16, cấu hình, tokenizer, mẫu trò chuyện và bộ công cụ phục vụ SGLang, và nó được tạo vào ngày 21 tháng 10 năm 2026 lúc 14:20 UTC. Ba biến thể lượng tử hóa nằm bên cạnh nó, tất cả đều được ghi mốc vào cùng buổi chiều hôm đó: một bản dựng int4 safetensors, một int4 GGUF và một NVFP4 GGUF. Mọi kích thước bên dưới đều được đo từ danh sách tệp của chính các kho lưu trữ thay vì trích dẫn từ thông báo.

• Tham chiếu BF16 — 79,59GB trên 37 tệp, trong 15 phân đoạn safetensors khoảng 5,37GB mỗi phân đoạn. Đây là sản phẩm tinh chỉnh, và là bản mà bạn không muốn tải xuống để suy luận.

• NVFP4 GGUF — 22.86GB trong một tệp duy nhất, bản dựng suy luận hoàn chỉnh nhỏ nhất đã được công bố.

• Int4 GGUF — 25.99GB, một lượng tử hóa q4_1 lớn hơn tệp NVFP4, điều này ngược với thứ tự đặt tên và đáng biết trước khi bạn chọn theo tên tệp.

• Int4 safetensors — 22,58GB, dành cho các runtime ưu tiên trọng số được phân mảnh thay vì một GGUF đơn.

Giấy phép là Apache 2.0, với thẻ mô hình bổ sung điểm phân biệt rằng các điều khoản API được lưu trữ và thực tiễn dữ liệu tách biệt với giấy phép trọng số — sự tách biệt thông thường, được nêu rõ ràng thay vì bị chôn vùi.

Kiến trúc này là một lập luận về băng thông bộ nhớ.

Trên một laptop, việc giải mã một token không chủ yếu là vấn đề tính toán. Đó là vấn đề di chuyển trọng số từ bộ nhớ đến các đơn vị số học đủ nhanh, và đó là lý do một mô hình dày đặc 40 tỷ tham số vẫn chậm dù chip có tốt đến đâu: mỗi token đều đọc mọi trọng số. Câu trả lời của Flint là gần như không đọc trọng số nào trong số đó.

• Độ thưa — 256 chuyên gia được định tuyến trên mỗi lớp MoE, với 6 chuyên gia được chọn cho mỗi token, cùng một chuyên gia chia sẻ luôn hoạt động. Trong 49 lớp, có 2 lớp dense và 47 lớp MoE, nên tất cả trừ hai lớp đầu đều đang thực hiện công việc có điều kiện.

• Tham số hoạt động — tổng cộng 39,8B, khoảng 2,5B hoạt động trên mỗi token khi tính cả output head, đây là nguồn gốc của ký hiệu “40B-A2.5B”. Chỉ riêng phần thân hoạt động là khoảng 2,2B.

• Cơ chế chú ý — 35 lớp cửa sổ trượt với cửa sổ 513 token (token hiện tại cộng với 512 token trước đó) xen kẽ với 14 lớp chú ý đầy đủ. Chỉ có 32 đầu truy vấn và 4 đầu khóa-giá trị, với kích thước mỗi đầu là 128, nhờ đó bộ nhớ đệm KV vẫn đủ nhỏ để các phiên tác tử dài trở nên khả thi.

• Mã hóa vị trí — rotary embeddings trên các lớp cửa sổ trượt và không hề có trên các lớp full-attention, một lựa chọn được model card nêu ra mà không giải thích. QK RMSNorm theo từng head và các attention sink theo từng head được học đang đảm nhận vai trò ổn định mà mã hóa vị trí thường chia sẻ.

• Ngữ cảnh — 262.144 token được ghi trong tài liệu, và thẻ mô hình nói rõ rằng con số này bao gồm cả prompt và đầu ra được tạo cùng nhau. Thông báo quảng cáo “lên tới 512k” rồi sau đó khuyến nghị giữ trong phạm vi 256k khi lập trình. Cả hai phát biểu đều đến từ cùng một nhà cung cấp, chỉ cách nhau một đoạn văn.

Chi tiết đáng chú ý là cách hình dạng này được chọn. Recursive cho biết Eureka Machine của mình — một vòng lặp nghiên cứu tự động đề xuất ý tưởng, triển khai chúng, kiểm thử chúng và kết hợp những gì hiệu quả — đã khởi đầu từ một baseline 35 tỷ tham số với 3 tỷ tham số hoạt động và tìm kiếm trên nhiều cấu hình chuyên gia và độ rộng. Cấu hình 40B/2.5B thu được, theo cách diễn đạt của chính thông báo, là cấu hình "được dự phóng sẽ mang lại sự kết hợp tốt nhất giữa tốc độ và hiệu năng lập trình trong số các cấu hình mà Eureka Machine của chúng tôi đã kiểm thử." Được dự phóng, chứ không được chứng minh bằng một cuộc đối đầu trực tiếp giữa các mô hình hoàn chỉnh. Đó là một cách bình thường để chọn kiến trúc khi các lần chạy huấn luyện tốn kém, và đó cũng là một tuyên bố mà một checkpoint sau này có thể lặng lẽ phủ định.

Ba điểm số và những chú thích đi kèm với chúng

Flint đạt 54,9% trên Terminal-Bench 2.1, 89,7% trên SWE-bench Pro v2 và 74,2% trên SWE-bench Verified. Những con số đó xuất hiện trong thẻ mô hình dưới dạng đánh giá phát hành, và chưa có bên thứ ba nào công bố phép đo cho mô hình này — chỉ mục mô hình Artificial Analysis, trọng tài độc lập thường thấy cho một đợt ra mắt như thế này, hoàn toàn không có mục Flint nào tính đến ngày 22 tháng 10. Vì vậy mọi thứ dưới đây là Recursive tự đo Recursive.

Những gì nhà cung cấp thực sự tiết lộ về phương pháp luận của chính mình nhiều hơn những gì hầu hết các bài đăng ra mắt tự nguyện cung cấp, và điều đó thay đổi cách đọc các con số:

• Terminal-Bench 2.1 — được chạy với harness Terminus 2, bật quyền truy cập internet, và các giải pháp đạt được thông qua truy xuất web bị tính là thất bại. Điều chỉnh cuối cùng đó là một điểm bất lợi có chủ đích, và thẻ mô hình lưu ý rằng điểm số đã công bố của các nhà phát triển khác có thể không áp dụng nó, khiến việc so sánh tương đương với các con số của bên thứ ba trở nên khó hơn chứ không phải dễ hơn.

• SWE-bench Pro v2 và SWE-bench Verified — chạy với mini-swe-agent và hoàn toàn không có quyền truy cập internet, một thiết lập khó hơn so với các tác nhân có thể tìm kiếm tài liệu giữa tác vụ.

• Số lần thử và thời gian chờ — pass@1 trung bình qua ít nhất năm lần thử, với thời gian chờ của tác nhân lên tới năm giờ. Lấy trung bình năm lần thử là một quy trình hợp lý; thời gian chờ năm giờ nghĩa là đây là điểm số dành cho một tác nhân mà bạn sẵn sàng để chạy liên tục, chứ không phải cho một autocomplete.

• Lấy mẫu — temperature 1.0, top-p 0.95, top-k 20 trong mọi đánh giá, và bộ công cụ phục vụ sẽ áp dụng các giá trị mặc định đó khi yêu cầu không chỉ định chúng.

Bảng benchmark của một nhà cung cấp cũng là một tuyên bố về việc họ đã chọn những đối thủ ngang hàng nào. Biểu đồ của chính Recursive so sánh Flint với Qwen 3.5, Qwen 3.6, Qwen 3.8, Laguna XS 21, Muse Glimmer và Gemma 4 — những mô hình cục bộ phù hợp với phần cứng tương tự, đây là nhóm ngang hàng trung thực cho một mô hình laptop và cũng là nhóm được chọn để làm cho lập luận về độ thưa trông có lợi. Tuyên bố được đưa ra là hẹp và có thể bảo vệ được: Flint dẫn đầu các mô hình MoE dưới 50 tỷ tổng tham số về lập trình tác tử, và sánh ngang với các mô hình dense 25 đến 40 tỷ tham số trong khi chạy nhanh hơn nhiều. Đây không phải là tuyên bố về các mô hình lập trình tiên phong, và Recursive không đưa ra tuyên bố như vậy — thông báo nói thẳng rằng Flint "có thể cần nhiều hướng dẫn hơn so với các mô hình lập trình mã nguồn đóng lớn hơn mà bạn quen dùng."

Tốc độ: 2× thực chất được đo so với điều gì

Recursive báo cáo tốc độ hơn 125 token/giây trên M4 Pro MacBook Pro và hơn 150 token/giây trên NVIDIA RTX Spark 64GB ở các ngữ cảnh ngắn, mô tả mức đó là nhanh tối đa gấp đôi các mô hình tương đương và nhanh hơn gấp năm lần so với các mô hình dense 25 đến 40 tỷ tham số có điểm lập trình tương tự. Chú thích phương pháp luận trên biểu đồ tốc độ là phần đáng đọc: tốc độ trung bình token/giây xuyên suốt một phiên 128.000 token, không tính prefill, trong đó một đối thủ được đo ở 124k thay vì toàn bộ độ dài.

Loại trừ prefill là thông lệ tiêu chuẩn khi benchmark decode và điều đó vẫn quan trọng ở đây, vì prefill chính là nơi một coding agent dành thời gian khi nó đổ cả một repository vào context window. Một con số chỉ đo nửa decode của một phiên 128k sẽ tô hồng cho bất kỳ mô hình nào có sparse activation, và toàn bộ thiết kế của Flint là sparse activation. Không điều nào trong số đó khiến con số này sai. Nó chỉ khiến đây là một con số decode, và nên được so sánh với các con số decode khác thay vì so với việc agent của bạn mất bao lâu để hoàn thành một tác vụ.

Công thức lượng tử hoá là phần dễ chuyển giao nhất

Hầu hết các bài viết về lượng tử hóa đều xoay quanh việc đã mất bao nhiêu độ chính xác. Bài này lại nói về một quyết định đi ngược với thông lệ.

Recursive đã lượng tử hóa lớp đầu ra — lm_head — xuống 4 bit. Điều này trái với thông lệ, và lý do mang tính đặc thù của các mô hình thưa: với chỉ 2,5 tỷ tham số hoạt động, lớp đầu ra chiếm một phần lớn trọng số được đọc cho mỗi token, nên để nó ở 16 bit sẽ giới hạn tốc độ tối đa mà mô hình có thể đạt được. Việc khôi phục độ chính xác đòi hỏi một giai đoạn chưng cất ngoại tuyến, trong đó mô hình đã lượng tử hóa huấn luyện trên các phản hồi được lấy mẫu trước của chính nó từ một coreset do chính nó khám phá, với mô hình 16 bit làm giáo viên — một thiết lập mà Recursive nói gần như giảm một nửa số bước huấn luyện so với baseline huấn luyện nhận biết lượng tử hóa của nó.

Kết quả được công bố là mô hình NVFP4 cuối cùng đạt điểm trong phạm vi 0,7 điểm so với mô hình 16-bit trên toàn bộ bộ benchmark. Đó là tuyên bố của nhà cung cấp, và đây là kiểu tuyên bố dễ kiểm chứng về sau nhưng tốn kém để làm giả, khiến nó trở thành một tuyên bố hữu ích để buộc họ phải chịu trách nhiệm. Hệ quả thực tế là các kích thước tệp ở trên: một bản tải xuống 22,86GB chạy một mô hình 39,8 tỷ tham số trên máy có 48GB bộ nhớ hợp nhất.

Trên Apple Silicon còn có một lớp thứ hai. Eureka Machine của Recursive đã tạo ra các kernel chuyên dụng cho phép chiếu bit thấp, các phép toán MoE, attention và xử lý prompt, bao gồm một megakernel Metal hợp nhất toàn bộ lượt truyền xuôi giải mã thành một lần dispatch trên chip M4 và M5. Hợp nhất lượt giải mã là kiểu tối ưu chỉ mang lại lợi ích khi bạn kiểm soát đồng thời kiến trúc mô hình, định dạng lượng tử hóa và kernel — đó mới là luận điểm thực sự của bản phát hành này, hơn bất kỳ con số benchmark đơn lẻ nào.

Cách bạn vận hành nó và mỗi con đường khiến bạn phải trả giá những gì

Có hai kịch bản triển khai khác biệt và chúng không thể hoán đổi cho nhau.

• GPU máy chủ — checkpoint BF16 đi kèm bộ công cụ phục vụ SGLang nhắm tới một B300 hoặc một H200 cho mỗi bản sao, cung cấp endpoint tương thích OpenAI trên cổng 30000 với tên mô hình flint, và bao gồm một client mẫu cho suy luận và gọi công cụ. Đây là con đường được hỗ trợ duy nhất cho trọng số độ chính xác đầy đủ; thẻ mô hình nói rõ rằng mã mô hình hóa Transformers chưa được bao gồm.

• Máy cục bộ — llama.cpp, Ollama, Unsloth, LM Studio, vLLM và SGLang đều được nêu là được hỗ trợ, mức độ bao phủ này là bất thường đối với một mô hình trong ngày ra mắt và chính là sự khác biệt giữa một checkpoint và một sản phẩm có thể sử dụng được.

• rec engine — công cụ suy luận riêng của Recursive, được cài đặt vào ~/.local/bin, yêu cầu M4 Pro, M5 Pro hoặc M5 Max với ít nhất 48GB bộ nhớ hợp nhất và khoảng 30GB dung lượng đĩa trống, đồng thời cung cấp cục bộ một API tương thích OpenAI. README của nó tuyên bố thông lượng token cao hơn llama.cpp từ 1,4× đến 2,6× trên M4 Pro với trọng số 4-bit, trên các prompt từ 1.000 đến 252.000 token với 1.024 token đầu ra, năm lần chạy cho mỗi độ dài ngữ cảnh, không tính prefill. Công cụ này được tối ưu rõ ràng cho việc dùng một phiên — chạy nhiều tác nhân cùng lúc thì tài liệu sẽ hướng bạn đi nơi khác.

Những lưu ý thực tế quyết định một phiên làm việc có suôn sẻ hay không: cửa sổ ngữ cảnh được chia sẻ giữa prompt và đầu ra, những bài toán khó cần ngân sách đầu ra tối thiểu 32.768 token bao gồm cả phần suy luận, và reasoning_content được trả về phải được giữ lại trong lịch sử hội thoại, nếu không việc sử dụng công cụ qua nhiều lượt sẽ bị giảm chất lượng. Hướng dẫn của chính Recursive cho các tác vụ phức tạp là chia nhỏ công việc thành các tác vụ con với chỉ dẫn rõ ràng, đây là lời khuyên trung thực mà cũng giống như một mô tả về giới hạn trần của mô hình.

Điều gì thực sự chưa được chứng minh

Ba điều, theo thứ tự giảm dần về mức độ chúng nên ảnh hưởng đến một quyết định.

Điều đầu tiên là đo lường độc lập. Không có. Không phải một điểm số thấp trên bảng xếp hạng, cũng không phải một điểm số gây tranh cãi — chưa có đánh giá nào của bên thứ ba về Flint, và những con số duy nhất đang lưu hành là của nhà cung cấp, được tạo ra bằng các lựa chọn harness của chính nhà cung cấp và cách nhà cung cấp hiệu chỉnh cho truy xuất web. Phương pháp luận được công bố đủ rõ để có thể kiểm toán, đó là điều tối đa bạn có thể yêu cầu vào ngày đầu tiên, nhưng được công bố không có nghĩa là đã được xác minh.

Điều thứ hai là liệu một mô hình có 2,5 tỷ tham số hoạt động có trụ vững được với công việc dài hạn mà các tác nhân lập trình thực sự hướng tới hay không. Giao thức đánh giá cho phép năm lần thử và thời gian chờ năm giờ, một khuôn khổ khá rộng rãi; một mô hình cần vài lần thử và một dây dẫn dài có thể đạt pass@1 tốt trong khi vẫn cảm giác không đáng tin trong trình soạn thảo. Lưu ý của chính Recursive về việc cần nhiều hướng dẫn hơn các mô hình đóng lớn hơn cũng chỉ về cùng một điểm.

Thứ ba là chính việc tìm kiếm kiến trúc. Một cấu hình được dự đoán là tốt nhất trong số những cấu hình mà một hệ thống tự động đã thử nghiệm chỉ là một giả thuyết về một lượt huấn luyện, chứ không phải kết quả về một mô hình đã hoàn thiện. Nếu dự đoán của Eureka Machine là đúng, đây sẽ là một khuôn mẫu mà các nhóm nhỏ khác sẽ sao chép. Nếu nó đúng một cách xấp xỉ, checkpoint tiếp theo sẽ dịch chuyển và tỷ lệ sẽ thay đổi.

Điều này phù hợp ở đâu nếu ngăn xếp agent của bạn chỉ local một nửa

Lý do một mô hình như Flint quan trọng là nó loại bỏ một dòng khỏi hóa đơn, chứ không phải tất cả các dòng. Suy luận cục bộ xử lý phần việc bạn có thể chạy trên máy của mình và không làm gì cho phần việc bạn không thể — tác vụ ngữ cảnh dài không vừa, đợt bùng nổ vượt quá một laptop, nhiệm vụ mà một mô hình lớn hơn đơn giản là tốt hơn. Điều đó khiến hầu hết các nhóm phải chạy hai hệ thống.

OrcaRouter là phần được host trong sự sắp xếp đó, và để rõ về ranh giới: chúng tôi không phục vụ Flint, và không có gì trong bài này là lời chào mời cho một checkpoint do chúng tôi host. Flint là bản tải xuống từ Recursive, không phải endpoint của chúng tôi. Điều chúng tôi làm là đặt một API duy nhất trước hơn 200 mô hình được host với đúng giá niêm yết của nhà cung cấp, không cộng thêm phụ phí, định tuyến giữa chúng bằng một chuỗi dự phòng dựa trên cấu hình, và tự động chuyển đổi dự phòng khi một nhà cung cấp gặp sự cố giữa chừng yêu cầu. Nếu bạn muốn so sánh giá trị của một lần chạy Flint cục bộ với một mô hình mixture-of-experts được host có kích thước tương tự — Qwen3.6-35B-A3B và Gemma 4 26B-A4B đều có thể gọi được qua cùng một khóa đó — thì việc so sánh chỉ tốn một yêu cầu thay vì một lần triển khai.

Cách hiểu hợp lý

Flint là một bản phát hành thực sự với một trọng tâm cụ thể và khác thường. Recursive đã không tung ra mô hình lập trình mạnh nhất mà họ có thể có; họ tung ra mô hình nhanh nhất mà họ có thể xây dựng ở kích thước vừa với một chiếc laptop, rồi công bố một ngăn xếp lượng tử hóa và kernel được thiết kế để lợi thế đó vẫn duy trì khi tiếp xúc với trọng số 4-bit. 54,9% trên Terminal-Bench 2.1 và 89,7% trên SWE-bench Pro v2 là những con số mạnh đối với một mô hình thưa 40 tỷ tham số, và hiện tại, chúng chỉ là những con số của riêng nhà cung cấp.

Điều khiến nó đáng để theo dõi chứ không chỉ để tải về là phương pháp đằng sau nó. Một nhóm nói rằng một vòng nghiên cứu tự động đã chọn kiến trúc, công thức lượng tử hóa và các kernel đang đưa ra một tuyên bố về một quy trình, không phải về một mô hình, và các quy trình có thể kiểm chứng theo cách mà các benchmark khi ra mắt không thể: bản phát hành tiếp theo hoặc sẽ đến nhanh hơn và tốt hơn, hoặc là không. Flint là điểm dữ liệu đầu tiên trong lập luận đó, được phát hành theo một giấy phép đủ rộng mở để bất kỳ ai cũng có thể tự kiểm tra trọng số.

Nếu bạn có 48GB bộ nhớ hợp nhất và một cỗ máy Apple Silicon, chi phí để tự kiểm chứng là một bản tải 22.86GB và một buổi chiều. Nếu không, lập trường trung thực là chờ bản đánh giá độc lập đầu tiên, vì một bảng benchmark mới một ngày tuổi là lời hứa chứ không phải phép đo.