Clef-Flash vs Qwen3-8B: 38 mili giây đối đầu với 8B mà ai cũng đã chạy

Có một công việc cụ thể, không hào nhoáng mà rất nhiều đội giao cho Qwen3-8B: đọc ticket này, dòng log này, biểu mẫu này, và cho tôi biết nó thuộc một trong bốn nhóm của tôi. Đó là một tác vụ phân loại được khoác lên dưới dạng hội thoại, và Qwen3-8B làm việc đó đủ tốt đến mức không ai buồn thay thế nó. Vào ngày 30 tháng 9 năm 2026, Cloudflare đã công bố trọng số cho Cloudflare/clef-flash, một mô hình 9B được xây dựng để làm đúng một việc đó và không gì khác, và câu hỏi thú vị không phải là liệu nó có thông minh hơn Qwen3-8B hay không. Mà là liệu thứ bạn hiện đang nhận được từ một mô hình tổng quát 8B có đáng để trả tiền bằng token được tạo ra hay không.

Clef-Flash trả lời câu hỏi đó bằng cấu trúc thay vì bằng một benchmark. Nó nhận một trạng thái và một lược đồ gồm tối đa 64 câu hỏi có kiểu, rồi trả về một logit cho mọi tùy chọn được phép trong một lượt không tự hồi quy duy nhất — không có văn bản trung gian, không phân tích cú pháp, không có đầu ra nào ngoài xác suất. Cloudflare đo được độ trễ yêu cầu trung vị là 38,8 ms đối với nó, so với khoảng 500 ms đối với Jev, mô hình ra quyết định của TypeSafe mà nó được đánh giá so sánh cùng. Qwen3-8B không có trong bảng đó, vì Qwen3-8B không chơi trò đó: nó viết ra câu trả lời, còn bạn thì đọc nó.

Điều khiến cặp mô hình này đáng để so sánh toàn diện, thay vì chỉ một trang các hàng thông số kỹ thuật, là việc hai mô hình không hề có chung một chuẩn đánh giá nào. Mọi con số Clef-Flash đang lưu hành đều do Cloudflare tạo ra, trên một chỉ số do một đối thủ công bố, và chưa ai ngoài Cloudflare tái lập được bất kỳ con số nào trong đó. Qwen3-8B có ba thế hệ sử dụng độc lập làm hậu thuẫn cùng một hồ sơ công khai mà bạn có thể phản biện. Chính sự bất đối xứng đó, chứ không phải khoảng cách độ trễ, mới là điều nên quyết định việc bạn có thực hiện hoán đổi hay không.

Hai hợp đồng đầu ra, không phải hai kích thước

Số lượng tham số ở đây gần nhau đến mức chỉ còn là một thứ gây xao nhãng — 9B cho Clef-Flash so với 8,2B cho Qwen3-8B, trong đó 6,95B là phần không nhúng. Điều khác biệt thực sự quan trọng nằm ở việc mỗi mô hình được phép phát ra những gì.

Qwen3-8B là một mô hình ngôn ngữ nhân quả. Đưa cho nó một ticket hỗ trợ và nó tạo ra các token, và theo mặc định, nó tạo ra một khối suy luận trước tiên, vì chế độ suy nghĩ được bật trừ khi bạn tắt nó đi. Nó có thể phân loại, giải thích, chuyển cấp, soạn thảo phản hồi, hoặc nói rằng taxonomy của bạn đang thiếu một trường hợp — tất cả từ cùng một bộ trọng số, không yêu cầu schema. Thẻ của nó quảng cáo 36 lớp, attention truy vấn theo nhóm với 32 head truy vấn đến 8 head KV, hơn 100 ngôn ngữ, và độ dài ngữ cảnh gốc là 32.768 token, có thể mở rộng lên 131.072 thông qua YaRN. Đây là mô hình mà hầu hết các nhóm tìm đến vì nó là mô hình có thể làm được mọi thứ.

Clef-Flash là một mô hình hậu huấn luyện (post-train), không phải một đối tác trò chuyện. Cloudflare đã đóng băng backbone Qwen3.5-9B — bao gồm cả bộ mã hóa thị giác của nó — và huấn luyện một head schema chung ở trên: 243.5 MB trọng số head so với bốn tệp backbone được phân mảnh với tổng dung lượng khoảng 18.8 GB. Head đọc các trạng thái ẩn cuối cùng của backbone, định tuyến bằng chứng từ trạng thái đến từng câu hỏi, và chấm điểm tất cả lựa chọn của mọi câu hỏi cùng nhau. Ràng buộc chính là tính năng. Cloudflare ràng buộc nó chỉ xuất ra xác suất, đó là lý do mô hình cơ sở xuất hiện trong phả hệ của nó nhưng không bao giờ xuất hiện trong đầu ra của nó.

Lưu ý nó thuộc dòng dõi nào. Clef-Flash bắt nguồn từ Qwen3.5-9B, thế hệ sau dòng Qwen3 mà Qwen3-8B thuộc về. Vậy đây không phải là câu chuyện tinh chỉnh từ chính nền tảng của nó mà một dẫn xuất 9B thường có — nó là một nhánh khác của cùng một cây phả hệ, được huấn luyện lại cho một hợp đồng khác.

Cùng một công việc, chạy theo hai cách

Cả hai mô hình đều có thể định tuyến một phiếu hỗ trợ. Chúng thất bại theo những cách khác nhau, và các kiểu thất bại chính là cái giá của việc di chuyển.

Với Qwen3-8B, công việc nằm ở prompt và bộ phân tích cú pháp. Bạn mô tả các danh mục của mình, yêu cầu trả về một trong số đó, rồi sau đó xử lý trường hợp mô hình trả về "cái này trông giống thanh toán, dù nó có thể là kỹ thuật" — một câu trả lời thực sự cho một sự mơ hồ thực sự mà mã nguồn hạ nguồn của bạn không thể tiêu thụ được. Hướng dẫn của chính thẻ nêu rõ rằng chế độ suy nghĩ nên bị tắt đối với công việc hiệu quả và rằng giải mã tham lam làm suy giảm đầu ra, và rằng khi suy nghĩ được bật, bạn không nên mang khối lập luận chuyển tiếp trong lịch sử nhiều lượt. Mỗi một trong những hướng dẫn đó là một quyết định mà một mô hình đa dụng áp đặt lên bạn.

Với Clef-Flash, công việc được chuyển sang schema. Bạn khai báo từ hai đến 26 lựa chọn cho mỗi câu hỏi choice, hoặc từ hai đến 26 mức cho một câu hỏi score, và bạn nhận lại lựa chọn đã được chọn, xác suất cho từng lựa chọn, cùng một giá trị độ tin cậy. Có ba chi tiết trong bản giao kèo đó đáng giá hơn con số độ trễ được nhắc đến ở tiêu đề. Thứ nhất, độ tin cậy không phải là tính đúng đắn — tài liệu của Cloudflare nói thẳng rằng nó đo mức độ tập trung của các xác suất, chứ không phải khả năng câu trả lời là đúng. Thứ hai, các trường hợp hòa sẽ được giải quyết theo thứ tự lựa chọn mà bạn đã khai báo, nên nếu hai lựa chọn thực sự chồng lấn, bạn đã âm thầm đưa ra quyết định bằng cách sắp xếp danh sách. Thứ ba, và đây là điều đau nhất, không hề có "none of the above" trừ khi bạn tự viết một cái vào. Một mô hình ra quyết định sẽ chấm điểm những lựa chọn mà nó được đưa; một ticket về yêu cầu quyền riêng tư, khi được đưa một schema gồm thanh toán, kỹ thuật và kinh doanh, sẽ trả về phương án ít tệ nhất trong ba phương án đó thay vì từ chối.

Điểm cuối cùng đó có tính hai mặt, và đó là cốt lõi trung thực của so sánh này. Qwen3-8B sẽ nói với bạn rằng hệ thống phân loại của bạn đã hỏng. Clef-Flash thì không, và trong một pipeline, đó là một hồi quy thực sự — kiểu mà bạn phát hiện ra một tháng sau đó trong một hàng đợi bị định tuyến sai. Sự đánh đổi là độ trễ thực và tính xác định thực để đổi lấy một mô hình có thể làm nổi lên câu hỏi mà bạn đã không nghĩ đến để hỏi.

Những con số nói gì và không nói gì

Kết quả đã công bố của Clef-Flash đến từ lần chạy của Cloudflare đối với bộ Jev Decision Index 0.2.1, và cùng lần chạy đó cũng là nguồn thông tin cho bài đăng blog của nhà cung cấp. Các ô mạnh đáng được nêu chính xác: BFCL case-exact 98.8, độ chính xác API-Bank 93.1, trình mô phỏng thiết bị gia dụng đạt 97.7, ContractNLI macro-F1 84.3, chất lượng được chọn của RouterBench 79.9. Trong bốn quy trình công việc kinh doanh đầu-cuối trong bộ đánh giá riêng của TypeSafe, Clef-Flash đạt dịch vụ khách hàng 77.0 so với 76.0 của Jev và 76.3 của Clef 27B lớn hơn, và thua ở xử lý hóa đơn với 57.1 so với 61.8 của Jev và 64.7 của Clef.

Các ô yếu cũng giàu thông tin như các ô mạnh. CLINC150 với xử lý ngoài phạm vi đặt Clef-Flash ở mức 66,8 macro-F1, so với 97,4 của 27B Clef và 89,3 của Jev — một vách đá ba mươi điểm đúng ở dạng benchmark kiểm tra liệu một mô hình có biết khi nào nên từ chối trả lời. When2Call, 65,6 so với 81,0 của Jev. GPQA Diamond, 51,0 so với 78,3. POP909-CL đạt 1,6, một con số mà thẻ mô hình không giải thích.

Giờ đến phần mà các bảng sẽ không nói cho bạn: Qwen3-8B không có hàng nào trong bất kỳ bảng nào trong số đó. Cả hai mô hình đều chưa được chấm điểm trên các benchmark của mô hình kia. Con số MMLU 91,8 và GSM8K 67,3 của riêng Clef-Flash được tạo ra thông qua harness ra quyết định có kiểu của nó, vốn không phải là harness mà Qwen đã dùng để báo cáo các con số của mình, và việc so sánh hai bộ số đó sẽ là một lỗi phạm trù được ngụy trang thành một phép so sánh. Vậy nên lập trường trung thực là không tồn tại một bảng điểm chung nào, và bài viết này sẽ không tự bịa ra một bảng như vậy. Thứ tồn tại là một khoảng cách độ trễ mà nhà cung cấp đã đo trên hạ tầng của chính họ, một cấu trúc chi phí khác biệt về mặt cấu trúc, và một tập hợp các ô Decision Index mà không ai ngoài Cloudflare tái tạo được.

Cái giá của một quyết định

Tài liệu Workers AI của Cloudflare niêm yết Clef-Flash ở mức 0,09 đô la cho mỗi triệu token đầu vào và không tính phí cho đầu ra, bởi vì thực tế không có đầu ra nào — ví dụ minh họa trong tài liệu trả về ba token đầu ra cho một yêu cầu gồm ba câu hỏi. Do đó, một quyết định định tuyến trên một ticket dài 1.500 token chỉ tốn khoảng 0,000135 đô la cho phần đầu vào và không tốn thêm gì đáng kể sau đó. Chạy một triệu lượt như vậy mỗi ngày thì bạn ở mức khoảng 135 đô la một ngày, và con số này không thay đổi khi ticket trở nên phức tạp hơn, mà chỉ thay đổi khi nó dài hơn.

Một mô hình tự hồi quy không có giới hạn tương đương. Mỗi một trong số một triệu quyết định đó cũng tính phí cho các token được sinh ra, và nếu chế độ suy nghĩ đang bật — vốn là mặc định với Qwen3-8B — thì mô hình có thể tiêu tốn hàng trăm token để suy luận xem một email đặt lại mật khẩu thuộc vào nhóm nào trong bốn nhóm trước khi trả lời. Tắt chế độ suy nghĩ bằng enable_thinking=False hoặc /no_think thẻ là dòng đòn bẩy cao nhất trong bất kỳ prompt phân loại nào xây dựng trên mô hình đó, và rất dễ bị bỏ sót. So sánh ở đây không phải "mô hình rẻ so với mô hình đắt"; mà là mức giá cố định chỉ tính đầu vào đối lại mức giá tăng theo lượng mà mô hình quyết định nói ra.

Ngữ cảnh, ba con số từ ba bề mặt nhà cung cấp

Ngữ cảnh dùng được của Clef-Flash phụ thuộc vào bề mặt Cloudflare mà bạn đọc. Trang mô hình Workers AI ghi nhận cửa sổ ngữ cảnh 65.536 token. Bản config.json đã phát hành khai báo max_position_embeddings là 262.144 cho text tower. Trình trợ giúp mã hóa của chính model card mặc định dùng max_length=16.384, với max_state_tokens sẵn có để giới hạn riêng phần state. Một danh sách runtime của bên thứ ba quảng cáo 256K đang đọc giá trị config chứ không phải giới hạn phục vụ — điều đó giải thích sự chênh lệch ấy thay vì để nó thành một ẩn số, nhưng con số thực tế cho bất kỳ ai gọi endpoint được host là 65.536.

Các con số của Qwen3-8B là của riêng nó và đã ổn định trong một năm rưỡi: 32,768 native, 131,072 khi bật YaRN, và mặc định cấu hình là 40,960, dành 32,768 cho đầu ra và 8,192 cho prompt. Vì vậy, nếu cửa sổ thô là yếu tố quyết định của bạn, mô hình tự hồi quy nhỏ có thể được mở rộng tới khoảng gấp đôi mức mà mô hình quyết định được lưu trữ ghi trong tài liệu — trong khi mô hình quyết định cần ít hơn nhiều, bởi vì bạn đang gửi trạng thái, chứ không phải một cuộc hội thoại.

Ai nên hoán đổi, và ai thì không

• Swap — bạn có một hệ thống phân loại cố định, từ ba đến 26 điểm đến, và một hàng đợi hỗ trợ, một bước phân loại, hoặc một cổng agent, nơi trung vị 38,8 ms và p95 122,4 ms so với nửa giây tạo sinh thay đổi những gì pipeline của bạn có thể làm.

• Swap — hiện tại bạn đang phân tích văn xuôi từ một mô hình 8B và xử lý câu trả lời một trong năm mươi không khớp với định dạng của bạn. Một phân phối trên các tùy chọn đã khai báo loại bỏ hoàn toàn nhóm lỗi đó.

• Không hoán đổi — tập câu trả lời không được biết trước, hoặc bạn cần mô hình cho bạn biết rằng nó không biết. Clef-Flash không có cơ chế từ chối trả lời trừ khi bạn xây dựng một cơ chế như vậy vào tiêu chí, và ô được công bố yếu nhất của nó chính xác là trường hợp ngoài phạm vi.

• Đừng hoán đổi — khối lượng công việc là suy luận, trích xuất từ các tài liệu không bị ràng buộc, tóm tắt hoặc mã. Clef-Flash không thể viết nổi một câu, nên bất cứ thứ gì ở hạ nguồn mong đợi một câu thì vẫn giữ Qwen3-8B.

• Chưa nên hoán đổi vội — bạn cần những con số đó được kiểm tra bởi một người nào đó không phải nhà cung cấp. Không có đánh giá độc lập nào về Clef-Flash, và bộ đánh giá đã tạo ra điểm số của nó được công bố bởi nhà cung cấp của mô hình mà nó đánh bại.

Chạy từng cái trong số chúng ở đâu

Cả hai đều theo Apache-2.0, nên cả hai đều thuộc quyền tự lưu trữ (self-host) của bạn, và dung lượng thì không hề gần nhau. Qwen3-8B ở dạng bf16 nặng khoảng 16 GB và các bản lượng tử hóa chạy nhỏ hơn nhiều — bản Q4 là 5,2 GB trên thư viện Ollama, nơi qwen3:8b ghi nhận 38,7 triệu lượt tải và cửa sổ ngữ cảnh 40K. Clef-Flash cần toàn bộ phần backbone 18,8 GB cộng thêm phần head 243,5 MB, và trang thư viện Ollama của nó được đăng lên chỉ trong vài ngày sau khi phát hành, với một tag lượng tử hóa 11 GB và số lượt chia sẻ vẫn chỉ ở mức vài trăm; bảng của Ollama hiển thị 256K theo config thay vì 65.536 của endpoint. Tỷ lệ tải xuống đó không phải là lời phán quyết cho mô hình nào — một trang đã tồn tại mười tám tháng còn trang kia chỉ khoảng một ngày — nhưng nó phản ánh khá trung thực lượng lịch sử vận hành đằng sau mỗi bên.

Nếu bạn muốn phiên bản được lưu trữ, Cloudflare chạy Clef-Flash trên Workers AI với mức 0,09 đô-la một triệu như trên, với các trọng số cũng có thể tải xuống từ Hub. Cả hai mô hình đều giao tiếp với Ollama thông qua /v1/systemone endpoint dành cho Clef-Flash (Ollama 0.35.1 trở lên) và đường dẫn generate tiêu chuẩn cho Qwen3 — vì vậy việc hoán đổi chỉ là thay đổi phía client, không phải thay đổi kiến trúc.

Hiện tại cả hai mô hình đều không nằm trong các tuyến của chúng tôi: danh mục công khai của OrcaRouter trả về lỗi 404 cho clef-flash cũng như cho Qwen3-8B, và không có nội dung nào ở đây nên được hiểu là tuyên bố về tính khả dụng từ phía chúng tôi. Điều mà một lớp định tuyến thực sự thay đổi là nửa phần sinh của pipeline. Nếu một mô hình ra quyết định trở thành cổng kiểm soát agent của bạn, thì mô hình thực thi quyết định đó vẫn phải truy cập được, và đó chính là lúc một API cho hơn 200 mô hình đằng sau một khóa API duy nhất khẳng định được vị trí của mình — giá niêm yết của nhà cung cấp được chuyển nguyên qua với mức chênh 0%, nên nếu nhà cung cấp cắt giá thì ở đây cũng áp dụng ngay trong ngày, cùng với khả năng chuyển đổi dự phòng tự động để một buổi chiều trục trặc của một nhà cung cấp không đánh sập con đường bạn vừa mới dựng lại. Dòng Qwen cũng đã tiến bước: Qwen3.8-27B có thể định tuyến tại đây với giá $0.40 cho đầu vào và $4.21 cho đầu ra mỗi triệu token với cửa sổ 262.144 token, đây là một mô hình khác với Qwen3-8B và không phải bản thay thế cho nó, nhưng nó thuộc cùng dòng và mới hơn một thế hệ.

Điều gì sẽ thay đổi cách đọc này?

Ba điều, theo thứ tự.

Một lần chạy độc lập trên các ô ngoài phạm vi. Khoảng cách giữa 97,7 của Clef-Flash trên mô phỏng thiết bị và 66,8 của nó trên CLINC150+OOS không mô tả một bộ phân loại có năng lực đồng đều; nó mô tả một mô hình mạnh trong những dạng mà nó đã được huấn luyện và yếu khi câu trả lời đúng là “không có cái nào trong số này”. Nếu điều đó vẫn đúng dưới giàn thử nghiệm của người khác, thì đó là thực tế vận hành quan trọng nhất về mô hình và nó không nằm trong danh sách nổi bật của bất kỳ ai.

Một con số độ trễ được đo từ bên ngoài edge của Cloudflare. Mức trung vị 38,8 ms là ấn tượng và nó được đo bởi nhà cung cấp, trên hạ tầng do nhà cung cấp kiểm soát, cho một mô hình được lưu trữ tại edge. Thứ tự xếp hạng so với Jev có lẽ vẫn vững; con số tuyệt đối mới là thứ đáng để hoài nghi.

Và một bộ benchmark dùng chung. Cho đến khi có ai đó chấm điểm Clef-Flash và một LLM mở nhỏ trên cùng một tác vụ phân loại với cùng một nhãn, thì lựa chọn giữa chúng vẫn dựa vào hợp đồng đầu ra, cấu trúc giá, và việc bạn sẵn sàng hành động dựa trên bằng chứng của ai. Ba yếu tố đó đủ để quyết định rất nhiều pipeline ngày nay — nhưng chúng không phải là một phép so sánh độ chính xác, và bài viết này sẽ không giả vờ rằng chúng là như vậy.