RepGen-4B vs Qwen 3.8: Một bản tinh chỉnh 4B đã bảy tháng tuổi đối đầu với mô hình chủ lực hiện tại của Alibaba

Hãy bắt đầu với sự thật khiến sự kết hợp này trở nên kỳ lạ. microsoft/UserRepGen-4B, được tải lên vào ngày 14 tháng 10 năm 2026 mà không có thông báo, là một bản tinh chỉnh của Qwen3.5-4B — bản checkpoint tháng 2 năm 2026, lùi trọn một thế hệ so với mô hình mà nó đang được so sánh ở đây. Qwen 3.8 là thế hệ tháng 8 năm 2026 của Alibaba, và các thành viên được cung cấp dịch vụ của nó bao gồm Qwen3.8-Max, mô hình chủ lực với giá $2.00 cho mỗi triệu token đầu vào và $6.00 cho mỗi triệu token đầu ra trên ngữ cảnh một triệu token, Qwen3.8-27B với giá $0.33 và $2.40 trên 262,144 vị trí, và Qwen3.8-Flash với giá $0.15 và $0.47. Microsoft đã nhìn vào họ mô hình đó và lùi lại một thế hệ để chọn một mô hình cơ sở 4B. Sau đó, họ công bố một bảng cho thấy mô hình thu được đánh bại GPT-5.5 ở đúng một việc mà nó làm. Sự kết hợp đó chính là toàn bộ bài viết: một bản tinh chỉnh có mục tiêu mang lại cho bạn điều mà một mô hình chủ lực mới hơn không có, và cái giá bạn phải trả để có được nó.

Đầu tiên, "Qwen 3.8" là tên gọi của cái gì

Điều đáng xác định rõ trước bất kỳ so sánh nào, vì tên dòng bao trùm nhiều sản phẩm rất khác nhau và mức giá chênh nhau hơn mười ba lần. Ba thành viên được phục vụ là những đối tượng quan trọng để đưa ra quyết định:

• Qwen3.8-Max — dòng chủ lực, đa phương thức gốc xuyên suốt văn bản, hình ảnh và video, ngữ cảnh 1 triệu token, được cung cấp qua ba định dạng wire, bao gồm một định dạng tương thích với Anthropic. Hạng cao cấp, dành cho những lúc độ chính xác ở các bài toán khó quan trọng hơn chi phí.

• Qwen3.8-27B — mô hình dense trọng số mở theo Apache 2.0, ngữ cảnh 262.144 token, nhận đầu vào là văn bản, hình ảnh và video. Thẻ thông số của chính Alibaba báo cáo 90,3 trên LiveCodeBench v6, 89,2 trên GPQA Diamond, 84,3 trên OSWorld-Verified và 79,0 trên QwenSWEBench — số liệu do nhà cung cấp báo cáo, chưa được tái lập độc lập.

• Qwen3.8-Flash — phân khúc khối lượng lớn, ngữ cảnh 1 triệu token, giá dành cho những tác vụ ngắn chạy hàng triệu lần. Trên danh mục còn có bản chụp theo ngày Qwen3.8-Max (0902) với cùng mức giá, mà bạn ghim lại khi cần hành vi có thể tái lập thay vì lưỡi tiên phong luôn dịch chuyển.

Không có gì trong số đó là tin mới, và trang này không đưa tin về một bản ra mắt Qwen. Thế hệ này đã ra đời được năm tháng. Nó xuất hiện ở đây vì nó là phía mới hơn, lớn hơn, có kết quả benchmark tốt hơn trong phép so sánh, và bởi vì tuyên bố thú vị chỉ có ý nghĩa khi đặt cạnh một thứ mạnh đến vậy.

Tuyên bố, được phát biểu một cách chính xác

Thẻ mô hình của Microsoft báo cáo một đánh giá độ trung thực trên 700 cuộc hội thoại được giữ riêng, được chấm điểm từ 1 đến 10 bởi một giám khảo LLM, trong đó mọi bộ tạo biểu diễn đều được gắn vào cùng một vòng lặp mô phỏng:

• Qwen3.5-4B, phần xương sống nguyên bản — 3.41 best-of-1, 4.42 best-of-3.

• GPT-5.5, khi được nhắc lệnh theo cách thông thường để mô tả người dùng — 3,90 và 4,90.

• UserRepGen-4B, sau khi tinh chỉnh có giám sát trực tuyến thông qua chưng cất hindsight — 4,95 và 6,02.

Mọi con số đều là của Microsoft, được đánh giá bởi GPT-5.4 mini, và không có phần nào trong đó được tái tạo bên ngoài phòng thí nghiệm. Hãy đọc nó như một tuyên bố mang tính định hướng chứ không phải một kết quả đã được xác lập. Nhưng hướng đi là rõ ràng và nó không liên quan đến số lượng tham số: phương pháp huấn luyện đã cải thiện backbone thêm 1.54 điểm best-of-1, và nó đã vượt qua một mô hình tổng quát tiên tiến trên đường đi. Cách hiểu dự định không phải là "mô hình nhỏ đánh bại mô hình lớn" — mà là một mô hình cơ sở 4B từ tháng Hai, được tinh chỉnh mạnh mẽ trên một hành vi hẹp, có thể đánh bại một mô hình lớn hơn nhiều chỉ được yêu cầu thực hiện hành vi đó.

Qwen3.8-Max không có trong bảng đó. Nó có lẽ sẽ làm tốt hơn GPT-5.5 đã làm, vì nó là một mô hình tổng quát mạnh hơn. Nó vẫn sẽ chỉ đoán mò về hành vi, vì không có gì trong quá trình huấn luyện của nó được tối ưu hóa cho việc đó.

Vì sao một nền tảng chỉ mới bảy tháng lại là lựa chọn đúng đắn

Khoảng cách thế hệ trông giống như một sai lầm cho đến khi bạn hiểu ra việc tinh chỉnh thực sự cần gì từ backbone của nó. Nó cần một mô hình tương đối trôi chảy, rẻ để chạy, và đủ ổn định để một LoRA rank-64 có thể thay đổi nó mà không phá hủy nó. Nó không cần suy luận tiên phong, bởi vì nhiệm vụ không phải là suy luận — mà là mô tả một cuộc trò chuyện đã được đưa cho nó.

Hai chi tiết trong thẻ xác nhận cách hiểu đó. Thứ nhất là trần đầu ra: 1.024 token cho phần biểu diễn, so với 8.192 token cho phần hội thoại. Thứ hai là ngân sách huấn luyện — từ tháng 7 đến tháng 8 năm 2026, hai tháng — và việc cả hai phương pháp nặng hơn đều thua. OPSD đạt 4,46/5,60 và GRPO đạt 3,57/4,59, cả hai đều dưới mức tinh chỉnh có giám sát thông thường là 4,64/5,68. Khi một phương pháp rẻ đánh bại hai phương pháp đắt đỏ, nút thắt cổ chai chưa bao giờ nằm ở năng lực của backbone. Chuyển sang một base flagship năm 2026 hẳn sẽ chỉ đem lại một mô hình tốn kém hơn mỗi lượt chạy để làm cùng công việc với cùng một giới hạn.

Có một cái giá cho lựa chọn đó, và thẻ mô hình thẳng thắn về điều đó thay vì che giấu nó. Vì tháp thị giác đi kèm với checkpoint cha, mô hình được tải thông qua AutoModelForImageTextToText và mang theo các nhánh mã xử lý hình ảnh và video mà nó không bao giờ dùng — đầu vào hình ảnh và video được nêu rõ là không được hỗ trợ trong bản phát hành này. Bạn thừa hưởng cả gánh nặng của kiến trúc lẫn sự trôi chảy của nó.

Phép tính chi phí, vốn không diễn ra theo cách mọi người mong đợi

Phản xạ mách bảo rằng suy luận cục bộ rẻ hơn. Ở quy mô mà mô hình này được thiết kế để phục vụ, điều đó thường không đúng, và việc tính toán con số một cách trung thực sẽ thay đổi quyết định. Lấy ví dụ một lô 700 cuộc hội thoại — cùng kích thước với đánh giá của chính Microsoft — ở mức xấp xỉ 2.000 token lời nhắc và 400 token đầu ra mỗi lượt gọi.

• Qua Qwen3.8-27B ở mức $0,33 và $2,40 mỗi triệu token: tổng chi phí token cho toàn bộ lô khoảng $1,13.

• Qua Qwen3.8-Max ở mức $2.00 và $6.00: khoảng $4.48.

Đổi lại, UserRepGen-4B tốn một bản tải xuống 9,1 GB, một GPU có đủ bộ nhớ để giữ nó ở bfloat16, và công sức kỹ thuật để kết nối một lớp Python. Microsoft báo cáo rằng nó đã được phục vụ bằng vLLM trên phần cứng H100, A100, RTX A6000 và B200, đồng thời lưu ý rằng suy luận trên CPU cần float32 và “nhiều bộ nhớ hơn đáng kể so với tệp trọng số khoảng 9,1 GB”. Nếu chỉ xét số đô-la trên mỗi token, quyền truy cập API vào một mô hình mạnh hơn sẽ thắng ở khối lượng này, và không hề sát nút.

Điều đó có nghĩa là những lý do thực sự để tự chạy UserRepGen-4B là những lý do không xuất hiện trên bảng giá: những cuộc trò chuyện mà bạn đang đưa vào nó. Thẻ của chính nó nói rằng chỉ xử lý những cuộc trò chuyện mà bạn được phép xử lý, hãy giảm thiểu thông tin nhận dạng trước tiên, và rằng các biểu diễn không phải là dữ liệu ẩn danh — các mô tả hành vi của mô hình nhận dạng một người trong số bốn ứng viên 51,02% thời gian, tốt hơn các cuộc trò chuyện thô mà chúng tóm tắt ở mức 44,22%. Một thành phần biến các cuộc trò chuyện thành hồ sơ con người có thể mang theo và đọc được là thứ bạn có thể muốn giữ bên trong mạng của riêng bạn bất kể một lệnh gọi API sẽ tốn bao nhiêu.

Lớp định tuyến phù hợp ở đâu trong một pipeline như thế này

Đây thường là dạng hai mô hình hơn là dạng một mô hình: bộ tạo biểu diễn trên phần cứng của bạn, và một mô hình tổng quát đảm nhiệm phần trợ lý, việc đánh giá, hoặc vòng lặp đánh giá xung quanh nó. Nửa thứ hai là phần chạy qua API.

Cả ba thành viên Qwen 3.8 được cung cấp đều có trên OrcaRouter ở đúng giá niêm yết của nhà cung cấp, không cộng thêm gì — $2.00 và $6.00 cho Max, $0.33 và $2.40 cho 27B, $0.15 và $0.47 cho Flash — trên một key duy nhất, với failover tự động giữa các nhà cung cấp để một lệnh gọi judge trong vòng lặp đánh giá không chết khi chỉ có một upstream. Nếu bạn đang quét một lô hàng trăm cuộc hội thoại qua nhiều trình mô phỏng và judge, khả năng failover đó quan trọng hơn mức giá theo token, vì một lượt chạy chết ở cuộc hội thoại 400 sẽ làm lãng phí 399 cuộc trước đó. DSL định tuyến cho phép bạn kết hợp trợ lý và judge vào một lệnh gọi thay vì nối chuỗi hai lệnh. Điều chúng tôi không làm là cung cấp UserRepGen-4B: danh mục của chúng tôi không có mục nào cho nó, và không có gì ở đây nên được hiểu là tuyên bố về tính khả dụng cho checkpoint Microsoft.

Quyết định, không hề nước đôi.

Nếu bạn muốn một mô hình tổng quát có thể suy luận, viết mã, đọc hình ảnh và chứa một triệu token, thì không có gì trong bài viết này phản đối Qwen3.8-Max — UserRepGen-4B không thể làm bất kỳ điều nào trong số đó, và việc so sánh với một mô hình hàng đầu không phải là cuộc so sánh mà nó tham gia. Nếu bạn muốn một trình mô phỏng người dùng được điều kiện hóa trên hành vi hội thoại thực tế, thì cũng không thành viên nào của Qwen 3.8 được huấn luyện cho việc đó, và lựa chọn nằm giữa một bản tinh chỉnh nhỏ, cục bộ với một lợi thế đo lường được và một mô hình API lớn không có lợi thế nào.

Câu hỏi còn bỏ ngỏ cũng chính là câu hỏi đang bao trùm toàn bộ bản phát hành: không có bài báo nào. Thẻ ghi rằng trích dẫn đang "chờ xác nhận", một dòng nói rằng kho lưu trữ là riêng tư vẫn còn nằm trong phần sử dụng sau khi kho lưu trữ đã được công khai, và mọi con số trong bảng độ trung thực đều bắt nguồn từ bộ đánh giá của chính một phòng thí nghiệm. Microsoft đã xây dựng một mô hình đánh bại baseline mạnh nhất mà nó được đem ra so sánh. Việc nó có đánh bại baseline của bạn hay không chỉ có một đánh giá do chính bạn chạy mới trả lời được.

Một bản tinh chỉnh bảy tháng tuổi được đánh giá so với một mô hình chủ lực hiện tại cũng là một dịp tốt để hỏi xem trước đây điều gì đã thất bại: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình trong lớp này được tập hợp trong OrcaRouter AI Incident Archive, trong đó mỗi mục đều mang nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.