Granite Switch 4.1 8B so với Qwen3-8B: Điều gì xảy ra khi phía bên kia không có người kế nhiệm

Bắt đầu bằng một vấn đề về tên gọi, vì nó thay đổi việc bài viết này có thể trung thực đến đâu. Khi bạn tìm mô hình 8B trong thế hệ Qwen mới nhất của Alibaba, bạn sẽ không thấy một mô hình nào: dòng Qwen3.8 — Qwen3.8-27B, Qwen3.8-Max, các biến thể Flash, hỗn hợp chuyên gia 2.4T-A95B khổng lồ — đơn giản là không bao gồm một thành viên dense 8B. Vị trí 8B trong gia đình Qwen vẫn do Qwen3-8B, phát hành ngày 27 tháng 4 năm 2025: 8,2 tỷ tham số, suy luận hỗn hợp và không suy luận trong một mô hình, hơn 100 ngôn ngữ và phương ngữ, 32.768 token ngữ cảnh gốc mở rộng tới 131.072 với YaRN. Mô hình đó đã mười sáu tháng tuổi và vẫn là một trong những checkpoint open-weights được tải xuống nhiều nhất hiện có. Nó là mô hình đương nhiệm — và điều khiến cuộc so tài này đáng để viết là Granite Switch 4.1 8B, checkpoint tổng hợp của IBM từ ngày 14 tháng 10 năm 2026, hoàn toàn không đề nghị thay thế nó bằng một phiên bản kế nhiệm. Nó đưa ra một dạng mô hình khác trong cùng lớp tham số: một mô hình văn bản 8B bị đóng băng với hai adapter có thể chuyển đổi và một bộ mã hóa giọng nói gắn vào nó, làm ba công việc bằng cách chuyển đổi thay vì một công việc bằng suy luận. Chưa ai thay thế Qwen3-8B, và câu hỏi hay hơn là liệu có ai cần làm vậy hay không.

Đối lập với nó là Granite Switch 4.1 8B, checkpoint tổng hợp của IBM từ ngày 14 tháng 10 năm 2026 — một Granite 4.1 8B đóng băng ở 8.380.551.168 tham số, mang hai bộ điều hợp LoRA kích hoạt có thể chuyển mạch và một bộ mã hóa giọng nói 470M, với tổng số tổng hợp là 8.776.400.896, tăng 4,72%. Cùng lớp tham số, nhưng quan niệm về một mô hình là gì lại hoàn toàn khác. Qwen3-8B là một ngăn xếp dày đặc làm mọi thứ bằng cách suy luận về chúng. Granite Switch 4.1 8B là một ngăn xếp không làm gì bằng suy luận và làm ba việc bằng cách chuyển mạch.

Vị trí 8B đang trống, và đó mới là câu chuyện thật sự

Điều đáng để dừng lại là sự vắng mặt đó, thay vì coi nó như một khoảng trống trong so sánh này. Alibaba đã phát hành thế hệ Qwen3.8 với một mô hình dense 27B, các biến thể Max, Flash và một mixture-of-experts 2,4 nghìn tỷ tham số, đồng thời bỏ qua phân khúc kích thước đã khiến thế hệ trước trở thành lựa chọn mặc định cho triển khai trên một GPU. Mọi đội ngũ từng chọn Qwen3-8B vì nó vừa một card và có thể fine-tune với chi phí thấp giờ đây đang nhìn vào một dòng sản phẩm kế nhiệm hoặc tăng gấp đôi yêu cầu bộ nhớ, hoặc thay đổi hoàn toàn bài toán phục vụ.

Đó chính là quyết định thực sự mà bài viết này nói tới. Không ai đang chọn giữa Qwen3-8B và Granite Switch 4.1 8B dựa trên chất lượng — một mô hình đương nhiệm đã mười sáu tháng tuổi đối đầu với một kẻ thách thức mới hai ngày tuổi mà chưa có đánh giá độc lập thì không phải là so sánh chất lượng, mà là so sánh kiến thức. Câu hỏi đặt ra là bạn làm gì khi mô hình chủ lực của mình không có phiên bản kế nhiệm cùng kích cỡ, và hai câu trả lời khả dĩ là "giữ nguyên mô hình chủ lực" và "thay đổi hình dạng".

Qwen3-8B: mười sáu tháng vận hành thực tế mang lại được những gì

Qwen3-8B là một transformer nhân quả dày đặc với 36 lớp, kích thước ẩn 4.096, attention truy vấn theo nhóm với 32 đầu truy vấn so với 8 đầu KV, kích thước trung gian 12.288, RoPE theta 1e6, embedding không chia sẻ và vốn từ vựng 151.936 token. Khoảng 8,2 tỷ tham số, trong đó khoảng 6,95 tỷ là không thuộc embedding. Công tắc suy nghĩ là một tham số — enable_thinking — và các cài đặt sinh khác nhau theo chế độ, với thẻ cảnh báo rõ ràng chống lại việc giải mã tham lam trong chế độ suy nghĩ vì nó gây ra vòng lặp.

Điều mà nó có mà không checkpoint mới nào có thể khẳng định: mười sáu tháng lưu lượng sản xuất của người khác. Những kiểu thất bại mà người khác đã gặp phải và ghi chép lại. Các bản lượng tử hóa, bản tinh chỉnh, công thức LoRA và hướng dẫn triển khai cho mọi framework phục vụ quan trọng. Gần mười triệu lượt tải xuống trên Hub và hơn hai nghìn lượt thích, cùng với một dòng dõi instruct đằng sau nó. Khi một mô hình đã công khai lâu đến vậy, hệ sinh thái xung quanh nó là một phần thực sự thuộc năng lực của nó, và không ngày phát hành nào có thể được lùi ngày để tạo ra điều đó.

Granite Switch 4.1 8B: một hình dạng mới mang lại điều gì

Checkpoint của IBM là một tổ hợp chứ không phải một mô hình, và các thành phần được ghi lại trong một build manifest được check in bên cạnh các trọng số. Nền tảng: Granite 4.1 8B, 40 lớp, kích thước ẩn 4,096, 32 đầu truy vấn so với 8 đầu KV, cửa sổ 131,072 token, từ vựng 100,352 token. Adapter: guardian-core, rank 16, alpha 64, trên các phép chiếu attention (k_proj, o_proj, q_proj, v_proj), phát hiện tác hại, jailbreaking, ngôn từ tục tĩu, bạo lực, nội dung khiêu dâm, thiên kiến xã hội và hành vi phi đạo đức; và decision, rank 64, alpha 128, trên toàn bộ bảy phép chiếu bao gồm MLP, trả về một softmax đã hiệu chỉnh trên các token lựa chọn được gán nhãn trong một lượt lan truyền xuôi duy nhất. Bộ mã hóa: Granite Speech 5.0 TurboCTC, 470M tham số, conformer CTC không tự hồi quy, tiếng Anh. Giấy phép: Apache-2.0, giống như Qwen3-8B.

Khả năng không có tương đương trên Qwen3-8B là bộ điều hợp quyết định. Bạn đưa cho nó một trạng thái và một câu hỏi với các lựa chọn được gán nhãn, và nó trả về một phân phối, không phải một câu trả lời — lệnh gọi được tài liệu hóa yêu cầu vLLM lấy logprobs của đúng các id token nhãn thông qua logprob_token_ids và lấy lũy thừa, tạo ra đầu ra có dạng như A: 0.982, B: 0.0035, C: 0.014. Bạn có thể nhắc Qwen3-8B chọn một nhãn và nó sẽ làm, một cách thành thạo, và bạn sẽ nhận được một chữ cái. Một chữ cái không thể được đặt ngưỡng như một điểm số đã hiệu chuẩn, lấy trung bình qua các lượt, hay ghi log như một giá trị độ tin cậy. Đó là sự khác biệt, và đó không phải là sự khác biệt mà quy mô khắc phục được.

Điều thứ hai mà việc tổ hợp mang lại là số học. Mỗi adapter chia sẻ bộ đệm key/value của mô hình cơ sở thay vì duy trì bộ đệm riêng, nên việc đi từ không có adapter nào lên hai adapter cộng thêm một bộ mã hóa giọng nói chỉ tốn 4,72% về tham số, thay vì một trạng thái attention mới cho mỗi năng lực. Bài đăng ra mắt của IBM tuyên bố mô hình tổ hợp chiếm lượng VRAM gần như tương đương chỉ riêng mô hình cơ sở; tuyên bố cụ thể đó chưa được tái lập, nhưng mức chênh lệch tham số mà nó dựa vào thì nằm ngay trong manifest. Đó cũng là lý do bài đăng ra mắt có thể mô tả cuộc đua giữa một Granite Switch tổ hợp 30B và một mô hình quyết định 27B như một lợi thế về tốc độ thay vì một tổn thất về bộ nhớ.

• Tham số — 8,78B tổng hợp (8,38B cơ sở) so với 8,2B.

• Lớp — 40 so với 36.

• Ngữ cảnh — 131.072 gốc so với 32.768 gốc, 131.072 với YaRN.

• Từ vựng — 100,355 so với 151,936.

• Ngôn ngữ — mười hai ngôn ngữ được nêu tên (tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Pháp, tiếng Nhật, tiếng Bồ Đào Nha, tiếng Ả Rập, tiếng Séc, tiếng Ý, tiếng Hàn, tiếng Hà Lan, tiếng Trung) so với hơn 100.

• Lý luận — không có so với tư duy lai kết hợp giữa suy nghĩ và không suy nghĩ trong cùng một checkpoint.

• Đầu ra có cấu trúc — softmax được hiệu chỉnh trên các token nhãn so với lựa chọn qua prompt.

• Đầu vào âm thanh — bộ mã hóa ASR 470M tích hợp so với không có.

• Hệ sinh thái — mới được hai ngày, không có bản lượng tử hóa hay tinh chỉnh đáng kể nào so với mười sáu tháng công việc cộng đồng.

Nơi Qwen3-8B vẫn chiếm ưu thế

Ngôn ngữ, một cách dứt khoát. Mười hai ngôn ngữ được đặt tên so với hơn một trăm ngôn ngữ không phải là một sai số làm tròn đối với bất kỳ ai phát hành sản phẩm cho người dùng toàn cầu, và đó là điều đầu tiên một bài kiểm thử di chuyển sẽ phát hiện. Từ vựng cũng kể câu chuyện tương tự: 151.936 token so với 100.355, với ba ID adapter dành riêng của Granite làm tròn nó thành 100.355. Một mô hình được huấn luyện trên một trăm ngôn ngữ thì đã được huấn luyện trên một trăm ngôn ngữ.

Ngữ cảnh nguyên bản là điểm thứ hai. 131.072 token ngay từ đầu, so với 32.768 token khi dùng phương án mở rộng YaRN. Granite Switch 4.1 8B tình cờ cũng đạt mức 131K tương tự, nhưng nó đạt được điều đó một cách nguyên bản, và phần mở rộng YaRN phải đánh đổi về hành vi trong ngữ cảnh dài mà cửa sổ nguyên bản thì không.

Điều thứ ba là điều quyết định phần lớn các cuộc chuyển đổi thực tế: không có gì hỏng cả. Không có tích hợp nào phải viết lại, không có ngăn xếp phục vụ nào phải thay đổi, không có hành vi nào phải học lại. Mọi chế độ lỗi đều đã được người khác vạch ra, và những bản tinh chỉnh bạn có thể đã có là của bạn. Một đối thủ phải tốt hơn một cách đáng kể thì mới đáng để từ bỏ, và ở tuổi hai ngày với không có đánh giá độc lập, Granite Switch 4.1 8B vẫn chưa chứng minh được là như vậy.

Nơi Granite Switch 4.1 8B chiến thắng

Chấm điểm quyết định, và hình thái vận hành đi kèm với nó. Nếu ứng dụng của bạn cần một giá trị độ tin cậy trên các lựa chọn đã được gán nhãn — định tuyến một ticket, chấm điểm một ngưỡng leo thang, chọn một công cụ có gắn kèm một con số — thì đó là một primitive mà Qwen3-8B không cung cấp, và việc prompting không tạo ra được nó. Con số đã công bố cho adapter này là Decision Index, phiên bản v0.3, tập con nhanh công khai gồm 1.068 dòng: tổng thể 42,9, với Kiến thức 29,1, Ngôn ngữ 48,9, Truy xuất 49,8, Công cụ 59,8 và Nghệ thuật 18,0. IBM đã chạy nó, IBM đã công bố nó, chưa ai tái lập được nó, và chính tấm card nói rằng các xác suất là một prior chứ không phải một phân loại đã được chứng nhận trên những lĩnh vực mà adapter chưa được huấn luyện.

Hợp nhất endpoint là điểm thứ hai. Trò chuyện, ra quyết định và phiên âm trên một endpoint duy nhất, với phiên âm được kích hoạt bởi một phần nội dung input_audio thông thường thay vì một dịch vụ thứ hai. Những lưu ý từ card của IBM vẫn áp dụng và đáng được nhắc lại nguyên văn về tinh thần: chỉ dùng tiếng Anh, đầu ra viết thường và không có dấu câu, và bộ mã hóa giọng nói cùng LLM không được huấn luyện chung, nên một lỗi phiên âm có thể âm thầm thay đổi điều mà mô hình phản hồi.

Và khả năng tổ hợp là điều thứ ba — composer là công khai, danh mục adapter mở, và bạn có thể tự tạo biến thể của riêng mình thay vì chấp nhận lựa chọn hai adapter của IBM.

Làm gì trong khi khe 8B trống

Động thái mang lại hiệu quả không phải là di chuyển toàn bộ. Mà là coi Granite Switch 4.1 8B như một ứng viên cho những yêu cầu cụ thể mà Qwen3-8B xử lý kém — những yêu cầu kết thúc bằng một giá trị độ tin cậy, hoặc đến dưới dạng âm thanh — và giữ nguyên mọi thứ còn lại ở chỗ cũ. Đây là bài toán định tuyến, không phải viết lại: gửi các lệnh gọi mang hình dạng quyết định theo một hướng và luồng hội thoại theo hướng kia, đồng thời giữ nguyên đường dự phòng trong khi bạn tìm hiểu xem hình dạng mới có thực sự trụ vững trên lưu lượng của mình hay không.

Đây là lớp mà OrcaRouter chiếm giữ, và đáng để nói chính xác điều đó nghĩa là gì ở đây: Qwen3-8B không có trong danh mục của chúng tôi hôm nay và Granite Switch 4.1 8B cũng vậy, nên chúng tôi không phải là cách để có được một trong hai — Qwen3-8B là một bản tải xuống từ Hugging Face và Granite Switch 4.1 8B là một bản tải xuống từ Hugging Face cộng thêm một container vLLM. Điều nền tảng làm là phần công việc xung quanh: một API key duy nhất dùng chung cho hơn 200 mô hình được lưu trữ, chuyển đổi dự phòng tự động để một ứng viên có thể nằm trong một luồng trực tiếp mà không trở thành điểm lỗi đơn lẻ, DSL định tuyến để kết hợp nhiều mô hình vào một lệnh gọi, và giá niêm yết của nhà cung cấp được chuyển qua với mức đánh giá 0% để việc nhà cung cấp giảm giá có hiệu lực ngay trong cùng ngày thay vì phải chờ đến lần làm mới tiếp theo. Nếu bạn muốn xem một mô hình Qwen thế hệ hiện tại trông như thế nào trên một endpoint được lưu trữ trong khi cân nhắc điều này, Qwen3.8-27B có trong danh mục và thuộc cùng dòng với mô hình đương nhiệm trong so sánh này.

Điểm mấu chốt

Giữ Qwen3-8B làm mặc định. Mười sáu tháng vận hành thực tế, hơn một trăm ngôn ngữ và vốn từ vựng 151,936 token không phải là những lợi thế mà một checkpoint mới hai ngày tuổi có thể vượt qua chỉ nhờ kiến trúc, và việc Alibaba không phát hành một bản kế nhiệm 8B không biến Granite Switch 4.1 8B thành bản kế nhiệm đó — nó chỉ khiến mô hình này trở thành một công cụ khác, tình cờ nằm cùng hạng bộ nhớ. Hãy áp dụng nó một cách hẹp và có mục đích: cho các yêu cầu cần phân phối đã hiệu chỉnh trên các lựa chọn có nhãn, cho sàng lọc an toàn nội tuyến, và cho âm thanh trên cùng endpoint với chat. Hãy kiểm thử nó trên tập nhãn của riêng bạn trước khi tin vào 42.9, vì con số đó là của IBM và chỉ của IBM mà thôi. Điều thú vị ở cuộc đối đầu này không phải là mô hình này đánh bại mô hình kia — mà là vị trí 8B vẫn trống, và mô hình tiếp theo lấp đầy nó có thể không phải là một dense 8B chút nào.