Granite Switch 4.1 8B so với Granite 4.2 3B: Cùng một phòng thí nghiệm, hai canh bạc khác nhau

Điều đầu tiên cần biết về Granite Switch 4.1 8B và Granite 4.2 3B là chúng thực sự không phải là đối thủ của nhau. Chúng là hai câu trả lời cho những câu hỏi khác nhau, tình cờ chia sẻ cùng một phòng thí nghiệm, một giấy phép và một số phiên bản, và cách nhanh nhất để lãng phí một tuần là coi đây là một cuộc đối đầu trực diện rồi chọn ra người thắng cuộc. IBM phát hành Granite 4.2 3B vào ngày 25 tháng 8 năm 2026 như một mô hình suy luận nhỏ: ba chế độ tư duy, gọi công cụ, ngữ cảnh 128K mở rộng đến 512K. IBM phát hành Granite Switch 4.1 8B vào ngày 14 tháng 10 năm 2026 như một sự kết hợp: một mô hình văn bản 8B đóng băng với hai bộ điều hợp có thể chuyển đổi và một bộ mã hóa giọng nói gắn thêm vào đó. Một mô hình được xây dựng để tư duy sâu hơn; mô hình còn lại được xây dựng để đảm nhận nhiều công việc hơn chỉ từ một checkpoint.

Điều thứ hai cần biết thì tinh tế hơn, và đó chính là lý do cặp đôi này đáng để bàn tới. Dòng Granite Switch được xây dựng trên trọng số của thế hệ 4.1, trong khi dòng thông thường của IBM đã chuyển sang 4.2. Đọc bản kê khai build của Granite Switch 4.1 8B thì nền tảng là ibm-granite/granite-4.1-8b. Đọc model card của Granite 4.2 3B thì nó được hậu huấn luyện từ ibm-granite/granite-4.1-3b-base. Cả hai dòng đều đứng trên cùng một thế hệ trọng số tiền huấn luyện và làm hai việc trái ngược với chúng: 4.2 hậu huấn luyện mạnh hơn cho suy luận, Switch kết hợp theo chiều ngang để mở rộng độ bao phủ. Không bên nào thay thế bên nào, đó là lý do phản xạ "cái nào mới hơn" lại cho bạn câu trả lời sai trong trường hợp này.

Thực tế mỗi thứ là gì

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B không phải là một mô hình suy luận và cũng không cố gắng trở thành như vậy. Nền tảng của nó là Granite 4.1 8B — 40 lớp, kích thước ẩn 4.096, 32 đầu truy vấn so với 8 đầu KV, cửa sổ 131.072 token — đóng băng, với hai bộ điều hợp LoRA được kích hoạt ở trên. guardian-core có rank 16 trên các phép chiếu attention và tồn tại để phát hiện tổn hại, jailbreak, ngôn từ tục tĩu, bạo lực, nội dung tình dục, thiên kiến xã hội và hành vi phi đạo đức. decision có rank 64 trên cả bảy phép chiếu và tồn tại để trả về một phân phối xác suất đã hiệu chỉnh trên các lựa chọn được gán nhãn trong một lượt truyền xuôi duy nhất. Thêm Granite Speech 5.0 TurboCTC, một bộ mã hóa conformer 470M tham số, để phiên âm. Tổng số sau khi kết hợp: 8.776.400.896 tham số so với nền tảng 8.380.551.168 — mức tăng 4,72%.

Các khía cạnh mà chúng thực sự khác nhau

• Kích thước — Granite Switch 4.1 8B ở mức 8,78B được đối chiếu với Granite 4.2 3B ở khoảng 3B. Gần gấp ba lần trọng số, điều mà trên một GPU đơn lẻ là sự khác biệt giữa thoải mái và chật vật.

• Ngữ cảnh — 131.072 token so với 128K gốc, với lộ trình mở rộng lên 512K. Sát nút ở mức cơ sở, nhưng không sát nút nếu bạn cần chế độ ngữ cảnh dài.

• Suy luận — không hề có chế độ suy nghĩ nào so với ba trong số chúng. Granite Switch 4.1 8B trả lời; Granite 4.2 3B suy luận trước, tùy chọn.

• Đầu ra có cấu trúc — một softmax đã hiệu chỉnh trên các lựa chọn có nhãn so với một câu trả lời được gợi ý. Chỉ một trong số này cho bạn một con số mà bạn có thể đặt ngưỡng.

• Phương thức — đầu vào văn bản kèm âm thanh, đầu ra văn bản, so với chỉ văn bản.

• Tổ hợp adapter — hai aLoRA có thể chuyển đổi và một bộ tổng hợp công khai so với một checkpoint nguyên khối duy nhất.

• Phát hành — 14 tháng 10 năm 2026 so với 25 tháng 8 năm 2026, cách nhau bảy tuần, cả hai đều dùng Apache-2.0.

Khi nào Granite 4.2 3B là lựa chọn hiển nhiên

Bất cứ thứ gì cần suy nghĩ trước khi trả lời, và bất cứ thứ gì phải chạy nhỏ. Một mô hình 3B suy luận trong một số lượng token được kiểm soát là một công cụ khác với một mô hình 8B không suy luận chút nào, và về toán học, logic nhiều bước và mã, các chế độ suy nghĩ đang làm việc thực sự thay vì trang trí đầu ra. Chế độ nỗ lực thấp là phần bị đánh giá thấp: nó cho bạn một cài đặt trung gian giữa "suy luận đầy đủ" và "không suy luận", đó chính xác là những gì bạn muốn khi một truy vấn đơn giản nhưng không tầm thường và bạn đang trả tiền cho mỗi token.

Việc mở rộng lên 512K có ý nghĩa vì cùng một lý do nhưng theo một hướng khác. Công việc với tài liệu dài — mã ở quy mô kho lưu trữ, đầu vào dài hàng trăm trang — là nơi cửa sổ 131K bắt đầu đòi hỏi các chiến lược chia nhỏ, và Granite Switch 4.1 8B không ghi nhận lộ trình mở rộng nào vượt quá 131.072 của nó.

Mức chiếm dụng là luận điểm thứ ba, và nó không hề nhỏ. Ba tỷ tham số là một mô hình tầm cỡ laptop. Bạn có thể chạy Granite 4.2 3B ở những nơi mà một checkpoint 8,78B đơn giản không phải là một lựa chọn, và đó là khác biệt về năng lực chứ không phải sở thích.

Khi Granite Switch 4.1 8B là lựa chọn hiển nhiên

Khi đầu ra bạn cần là một xác suất chứ không phải một đoạn văn. Một mô hình suy luận có thể được nhắc để chọn phương án B, và nó sẽ đưa cho bạn chữ cái. Tuy nhiên, lời nhắc không phải là xác suất: bạn không thể đặt ngưỡng cho một chữ cái, bạn không thể so sánh một chữ cái giữa các lượt như một điểm đã hiệu chỉnh, và bạn không thể ghi nó như một giá trị độ tin cậy. Bộ chuyển đổi quyết định trả về một softmax trên các token nhãn trực tiếp — lời gọi được tài liệu hóa yêu cầu vLLM cung cấp logprobs của đúng những id đó và lấy exp, tạo ra đầu ra có dạng như A: 0.982, B: 0.0035, C: 0.014. Đó là một nguyên thủy định tuyến, không phải câu trả lời.

Khi kiểm tra an toàn cần phải là một thành phần chứ không phải một chính sách. guardian-core chạy trên cùng checkpoint, được kích hoạt bởi một token điều khiển mà mẫu chat chèn vào khi bạn truyền một adapter_name. Bạn không cần dựng thêm một mô hình thứ hai để sàng lọc đầu vào; bộ phân loại chỉ là một chế độ của mô hình bạn đã tải sẵn.

Khi bạn muốn một endpoint duy nhất thay vì hai, và cụ thể là khi âm thanh là một trong hai. Transcription dùng chung endpoint với chat và decisions, nên chỉ cần một phần nội dung input_audio trong một chat completion thông thường là đủ. Granite 4.2 3B không có đường dẫn âm thanh.

Và khi bạn muốn tự tạo một biến thể của riêng mình. Composer là công khai, danh mục adapter thì mở, và build manifest cho checkpoint này được check in ngay cạnh weights — nghĩa là rank, target module và control-token id đều đọc được thay vì phải suy đoán.

Những lưu ý trung thực ở cả hai phía

Granite Switch 4.1 8B không có bất kỳ đánh giá độc lập nào. Điểm số duy nhất được công bố của nó là Decision Index, bản v0.3 public fast subset, với tổng thể 42,9 — Knowledge 29,1, Language 48,9, Retrieval 49,8, Tools 59,8, Arts 18,0 — và lần chạy đó là của chính IBM, được công bố trên model card của IBM, không ai tái lập. Không có mục nào trên bảng xếp hạng của bên thứ ba. Mô hình mới được hai ngày trên Hub với vài chục lượt tải xuống.

Đường dẫn giọng nói của nó hẹp hơn những gì tiêu đề gợi ý, và chính IBM cũng thừa nhận điều đó: bộ mã hóa chỉ hỗ trợ tiếng Anh, bản ghi xuất ra ở dạng chữ thường và không có dấu câu, còn bộ mã hóa và mô hình ngôn ngữ không được huấn luyện chung — không có phép chiếu đã huấn luyện nào liên kết chúng, nên một lỗi phiên âm có thể âm thầm thay đổi thứ mà mô hình phản hồi. Trong khi đó, Granite 4.2 3B đã ra đời được bảy tuần chứ không phải hai ngày, nhưng các con số đánh giá của nó cũng là của IBM, và ngữ cảnh 512K của nó là một đường mở rộng chứ không phải cửa sổ gốc.

Cả hai mô hình này đều không có mục điểm số độc lập trên bảng điểm. Đó là một đặc điểm của toàn bộ dòng Granite 4.x hiện nay, chứ không phải lời chỉ trích nhắm vào checkpoint nào.

Chạy cả hai mà không cần chạy hai stack

Điểm đáng chú ý hữu ích về cặp đôi này là hai mô hình không cạnh tranh cho cùng một yêu cầu, nên cách triển khai thực tế là dùng cả hai, theo trình tự: Granite 4.2 3B ở chế độ suy luận cho phần khó là lập luận, Granite Switch 4.1 8B cho phần khó là chấm điểm một quyết định hoặc phiên âm một ghi chú thoại. Đó là kiến trúc hai container, và cần nói rõ chỗ nào lớp định tuyến giúp ích và chỗ nào không: hiện nay không có mô hình Granite thuộc bất kỳ thế hệ nào trong danh mục OrcaRouter, nên chúng tôi không phải là một tuyến được host cho một trong hai checkpoint này — Granite Switch 4.1 8B và Granite 4.2 3B đều là tải xuống từ Hugging Face cộng với một container vLLM. Điều nền tảng thay đổi là lớp nằm trên chúng. Hơn hai trăm mô hình nằm sau một khóa duy nhất, giá niêm yết của nhà cung cấp được chuyển tiếp với mức chênh 0% nên việc nhà cung cấp giảm giá có hiệu lực ngay trong cùng ngày thay vì đến kỳ làm mới danh mục tiếp theo, và chuyển đổi dự phòng tự động nghĩa là một mô hình bạn chỉ đang thử nghiệm có thể nằm trong luồng đang chạy mà không trở thành điểm hỏng đơn lẻ. Ý nghĩa của việc có sẵn những thứ đó trước khi bất kỳ mô hình Granite nào xuất hiện trên một endpoint được host là khi đó việc so sánh chỉ tốn một chuỗi mô hình thay vì một lần di trú.

Vậy cái nào

Chọn Granite 4.2 3B khi khối lượng công việc là suy luận, khi máy nhỏ, hoặc khi đầu vào dài hơn 131K token. Chọn Granite Switch 4.1 8B khi khối lượng công việc cần xác suất quyết định đã được hiệu chuẩn, một màn sàng lọc an toàn nội tuyến, hoặc giọng nói trên cùng endpoint với chat. Chọn cả hai nếu bạn có GPU, vì mức độ chồng lấn giữa chúng nhỏ hơn nhiều so với vẻ ngoài mà nhãn chung "Granite 4.x" tạo ra — và đừng chọn cái nào chỉ dựa vào sức mạnh của một con số benchmark mà IBM chạy trên card của IBM, vì đó là toàn bộ cơ sở bằng chứng công khai cho cả hai.