Granite Switch 4.1 30B: IBM cắt giảm mười hai adapter xuống còn hai

Cách đây năm tháng, IBM đã đưa bản xem trước Granite Switch 30B lên Hugging Face với mười hai adapter bên trong và mức phụ trội tham số 11,68% so với mô hình cơ sở. Vào ngày 14 tháng 10 năm 2026, mô hình hoàn chỉnh đã ra mắt — Granite Switch 4.1 30B — và nó chỉ có đúng hai adapter cùng mức phụ trội 3,89%. Con số trên tiêu đề đã giảm đi hai phần ba, và đó chính là bản phát hành này.

Nói cho chính xác "đã ra mắt" nghĩa là gì, vì đây chính là chỗ mà rất nhiều bài đưa tin làm ẩu: các trọng số đã được đăng lên Hub vào ngày 14 tháng 10 năm 2026, còn bài đăng công bố chính thức của IBM, Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint, thì lên vào ngày 15 tháng 10. Đó là hai ngày trước thời điểm bài này được viết. Đây là một bản phát hành đã được công bố, chứ không phải một bản âm thầm xuất hiện mà ai đó tình cờ tìm thấy trong một mirror, và cũng không phải là việc niêm yết lại bản xem trước hồi tháng Năm — artifact đã khác, số lượng adapter đã khác, và đường xử lý âm thanh hoàn toàn không tồn tại trong bản xem trước. Phần tiếp theo sẽ tách bạch rõ những gì bạn có thể đọc được từ kho lưu trữ và những gì chỉ có IBM mới nói ra.

Thực sự có gì trong checkpoint

Granite Switch 4.1 30B là một sự kết hợp, không phải một kiến trúc mới. Nó lấy Granite 4.1 30B — một transformer chỉ-giải-mã dày đặc, cửa sổ 131.072 token, từ vựng 100.352 token — đóng băng mô hình, rồi gắn thêm hai bộ điều hợp LoRA được kích hoạt cùng một bộ mã hóa giọng nói. Bản kê khai bản dựng được lưu vào kho lưu trữ ngay cạnh các trọng số, đó là lý do mọi khẳng định về cấu trúc dưới đây đều có thể đọc được thay vì chỉ được thuật lại.

• guardian-core — aLoRA, rank 16, alpha 64, chỉ được gắn vào các phép chiếu attention (k_proj, o_proj, q_proj, v_proj), được lấy từ Guardian Library và nhắm vào nội dung gây hại, jailbreaking, ngôn từ tục tĩu, bạo lực, nội dung tình dục, thiên kiến xã hội và hành vi phi đạo đức. Token điều khiển <|guardian-core|>, id 100352.

• decision — aLoRA, rank 64, alpha 128, được gắn vào cả bảy phép chiếu kể cả MLP, và được huấn luyện để làm một việc hẹp hơn cả chat: cho trước một trạng thái và một câu hỏi với các lựa chọn đã được gắn nhãn, trả về một phân phối xác suất đã hiệu chỉnh trên các nhãn đó trong một lần lan truyền xuôi. Token điều khiển <|decision|>, id 100353.

• Giọng nói — granite-speech-5.0-470m-turboctc, một bộ mã hóa CTC conformer phi tự hồi quy với 470 triệu tham số, chỉ dành cho tiếng Anh, được đấu nối như một đường dẫn đầu vào âm thanh thay vì một dịch vụ thứ hai.

Số học về trọng số là con số gọn gàng nhất trong bản phát hành. Cơ sở: 28.865.728.512 tham số. Khi kết hợp: 29.989.814.272. Chênh lệch là 1.124.085.760 tham số, tức +3,89%. Bạn không tự viết các token điều khiển — chat template sẽ chèn chúng khi bạn truyền một đối số adapter_name, nghĩa là việc chuyển đổi năng lực là một tham số yêu cầu chứ không phải một lần triển khai thứ hai.

Bản xem trước đã đi kèm mười hai bộ chuyển đổi. Bản phát hành chính thức chỉ có hai.

Đây là một quyết định đáng để hiểu, bởi vì nhìn bề ngoài nó có vẻ như một bước thoái bộ. Checkpoint xem trước — vẫn còn trên Hub, vẫn theo Apache-2.0, đề ngày 5 tháng 5 năm 2026 — mang theo mười hai adapter từ ba Granite Libraries: citation, query rewrite, query clarification, hallucination detection, answerability, factuality detection, policy guardrails, factuality correction, guardian-core, uncertainty, requirement check và context attribution. Đó là một gói thực sự hữu ích, và là một gói mà bạn phải suy xét, bởi vì mười hai adapter nghĩa là mười hai công thức gọi và mười hai hợp đồng đầu ra khác nhau.

Granite Switch 4.1 30B giữ lại hai trong số đó và bổ sung một bộ mã hóa giọng nói. Sự đánh đổi mà IBM thực hiện là lấy tính dễ nắm bắt để đổi lấy độ bao phủ: mô hình hoàn thiện là một mô hình trò chuyện cũng có thể trả lời một câu hỏi dạng quyết định kèm xác suất và phiên âm âm thanh, và đó là ba thứ mà người gọi có thể nắm gọn trong đầu cùng một lúc.granite-switch — kho lưu trữ này sẽ tạo cho bạn một checkpoint với bất kỳ tập con nào bạn muốn, kể cả cả mười hai. Mười adapter còn lại không hề biến mất — chúng vẫn được công bố, vẫn có thể kết hợp, và trình kết hợp trong

Đó là một chi phí thực sự, và đáng để gọi tên thay vì che lấp: nếu bạn đang chờ các bộ điều hợp phát hiện ảo giác và quy kết ngữ cảnh của bản xem trước đạt đến checkpoint 1.0, thì đây không phải là điều đó. Đây là một mô hình hẹp hơn với chi phí phụ thấp hơn, và bộ công cụ tổ hợp chính là thứ thu hẹp khoảng cách.

Bộ điều hợp quyết định là nửa phần không phải là mô hình trò chuyện.

Đọc một phân phối xác suất ra khỏi một mô hình ngôn ngữ không phải là điều mới. Làm việc đó trong một forward pass duy nhất đối với một tập nhãn lựa chọn cố định, với các con số được hiệu chỉnh đủ tốt để định tuyến dựa trên đó, mới là phần cần được giải thích. Công thức được tài liệu hóa là một system prompt decision-engine cố định, một lượt State: được đánh giá trên base đóng băng, rồi một lượt ### DECISION trình bày câu hỏi và các lựa chọn được dán nhãn bằng một token. Bạn yêu cầu logprobs của đúng các id token nhãn đó rồi lấy exp. Ví dụ của chính card trả về đại loại như A: 0.982, B: 0.0035, C: 0.014 — và phần thú vị là những con số đó đến từ một completion endpoint thông thường, không phải một bộ phân loại.

Có một rắc rối kỹ thuật mà thông báo bỏ qua. Cơ chế logprob-token-id giới hạn tối đa 128 id mỗi yêu cầu, nên một câu hỏi quyết định có nhiều hơn 128 tùy chọn sẽ thất bại hoàn toàn. Cách khắc phục được tài liệu hóa là chia các id nhãn thành các khối 128, gửi một yêu cầu cho mỗi khối với một prompt giống hệt nhau, rồi nối các kết quả lại — về mặt toán học, việc này giống hệt với một lệnh gọi không bị giới hạn, bởi vì các logprobs trả về trải khắp toàn bộ từ vựng và do đó giá trị của mỗi nhãn không phụ thuộc vào việc khối nào đã hỏi nó. Cứ mỗi 128 tùy chọn thì thêm một yêu cầu. Đây là kiểu chi tiết chỉ tồn tại bên trong một repository.

Con số công bố duy nhất gắn với bộ điều hợp là Decision Index, phiên bản v0.3, tập con nhanh công khai gồm 1.068 dòng: Tổng thể 50,1, với Kiến thức 32,4, Ngôn ngữ 58,6, Truy xuất 49,8, Công cụ 76,5 và Nghệ thuật 26,4. Hãy đọc hình dạng thay vì con số tiêu đề — 76,5 ở Công cụ nằm cạnh 26,4 ở Nghệ thuật là một hồ sơ rất không đồng đều, và nó cho bạn biết nhiều hơn về nơi có thể hướng bộ điều hợp này một cách an toàn so với con số tổng thể. IBM cũng báo cáo rằng việc phục vụ bộ điều hợp cục bộ và phía sau một endpoint vLLM được lưu trữ cho kết quả khớp trong khoảng 0,6 điểm, đây là một kiểm tra tính hợp lý hữu ích trên đường phục vụ dù IBM đã tự chạy cả hai nửa của nó.

Chuyển giọng nói thành văn bản, và lưu ý mà IBM đã viết vào thẻ của chính mình

Đường dẫn âm thanh chạy bản chép lời qua bộ mã hóa nhúng và ghép nó vào ngữ cảnh trò chuyện thay cho phần nội dung âm thanh, vì vậy một yêu cầu có âm thanh trông giống như một hoàn thành trò chuyện thông thường với một input_audio dưới dạng một phần. Không có máy chủ giọng nói thứ hai, không có ngân sách độ trễ thứ hai.

Các giới hạn này đều đến từ chính tài liệu của IBM chứ không phải từ một người hoài nghi: chỉ tiếng Anh, đầu ra chữ thường và không có dấu câu, không có điều khiển tại thời điểm giải mã, và — điều đáng lẽ phải khiến bạn chậm lại — bộ mã hóa giọng nói và mô hình ngôn ngữ không được huấn luyện chung. Không có phép chiếu đã được huấn luyện nào liên kết chúng. Do đó, một lỗi phiên âm có thể thay đổi thứ mà mô hình, hoặc bộ điều hợp quyết định, phản hồi, và không có gì trong quy trình sẽ gắn cờ nó. Nếu bạn đang triển khai bất cứ thứ gì mà lỗi phiên âm gây hậu quả, thì câu đó chính là toàn bộ mô hình mối đe dọa của bạn.

Đã xác nhận, do nhà cung cấp báo cáo, chưa được xác minh

• Đã xác nhận từ kho lưu trữ — danh tính mô hình cơ sở, thứ hạng của cả hai adapter cùng các mô-đun đích tương ứng của chúng, các id token điều khiển, số tham số sau khi kết hợp và mức chênh lệch +3.89%, cửa sổ 131.072 token, giấy phép Apache-2.0, và cửa sổ hỗ trợ được ghim (Transformers 5.16–5.17, vLLM 0.26–0.28, PyTorch 2.11+).

• Do nhà cung cấp báo cáo, chưa được tái lập — các số liệu Decision Index, tuyên bố rằng Granite Speech 5.0 TurboCTC là mô hình ASR nhanh nhất trên bảng xếp hạng OpenASR, tuyên bố rằng mô hình tổng hợp tiêu thụ lượng VRAM gần như tương đương bản cơ sở, khẳng định rằng bộ điều hợp Guardian đánh bại một số mô hình quyết định đóng có tên cụ thể trong các tác vụ liên quan đến an toàn, và phần ghi chú bên lề trong bài đăng ra mắt rằng một bản dựng Granite Switch 3B tùy chỉnh đã chơi Doom ở tốc độ 60–100 quyết định mỗi giây so với mức được báo cáo là 10 mỗi giây. IBM cho biết sẽ có thêm dữ liệu “trong vài tuần tới”, đây là một sự thừa nhận rằng bằng chứng hiện nay còn mỏng.

• Chưa ai kiểm chứng — còn mọi thứ khác. Không có đánh giá từ bên thứ ba, không có tên trên bảng xếp hạng, không có đo lường độ trễ hay thông lượng độc lập, không có endpoint IBM nào được lưu trữ. Kho lưu trữ chỉ có vài lượt thích và, tại thời điểm viết bài, gần như không có lượt tải nào. Mới hai ngày tuổi và phần lớn vẫn chưa được đọc.

Vị trí của cái này trong một stack

Granite Switch 4.1 30B là một câu chuyện tự vận hành. Model card liệt kê Hugging Face Transformers và vLLM, ghim một khoảng phiên bản hẹp, và checkpoint chạy trên cả hai mà không cần chuyển đổi. Không có endpoint được quản lý, nên bước đầu thực tế là một GPU và một container.

Nói thẳng về phần còn lại: hiện không có mô hình Granite nào trong danh mục của OrcaRouter, nên nếu bạn muốn bản checkpoint này, con đường là bản phát hành của IBM và phần cứng của chính bạn. Điều nền tảng mang lại là quyết định xung quanh — hơn 200 mô hình sau một khóa duy nhất với khả năng chuyển đổi dự phòng tự động, giá niêm yết của nhà cung cấp được chuyển nguyên với mức phụ phí 0% — điều này đặc biệt quan trọng đúng trong tình huống này. Một bản checkpoint mới hai ngày tuổi chưa có đánh giá độc lập chỉ là một ứng viên, không phải mô hình đang được dùng, và cách rẻ nhất để xử lý một ứng viên là giữ nó bên cạnh mô hình đang chạy trong sản xuất và so sánh trên lưu lượng của chính bạn thay vì đấu dây lại đường sản xuất xoay quanh nó.

Câu hỏi mở

Canh bạc đằng sau Granite Switch là ở chỗ, với một loại công việc cụ thể, việc kết hợp sẽ thắng quy mô — những ứng dụng trả lời, ra quyết định và chuyển thành văn bản, nơi ba mô hình đồng nghĩa với ba lần triển khai, ba độ trễ và ba hóa đơn. Chia sẻ một KV cache giữa các adapter và chỉ trả 3.89% cho việc đó là một thành tựu kỹ thuật thực sự khác thường, và đó là phần của bản phát hành này mà một năm nữa vẫn sẽ còn quan trọng.

Điều chưa được ngã ngũ là liệu câu trả lời được tổng hợp có tốt hay không. Hồ sơ được công bố của bộ điều hợp quyết định không đồng đều, đường xử lý giọng nói chỉ dành cho tiếng Anh và không được huấn luyện chung, còn mô hình mới chỉ hai ngày tuổi và chưa có lần chạy độc lập nào đứng sau. Hãy đọc manifest bản dựng, tự tạo tập con của riêng bạn, và đánh giá hiệu năng bộ điều hợp quyết định dựa trên tập nhãn của chính bạn trước khi bạn tin vào con số 50.1 của bất kỳ ai.