Granite Speech 5.0 2B: Mô hình ASR mới của IBM đã nằm trên Hugging Face suốt hai tuần trước khi IBM công bố nó

Kho lưu trữ của Granite Speech 5.0 2B được tạo vào 7 tháng 10 năm 2026. Các trọng số đã được commit vào chính buổi tối hôm đó, dưới một thông điệp commit chỉ ghi "Upload granite-speech-5.0-2b checkpoint." Thẻ mô hình sau đó nằm đó suốt mười ba ngày và được chỉnh sửa công khai — biểu đồ đánh giá được thêm vào ngày 13, ngày phát hành và kết quả bảng xếp hạng chính thức được đóng dấu vào ngày 19, một tệp chữ ký mô hình vào ngày 20 — trước khi IBM công bố bài blog thực sự thông báo về nó, vào 21 tháng 10 năm 2026. Bài blog đó mới một ngày tuổi tính đến lúc tôi viết bài này, và nó vẫn là điều duy nhất IBM đã nói về mô hình ở bất kỳ đâu: không có thông cáo báo chí, không có trang thông báo trên ibm.com, và không có gì trên trang sản phẩm Granite ngoài trang đích chung chung. Những lỗi AI và sự cố tác nhân được ghi nhận đằng sau các bản phát hành như bản này được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter nơi mỗi mục mang nguồn, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp riêng của nó.

Vậy mô tả trung thực không phải là "không được công bố" và cũng không phải "được tung ra với sự rầm rộ". Đó là một mô hình đã âm thầm có thể tải xuống trong hai tuần, có thẻ mô hình được viết công khai, và được công bố một ngày trước bài viết này. Phần sau sẽ tách những phần có thể kiểm chứng khỏi những phần vẫn chỉ là lời của IBM.

Thực sự có gì trong checkpoint

Granite Speech 5.0 2B là một mô hình ngôn ngữ - giọng nói: một bộ mã hóa âm học Conformer đưa dữ liệu vào một mô hình ngôn ngữ nhỏ thông qua một bộ chiếu. Đây là sản phẩm kế nhiệm trực tiếp của granite-speech-4.1-2b, phiên bản được phát hành ngày 29 tháng 4 năm 2026 với cùng số lượng tham số và cùng giấy phép Apache 2.0.

• Kích thước và định dạng — 2B tham số, BF16 safetensors, Apache 2.0, không có gating trên kho lưu trữ.

• Bộ mã hóa — 16 khối Conformer được huấn luyện bằng CTC cùng hai đầu phân loại: 348 đầu ra ký tự (256 mục ASCII đầu tiên, cộng với bộ 92 ký tự Katakana ngữ âm dành cho tiếng Nhật) và 100.353 đầu ra BPE lấy từ tokenizer Granite 4.0. Kích thước ẩn 1.024, 8 đầu chú ý 128 chiều, hạt nhân tích chập 15, chú ý theo khối bốn giây.

• Projector — một transformer truy vấn cửa sổ hai lớp trên các khối gồm mười lăm embedding âm học 1.024 chiều, với ba truy vấn có thể huấn luyện cho mỗi khối và mỗi lớp. Nó giảm mẫu 5× chồng lên mức 2× của bộ mã hóa, nên mô hình ngôn ngữ thấy embedding 10 Hz thay vì khung 100 Hz.

• Mô hình ngôn ngữ — một checkpoint trung gian của granite-4.0-1b-base, được mở rộng lên 16k vị trí với YaRN, với các adapter LoRA được huấn luyện đồng thời với projector.

• Huấn luyện — khoảng 390.000 giờ âm thanh công khai và tổng hợp, tổng cộng 40 ngày trên 8 NVIDIA H100 (26 ngày huấn luyện bộ mã hóa, 14 ngày huấn luyện bộ chiếu) trên cụm Blue Vela của IBM.

• Ngôn ngữ — Tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha và tiếng Nhật để phiên âm; dịch sang và từ tiếng Anh cho sáu ngôn ngữ đó, cộng với tiếng Anh sang tiếng Ý và tiếng Anh sang tiếng Quan Thoại.

390,000 giờ là con số quan trọng nhất đối với những gì mô hình làm tốt. Thẻ mô hình phân tích chi tiết và khối đơn lẻ lớn nhất không phải là giọng đọc sạch: LibriHeavy cung cấp 45,600 giờ âm thanh không có dấu câu và thêm 45,800 giờ âm thanh có dấu câu, VoxPopuli Granary bổ sung 24,000 giờ cộng với 23,900 giờ có dấu câu, và sau đó có 59,900 giờ thuộc cái mà IBM gọi là ASR theo ngữ cảnh — cùng các kho ngữ liệu được cắt lại với ngữ cảnh đoạn trước ồn ào được thêm vào trước lời nhắc. Thêm 7,100 và 16,500 giờ là ASR thiên lệch theo từ khóa trong nhóm ngôn ngữ châu Âu và tiếng Nhật tương ứng. Sự pha trộn đó là lý do các cải thiện nổi bật là dấu câu, viết hoa, độ bền vững và thiên lệch theo từ khóa chứ không phải tỷ lệ lỗi từ thô trên tiếng Anh sạch.

Con số 5,06% và dòng chữ nhỏ bên dưới nó.

Tuyên bố nổi bật của IBM là tỷ lệ lỗi từ tiếng Anh trung bình 5,06% trên chín bộ kiểm thử dạng ngắn công khai của Open ASR Leaderboard, mà họ mô tả là xếp hạng #2 trong số các mô hình ASR trọng số mở hàng đầu. Thẻ mô hình công bố cùng con số đó với một nhãn khác — "kết quả chính thức tính đến ngày 20 tháng 10 năm 2026" — trong khi blog công bố gọi lần chạy cơ sở là "không chính thức, tính đến ngày 15 tháng 10 năm 2026." Hai mô tả đó cách nhau năm ngày và một tính từ, và chưa ai ngoài IBM tái lập được cả hai.

Biểu đồ so sánh mà thẻ mang theo đáng để đọc kỹ, vì các quy tắc lựa chọn của nó đóng vai trò rất lớn. Biểu đồ hiển thị mười mô hình trọng số mở hàng đầu theo WER trung bình, mỗi tổ chức một mô hình, với Granite Speech 5.0 2B xếp thứ hai:

• #1 Qwen3-ASR-1.7B-hf — WER trung bình 4,94%.

• #2 Granite Speech 5.0 2B — 5,06%.

• #3 cohere-transcribe-03-2026 — 5,21%.

• #4 Hojo-ASR-V1 và #5 higgs-audio-v3-stt — mỗi mục 5,22%.

• #6 thewhisper-large-v3-turbo — 5.24%. Lưu ý rằng đây là một checkpoint của cộng đồng mượn tên Whisper, chứ không phải whisper-large-v3-turbo của OpenAI, bản này đạt 7.83% trên cùng bảng xếp hạng. Hai cái thường xuyên bị nhầm lẫn với nhau, và sự nhầm lẫn đó luôn tô đẹp cho bất kỳ phép so sánh nào bạn đang đọc.

• #7 canary-qwen-2.5b — 5,38%; #8 ARK-ASR-0.6B — 5,44%; #9 MOSS-Transcribe-Diarize — 5,54%; #10 Voxtral-Small-24B-2507 — 5,81%.

Có hai điều rút ra. Thứ nhất, khoảng cách với đội dẫn đầu là 0,12 điểm phần trăm, mà trên chín bộ kiểm thử thì nằm trong mức nhiễu bạn nhận được từ một cấu hình giải mã khác — đây là đồng hạng nhất, nhưng được mô tả là hạng nhì. Thứ hai, khoảng chênh từ #2 đến #6 là 0,18 điểm. Bất cứ điều gì tạo ra khác biệt giữa các mô hình này trên tiếng Anh sạch, đó không phải là độ chính xác. Điểm bán hàng thực sự của IBM hẳn phải nằm ở nơi khác, và đúng là vậy.

Khi độ lợi đủ lớn để có ý nghĩa: nhiễu và khoảng cách

Bảng xếp hạng FFASR đo lường giọng nói có nhiễu và vang — các điều kiện gần trường, SNR cao, SNR trung bình và SNR thấp được tính trung bình gộp lại. Đây là phép đánh giá mà ở đó thế hệ 5.0 tách khỏi thế hệ 4.1 với một khoảng cách có thể cảm nhận được, và đây là con số hữu ích nhất trong bản phát hành.

• Granite Speech 5.0 2B — WER trung bình 14,80%, xếp hạng #4 trong số 42 mô hình trên bảng xếp hạng (kết quả tính đến ngày 18 tháng 10 năm 2026).

• granite-speech-4.1-2b-nar — 15,16%, #6.

• granite-speech-4.1-2b — 16,35%, #9.

Để tham khảo quy mô: whisper-large-v3 đạt 18.02% trên cùng bảng xếp hạng, và nvidia/parakeet-tdt-0.6b-v2 đạt 17.66%.

Đó là mức cải thiện 1,55 điểm so với phiên bản tiền nhiệm trực tiếp trên âm thanh thu xa và nhiễu — tương đương mức giảm tương đối khoảng 9,5% về lỗi — trong khi mức trung bình tiếng Anh sạch giảm từ 5,33% xuống 5,06%, tức khoảng 5% tương đối. Nói cách khác, mức cải thiện lớn gần gấp đôi trong những điều kiện mà người ta thực sự triển khai phiên âm: phòng hội nghị, tổng đài, micro laptop, micro máy tính bảng đặt xa. Nếu ngăn xếp ASR của bạn vốn đã ổn với âm thanh phòng thu nhưng lại hỏng trong phòng họp, thì bản phát hành này dành cho bạn.

Dấu câu đã được cải thiện; viết hoa thì không.

Bảng số duy nhất trong thẻ so sánh 5.0 với 4.1 về tỷ lệ lỗi dấu câu (PER, thấp hơn tốt hơn) và F1 về viết hoa (cao hơn tốt hơn), được tính trên các cặp từ căn chỉnh theo Levenshtein thay vì toàn bộ câu. Hãy đọc hướng của từng hàng, vì bức tranh không đồng nhất.

• LScln — PER 25,70 → 23,20; Cap-F1 89,71 → 90,16.

• LSoth — PER 22,27 → 21,22; Cap-F1 91,26 → 91,65.

• VoxPopuli — PER 24.86 → 23.70, nhưng Cap-F1 95.35 → 95.07.

• Thu nhập-22 — PER 22,87 → 21,64, nhưng Cap-F1 95,19 → 94,98.

• CV-EN — PER 9,13 → 9,18 (kém hơn một chút); Cap-F1 96,75 → 96,96.

• CV-DE — PER 3.66 → 3.65; Cap-F1 99.50 → 99.51 (tiếng Đức viết hoa danh từ, đó là lý do dòng này gần như hoàn hảo).

• CV-ES — PER 11,61 → 11,46, Cap-F1 95,68 → 95,62.

CV-FR — PER 11,00 → 11,43 (tệ hơn); Cap-F1 97,25 → 97,20.

• CV-PT — PER 7,86 → 7,53; Cap-F1 98,51 → 98,48.

Dấu câu đã đi đúng hướng ở bảy trong chín bộ; việc viết hoa đi sai hướng ở năm trong chín bộ, với mức từ 0,03 đến 0,28 điểm. Bản tóm tắt của IBM là "độ chính xác chép lời cao hơn" và "dấu câu và viết hoa", điều này có thể biện hộ được ở mức tổng thể và hơi rộng lượng ở chi tiết. Cách hiểu thực tế: hãy kỳ vọng ít dấu phẩy bị thiếu hơn, đừng kỳ vọng mô hình đột nhiên làm đúng danh từ riêng và phần đầu câu.

Hai tính năng thay đổi công việc tích hợp

Các năng lực có khả năng ảnh hưởng đến một triển khai thực tế nhất lại hoàn toàn không được đánh giá theo chuẩn trong thẻ, vì chúng là các tính năng kiểm soát chứ không phải tính năng độ chính xác.

Gợi ý nhận diện ngôn ngữ. Bạn có thể thêm vào đầu câu "Bài nói là tiếng Đức. Hãy phiên âm chính xác; không dịch." và mô hình sẽ phiên âm tiếng Đức thay vì dịch sang tiếng Anh. Điều này quan trọng vì một mô hình giọng nói tự động dịch sẽ không dùng được cho, chẳng hạn, một kho lưu trữ hỗ trợ bằng tiếng Đức — bạn nhận được bản phiên âm tiếng Anh và mất đi cách diễn đạt gốc. Câu lệnh này cũng hoạt động khi được viết bằng ngôn ngữ đích, đây là trường hợp thực tế hơn đối với một quy trình đa ngôn ngữ.

Tăng cường từ khóa lên tới 2.000 thuật ngữ. Giới hạn của phiên bản tiền nhiệm không được nêu dưới dạng con số cứng trong thẻ 4.1, nhưng 5.0 nâng danh sách được hỗ trợ lên hai nghìn thuật ngữ, theo từng lời nhắc, trên cả ASR và dịch giọng nói. Đối với tên sản phẩm, tên thuốc, ID phiếu yêu cầu hoặc danh sách SKU của chính khách hàng, đây là sự khác biệt giữa một bản chép lời dùng được và một bản cần chỉnh sửa. Thẻ báo cáo F1 của việc tăng cường từ khóa dưới dạng biểu đồ có và không áp dụng tăng cường, nhưng không có giá trị số trong văn bản, vì vậy hãy coi mức độ cải thiện là chưa được định lượng.

Còn một chi tiết thiết kế an toàn đáng biết: nếu mô hình nhận được lời nhắc sai định dạng hoặc không quen thuộc, IBM cho biết mô hình sẽ bỏ qua lời nhắc đó và quay về phiên âm thuần túy. Đó là một giới hạn có chủ đích đối với mức độ âm thanh có thể tác động đến hệ thống, và IBM khuyến nghị kết hợp mô hình với Granite Guardian để phát hiện rủi ro trong môi trường sản xuất.

Đang chạy nó

Granite Speech 5.0 2B được hỗ trợ nguyên bản trong transformers>=4.52.1 thông qua AutoModelForSpeechSeq2Seq và AutoProcessor. Thẻ mô hình cũng ghi lại vLLM, llama.cpp và mlx-audio, điều này quan trọng hơn vẻ ngoài của nó: đây là mô hình bạn có thể chạy trên máy tính xách tay, không chỉ sau một cụm GPU.

• Độ dài phân đoạn — phiên âm theo từng khúc tối đa khoảng hai phút và tách các bản ghi dài hơn bằng VAD. Ngữ cảnh YaRN 16k không phải là cái cớ để nạp vào cả một giờ âm thanh; độ chính xác suy giảm rõ rệt từ lâu trước khi ngữ cảnh đạt đến giới hạn.

• llama.cpp — thẻ này khuyến nghị Q8_0 và nêu rằng lượng tử hóa bit thấp hơn làm mất độ chính xác với âm thanh dài hơn khoảng một phút. Đó là một cảnh báo cụ thể một cách bất thường và đáng để hiểu theo đúng nghĩa đen.

• mlx-audio — 0.5.9 trở lên, cùng với jinja2, thứ mà mlx-audio cần cho mẫu trò chuyện nhưng không tự cài đặt.

• Prompt mang tính đặc thù theo từng nhiệm vụ và rất quan trọng — "phiên âm lời nói với dấu câu và cách viết hoa phù hợp" là một chế độ khác với prompt phiên âm thô, và chế độ ưu tiên từ khóa nhận thêm hậu tố "Keywords: …".

Những gì chưa thể biết được

Có ba điều đáng nói thẳng, vì những bài đưa tin xung quanh sẽ không làm vậy.

Đầu tiên, không có đánh giá độc lập nào. Mọi con số ở trên đều đến từ lượt đánh giá của chính IBM hoặc từ các bài nộp lên bảng xếp hạng do IBM thực hiện. Biểu đồ FFASR ghi “kết quả chính thức”, nghĩa là bài nộp đã có trên bảng, chứ không phải một bên thứ ba đã chạy mô hình. Chưa ai công bố bản tái lập, bài viết về chế độ lỗi, hay so sánh đối đầu trên đoạn âm thanh do IBM không tự chọn.

Thứ hai, không có endpoint được host nào. Thẻ mô hình nêu thẳng rằng mô hình "không được triển khai bởi bất kỳ Nhà cung cấp Suy luận nào", và tôi cũng không tìm thấy nó trong danh mục OrcaRouter — danh sách 209 mô hình không chứa bất kỳ checkpoint Granite Speech nào thuộc bất kỳ thế hệ nào. Hiện tại, lựa chọn của bạn là dùng trọng số, hoặc không có gì. Điều đó là bình thường với một mô hình mới ra đời được hai ngày và điều này sẽ thay đổi; trong lúc chờ, hãy lên kế hoạch tự triển khai.

Thứ ba, giấy phép khác nhau trong cùng dòng sản phẩm theo cách dễ khiến người ta nhầm lẫn. Mẫu 2B dùng Apache 2.0 và không có hạn chế thương mại. Mẫu TurboCTC nhỏ có hai biến thể, một theo Apache 2.0 và một phi thương mại — cách đặt tên không làm rõ ngay biến thể nào là biến thể nào.

Điều này đưa một pipeline giọng nói đến đâu

Kiến trúc thực tế cho một triển khai Granite Speech 5.0 2B vào cuối năm 2026 là một encoder-decoder tự lưu trữ phiên âm âm thanh, và một lệnh gọi mô hình ngôn ngữ riêng biệt đảm nhận phần việc tiếp theo: tóm tắt cuộc gọi, trích xuất trường, phân loại ý định, làm sạch bản phiên âm theo một lược đồ. Giai đoạn thứ hai đó là tạo văn bản thông thường, và đây là phần được hưởng lợi từ việc không bị gắn cứng vào một nhà cung cấp duy nhất — bản phiên âm được gửi đến một endpoint tương thích OpenAI có thể truy cập 200+ mô hình theo giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí, vì vậy việc hoán đổi mô hình làm sạch là một thay đổi cấu hình chứ không phải là xây dựng lại, và sự cố ngừng hoạt động của nhà cung cấp sẽ được chuyển sang phương án dự phòng thay vì kéo cả pipeline sập theo.

Đối với riêng khâu giọng nói, quyết định tuần này hẹp hơn những gì biểu đồ benchmark gợi ý. Granite Speech 5.0 2B là một mô hình ASR tiếng Anh trọng số mở đáng tin cậy, nằm trong top ba, là bước cải thiện rõ rệt so với chính phiên bản tiền nhiệm của nó đúng trong những điều kiện khiến ASR hỏng trong môi trường sản xuất, và là một mô hình thực sự đa ngôn ngữ với khả năng dịch và điều khiển từ khóa mà hầu hết đối thủ ở cùng kích cỡ không cung cấp. Nó cũng mới ra đời được hai ngày, được nhà cung cấp benchmark, và chưa được tái lập. Hãy chạy nó trên âm thanh khó nhất của chính bạn trước khi tin vào 5.06%.