Granite Speech 5.0 2B so với Granite Speech 5.0 470M TurboCTC: Thông lượng gấp 35× để đổi lấy 0,45 điểm WER

IBM đã phát hành hai checkpoint Granite Speech 5.0 cách nhau trong vòng một ngày, và điều thú vị ở chúng không phải là một cái lớn hơn. Mà là Granite Speech 5.0 2B đạt WER tiếng Anh trung bình 5,06% ở 570 RTFx trên Open ASR Leaderboard, trong khi Granite Speech 5.0 470M TurboCTC đạt 5,51% ở 19.870 RTFx — thông lượng gấp khoảng ba mươi lăm lần với mức giảm độ chính xác dưới nửa điểm. Nếu bạn cho rằng số tham số mang lại cho bạn thứ gì đó tỷ lệ thuận, thì không phải vậy. Nó mang lại cho bạn khả năng dịch, tăng trọng số từ khóa, kiểm soát nhận dạng ngôn ngữ và một mô hình ngôn ngữ có thể tuân theo lời nhắc. Tốc độ không nằm trong danh sách đó. Các lỗi AI và sự cố tác nhân đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong OrcaRouter AI Incident Archive nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp riêng.

Cả hai con số đều là của chính IBM, được đo trên cùng một bảng xếp hạng và cách nhau trong vòng một tuần, khiến đây trở thành một trong những phép so sánh nội bộ cùng dòng sản phẩm rõ ràng hơn có được — và cũng là trường hợp mà bạn vẫn nên giả định đó là một lần đánh giá do nhà cung cấp tự chạy chứ không phải do bên kiểm toán thực hiện. Không mô hình nào có bản tái lập độc lập, và tại thời điểm viết, không mô hình nào được bất kỳ nhà cung cấp dịch vụ suy luận nào mà tôi tìm được phục vụ, kể cả danh mục của chính chúng tôi.

Cùng một tuần, hai câu chuyện phát hành khác biệt

Hai mô hình này không phải là cặp sinh đôi với kích cỡ khác nhau. Chúng được phát hành khác nhau và được xây dựng khác nhau, và lịch sử phát hành giải thích vì sao thẻ mô hình của chúng lại đọc khác nhau đến vậy.

• Granite Speech 5.0 2B — kho lưu trữ được tạo ngày 7 tháng 10 năm 2026, trọng số được commit vào tối hôm đó, thẻ mô hình được chỉnh sửa công khai trong hai tuần, ngày phát hành được đóng dấu 20 tháng 10, blog công bố ngày 21 tháng 10. Mô hình mới, khởi đầu lặng lẽ, kết thúc ồn ào.

• Granite Speech 5.0 470M TurboCTC — được phát hành lần đầu vào ngày 25 tháng 8 năm 2026 dưới dạng mô hình chỉ hỗ trợ tiếng Anh với tuyên bố đạt 12.600 RTFx. Bản phát hành ngày 21 tháng 10 là một bản cập nhật, không phải mô hình mới: vẫn cùng kiến trúc, nhưng có đầu BPE đa ngôn ngữ 16.384 token mới, thêm sáu ngôn ngữ, cùng khả năng dấu câu và viết hoa gốc.

Sự khác biệt đó có ý nghĩa khi bạn đọc các con số. Mức 5.06% của 2B là một đánh giá mới đối với một checkpoint mới. Mức 5.51% của 470M là sự cải thiện so với con số 5.78% được công bố vào tháng 8, và blog của IBM mô tả đó là "WER tiếng Anh tốt hơn dù đã thêm sáu ngôn ngữ", và đó là cách đọc đúng — bản cập nhật đa ngôn ngữ không làm mất độ chính xác tiếng Anh, mà còn tăng thêm một chút.

Hai kiến trúc, một hệ quả

Granite Speech 5.0 2B là một mô hình ngôn ngữ giọng nói. Một bộ mã hóa Conformer CTC gồm 16 khối đưa dữ liệu vào một projector transformer truy vấn cửa sổ hai lớp, bộ này giảm mẫu 10× xuống còn các embedding âm học 10 Hz, rồi các embedding này đi vào một checkpoint trung gian của granite-4.0-1b-base được mở rộng lên 16k vị trí bằng YaRN. Tinh chỉnh có giám sát là LoRA trên projector và mô hình ngôn ngữ cùng lúc. Quá trình sinh là tự hồi quy: mô hình ngôn ngữ viết bản ghi từng token một.

Granite Speech 5.0 470M TurboCTC là một bộ mã hóa. Mười sáu khối Conformer, mục tiêu CTC, một đầu phân loại BPE đa ngôn ngữ 16.384 đơn vị, lấy mẫu con theo thời gian với hệ số 8 để đưa các khung 100 Hz xuống 12,5 Hz, giải mã tham lam không tự hồi quy. Không có bộ chiếu, không có mô hình ngôn ngữ, không có vòng lặp sinh. Đầu ra có dấu câu và được viết hoa vì mô hình được huấn luyện để phát ra dấu câu trong luồng token, chứ không phải vì một mô hình thứ hai thêm chúng vào sau đó.

Hệ quả chính là toàn bộ phép so sánh. Một mô hình 2B tạo token có mức sàn độ trễ trên mỗi token mà dù gom lô nhiều đến đâu cũng không thể loại bỏ hoàn toàn; một bộ mã hóa không tự hồi quy phát ra toàn bộ đầu ra trong một lượt truyền xuôi, nên thông lượng tăng theo kích thước lô và gần như không phụ thuộc vào gì khác. Đó là cách một mô hình chỉ bằng một phần tư số tham số lại nhanh hơn ba mươi lăm lần thay vì bốn lần.

Đó cũng là lý do vì sao mô hình 470M đánh mất những thứ mà 2B có. Không có prompt để tuân theo, nên không có chỉ thị nhận dạng ngôn ngữ, không có danh sách từ khóa và không có dịch thuật — một đầu CTC ánh xạ âm học thành token, nó không thể được yêu cầu chuyển lời nói tiếng Đức thành văn bản tiếng Anh.

Bảng điểm, và mỗi con số đến từ đâu

• Thông số — Granite Speech 5.0 2B là 2B; Granite Speech 5.0 470M TurboCTC là 470M.

• WER tiếng Anh, mức trung bình trên 9 bộ Open ASR — 5,06% so với 5,51%. Cả hai đều là các lượt chạy đánh giá IBM, ngày 15–20 tháng 10 năm 2026.

Thông lượng, RTFx — 570 so với 19.870. Cùng một khung đánh giá bảng xếp hạng, cùng khoảng thời gian.

• WER trong điều kiện nhiễu và vang, FFASR — 14,80% (hạng #4 trong số 42) so với 17,57% (hạng #12). Mô hình 2B ổn định hơn khoảng 2,8 điểm.

• Giấy phép — Apache 2.0 cho cả hai. TurboCTC cũng có bản anh em -NC theo CC-BY-NC-SA-4.0; hãy kiểm tra tên kho lưu trữ trước khi bạn phát hành.

• Ngôn ngữ — sáu ngôn ngữ chép lời (En, Fr, De, Es, Pt, Ja) kèm tính năng dịch, so với bảy ngôn ngữ (thêm tiếng Ý) nhưng không có tính năng dịch.

• Các tính năng điều khiển — gợi ý nhận diện ngôn ngữ, ưu tiên từ khóa lên tới 2.000 thuật ngữ và dịch giọng nói trên 2B; không có trên 470M.

• Huấn luyện — 390.000 giờ trong 40 ngày trên 8 H100 cho mô hình 2B; 153.000 giờ trong 24 ngày trên 8 H100 cho mô hình 470M.

Khoảng cách về độ bền vững là dòng mà người ta thường bỏ qua. Tốc độ gấp ba mươi lăm lần thì bắt mắt, nhưng WER 17,57% trên âm thanh nhiễu ở xa so với 14,80% là mức chênh lệch lỗi tương đối 19%, và âm thanh nhiễu là thứ mà hầu hết các triển khai thực tế gặp phải. Nếu âm thanh của bạn đến từ một chiếc laptop trong bếp, lợi thế tốc độ của mô hình nhỏ đang bị đánh đổi vào một bản ghi mà sau đó bạn phải sửa.

Nơi duy nhất mà 470M thực sự chiếm ưu thế về độ chính xác

Tiếng Nhật. Thẻ TurboCTC khẳng định nó vượt trội hơn mô hình 2B về tỷ lệ lỗi ký tự trên CSJ eval1, CommonVoice-17 và FLEURS — cả ba bộ kiểm thử — và nêu rõ điều này ngay trong phần văn bản của thẻ thay vì giấu nó trong một biểu đồ. Bản thân các con số chỉ nằm trong một hình, nên không thể trích dẫn mức độ lớn của chiến thắng, nhưng hướng đi là tuyên bố của chính IBM về hai mô hình của chính mình, điều này khiến nó đáng tin cậy hơn so với một so sánh giữa các nhà cung cấp.

Có một cơ chế khả dĩ. Mô hình 2B xử lý tiếng Nhật bằng cách thêm một bộ Katakana ngữ âm 92 ký tự vào head ký tự và bổ sung vào huấn luyện 16.500 giờ ASR tiếng Nhật thiên lệch theo từ khóa cùng 9.600 giờ TTS Fineweb-2, nhưng nó vẫn đưa kết quả qua một mô hình ngôn ngữ được huấn luyện chủ yếu trên văn bản châu Âu. Mô hình 470M dùng một từ vựng BPE đa ngôn ngữ duy nhất gồm 16.384 đơn vị, có tiếng Nhật ngay từ đầu, và dành 8.130 giờ cho ReazonSpeech cùng 1.860 giờ cho tiếng Nhật tổng hợp. Nếu sản phẩm của bạn là chép lời tiếng Nhật ở quy mô lớn, đây là cặp đối đầu duy nhất mà mô hình nhỏ vừa nhanh hơn vừa tốt hơn, và đáng để kiểm thử trực tiếp trước khi mặc định chọn 2B vì kích thước.

Chi phí, được tính toán thay vì báo giá

IBM không công bố giá cho cả hai mô hình. Cả hai đều là trọng số Apache 2.0, vì vậy chi phí chạy chúng chính là chi phí phần cứng, và các con số RTFx là đòn bẩy duy nhất bạn có để ước tính chi phí đó.

Lấy khối lượng công việc 1.000 giờ âm thanh mỗi ngày — một kho lưu trữ của trung tâm cuộc gọi cỡ trung bình. Với 570 RTFx, mô hình 2B cần khoảng 6.300 giây thời gian GPU, tức chỉ hơn 1,7 giờ GPU một chút. Với 19.870 RTFx, mô hình 470M cần khoảng 181 giây, tức 0,05 giờ GPU. Trên một chiếc H100 với giá khoảng 2–3 đô la một giờ, đó là vài đô la mỗi ngày so với vài xu. Cả hai đều là những con số nhỏ, và đó chính là điểm mấu chốt: ở quy mô này, không mô hình nào là đắt đỏ, và quyết định nên được đưa ra dựa trên độ chính xác và năng lực, chứ không phải tài nguyên tính toán.

Phép tính thay đổi ở phía ngược lại. Nếu bạn đang phiên âm một luồng theo thời gian thực trên máy tính xách tay hoặc chạy một ứng dụng trên thiết bị, mô hình 2B cần GPU để bắt kịp thời gian thực, trong khi 470M còn dư địa. Đó là lý do IBM định vị TurboCTC cho máy tính xách tay, điện thoại và thiết bị biên, đồng thời ghi tài liệu về mlx-audio cho Apple Silicon. Mô hình 2B cũng chạy trên llama.cpp và mlx-audio, nhưng ở Q8_0 với cảnh báo rằng lượng tử hóa bit thấp hơn sẽ mất độ chính xác khi vượt quá khoảng một phút âm thanh.

Lựa chọn, theo đúng thứ tự mà quyết định thực sự diễn ra

Đừng bắt đầu bằng điểm chuẩn. Hãy bắt đầu bằng những gì nhiệm vụ yêu cầu, vì ba trong số các khác biệt là yêu cầu bắt buộc chứ không phải sự đánh đổi.

Đầu ra có cần phải ở một ngôn ngữ khác với đầu vào không?Vậy thì đó là 2B, và không có gì để so sánh. 470M không thể dịch. Yêu cầu duy nhất này loại bỏ nó đối với quy trình phụ đề, ghi chú cuộc họp đa ngôn ngữ và bất kỳ kho lưu trữ tiếng Anh nào được xây dựng từ âm thanh không phải tiếng Anh.

Bản ghi có cần chứa các thuật ngữ cụ thể không?Tên sản phẩm, tên thuốc, ID phiếu yêu cầu, danh sách SKU của khách hàng — 2B chấp nhận tối đa 2.000 thuật ngữ dưới dạng danh sách từ khóa và đã được huấn luyện trên 23.600 giờ âm thanh có thiên lệch từ khóa chính xác cho mục đích này. 470M không có giao diện prompt. Không thể triển khai dựa trên bảng thuật ngữ trên mô hình nhỏ.

Âm thanh có sạch không? Nếu có, khoảng cách 0,45 điểm đối với tiếng Anh là nhỏ và lợi thế tốc độ 35× gần như miễn phí. Nếu không — cuộc họp, trung tâm cuộc gọi, micro thu âm xa — khoảng cách 2,8 điểm của FFASR cho thấy sai số của mô hình nhỏ sẽ khiến bạn tốn kém hơn mức tốc độ của nó tiết kiệm được.

Đây có phải là tiếng Nhật không? Hãy kiểm thử mô hình 470M trước. IBM nói rằng nó thắng trên cả ba bộ kiểm thử tiếng Nhật.

Nó có chạy trên thiết bị không? 470M được thiết kế cho việc đó. 2B có thể chạy trên một thiết bị nhưng không được thiết kế cho việc đó.

Tóm tắt trung thực là đây không phải hai kích cỡ của cùng một sản phẩm. {{1}}Một bên là hệ thống phiên âm và dịch có bảng điều khiển{{/1}}; {{2}}bên kia là một công cụ phiên âm rất nhanh, rất rẻ và không có điều khiển{{/2}}. Hầu hết các nhóm nghĩ rằng họ cần "bản tốt hơn" thực ra cần trả lời các câu hỏi về dịch thuật và bảng thuật ngữ trước, và hai câu trả lời đó sẽ giải quyết được vấn đề.

Chạy cả hai mà không đặt cược vào bên nào

Cấu hình triển khai thực tế hợp lý cho một nhóm đang thử nghiệm dòng này là triển khai cả hai, vì chúng có những kiểu lỗi trái ngược nhau. Mô hình 470M xử lý việc phiên âm hàng loạt sạch với chi phí gần như bằng không; mô hình 2B xử lý âm thanh khó, âm thanh không phải tiếng Anh và bất cứ thứ gì cần bảng thuật ngữ. Một bộ định tuyến phân loại từng tệp đầu vào — phát hiện ngôn ngữ, ước lượng tỷ lệ tín hiệu trên nhiễu, kiểm tra xem có kèm bảng thuật ngữ hay không — và gửi nó đến checkpoint phù hợp chỉ tốn khoảng năm mươi dòng mã và cắt giảm tỷ lệ lỗi của bạn ở phần đuôi mà không phải trả giá của 2B cho phần hàng loạt.

Giai đoạn phân loại đó là một lần gọi mô hình nhỏ, và đó là phần đáng chạy qua một endpoint duy nhất thay vì nhúng SDK của nhà cung cấp thứ hai: OrcaRouter cung cấp hơn 200 mô hình phía sau một API tương thích OpenAI duy nhất với giá niêm yết của nhà cung cấp và không cộng thêm phụ phí, và DSL định tuyến của nó có thể biểu diễn việc điều phối theo ngôn ngữ và chất lượng dưới dạng một quy tắc thay vì mã ứng dụng. Chuyển đổi dự phòng tự động đặc biệt quan trọng trong tuần sau một bản phát hành như bản này, khi một checkpoint đã hai ngày tuổi, chưa có gì được xác minh độc lập, và cách an toàn nhất để thử nó là giữ một đường thứ hai luôn sẵn sàng. Chưa có điều nào trong số đó giúp bạn chạy chính Granite Speech — cả hai checkpoint hiện chưa được chúng tôi phục vụ, vì vậy các mô hình giọng nói vẫn tự vận hành và lớp định tuyến bắt đầu ở một bước sau đó.

Nếu bạn chỉ triển khai một mô hình, hãy triển khai 2B. Đây là mô hình có thể làm mọi thứ mà 470M làm được, với tốc độ vẫn nhanh hơn thời gian thực ba mươi lăm lần và độ chính xác tốt hơn trên mọi benchmark IBM đã công bố, trừ tiếng Nhật. 470M là chuyên gia bạn thêm vào khi hóa đơn hoặc hồ sơ độ trễ biện minh cho việc đó — không phải mặc định để bạn bắt đầu.