Granite Speech 5.0 2B so với Whisper large-v3-turbo: IBM thắng ở các bài benchmark, Whisper thắng ở 99 ngôn ngữ

Về hai con số mà hầu hết mọi người kiểm tra đầu tiên, Granite Speech 5.0 2B đánh bại Whisper large-v3-turbo và khoảng cách không hề nhỏ. Mô hình của IBM đạt tỷ lệ lỗi từ trung bình 5,06% trên chín bộ kiểm thử tiếng Anh dạng ngắn của Open ASR Leaderboard ở 570 RTFx; checkpoint turbo của OpenAI đạt trung bình 7,83% ở 200 RTFx trên cùng bảng xếp hạng. Nhanh hơn và chính xác hơn, trên cùng một benchmark, cách nhau khoảng hai năm về ngày phát hành. Nếu âm thanh của bạn là tiếng Anh và sạch, thì đó là toàn bộ so sánh và bạn có thể ngừng đọc. Các lỗi AI và sự cố tác nhân đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong the OrcaRouter AI Incident Archive nơi mỗi mục đi kèm nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.

Lý do trang này vẫn cần tồn tại là con số thứ ba: 99. Whisper large-v3-turbo bao phủ chín mươi chín ngôn ngữ; Granite Speech 5.0 2B bao phủ sáu ngôn ngữ để phiên âm và dịch sang thêm hai ngôn ngữ nữa. Lợi thế WER 2,8 điểm trên tiếng Anh chẳng có giá trị gì nếu âm thanh là tiếng Việt. Vì vậy, câu hỏi thực sự không phải là mô hình nào tốt hơn — mà là liệu hỗn hợp ngôn ngữ của bạn có vừa trong chiếc hộp sáu ngôn ngữ hay không, và nếu vừa thì chi phí chuyển đổi là bao nhiêu.

Whisper large-v3-turbo thực chất là gì

Ở đây cần nói thật chính xác, vì cái tên này thường bị gán cho những thứ không phải nó. Whisper large-v3-turbo là phiên bản được tỉa gọn từ large-v3 của OpenAI: phần encoder không thay đổi, nhưng decoder chỉ có 4 lớp thay vì 32. Chỉ riêng thay đổi đó đã đưa mô hình từ 1.550M tham số xuống 809M và tăng thông lượng khoảng gấp ba lần, trong khi độ chính xác chỉ giảm tương đối ít — đó là lý do nó trở thành checkpoint ASR nhanh mặc định trên khắp hệ sinh thái chỉ trong vài tháng sau khi ra mắt vào tháng 10 năm 2024.

Ba thuộc tính rút ra từ thiết kế đó và tất cả đều quan trọng cho sự so sánh này:

• Đây là một mô hình dịch tình cờ bị cắt tỉa, nên nó kế thừa khả năng phiên âm và nhận diện ngôn ngữ trên 99 ngôn ngữ — nhưng biến thể turbo không được huấn luyện để dịch. Khác với large-v3, nó phiên âm và nhận diện ngôn ngữ; nó không chuyển lời nói ở ngôn ngữ này thành văn bản ở ngôn ngữ khác. Các nhóm thường phát hiện điều này sau khi đã xây dựng dựa trên nó.

• Bộ giải mã là tự hồi quy. Nó ghi các token, mỗi lần 4 lớp, đó là lý do thông lượng của nó nằm ở 200 RTFx chứ không phải hàng nghìn. Tốc độ của Whisper đến từ việc loại bỏ các lớp, chứ không phải từ việc thay đổi mô thức giải mã.

• Nó được cấp phép theo MIT, mà trên thực tế thì thoáng hơn Apache 2.0 đúng ở một điểm mà một số đội ngũ pháp lý quan tâm: không có điều khoản cấp phép bằng sáng chế nào cần phân tích, và không có tệp ghi công nào phải kèm theo.

Lợi thế thực sự của Whisper chưa bao giờ là benchmark. Đó là hai năm công cụ — faster-whisper, whisper.cpp, endpoint được quản lý của mọi đám mây, các công thức lượng tử hóa, thư viện mốc thời gian cấp từ, các stack diarization được xây dựng trên nền tảng đó. Hệ sinh thái đó là một chi phí chuyển đổi thực sự và so sánh này phải tính đến nó một cách trung thực.

Đâu là khoảng cách thật, và đâu là tạo tác do harness gây ra

So sánh 5,06% với 7,83% nằm trên cùng một bảng xếp hạng, khiến nó đáng tin cậy hơn hầu hết các con số giữa các nhà cung cấp — nhưng đây không phải là một lần chạy so sánh cùng điều kiện, và các chi tiết có thể nghiêng cả hai chiều.

• Con số Granite đến từ lần đánh giá do chính IBM thực hiện và gửi lên bảng xếp hạng, được mô tả trong blog công bố là “không chính thức, tính đến ngày 15 tháng 10 năm 2026”. Thẻ mô hình gọi cùng những kết quả đó là “chính thức” tính đến ngày 20 tháng 10. Chọn tính từ nào bạn thích cũng được; chưa ai bên ngoài IBM tái lập được kết quả đó.

• Con số Whisper là kết quả đã công bố của bảng xếp hạng cho checkpoint, được chạy bằng harness riêng của bảng xếp hạng, vốn là một pipeline khác với của IBM.

• Cả hai con số đều là giá trị trung bình trên chín bộ kiểm thử công khai, phần lớn trong số đó là giọng đọc tiếng Anh từ LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI và VoxPopuli. Điểm yếu của Whisper trên bảng xếp hạng này đã được ghi nhận rõ ràng và mang tính cấu trúc: nó được huấn luyện trên 680.000 giờ âm thanh web được giám sát yếu, điều này đem lại độ bao phủ rộng nhưng phải đánh đổi bằng khả năng định dạng chính xác.

• Trên âm thanh trường xa và nhiễu, thứ tự vẫn giữ nguyên. Bảng FFASR — lấy trung bình trên cận trường, SNR cao, SNR trung bình và SNR thấp — xếp whisper-large-v3 ở mức 18,02%, còn Granite Speech 5.0 2B ở mức 14,80%. Lưu ý rằng đó là large-v3, không phải turbo; turbo nhìn chung kém hơn một chút so với bản gốc của nó trên âm thanh khó vì nó có ít lớp giải mã hơn để khắc phục một dự đoán âm học sai.

Vậy khoảng cách độ chính xác có lẽ là thật về hướng và có lẽ nhỏ hơn 2,8 điểm trong một so sánh công bằng. Điều không còn nghi ngờ là nó đến từ đâu: bộ giải mã của Whisper được yêu cầu làm nhận diện ngôn ngữ, phiên mã, chấm câu, viết hoa và căn chỉnh dấu thời gian cùng một lúc với bốn lớp, trong khi kiến trúc của Granite tách công việc âm học (một bộ mã hóa CTC với các đầu ký tự và BPE) khỏi việc sinh văn bản (một mô hình ngôn ngữ 1B).

Hộp ngôn ngữ, được định lượng

Đây là nơi quyết định được đưa ra, nên nó xứng đáng nhận được nhiều hơn là chỉ một con số trong một dòng gạch đầu dòng.

• Granite Speech 5.0 2B phiên âm tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha và tiếng Nhật, đồng thời dịch giữa sáu ngôn ngữ đó và tiếng Anh, cùng với dịch tiếng Anh sang tiếng Ý và tiếng Anh sang tiếng Quan Thoại.

• Whisper large-v3-turbo phiên âm chín mươi chín ngôn ngữ và nhận diện ngôn ngữ đang được nghe. Nó không dịch.

• {{1}}Phiên bản anh em bảy ngôn ngữ của Granite{{/1}}, {{2}}Granite Speech 5.0 470M TurboCTC{{/2}}, {{3}}bổ sung tiếng Ý vào bộ phiên âm{{/3}} — vì vậy {{4}}dòng sản phẩm bao phủ bảy ngôn ngữ châu Âu và tiếng Nhật, chứ không phải sáu{{/4}}.

Chín mươi chín so với bảy là toàn bộ lập luận dành cho Whisper, và đó là một lập luận mạnh. Nhưng phân bố thực tế quan trọng hơn con số. Nếu âm thanh của bạn là tiếng Anh, Pháp, Đức, Tây Ban Nha, Bồ Đào Nha, Nhật Bản và Ý, Granite bao phủ được. Nếu bạn cần tiếng Hindi, Ả Rập, Hàn Quốc, Thổ Nhĩ Kỳ, Ba Lan, Việt Nam, Indonesia, Hà Lan, Thụy Điển hoặc bất kỳ ngôn ngữ nào trong số hơn chín mươi ngôn ngữ còn lại, Whisper là lựa chọn duy nhất trong hai lựa chọn này hoạt động được — và không mức lợi thế WER nào trên tiếng Anh có thể thay đổi điều đó.

Trường hợp trung gian là trường hợp mà hầu hết các đội thực sự đang gặp: một sản phẩm chủ yếu bằng tiếng Anh với một đuôi dài các ngôn ngữ chỉ xuất hiện vài phần trăm thời gian. Hai mô hình, mỗi tầng một mô hình, là một câu trả lời bình thường và đúng đắn — và nó rẻ hơn vẻ ngoài của nó, vì phần đuôi là nơi lưu lượng thấp.

Âm thanh dài, mốc thời gian và những thứ hỏng khi mở rộng quy mô

Câu chuyện triển khai của Whisper đã trưởng thành theo những cách không có trên bất kỳ bảng xếp hạng nào. Dấu thời gian ở cấp độ từ, phát hiện hoạt động giọng nói, phân tách người nói, truyền phát với giải mã theo khối — tất cả đều đã tồn tại, tất cả đều đã được kiểm chứng qua thực tế, và phần lớn trong đó giả định cửa sổ 30 giây của Whisper cùng các token dấu thời gian của nó.

Granite Speech 5.0 2B có thiết kế khác. IBM khuyến nghị các đoạn tối đa khoảng hai phút, được chia bằng VAD đối với các bản ghi dài hơn, và mô hình ngôn ngữ nhận embedding 10 Hz trong ngữ cảnh 16k được mở rộng bằng YaRN. Không có nhánh dự đoán dấu thời gian ở mức từ trên checkpoint 2B cơ sở — thế hệ 4.1 đã phát hành một biến thể "-plus" riêng cho ASR gán người nói và dấu thời gian ở mức từ, và chưa có biến thể 5.0 tương đương.

Đó là một khoảng trống thực sự nếu bạn đang xây dựng phụ đề, bản ghi cuộc họp có nhãn người nói hoặc bất kỳ thứ gì cần tua đến một cụm từ. Blog 5.0 có mô tả các cải tiến dấu thời gian, nhưng chúng thuộc về granite-speech-4.1-2b-plus đã được làm mới, không phải 5.0 2B.

• Cần dấu thời gian ở cấp độ từ — Whisper large-v3-turbo hiện nay; Granite 4.1-2b-plus nếu bạn muốn dòng Granite và có thể chấp nhận mô hình âm học cũ hơn.

• Cần quy gán người nói — vẫn câu trả lời đó; 5.0 2B không làm được điều đó.

• Cần độ chính xác cho dạng dài vượt quá vài phút — hướng dẫn phân đoạn hai phút của Granite là một giới hạn thực tế, và việc chia khối 30 giây của Whisper với condition-on-previous-text có chế độ lỗi nổi tiếng riêng của nó (vòng lặp lặp lại khi im lặng). Không cái nào rõ ràng là tốt hơn; cả hai đều cần VAD ở phía trước.

Hai tính năng mà Granite có còn Whisper turbo thì không có

Thiên lệch theo từ khóa. Granite Speech 5.0 2B chấp nhận danh sách từ khóa lên tới 2.000 thuật ngữ mỗi prompt và được huấn luyện trên 23.600 giờ âm thanh có thiên lệch từ khóa thuộc các nhóm ngôn ngữ châu Âu và Nhật Bản. Whisper không có giao diện tương đương — thứ gần nhất bạn có là một chuỗi prompt giúp định hướng phong cách và từ vựng, nhưng không có quá trình huấn luyện nào đằng sau. Đối với một triển khai phiên âm tên sản phẩm, tên thuốc, mã ticket hoặc bảng thuật ngữ riêng của khách hàng, đây là khác biệt hữu ích nhất giữa hai mô hình và nó không xuất hiện trong bất kỳ chỉ số WER trung bình nào.

Gợi ý nhận diện ngôn ngữ. Bạn có thể cho Granite biết âm thanh đang ở ngôn ngữ nào và yêu cầu nó phiên âm thay vì dịch. Whisper tự động nhận diện ngôn ngữ và, ở biến thể turbo, chỉ phiên âm. Với một kho ngữ liệu đa ngôn ngữ mà bạn đã biết ngôn ngữ từ metadata, việc buộc chỉ định sẽ loại bỏ hẳn một nhóm lỗi — Whisper đôi khi nhận diện sai một đoạn ngắn rồi sau đó phiên âm một cách đầy tự tin bằng sai ngôn ngữ.

Quá trình di chuyển, qua từng bước thực sự hiệu quả

Nếu câu hỏi về ngôn ngữ được giải đáp, việc chuyển đổi sẽ bớt đau đớn hơn mức mà khoảng cách hệ sinh thái gợi ra, vì hầu hết các pipeline dựa trên Whisper đã có sẵn mối nối mà bạn cần.

1. Giữ nguyên VAD của bạn. Cả hai mô hình đều muốn các đoạn, không phải tệp. Bất cứ thứ gì bạn dùng để chia nhỏ âm thanh cho Whisper đều sẽ hoạt động với Granite với thời lượng lên tới hai phút mỗi đoạn thay vì ba mươi giây.

2. Thay thế lệnh gọi giải mã, không phải phần hạ tầng kết nối. Granite được tải qua AutoModelForSpeechSeq2Seq và AutoProcessor trong transformers>=4.52.1, hoặc qua vLLM, llama.cpp ở Q8_0, hoặc mlx-audio trên Apple Silicon. Nếu dịch vụ của bạn gọi tiến trình ngoài tới faster-whisper, bạn đang hoán đổi một lệnh gọi mô hình cục bộ này bằng một lệnh gọi mô hình cục bộ khác.

3. Viết lại lời nhắc. Granite vận hành theo chỉ dẫn, và lời nhắc quyết định chế độ: bản ghi thô, bản ghi có dấu câu, thiên về từ khóa, ghim ID ngôn ngữ. Đây là bước các nhóm thường bỏ qua, rồi họ kết luận mô hình kém hơn vì đã đưa cho nó hành vi mặc định của Whisper.

4. Đánh giá lại WER của bạn trên chính âm thanh của bạn, không phải trên LibriSpeech. Đây không phải là thủ tục hình thức. Điểm yếu của Whisper trên bảng xếp hạng là định dạng và hiện tượng trôi dạt ở dạng dài; nếu âm thanh của bạn là các clip tiếng Anh sạch dài 30 giây và bước hạ nguồn của bạn là một mô hình ngôn ngữ sửa định dạng, thì khoảng cách đo được có thể gần bằng không — hoặc, nếu âm thanh của bạn có ngữ âm vùng miền và thu xa, thì lớn hơn 2.8 điểm.

5. Luôn có một đường dự phòng. Phạm vi bao phủ các ngôn ngữ không phải tiếng Anh của Granite Speech 5.0 2B là một ranh giới cứng, và trong một sản phẩm đa ngôn ngữ, một bộ nhận diện ngôn ngữ đặt phía trước mô hình là thứ không thể thiếu. Bất kỳ nội dung nào nằm ngoài bảy ngôn ngữ đó đều được chuyển sang Whisper.

Nơi lớp định tuyến khẳng định được vị trí của mình

Bước năm là phần của quá trình chuyển đổi này biến thành vấn đề kiến trúc. Một bộ điều phối ngôn ngữ và chất lượng đặt trước hai mô hình giọng nói, cộng với bất kỳ mô hình ngôn ngữ nào dọn dẹp bản ghi sau đó, đồng nghĩa với ba lần gọi mô hình cho mỗi tệp, và ba tích hợp nhà cung cấp riêng biệt chính là cách một pipeline đơn giản trở thành một vấn đề bảo trì.

OrcaRouter là một endpoint tương thích OpenAI với hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp, không cộng thêm phụ phí, vì vậy giai đoạn xử lý hậu kỳ — làm sạch, tóm tắt, trích xuất trường — có thể được hoán đổi hoặc kiểm thử A/B mà không cần chạm vào mã nhận dạng giọng nói, và khi nhà cung cấp gặp sự cố, hệ thống sẽ chuyển sang dự phòng thay vì làm hỏng tác vụ. DSL định tuyến có thể chứa chính quy tắc điều phối: phát hiện ngôn ngữ, gửi bảy ngôn ngữ được hỗ trợ đến checkpoint Granite tự lưu trữ, gửi mọi thứ còn lại đến Whisper, và chuyển bản ghi cho bất kỳ mô hình làm sạch nào mà tác vụ yêu cầu. Chặng cuối đó là chặng mà chúng tôi thực sự có thể phục vụ ngay hôm nay; cả Granite Speech 5.0 2B lẫn Whisper large-v3-turbo đều không có trong danh mục của chúng tôi, vì vậy các mô hình giọng nói vẫn nằm trên phần cứng của riêng bạn và việc định tuyến bắt đầu ở một bước phía sau, nơi nó vẫn loại bỏ phần lớn công việc tích hợp.

Ai nên chuyển đổi, và ai không nên

Chuyển sang nếu âm thanh của bạn là tiếng Anh cùng với sáu ngôn ngữ Granite, độ chính xác quan trọng hơn mức độ quen thuộc với hệ sinh thái, bạn cần ưu tiên từ khóa hoặc ngôn ngữ bắt buộc, và hiện tại bạn có thể chấp nhận việc không có dấu thời gian ở cấp độ từ. Mức 5,06% so với 7,83% là một khoảng cách thực sự theo hướng quan trọng, và 570 RTFx so với 200 RTFx nghĩa là việc chuyển đổi có khả năng đồng thời giảm hóa đơn GPU của bạn.

Đừng chuyển đổi nếu bạn cần bất kỳ ngôn ngữ nào trong số chín mươi hai ngôn ngữ còn lại, dấu thời gian ở cấp độ từ, gán nhãn người nói hoặc một điểm cuối được quản lý — Granite Speech 5.0 2B không được bất kỳ nhà cung cấp suy luận nào triển khai tại thời điểm viết bài, và tự vận hành là con đường duy nhất để có nó hiện nay. Whisper large-v3-turbo có mặt ở mọi nơi, kể cả những nơi không cho phép bạn chạy GPU của riêng mình.

Chạy cả hai nếu bạn có một đuôi ngôn ngữ dài. Việc điều phối rẻ, phần đuôi theo định nghĩa là lưu lượng thấp, và nó loại bỏ lập luận duy nhất mà Whisper còn lại.