Phonon vs Whisper Large v3 Turbo: Hai nửa của vòng lặp thoại ngoại tuyến

So sánh Phonon 31M với Whisper Large v3 Turbo là một lỗi phạm trù, và hiện nay đây là lỗi phạm trù hữu ích nhất trong kỹ thuật giọng nói. Phonon 31M, được Gradium phát hành ngày 20 tháng 10 năm 2026, chuyển văn bản thành âm thanh. Whisper Large v3 Turbo, được OpenAI phát hành ngày 1 tháng 10 năm 2024, chuyển âm thanh thành văn bản. Chúng không cạnh tranh với nhau. Chúng là hai đầu của cùng một vòng lặp, và cả hai đều đủ nhỏ và đủ nhanh để chạy trên phần cứng mà bạn sở hữu.

Có một lý do thứ hai khiến sự ghép cặp này gây nhầm lẫn cho mọi người. Cả hai đều công bố một con số gọi là WER, và hai con số đó mang ý nghĩa trái ngược nhau. Với Whisper, tỷ lệ lỗi từ đo tần suất bản chép lời bị sai. Với Phonon, nó đo tần suất một công cụ chép lời nghe nhầm phần lời nói do mô hình tạo ra. Con số thấp hơn là tốt hơn trong cả hai trường hợp, nhưng chúng không phải cùng một phép đo, và việc đặt chúng vào cùng một cột chính là cách tạo ra những so sánh tồi.

Một người lắng nghe, một người nói

Whisper Large v3 Turbo là một mô hình nhận dạng giọng nói. Nó giữ nguyên toàn bộ encoder của Whisper large-v3 và thu gọn decoder từ 32 lớp xuống còn bốn lớp, tạo ra 809 triệu tham số thay vì 1,55 tỷ. Nó hỗ trợ 99 ngôn ngữ, tự động phát hiện ngôn ngữ và không được huấn luyện để dịch. Tài liệu của OpenAI mô tả nó nhanh hơn khoảng tám lần so với mô hình lớn với một đánh đổi nhỏ về độ chính xác; công ty không công bố hệ số nhân chính xác trên thẻ mô hình, vì vậy mọi con số tốc độ chính xác đều là kết quả kiểm thử của bên thứ ba.

Phonon 31M là một mô hình tổng hợp giọng nói. Mô hình nhận văn bản và một giọng nói, rồi tạo ra âm thanh mono 24 kHz thông qua một transformer flow-matching trên các latent Mimi. Mô hình có 31 triệu tham số, không tính tokenizer, được phát hành dưới dạng GGUF q8 64,5 MB và theo giấy phép Apache 2.0. Mô hình hoàn toàn không có khả năng nghe — nó không thể phiên âm, phân tách người nói hay nhận diện ngôn ngữ.

Điểm chung duy nhất của chúng là một mục tiêu thiết kế: cả hai đều được xây dựng để chạy mà không cần trung tâm dữ liệu. Whisper Turbo là thành viên nhanh và rẻ của một dòng mô hình đã trở thành chuẩn cơ sở ASR mở mặc định. Phonon là một nỗ lực nhằm làm cho nửa phần tổng hợp cũng rẻ tương đương.

Cùng ba chữ cái, hai phép đo khác nhau

Whisper Large v3 Turbo báo cáo WER trung bình là 7.83 trên Bảng xếp hạng ASR Mở tiếng Anh, so với 7.44 của large-v3 đầy đủ. Trên LibriSpeech test-clean, các con số vào khoảng 2.0%. Những con số đó mô tả tần suất mô hình viết sai từ khi nghe giọng nói sạch.

Phonon 31M báo cáo 0,51% trên Seed-TTS và 1,5% trên một bộ khó hơn trong thẻ mô hình của nó, hoặc 1,70% trên cùng bộ khó đó trong blog phát hành. Những con số đó mô tả tần suất whisper-large-v3 viết sai từ khi nghe đầu ra của Phonon. Lưu ý rằng bộ chấm điểm chính là Whisper. Phương pháp của Gradium mang tính vòng tròn theo cách không thể tránh khỏi: để đo một mô hình TTS, bạn cần một mô hình ASR, và tỷ lệ lỗi của chính mô hình ASR đặt ra mức sàn cho mức độ tốt mà TTS có thể thể hiện.

Đó là lý do vì sao WER 0,5% của TTS và WER 7,8% của ASR không thể so sánh với nhau, và vì sao WER của TTS dưới khoảng 1% nên được hiểu là "bộ phiên âm không gặp khó khăn gì," chứ không phải "giọng nói gần như hoàn hảo." Người nghe là con người và các hệ thống chấm điểm tự động không đồng tình với nhau, đặc biệt về ngữ điệu, điều mà không có WER nào nắm bắt được.

• Nhiệm vụ — chuyển văn bản thành giọng nói cho Phonon 31M; chuyển giọng nói thành văn bản cho Whisper Large v3 Turbo.

• Tham số — 31M không bao gồm tokenizer đối với Phonon 31M; 809M đối với Whisper Large v3 Turbo.

• Ngôn ngữ — Chỉ tiếng Anh đối với Phonon 31M; 99 ngôn ngữ đối với Whisper Large v3 Turbo.

• Đầu ra — âm thanh mono 24 kHz cho Phonon 31M; văn bản kèm dấu thời gian cho Whisper Large v3 Turbo.

Độ chính xác được báo cáo — WER Seed-TTS 0,51% cho Phonon 31M, được đo bằng Whisper; WER tiếng Anh trung bình 7,83 cho Whisper Large v3 Turbo trên Open ASR Leaderboard.

• Giấy phép — Apache 2.0 cho Phonon 31M; MIT cho Whisper Large v3 Turbo.

Định cỡ vòng lặp thoại ngoại tuyến

Nếu mục tiêu là một trợ lý giọng nói hoạt động khi không có mạng, danh mục linh kiện gồm ba mô hình, không phải hai. Nhận dạng giọng nói, tạo ngôn ngữ và tổng hợp giọng nói.

Whisper Large v3 Turbo có 809 triệu tham số, khoảng 1,6 GB trọng số ở độ chính xác 16-bit. Suy luận trên GPU thường dự trữ vài gigabyte bộ nhớ làm việc cho hoạt hóa và xử lý theo lô; các bản dựng GGUF lượng tử hóa thu nhỏ thêm mức chiếm dụng bộ nhớ với đánh đổi nhỏ về độ chính xác. Đây không phải mô hình cấp điện thoại ở dạng Turbo, mặc dù các biến thể Whisper nhỏ hơn và phiên bản chưng cất thì có.

Phonon 31M nặng 64,5 MB. Đó chỉ bằng khoảng một phần hai mươi lăm tệp trọng số của Whisper Turbo, và nó chạy trên một lõi CPU, Neural Engine của iPhone hoặc một chiếc Raspberry Pi.

Mô hình ngôn ngữ ở giữa là biến số. Một mô hình instruct từ 1B đến 4B được lượng tử hóa xuống bốn bit vừa trong vài gigabyte và là lựa chọn thông thường cho một trợ lý ngoại tuyến. Toàn bộ vòng lặp — Whisper Turbo, một mô hình instruct nhỏ, Phonon — nằm trong phạm vi mà một máy tính xách tay hoặc một điện thoại cao cấp có thể chứa, với ASR là thành phần nặng nhất.

Sự bất đối xứng đó chính là điểm nhìn thực tiễn. Một nửa của vòng lặp mà người ta lo lắng — phần tổng hợp, phần phải nghe giống con người — giờ đây lại là nửa rẻ. Nhận diện mới là phần đắt đỏ.

Ngân sách độ trễ

Số liệu từ nhà cung cấp của Phonon đưa ra mức âm thanh đầu tiên là 5 đến 7 ms trên lõi MacBook Air M5 và 9 ms trên iPhone 16 Pro, với thông lượng từ 11,6 đến 41 lần thời gian thực, tùy thuộc vào tài liệu nào của Gradium mà bạn đọc. Tốc độ của Whisper Turbo phụ thuộc rất nhiều vào phần cứng và backend: OpenAI mô tả nó nhanh hơn large-v3 khoảng tám lần, và các đánh giá của cộng đồng với bản build lượng tử hóa báo cáo tốc độ nhanh gấp hàng chục lần thời gian thực trên Apple silicon và chậm hơn nhiều trên CPU.

Trong một vòng lặp hội thoại, bước nhận dạng chiếm ưu thế. Một phát ngôn dài ba giây mất vài trăm mili giây để phiên âm trên GPU của laptop và gần bằng thời gian thực trên một CPU yếu. So sánh ra thì bước tổng hợp thực tế gần như tức thời. Những đội tối ưu TTS trước tiên đang tối ưu nhầm phía.

Độ phủ ngôn ngữ là ràng buộc cứng.

Whisper xử lý 99 ngôn ngữ. Phonon 31M chỉ xử lý một ngôn ngữ, và thẻ của Gradium cảnh báo rằng các ngôn ngữ khác bị phát âm sai. Do đó, không thể xây dựng một trợ lý giọng nói đa ngôn ngữ từ cặp này: nhận dạng hoạt động bằng tiếng Nhật, còn tổng hợp thì không.

Câu trả lời của Gradium là dòng Phonon 40M, bao gồm tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha và tiếng Bồ Đào Nha. Đó là năm ngôn ngữ, không phải 99, và các checkpoint 40M dùng giấy phép CC BY-NC 4.0 — không thể dùng trong sản phẩm thương mại nếu không có thỏa thuận riêng. Khoảng cách đa ngôn ngữ giữa ASR mở và TTS mở là một trong những khoảng cách lớn nhất trong ngăn xếp, và không có gì phát hành trong tháng này lấp đầy được nó.

Nơi chúng gặp nhau trong một sản phẩm thực tế

Ứng dụng tự nhiên là một công cụ phiên âm và phát lại: ghi âm một cuộc họp hoặc một ghi chú thoại, phiên âm bằng Whisper, rồi đọc to bản tóm tắt bằng Phonon. Cả hai đều chạy cục bộ, đều được cấp phép theo giấy phép thoáng, và không bên nào gửi âm thanh đến bên thứ ba. Một công cụ đọc chính tả y tế, một máy ghi âm thực địa, một ứng dụng trợ năng cho người điếc và người khiếm thính, hay một đồ chơi học ngôn ngữ ngoại tuyến đều phù hợp với cùng một hình mẫu.

Ứng dụng thứ hai là một tác nhân giọng nói với lượt xử lý đầu tiên cục bộ và phương án dự phòng trên đám mây. Whisper phiên âm ngay trên thiết bị; nếu độ tin cậy thấp, âm thanh được chuyển đến ASR trên máy chủ. Mô hình ngôn ngữ phác thảo câu trả lời; nếu cần một mô hình lớn hơn, yêu cầu được định tuyến ra ngoài. Phonon đọc kết quả; nếu thiết bị bị giảm hiệu năng do nhiệt, TTS trên máy chủ sẽ đảm nhận. Mỗi giai đoạn đều có tùy chọn cục bộ và từ xa, và sản phẩm quyết định dùng tùy chọn nào cho từng yêu cầu.

Lớp văn bản nằm giữa chúng

Whisper tạo ra bản ghi lời nói, Phonon tiêu thụ một kịch bản, và phải có thứ gì đó chuyển cái này thành cái kia. Thứ đó là một mô hình ngôn ngữ, và đó là phần duy nhất trong vòng lặp được hưởng lợi từ việc có kích thước lớn.

OrcaRouter không lưu trữ cả hai mô hình này — Whisper Large v3 Turbo chạy qua ngăn xếp suy luận của riêng bạn, còn Phonon chạy trên thiết bị — nên cả hai đều không xuất hiện trong danh mục của chúng tôi. Những gì nền tảng bao phủ là phần ở giữa: một API cho hơn 200 mô hình ngôn ngữ với giá niêm yết của nhà cung cấp và mức tăng giá 0%, tự động chuyển đổi dự phòng giữa các nhà cung cấp, cùng một DSL định tuyến có thể gửi các lượt thông thường đến một mô hình rẻ và các lượt khó đến một mô hình mạnh hơn. Trong một thiết kế ưu tiên ngoại tuyến, lớp đó chính là phần vẫn duy trì trực tuyến.

Thực sự thì nên so sánh điều gì

Nếu bạn đang chọn một mô hình giọng nói, hãy so sánh Phonon với các hệ thống TTS khác và Whisper Turbo với các hệ thống ASR khác. Nếu bạn đang xây dựng một sản phẩm, hãy so sánh các vòng lặp: tổng bộ nhớ, tổng độ trễ, tổng giấy phép, tổng số ngôn ngữ. Theo thước đo đó, cặp này nhất quán cho công việc chỉ tiếng Anh, ngoại tuyến, giấy phép dễ dãi và không nhất quán cho bất kỳ thứ gì đa ngôn ngữ hoặc thương mại trong phân khúc 40M.

Sai lầm cần tránh là đọc WER 0.51% của Phonon bên cạnh 7.83% của Whisper rồi kết luận rằng tổng hợp đã vượt qua nhận dạng. Những con số này được tạo ra bởi các quy trình khác nhau đo lường những thứ khác nhau, và một trong số đó được đo bởi cái còn lại. Câu hỏi hữu ích không phải là mô hình nào tốt hơn. Mà là liệu vòng lặp bạn có thể lắp ghép từ các thành phần mở trong tháng này có đủ tốt cho sản phẩm bạn đang hình dung hay không — và với tiếng Anh, ngoại tuyến, trên laptop, câu trả lời vừa thay đổi.