Ming-3.0-audio-tiny vs Voxtral 4B TTS: Một bên là người lắng nghe gắn kèm giọng nói, bên kia chẳng bán gì khác

Nếu bạn chỉ muốn tạo giọng nói và không làm gì khác, cuộc so sánh này sẽ mất khoảng ba mươi giây. Voxtral 4B T​TS là một mô hình chuyển văn bản thành giọng nói: văn bản đầu vào, âm thanh 24 kHz đầu ra, hai mươi giọng đặt trước, chín ngôn ngữ, một bảng độ trễ đã công bố và các điều khoản giấy phép không cho phép bạn bán kết quả. Ming-3.0-audio-tiny là một mô hình ngôn ngữ âm thanh tình cờ bao gồm cả bộ tạo giọng nói — một Talker 1,4 GB được gắn vào một Thinker 17,74 GB, với ba giọng nói có tên và một lối nhân bản giọng nói, nằm trong một kho lưu trữ mà phần đánh giá chưa từng đo lường việc tổng hợp giọng nói lấy một lần. Nếu giọng nói là sản phẩm, thì cuộc so sánh đã kết thúc trước khi bắt đầu. Các lỗi AI và sự cố tác nhân đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong the OrcaRouter AI Incident Archive trong đó mỗi mục đều mang nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.

Phiên bản thú vị của câu hỏi là phiên bản còn lại: bạn đang xây dựng một thứ phải hiểu âm thanh và phản hồi bằng giọng nói, và bạn đang quyết định xem nên mua một mô hình làm được cả hai hay ghép một bộ lắng nghe với một giọng nói chuyên dụng. Đó là lúc ba mươi giây biến thành cả một buổi chiều, bởi vì hai lựa chọn thất bại ở những chỗ khác nhau và chỉ một trong số đó đi kèm một con số mà bạn có thể dựa vào để lập kế hoạch.

Giấy phép quyết định nhiều hơn điểm chuẩn.

Bắt đầu với điều mà không lượng đánh giá nào có thể khắc phục. Voxtral 4B TTS là CC BY-NC 4.0 — phi thương mại — kế thừa từ các bộ dữ liệu giọng tham chiếu mà mô hình được xây dựng cùng: EARS, CML-TTS, IndicVoices-R và một bộ âm thanh tự nhiên tiếng Ả Rập. Mistral nói rõ điều này trên thẻ mô hình và hướng người dùng thương mại đến API của mình. Vì vậy, trọng số mở cho nghiên cứu và sử dụng cá nhân, còn con đường thương mại là một bảng giá thay vì một bản tải xuống.

Ming-3.0-audio-tiny được ghi là MIT trong metadata của thẻ mô hình và trong tệp LICENSE của kho GitHub mà nó trỏ đến. Đáng lưu ý: bản thân kho Hugging Face không chứa tệp LICENSE nào, và hai giọng tham chiếu đi kèm không có điều khoản riêng của mình. Ở đây, MIT thực sự là một tuyên bố cấp phép thoáng, nhưng đó là tuyên bố trong metadata chứ không phải một tệp nằm trong sản phẩm, và bộ phận mua sắm sẽ để ý thấy điều đó.

• Sử dụng thương mại — Ming: có, MIT, trọng số và mã. Voxtral: không từ trọng số; API của nhà cung cấp là con đường được chấp thuận.

• Các giọng nói đi kèm — Ming: ba giọng được đặt tên, hai trong số đó được cung cấp dưới dạng WAV tham chiếu kèm bản ghi lời. Voxtral: hai mươi preset.

• Ngôn ngữ — Ming: tiếng Trung và tiếng Anh cho toàn bộ mô hình, không có danh sách ngôn ngữ riêng cho Talker. Voxtral: tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức, tiếng Ý, tiếng Bồ Đào Nha, tiếng Hà Lan, tiếng Ả Rập và tiếng Hindi.

• Đầu ra — Ming: bất cứ thứ gì Talker tạo ra; thẻ không chỉ định tốc độ lấy mẫu lẫn vùng chứa. Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC hoặc Opus.

• Bạn chạy những gì — Ming: Thinker, 17,74 GB, cùng Talker 1,4 GB và VAE 1,6 GB trên thiết bị thứ hai. Voxtral: một checkpoint BF16 trên một GPU duy nhất có ít nhất 16 GB.

• Chất lượng giọng nói được công bố — Ming: không có. Voxtral: cũng không có, nhưng thay vào đó là bảng độ trễ và thông lượng, còn hơn là không có gì.

Hàng cuối cùng là bản tóm tắt trung thực về cơ sở bằng chứng của phép so sánh này. Không nhà cung cấp nào công bố điểm tự nhiên, chỉ số tương đồng người nói hay tỷ lệ lỗi từ trên giọng nói tổng hợp. Mistral đã công bố tốc độ của nó; inclusionAI đã công bố mô hình nghe tốt đến đâu. Chưa ai công bố một trong hai nghe hay đến mức nào.

Những con số của Mistral thực sự nói lên điều gì

Bảng Voxtral là một benchmark phục vụ, và việc đọc nó một cách chính xác rất quan trọng. Được đo trên một NVIDIA H200 duy nhất với vLLM-Omni 0.18.0, đầu vào 500 ký tự và một clip tham chiếu dài mười giây:

• Đồng thời 1 — độ trễ 70 ms, hệ số thời gian thực 0,103, khoảng 119 ký tự mỗi giây trên mỗi GPU.

• Đồng thời 16 — 331 ms, RTF 0,237, khoảng 879 ký tự mỗi giây.

• Đồng thời 32 — 552 ms, RTF 0.302, khoảng 1,431 ký tự mỗi giây.

Có hai điều rút ra. Thứ nhất, RTF tăng theo mức đồng thời — từ 0,103 lên 0,302 — nên lợi ích thông lượng từ việc gom lô là có thật nhưng dưới tuyến tính; bạn nhận được khoảng mười hai lần số ký tự với khoảng tám lần hệ số thời gian thực. Thứ hai, 70 ms đến âm thanh đầu tiên ở mức đồng thời 1 là con số quyết định liệu một tác nhân giọng nói có cảm giác sống động hay không, và đó là con số mà Ming-3.0-audio-tiny không có. Không phải một con số tệ hơn. Mà là không có.

Mistral gắn nhãn tất cả những điều này là chưa được tái lập và do nhà cung cấp vận hành, đúng là như vậy. Nhưng ít nhất đó là một tuyên bố có kèm phương pháp: phần cứng được nêu tên, phiên bản runtime được nêu tên, độ dài đầu vào được nêu tên, độ dài tham chiếu được nêu tên. Bạn có thể dựng lại bộ khung kiểm thử.

Điều mà đường dẫn giọng nói của Ming không thể trả lời

Đầu ra giọng nói của mô hình nhỏ được mô tả trong thẻ bằng ba câu: giọng tích hợp hoặc giọng tham chiếu, ba giọng có tên, nhân bản từ một clip tham chiếu cùng bản ghi chép chính xác của clip đó. Hướng dẫn triển khai bổ sung chi tiết vận hành — Talker chạy như giai đoạn thứ hai ở 0,18 giây của thẻ, bị giới hạn ở một token đầu ra với nhiệt độ 0,0 vì nó không tạo văn bản.

Trong toàn bộ kho lưu trữ, không có chỗ nào nêu tốc độ lấy mẫu cho đầu ra được tổng hợp, thước đo độ tự nhiên, thước đo độ tương đồng với đoạn ghi tham chiếu, hay một tuyên bố về việc liệu ba giọng nói là cùng một giọng ở các âm vực khác nhau hay là những người nói thực sự khác nhau. Các hình ảnh đánh giá bao gồm nhận dạng, trí tuệ âm thanh và văn bản. Tạo giọng nói là năng lực duy nhất mà nhà cung cấp quảng cáo trong phần nổi bật của mình và không đánh giá chút nào.

Đó không phải là một vụ bê bối, nhưng đó là một ràng buộc trong lập kế hoạch. Với Voxtral, bạn có thể định cỡ một triển khai trước khi nghe nó: một card, 16 GB, 119 ký tự mỗi giây ở mức đồng thời 1, và một bảng giá cho hướng thương mại. Với Ming, bạn định cỡ phần cứng (hai card, card thứ hai ở mức sử dụng 0,18) rồi sau đó mới biết về giọng bằng cách tạo ra một thứ gì đó.

Khi mô hình kết hợp vẫn là câu trả lời đúng

Có một lý do thực sự chính đáng cho Talker, và đó không phải là “TTS rẻ hơn”. Mà là cùng một mô hình đã nghe đoạn âm thanh và giờ đang nói về nó. Ming-3.0-audio-tiny nhận âm thanh cùng một chỉ dẫn văn bản và trả về văn bản, hoặc văn bản cùng giọng nói. Một câu hỏi về một bản ghi âm, được trả lời thành tiếng, trong một lượt, không có bản chép lời nào phải được tuần tự hóa vào một mô hình thứ hai. Không có lỗi kiểu “ASR nói là ‘their’, TTS đọc sai”, vì không có mô hình thứ hai và không có văn bản trung gian để bị hỏng.

Điều đó quan trọng đối với hỏi đáp bằng giọng nói, đối với một trợ lý lắng nghe một căn phòng và trả lời, và đối với bất kỳ thứ gì mà câu trả lời là một câu nói về điều nó vừa nghe. Điều đó không quan trọng đối với tường thuật, sách nói, lồng tiếng hoặc bất kỳ loại công việc nào mà văn bản đến từ nơi khác — và đó chính xác là những loại công việc mà Voxtral được xây dựng để phục vụ, với hai mươi giọng nói và chín ngôn ngữ so với ba và hai của Ming.

• Tính liên tục cùng mô hình — Ming: có, một lượt truyền xuôi từ âm thanh đến giọng nói. Voxtral: đầu vào là văn bản, nên phần nghe phải đến từ nơi khác.

• Đa dạng giọng nói — Ming: ba giọng có tên cùng tính năng nhân bản. Voxtral: hai mươi cài đặt sẵn cùng tính năng thích ứng giọng tham chiếu.

• Truyền phát — Ming: không được cung cấp; Talker là một sân khấu, không phải một luồng. Voxtral: thẻ này quảng cáo truyền phát và suy luận theo lô, và bản demo API của chính nhà cung cấp là triển khai tham chiếu.

• Giọng nói đa ngôn ngữ — Ming: tiếng Trung và tiếng Anh. Voxtral: chín ngôn ngữ, có ghi chú phương ngữ.

• Cấu trúc chi phí — Ming: phần cứng cố định, hai card, không tính phí theo từng ký tự. Voxtral: trọng số miễn phí cho mục đích phi thương mại, API tính giá theo ký tự cho mọi thứ còn lại.

Một router bổ sung gì cho một sản phẩm thoại, và những gì nó không bổ sung

OrcaRouter không cung cấp cả hai. Ming-3.0-audio-tiny là một checkpoint bạn tự chạy và Voxtral 4B TTS có thể truy cập qua API riêng của Mistral; cả hai đều không nằm trong danh mục của chúng tôi, và bài viết này không phải là lời đề nghị lưu trữ cả hai. Vị trí của router trong một sản phẩm giọng nói là phần văn bản bao quanh giọng nói: tạo kịch bản, dịch nó sang chín ngôn ngữ mà Voxtral hỗ trợ, viết bản tóm tắt những gì người gọi đã nói, quyết định liệu một đoạn có cần con người hay không. Đó là những lệnh gọi văn bản thông thường — hơn 200 mô hình văn bản sau một khóa với giá niêm yết của nhà cung cấp, cộng thêm 0% phụ phí, với chuyển đổi dự phòng tự động để một lô mười nghìn clip không bị đình trệ chỉ vì một dịch vụ thượng nguồn gặp trục trặc vào một buổi chiều.

Đó là một khoản tiết kiệm thực sự trong một quy trình lồng tiếng và chỉ là sai số làm tròn trong một bản demo chỉ dùng một mô hình. Nó cũng không đụng tới câu hỏi mà bài viết này bàn đến, đó là liệu giọng nói có tốt hay không.

Làm sao để chọn mà không nghe thử bên nào trước?

Nếu sản phẩm là giọng nói, hãy chọn Voxtral và dự trù ngân sách cho giấy phép: chạy các trọng số phi thương mại để đánh giá, rồi chuyển sang API cho bất kỳ thứ gì bạn triển khai, theo mức giá hiện hành trên mỗi ký tự. Bạn nhận được bảng độ trễ, hai mươi giọng nói, chín ngôn ngữ và một runtime đã được kiểm thử với vLLM-Omni. Bạn từ bỏ quyền tự vận hành cho mục đích thương mại, mà với nhiều đội ngũ, đó chính là quyết định thực sự.

Nếu sản phẩm thiên về hiểu, chỉ thỉnh thoảng lên tiếng, hãy chọn Ming-3.0-audio-tiny, dự trù hai GPU và coi Talker là một tính năng chưa được đánh giá — hãy xây dựng phương án dự phòng trước. Tạo hai mươi câu trên cả ba giọng, nghe thử và giữ khả năng thay bằng một mô hình TTS chuyên dụng sau này. Kiến trúc hỗ trợ việc thay thế đó một cách gọn gàng vì Thinker vẫn trả về văn bản; Talker chỉ là phần gắn kèm, không phải xương sống.

Và trong cả hai trường hợp, hãy ghi lại những gì bạn đã đo. Cả hai nhà cung cấp đều chưa làm vậy, và nhóm đầu tiên công bố một chỉ số về độ tự nhiên hoặc độ tương đồng cho một trong hai mô hình sẽ giúp ích cho cả lĩnh vực — kể cả các nhà cung cấp.

Câu trả lời thứ ba mươi hai, đã chỉnh sửa

Bản tóm tắt ngắn ở đầu bài viết này nói rằng cuộc so sánh đã kết thúc trong ba mươi giây. Nó kết thúc trong ba mươi giây nếu sản phẩm của bạn là giọng nói và bạn sẵn sàng trả tiền cho giấy phép. Sẽ mất nhiều thời gian hơn nếu bạn đang xây dựng một thứ biết lắng nghe rồi sau đó mới nói, bởi vì hai lựa chọn không phải là vật thay thế cho nhau: một là giọng nói không có tai, còn kia là tai gắn với một giọng nói chưa từng được chấm điểm. Ba mươi giây đó đưa bạn đến câu hỏi. Phần còn lại của bài viết là đoạn mà bạn tìm ra mình thực sự cần loại nào trong số đó.