Voxtral 3: Mistral đưa bốn mô hình giọng nói và một API tác nhân giọng nói về cùng một hệ đo lường

Con số đáng chú ý trong bản phát hành ngày 20 tháng 10 của Mistral không phải là tỷ lệ lỗi từ. Đó là $0.04 mỗi phút. Đó là mức công ty tính cho một tác nhân thoại Voxtral 3 — một pipeline đầu-cuối nghe người gọi, suy luận về điều họ nói bằng Mistral Small 4, gọi công cụ và trả lời. Cộng các phần Mistral bán riêng lẻ lại thì cùng một phút sẽ tốn nhiều hơn: Voxtral Mini Transcribe Realtime 3 ở mức $0.008, cộng với Voxtral Mini T​TS 3 ở khoảng $0.02 cho tốc độ nói thông thường, cộng thêm mô hình suy luận. Phút được đóng gói chính là sản phẩm. Mọi thứ còn lại — Voxtral Small Transcribe 3, Voxtral Mini Transcribe 3, Voxtral Mini Transcribe Realtime 3, Voxtral Speech 3 — được bán như một thành phần bạn có thể mua riêng lẻ, và như một cách cho thấy các thành phần đủ tốt để đáng được đóng gói. Các pipeline tác nhân thoại thất bại theo những cách mà bảng giá không bao giờ đề cập, và các sự cố được ghi lại được lập danh mục trong OrcaRouter AI Incident Archive nơi mỗi mục có nguồn, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp riêng.

Thực sự có gì mới, theo từng mô hình

Đây là một đợt làm mới cả dòng sản phẩm, không phải một mẫu máy đơn lẻ với một lần tăng phiên bản. Mỗi phần có một nhiệm vụ riêng và một mức giá riêng, và cách phân chia quan trọng hơn cái tên chung.

• Voxtral Small Transcribe 3 — phân khúc độ chính xác. $0.004 mỗi phút, ngữ cảnh 32k, và là tuyên bố chủ lực của Mistral về phiên âm kèm phân tách người nói. Mô hình này còn làm được dịch, hỏi đáp bằng giọng nói, tóm tắt và gọi hàm, khiến nó trở thành thành viên duy nhất trong dòng sản phẩm gần với một mô hình ngôn ngữ âm thanh hơn là một công cụ phiên âm.

• Voxtral Mini Transcribe 3 — 4 tỷ tham số, 0,0035 USD mỗi phút, ngữ cảnh 32k. Mistral công bố kích thước của mô hình này và không tiết lộ kích thước của mô hình Small. Sự bất đối xứng đó đáng để ý: mô hình mini là mô hình đang được định vị cho khối lượng lớn và triển khai ở biên, nên dấu chân của nó là một điểm bán hàng; còn của mô hình chủ lực thì không được tiết lộ.

• Voxtral Mini Transcribe Realtime 3 — truyền trực tuyến qua WebSocket với giá 0,008 USD mỗi phút, độ trễ có thể cấu hình từ 80 ms đến 2.400 ms và tính năng phát hiện kết thúc lượt nói kết hợp cả tín hiệu âm thanh lẫn ngữ nghĩa thay vì chờ đến khi im lặng. Tài liệu ghi là "dưới 500 ms"; mức sàn cấu hình được thấp hơn thế rất nhiều, và cái giá phải trả về độ chính xác khi hạ xuống mức thấp là đáng kể — xem phần đánh giá hiệu năng.

• Voxtral Speech 3 (được ghi trong tài liệu là Voxtral Mini TTS 3) — 13 USD mỗi triệu ký tự, khoảng 90 ms để có âm thanh đầu tiên, 34 thẻ cảm xúc và hai thẻ tốc độ, chín ngôn ngữ, nhân bản giọng nói zero-shot và "chuyên nghiệp". Trang ra mắt của Mistral ghi nhận nhân bản cần 30+ phút âm thanh tham chiếu.

Bên dưới là SDK voice-agent, được xây dựng trên LiveKit và truyền phát ASR, LLM và TTS thành một pipeline duy nhất. Nó nhận cuộc gọi SIP, phiên WebRTC và các trunk telephony hoặc IVR hiện có, hỗ trợ barge-in, và cho phép bạn hoán đổi mô hình suy luận, giọng nói hoặc ngôn ngữ mà không cần xây dựng lại agent. Mistral tuyên bố độ trễ dưới một giây.

Bảng benchmark, hãy đọc kỹ

Mistral đã công bố số liệu của riêng mình, và đó là những con số tốt. Xét tỷ lệ lỗi từ trung bình macro trên FLEURS 45, Voxtral Small Transcribe 3 đạt 4,1% khi ép ngôn ngữ và 4,0% khi suy luận ngôn ngữ. Voxtral Mini Transcribe 3 đạt 4,6% / 4,5%. Để so sánh trên cùng bảng của nhà cung cấp: Gemini 3.5 Transcribe đạt 6,1% / 4,5%, Scribe v2 đạt 4,9%, GPT Transcribe đạt 6,3% / 5,6%, và Whisper large-v3 đạt 16,0% / 14,9%.

Có hai điểm ở bảng đó đáng để xem xét lại. Thứ nhất, MAI-Transcribe-2 của Microsoft đứng ở 4,1% / 4,0% — giống hệt Voxtral Small Transcribe 3, đến từng chữ số thập phân. Một bảng của nhà cung cấp mà trong đó sản phẩm chủ lực ngang bằng chính xác với đối thủ gần nhất thì hoặc là ngang bằng thật, hoặc là ngang bằng do làm tròn; Mistral không nói rõ là trường hợp nào. Thứ hai, con số Whisper không phải con số mà những người khác trích dẫn cho Whisper. Whisper large-v3 đạt WER trung bình 7,44 trên Open ASR Leaderboard, còn biến thể Turbo đạt 4,6% trên bảng độc lập của Artificial Analysis. 16% là con số Whisper thể hiện trên audio FLEURS đa ngữ khó cụ thể, không phải trên tiếng Anh trong môi trường sản xuất. Dùng lát cắt khắc nghiệt nhất hiện có cho một đối thủ là chiêu tiếp thị bình thường, nhưng đó vẫn là chiêu tiếp thị.

Bảng xếp hạng độc lập cho thấy một cục diện sát nút hơn. Artificial Analysis xếp Voxtral Small Transcribe 3 ở mức 2,1% AA-WER và Voxtral Mini Transcribe 3 ở mức 2,2% — lần lượt đứng thứ nhất và thứ hai trên bảng xếp hạng không streaming tính đến thời điểm viết bài, với MAI-Transcribe-2 ở mức 2,0% nằm ở vị trí ngay trên chúng tùy thuộc vào thời điểm đọc bảng. Các con số này sát nhau đến mức thứ tự sẽ thay đổi khi chạy lại. Bất kỳ ai tuyên bố người thắng từ khoảng cách 0,1 điểm đều chỉ đang dẫn lại nhiễu.

Nơi gói thời gian thực mang độ chính xác trở lại

Các con số streaming là thứ hữu ích nhất mà Mistral đã công bố, vì chúng là những con số kém tâng bốc nhất. Trên FLEURS 35, mức cơ sở offline của Voxtral Mini Transcribe 3 là 4,0% WER. Mô hình thời gian thực suy giảm đơn điệu khi bạn yêu cầu nó trả lời sớm hơn:

• Độ trễ 2,400 ms — 5.7% WER

• 960 ms — 6,0%

• 480 ms — 6,4%

• 240 ms — 7,4%

Đối chiếu với điều đó, Mistral liệt kê G​emini 3.5 Realtime Transcribe ở mức 4,2%, bậc phát trực tuyến của Microsoft ở mức 5,8%, G​PT Live Transcribe ở mức 8,4% và Scribe v2 Realtime ở mức 8,7%. Vậy cách hiểu trung thực là: ở độ trễ 2,4 giây thoải mái, bậc thời gian thực của Voxtral cạnh tranh được với Microsoft và đánh bại các mô hình phát trực tuyến của O​penAI và ElevenLabs, nhưng nó không đánh bại được mô hình của G​oogle, và ở 240 ms, nó kém hơn mọi thứ trừ hai mô hình xếp cuối. Tuyên bố dưới 500 ms là có thật; chỉ là nó khiến bạn mất khoảng ba điểm độ chính xác so với chạy cùng đoạn âm thanh đó ngoại tuyến.

Diarization là điểm mà nhóm mô hình này trông mạnh nhất và cũng là nơi bảng của nhà cung cấp đóng góp nhiều nhất. Trên WER hoán vị tối thiểu ghép nối, Mistral báo cáo 18,4% cho Voxtral Small Transcribe 3, 18,6% cho Mini, 19,0% cho Pyannote Orchestrator Precision 3, 20,3% cho MAI-Transcribe-2 và 38,4% cho G​emini 3.5 Transcribe. Khoảng cách 20 điểm so với G​emini về quy kết người nói là kiểu con số quyết định một sản phẩm — phiên âm cuộc họp, QA cuộc gọi — nhưng đó là bộ đánh giá của một nhà cung cấp đối với mô hình của nhà cung cấp khác, và chưa có bên thứ ba nào chạy lại.

Mức giá đó mua được những gì, tính bằng giờ

Tính phí theo phút thì dễ so sánh và cũng dễ tính sai khi phương án thay thế là tính theo token. Quy đổi sang một nghìn giờ âm thanh, tức khoảng một tháng của một trung tâm liên hệ cỡ vừa:

• Voxtral Mini Transcribe 3 — 210 USD mỗi 1.000 giờ với mức 0,0035 USD/phút

• Voxtral Small Transcribe 3 — $240 mỗi 1.000 giờ với $0.004/phút

Voxtral Mini Transcribe Realtime 3 — 480 USD cho mỗi 1.000 giờ, tức 0,008 USD/phút

• API tác nhân giọng nói với khả năng suy luận của Mistral Small 4 — 2.400 USD mỗi 1.000 giờ hội thoại với mức 0,04 USD/phút

Gói agent có giá cao gấp năm đến mười một lần gói phiên âm, đúng bậc độ lớn khi bạn nhớ rằng nó bao gồm mô hình lý luận và tổng hợp giọng nói. Đây cũng là nơi có biên lợi nhuận, và cách định vị của Mistral — xác minh danh tính, kiểm tra hóa đơn, đặt lịch hẹn — được chọn cho những cuộc gọi mà một tác vụ hoàn thành đáng giá hơn một phút tính toán.

Một lưu ý mang tính cấu trúc về toàn bộ bảng giá: mọi mô hình ở đây đều đang trong bản xem trước công khai, không phải GA, và giá xem trước trong bài phát biểu đã từng thay đổi. Không có cam kết công bố nào rằng $0.0035 sẽ giữ nguyên $0.0035.

Những gì Mistral không phát hành

Không có trọng số. Trang ra mắt cho biết Voxtral 3 có sẵn qua API của Mistral với các endpoint EU, US và toàn cầu, và “để tự triển khai trên hạ tầng của riêng bạn” — nhưng trang không công bố giấy phép, không công bố số lượng tham số cho ba trong bốn mô hình, và không có kho lưu trữ Hugging Face nào. Để làm rõ bối cảnh, các bản phát hành giọng nói trước đây của Mistral đều có thể tải xuống: Voxtral Small 24B 2507 là Apache 2.0 trên Hugging Face, Voxtral 4B T​TS 2603 là CC-BY-NC-4.0, và Voxtral Mini 4B Realtime Arabic đã được đăng lên vào ngày 8 tháng 10 mà không hề công bố giấy phép nào. Bản phát hành này là thế hệ Voxtral đầu tiên không có thành viên nào có thể tải xuống. Tự triển khai ở đây được hiểu là một hợp đồng doanh nghiệp, chứ không phải một bản tải xuống.

Cũng vắng mặt: bất kỳ độ dài âm thanh tối đa nào, bất kỳ con số ngữ cảnh nào cho các gói TTS hoặc agent, và bất kỳ chi tiết lưu trữ hoặc cư trú dữ liệu nào ngoài các vùng endpoint. Nếu bạn đang đánh giá điều này cho việc ghi âm cuộc gọi chịu quản lý, thì ba khoảng trống đó là những điểm cần khép lại trong một cuộc trao đổi mua sắm thay vì từ bài đăng ra mắt.

Cách thực sự thử nó

Voxtral 3 hiện chưa có trong danh mục của OrcaRouter, nên con đường để đánh giá nó là API riêng của Mistral và các playground của Studio, vốn bao gồm phiên âm, tạo giọng nói, nhân bản giọng nói và pipeline agent. Nơi một router thực sự phát huy tác dụng là nửa sau của quyết định: bạn gần như không bao giờ chỉ muốn một stack giọng nói duy nhất, và việc đặt mô hình suy luận xử lý các lệnh gọi công cụ của agent sau một endpoint duy nhất nghĩa là bạn có thể so sánh Mistral Small 4 với một tá mô hình khác trên cùng một bản ghi mà không phải dựng lại pipeline. OrcaRouter chuyển giá niêm yết của nhà cung cấp nguyên mức 0% phụ phí và tự động chuyển đổi dự phòng giữa các nhà cung cấp, điều này quan trọng nhất đúng trong tình huống này — một mô hình ở tầng preview chưa có lịch sử uptime nào phía trước.

Thứ tự đánh giá thực tế, nếu bạn đang làm việc này trong tuần này: hãy chạy âm thanh tệ nhất của chính bạn qua Voxtral Small Transcribe 3 và MAI-Transcribe-2 trên cùng 200 tệp, vì hai nhà cung cấp công bố cùng điểm FLEURS và chỉ âm thanh của bạn mới có thể phá thế hòa. Sau đó chạy hạng mức thời gian thực ở 960 ms và 2.400 ms và đếm xem bộ phát hiện kết thúc lượt cắt ngang lời người gọi giữa câu bao nhiêu lần — kiểu lỗi đó gây tốn kém hơn trong một agent trực tiếp so với bất kỳ khác biệt WER nào trong nhóm này. Sau đó định giá phút agent dựa trên tỷ lệ containment của bạn, không phải dựa trên hóa đơn phiên âm.

Xem gì

Ba điều sẽ quyết định liệu bản phát hành này có đứng vững theo thời gian hay không. Việc chạy lại một cách độc lập tuyên bố về phân tách người nói, vốn là con số duy nhất trong đợt ra mắt có thể thực sự thay đổi quyết định mua hàng. Liệu trọng số mô hình có được công bố hay không, bởi một Voxtral có thể tải xuống sẽ ngay lập tức trở thành lựa chọn mở mặc định cho phân tách người nói ở các ngôn ngữ châu Âu và sẽ làm lung lay toàn bộ lập luận về giá ở trên. Và liệu độ trễ của tác nhân dưới một giây có giữ được trên môi trường điện thoại thực tế thay vì chỉ trong một bản demo về thư giới thiệu tiếng Pháp hay không — chen ngang và phát hiện kết thúc lượt nói là những chỗ các tác nhân thoại thường thất bại, và cả hai đều không thể được coi là bằng chứng chỉ nhờ một bài blog của nhà cung cấp.