Nemotron 3.5 Transcribe so với Voxtral 3: Khoảng cách hai điểm không đủ để phân định

Một mô hình, ba tỷ lệ lỗi từ. Artificial Analysis liệt kê NVIDIA Nemotron 3.5 Transcribe ở mức 3,4% trên bảng xếp hạng không streaming của mình; phần FAQ trên cùng trang mô tả nó ở mức 2,8%. Trong khi đó, Mistral Voxtral 3 — dòng sản phẩm được phát hành dưới tên Voxtral Small Transcribe 3 — đứng ở mức 2,1%, thứ ba trên bảng đó và cách con số tốt nhất được NVIDIA công bố khoảng nửa điểm. Nếu bạn lấy con số 3,4%, khoảng cách trông có vẻ mang tính quyết định. Nếu bạn lấy con số 2,8%, nó nằm trong dải nhiễu mà chỉ số này đã thể hiện trên các endpoint phục vụ. Và nếu bạn nhìn vào điểm phụ dành cho âm thanh hội thoại, thứ hạng sẽ đảo ngược.

Hai con số cho một mô hình, và không con số nào là lời nói dối

3,4% và 2,8% đến từ cùng một bảng xếp hạng vào cùng một ngày. Chúng khác nhau vì AA-WER v2 được tính dựa trên một lát cắt đánh giá cụ thể thông qua một điểm cuối phục vụ cụ thể, và chỉ số này trong lịch sử đã xê dịch gần như một điểm phần trăm đầy đủ giữa các nhà cung cấp chạy cùng một checkpoint. 2,8% của NVIDIA là con số công ty trích dẫn trong tài liệu ra mắt; 3,4% là con số bảng xếp hạng hiển thị cho điểm cuối mà nó thực sự đã kiểm thử. Không con số nào là bịa đặt, và không nên trừ con số nào trong đó khỏi 2,1% của Mistral như thể hai con số được đo trên cùng phần cứng, ở cùng độ chính xác, với cùng một nguồn âm thanh.

Điều đó không làm cho khoảng cách trở nên vô nghĩa. Nó biến khoảng cách thành một khoảng: đâu đó từ 0,6 đến 1,3 điểm nghiêng về phía Voxtral trên chỉ số batch, với giá trị thực tùy thuộc vào endpoint bạn dùng. Đối với triển khai dịch vụ khách hàng, nơi mỗi điểm WER tiêu tốn số phút con người phải rà soát, điều đó đáng giá tiền. Đối với một sản phẩm ghi chú cuộc họp, nơi con người dù sao cũng chỉ lướt qua kết quả đầu ra, thì không.

Sự khác biệt thực sự đến từ đâu

Chỉ số AA là mức trung bình trên ba thành phần: VoxPopuli, Earnings-22 và AgentTalk. Hai thành phần đầu là giọng đọc và các cuộc gọi công bố kết quả kinh doanh — sạch, một người nói, được ghi âm tốt, loại âm thanh mà cả hai mô hình đều xử lý tốt. AgentTalk mang tính hội thoại và nhiều nhiễu hơn. Trên lát cắt đó, mô hình của NVIDIA được cho là đạt 1,8% so với 2,3% của Voxtral Small, đúng là một sự đảo ngược thực sự và là con số thú vị nhất trong phép so sánh.

• VoxPopuli và Earnings-22 — Voxtral Small dẫn đầu; các bộ dữ liệu này ưu ái một mô hình được tinh chỉnh trên giọng nói dài dạng sạch.

• AgentTalk — Nemotron dẫn đầu, 1,8% so với 2,3%, trên âm thanh hội thoại giống như một cuộc gọi hỗ trợ thực tế hoặc một cuộc họp có tiếng nói chồng nhau.

• Chỉ số tổng thể — Voxtral Small ở mức 2,1%, Nemotron từ 2,8% đến 3,4%. Các thành phần giọng nói sạch có đủ trọng số để tạo ra thứ tự đó.

Mẫu đó nhất quán với hai kiến trúc. Voxtral Small là một mô hình phiên âm được huấn luyện để phiên âm thật xuất sắc; checkpoint của NVIDIA là một mô hình ngôn ngữ có bộ mã hóa giọng nói gắn cố định ở phía trước, và các mô hình ngôn ngữ thường làm tốt hơn khi âm thanh lộn xộn và ngữ cảnh mang tính hội thoại. Điều này cũng giải thích vì sao những thành tích lớn nhất mà NVIDIA tuyên bố không hề nằm ở WER trên âm thanh sạch: cpWER trung bình 15.80 trên lời nói chồng lấn có gán người nói, và WER cho thực thể có tên giảm từ 12.21% xuống 2.20% khi bạn cung cấp danh sách thực thể.

Các bảng nhà cung cấp cũng không chồng lấn.

Mistral công bố WER trung bình macro trên FLEURS-45: 4,1% khi buộc ngôn ngữ và 4,0% khi suy luận ngôn ngữ cho Voxtral Small Transcribe 3, so với 4,6% cho mẫu anh em 4B Mini và 16,0% cho Whisper large-v3. NVIDIA công bố Open ASR Leaderboard: trung bình 4,71% trên chín bộ tiếng Anh và 4,62% trên bảy bộ đa ngôn ngữ. Cả hai đều là các bộ kiểm thử do nhà cung cấp tự vận hành trên những kho ngữ liệu khác nhau với cách chuẩn hóa khác nhau, và các giá trị gần như giống hệt nhau là sự trùng hợp ngẫu nhiên, không phải so sánh trực tiếp. Bất kỳ ai trình bày 4,0 so với 4,62 như một chiến thắng 0,6 điểm đều đang so sánh điểm FLEURS với điểm Open ASR.

Các con số phân tách người nói có vấn đề tương tự nhưng theo chiều ngược lại. Mistral báo cáo WER hoán vị tối thiểu ghép nối là 18,4% trên AMI, Switchboard, CallHome và AISHELL-4. NVIDIA báo cáo cpWER trung bình là 15,80 trên bộ dữ liệu nhiều người nói của riêng mình. Con số của NVIDIA thấp hơn và bộ dữ liệu của họ cũng khác; khi không có kho dữ liệu dùng chung, điều duy nhất có thể khẳng định một cách vững chắc là cả hai công ty đều tin rằng họ đã vượt qua các hệ thống ghép tầng chuyên dụng mà họ đã thử nghiệm so sánh, và không bên nào đã công bố kết quả chạy trên dữ liệu của bên kia.

Những gì Voxtral 3 làm được mà Nemotron không thể

Bản phát hành của Mistral là cả một dòng mô hình, chứ không phải một checkpoint đơn lẻ, và dòng mô hình này bao phủ những phạm vi mà mô hình ngoại tuyến đơn nhất của NVIDIA không có được.

• Độ rộng ngôn ngữ — Voxtral Small Transcribe 3 hỗ trợ hơn 50 ngôn ngữ, bao gồm tất cả 24 ngôn ngữ chính thức của EU; NVIDIA hỗ trợ 40 ngôn ngữ, với nhãn người nói trên 13 ngôn ngữ.

• Thời gian thực — Voxtral Mini Transcribe Realtime 3 truyền phát với độ trễ dưới 500ms với giá 0,008 đô la mỗi phút, đạt WER 7,4% ở độ trễ 240ms và 5,7% ở 2.400ms. NVIDIA không có chế độ truyền phát nào cho checkpoint này ở bất kỳ mức giá nào.

• Tác nhân giọng nói — đợt ra mắt Voxtral 3 đã phát hành SDK Voice Agent dựa trên LiveKit, liên kết phiên âm, một mô hình suy luận có gọi công cụ và tạo giọng nói, với tính năng ngắt lời và điện thoại SIP. Đó là cả một hạng mục sản phẩm mà checkpoint của NVIDIA không giải quyết.

• Đơn giản trong vận hành — định giá theo phút, không cần GPU, không cần ngăn xếp phục vụ, các điểm cuối EU, US và toàn cầu. Đối với một nhóm không có hạ tầng, đó chính là sự khác biệt giữa tích hợp trong hai ngày và hai tháng.

• Định hướng theo ngữ cảnh — độ thu hồi cụm từ khóa đạt 94,6% khi có ngữ cảnh so với 81,4% khi không có, trên Earnings-22. Tương đương về ý tưởng với cơ chế danh sách thực thể của NVIDIA, được đo trên một kho ngữ liệu khác.

Điều Nemotron có thể làm mà Voxtral 3 không thể

Danh sách đảo ngược thì ngắn hơn nhưng lại nặng hơn đối với người mua phù hợp.

• Trọng số mở — OpenMDW-1.1, được phép sử dụng thương mại, được công bố ở định dạng BF16, FP8, NVFP4 và GGUF. Trang của Mistral cung cấp quyền truy cập API và "triển khai tự vận hành trên hạ tầng của riêng bạn" thông qua Mistral, và tính đến thời điểm công bố, không công bố trọng số, không có giấy phép và không có checkpoint. Nếu nhóm tuân thủ của bạn cần kiểm toán sản phẩm, chỉ một trong số này tồn tại để kiểm toán.

• Một lượt xử lý duy nhất kéo dài một giờ — 65.536 token ngữ cảnh và bản ghi dài tới một giờ. Mistral không công bố độ dài bản ghi tối đa hay cửa sổ ngữ cảnh cho Voxtral 3, và bản thân điều đó là một lý do để kiểm thử trước khi triển khai một quy trình dài.

• Dịch — 31 ngôn ngữ theo cả hai chiều sang và từ tiếng Anh. Trang ra mắt của Voxtral 3 ghi nhận tính năng phiên âm, phân tách người nói và định hướng theo ngữ cảnh; trang này không ghi nhận một tác vụ dịch giọng nói theo cách checkpoint của NVIDIA thực hiện.

• Đầu ra điều khiển bằng lệnh — năm kiểu bản ghi được chọn theo chỉ dẫn, thay vì một định dạng duy nhất kèm xử lý hậu kỳ.

• Hiểu âm thanh — hỏi đáp và làm theo chỉ dẫn bằng lời nói trên bản ghi âm. Chỉ hỗ trợ tiếng Anh trên checkpoint này, và không được ghi chú ở bất kỳ đâu trong tài liệu ra mắt Voxtral 3.

So sánh chi phí không hề sát nút, và đó chính là điểm mấu chốt.

Voxtral Small Transcribe 3 có giá 0,0040 đô la Mỹ mỗi phút, tức 0,24 đô la Mỹ mỗi giờ âm thanh. Bản 4B Mini có giá 0,0035 đô la Mỹ, tức 0,21 đô la Mỹ mỗi giờ. Mức giá niêm yết dịch vụ lưu trữ của NVIDIA là 2,00 đô la Mỹ mỗi 1.000 phút, tức 0,12 đô la Mỹ mỗi giờ. Tự triển khai là một bài toán hoàn toàn khác: với tốc độ NVIDIA tuyên bố là 2.238 giây âm thanh mỗi giây trên một chiếc RTX PRO 6000 Blackwell, một nghìn giờ âm thanh — 3,6 triệu giây — mất khoảng 27 phút thời gian GPU. Ngay cả ở một nửa thông lượng đó, tức mức mà NVIDIA nói rằng tích hợp mã nguồn mở đạt được, thời gian vẫn dưới một giờ.

• 1.000 giờ mỗi tháng — Voxtral Small $240, Voxtral Mini $210, Nemotron dạng hosted $120, Nemotron tự triển khai khoảng $2 cho thời gian GPU với mức thuê $2/giờ, cộng thêm chi phí vận hành.

• 10.000 giờ mỗi tháng — tương ứng là 2.400 USD, 2.100 USD, 1.200 USD và khoảng 20 USD cho thời gian GPU.

• Vấn đề mấu chốt — hướng tiếp cận tự vận hành giả định rằng bạn đã có GPU, toàn bộ stack phục vụ và một người có khả năng duy trì nó hoạt động. Một chiếc RTX PRO 6000 duy nhất là một khoản đầu tư vốn năm chữ số; với 1.000 giờ mỗi tháng, bạn sẽ không thể hoàn vốn trước khi thế hệ tiếp theo ra mắt. Ở mức 10.000 giờ, nó hoàn vốn trong vài tháng.

• Điểm vướng thứ hai — những con số thông lượng đó phụ thuộc vào NVFP4 cùng mô hình nháp DFlash2, và sự kết hợp đó vô hiệu hóa dấu thời gian theo từng từ. Nếu bạn cần căn chỉnh, bạn đang chạy một cấu hình chậm hơn so với cấu hình trong bảng tiếp thị.

Vậy nên lập luận về giá được chia theo khối lượng và theo việc âm thanh có được phép rời khỏi mạng của bạn hay không. Mức giá theo phút của Mistral đủ rẻ để hầu hết các nhóm dùng dưới vài trăm giờ mỗi tháng không cần phải nghĩ đến GPU chút nào. Trên mười nghìn giờ, tự vận hành một checkpoint mở trở thành lựa chọn rẻ hơn cả một bậc độ lớn, và gánh nặng vận hành là câu hỏi thực sự duy nhất.

Bài kiểm tra năm mươi giờ

Mỗi con số ở trên đều là âm thanh của người khác. Trước khi đưa một trong hai mô hình vào lộ trình sản xuất, hãy phiên âm năm mươi giờ bản ghi âm của chính bạn bằng cả hai và chấm điểm chúng theo cách người dùng của bạn sẽ làm: thực thể được đặt tên chính xác, lượt người nói chính xác, số và số tiền tệ chính xác, và các giọng đặc trưng mà khách hàng của bạn có. Chỉ số AA sẽ không cho bạn biết mô hình nào xử lý tổng đài ở Glasgow tốt hơn, và bộ khung kiểm thử của cả hai nhà cung cấp cũng vậy.

Bài kiểm tra đó cũng là nơi bộ định tuyến hữu ích cho một việc gì đó ngoài chi phí. OrcaRouter đặt các lệnh gọi văn bản ở hạ nguồn — tóm tắt, trích xuất thực thể, ẩn thông tin nhạy cảm, dịch bản ghi đã hoàn thiện — đằng sau một khóa duy nhất với 0% phụ phí, giá niêm yết của nhà cung cấp được chuyển thẳng, chuyển đổi dự phòng tự động giữa các nhà cung cấp, và một DSL định tuyến có thể gửi các giai đoạn khác nhau đến các mô hình khác nhau trong cùng một quy trình. Cả Nemotron 3.5 Transcribe lẫn Voxtral 3 đều không có trong danh mục của OrcaRouter, nên bộ định tuyến không giúp bạn gọi chúng; nó giúp bạn xử lý những gì chúng trả về mà không cần dựng thêm một mối quan hệ nhà cung cấp thứ hai cho lớp văn bản.

Kết luận phụ thuộc vào việc câu nào mô tả vấn đề của bạn. Nếu đó là “chúng tôi cần phiên âm chính xác bằng năm mươi ngôn ngữ, chúng tôi không muốn sở hữu GPU, và độ trễ quan trọng”, thì Voxtral Small Transcribe 3 là sản phẩm tốt hơn và con số 2.1% là một lý do chính đáng. Nếu đó là “chúng tôi cần bản ghi chép có gán người nói cho các cuộc họp dài hàng giờ, bản dịch, và một artefact mà đội tuân thủ của chúng tôi có thể kiểm tra”, thì Nemotron 3.5 Transcribe là lựa chọn duy nhất trong danh sách này đáp ứng cả ba, và một điểm WER trên giọng đọc sạch là cái giá phải trả cho điều đó. Nếu đó là “chúng tôi cần cả hai”, thì câu trả lời trung thực là chúng không thay thế được cho nhau, và những đội tận dụng tối đa thế hệ này đang vận hành một mô hình cho âm thanh trực tiếp và mô hình kia cho kho lưu trữ.