Nemotron 3.5 Transcribe so với Whisper Large v3 Turbo: gấp 40 lần dung lượng để đổi lấy một điểm WER

Nếu công việc phiên âm của bạn là một thư mục gồm các clip phỏng vấn mono dài ba phút và chiếc máy bạn có là một card workstation 24GB, thì việc so sánh giữa Nemotron 3.5 Transcribe và Whisper Large v3 Turbo đã ngã ngũ trước khi độ chính xác được tính đến. Mô hình mới của NVIDIA là một hệ thống giọng nói 34 tỷ tham số, được kiểm chứng trên một bộ tăng tốc 80GB. Biến thể turbo của OpenAI là một mô hình 809 triệu tham số, vừa trong 0,8GB trọng số int8 và chạy trên CPU. Tuần này, người ta đang so sánh chúng vì tỷ lệ lỗi của chúng chỉ cách nhau khoảng một điểm, và đó là sự thật ít hữu ích nhất về cặp đôi này.

Nemotron 3.5 Transcribe đã phát hành vào 2026-10-28 dưới dạng trọng số mở theo giấy phép OpenMDW-1.1, giấy phép này cho phép sử dụng thương mại. Whisper Large v3 Turbo có từ 2024-10-01 và được cấp phép MIT; đây không phải tin mới, mà là mốc chuẩn mà mọi mô hình giọng nói mới đều được đo đạc so với nó. Câu hỏi mà bài viết này trả lời không phải là mô hình nào đạt điểm cao hơn — cả hai nhà cung cấp đều muốn bạn hiểu theo hướng đó — mà là mô hình nào bạn thực sự có thể chạy, với chi phí bao nhiêu, trên đoạn âm thanh mình có.

Mỗi mô hình thực sự là gì

Sự khác biệt về kiến trúc không phải là khoảng cách giữa các thế hệ. Đó là sự khác biệt về phạm trù, và nó lý giải gần như mọi đánh đổi diễn ra về sau.

• Kiến trúc — một LLM lai Mamba–Transformer dạng mixture-of-experts với một speech encoder và một bộ mã hoá diarization 99M đã đóng băng được gắn thêm vào, tổng cộng khoảng 34B với 4,3B tham số hoạt động mỗi token, so với một encoder–decoder được chưng cất từ large-v3 với decoder bị cắt từ 32 lớp xuống còn 4.

• Cửa sổ âm thanh — các bản ghi dài đến một giờ được xử lý trong một lượt duy nhất, so với cửa sổ cố định 30 giây với giải mã nội dung dài theo từng khối cho bất kỳ nội dung nào dài hơn.

• Nhãn người nói — được tích hợp sẵn trong đầu ra, tối đa 8 người nói, bằng 13 ngôn ngữ, so với hoàn toàn không có; Whisper không có token người nói trong từ vựng của nó, vì vậy bắt buộc phải có một bộ phân tách người nói riêng.

• Định thời gian ở cấp từ — một bộ tiếp hợp CTC nhẹ sẽ căn chỉnh bản ghi lời thoại đã hoàn tất với âm thanh, thay vì chỉ dùng token dấu thời gian ở cấp đoạn, trong đó định thời theo từ đòi hỏi căn chỉnh cưỡng bức.

• Phạm vi ngôn ngữ — 40 ngôn ngữ được phiên âm, 31 ngôn ngữ được dịch sang hoặc từ tiếng Anh, 13 ngôn ngữ có gán người nói, so với 99 ngôn ngữ được phiên âm và không có bản dịch.

• Trọng số trên đĩa — khoảng 68GB ở BF16 theo OpenMDW-1.1, so với 1.6GB ở fp16, 0.81GB int8, theo MIT.

Các con số độ chính xác không khớp nhau, và đó chính là điểm mấu chốt.

Artificial Analysis vận hành chỉ số công khai duy nhất mà ở đó cả hai mô hình đều xuất hiện trên cùng một thang đo, và các con số của nó đáng được đọc kỹ vì chúng mâu thuẫn với nhau. Trên bảng xếp hạng, Whisper Large v3 Turbo được liệt kê ở mức 4,6% AA-WER trên một endpoint suy luận nhanh và 5,5% trên endpoint thứ hai. Nemotron 3.5 Transcribe được liệt kê ở mức 3,4% cho một endpoint được host. Thông báo của chính NVIDIA dẫn mức 2,80% AA-WER, đồng hạng nhất trong số các mô hình trọng số mở, và phần văn bản diễn giải của cùng bảng xếp hạng đó lặp lại 2,8% trong khi bảng của nó ghi 3,4% — một sự khác biệt nằm trong cùng một trang, trước khi bất kỳ ai bắt đầu so sánh các nhà cung cấp.

Cứ nhìn thẳng vào bảng số liệu thì Nemotron 3.5 Transcribe tốt hơn khoảng 1,2 điểm. Giờ hãy để ý rằng hai mục của chính Whisper Large v3 Turbo lại chênh nhau 0,9 điểm trên cùng một mô hình. Phần lớn khoảng cách biểu kiến giữa hai hệ thống này nằm ở cấu hình endpoint — xử lý theo lô, thiết lập giải mã, tiền xử lý âm thanh — chứ không phải kiến trúc. Bất kỳ ai lấy một chênh lệch WER duy nhất làm phán quyết thì đang trích dẫn một con số dịch chuyển gần như tương đương khi bạn đổi máy chủ.

Open ASR Leaderboard kể một câu chuyện nghe có vẻ lớn hơn. Điểm trung bình dạng ngắn tiếng Anh của Whisper Large v3 Turbo ở đó vào khoảng 7,8%, trong khi NVIDIA báo cáo 4,71% cho mô hình của mình trên chín bộ kiểm thử tại trang nghiên cứu, và WER tiếng Anh trung bình 5,33% trong bài đăng Hugging Face đi kèm. Đó là những hỗn hợp kiểm thử khác nhau với cách chuẩn hóa khác nhau, nên khoảng cách ba điểm tốt nhất cũng chỉ mang tính định hướng. Điều quan trọng hơn là thứ không tồn tại: một cuộc so sánh trực tiếp giữa nhà cung cấp với Whisper Large v3 Turbo. NVIDIA so sánh mô hình của mình với các hệ thống phân tách người nói xếp tầng và với các mô hình giọng nói trọng số mở khác, chứ không so với checkpoint turbo mà hầu hết các nhóm đang chạy hiện nay. Mọi con số “vượt Whisper” đang lưu hành đều là suy luận xuyên các benchmark, kể cả của chúng tôi.

Khoảng cách năng lực mà Whisper không thể thu hẹp

Bỏ qua phần đầu ra do prompt điều khiển, điểm khác biệt mang tính quyết định là Nemotron 3.5 Transcribe tạo ra bản ghi chú có gán nhãn người nói chỉ trong một lượt xử lý. Các thẻ người nói đến từ bộ mã hóa phân tách người nói (diarization) đã đóng băng, được hợp nhất vào các đặc trưng âm thanh; phản hồi mang theo các phân đoạn người nói thô song song với bản ghi đã gắn thẻ, và mô hình gán nhãn chúng là <spk:0> đến <spk:7>. Với một podcast hai người, đây chỉ là tiện ích. Nhưng với một phiên điều trần kỷ luật kéo dài 60 phút, một buổi khám bệnh hay một cuộc gọi bán hàng nhiều bên, đây chính là sản phẩm.

Whisper Large v3 Turbo hoàn toàn không thể thể hiện người nói. Các bản ghi lời thoại huấn luyện của nó chưa bao giờ mang nhãn người nói, và đầu vào của nó được hạ trộn xuống mono 16kHz, điều này phá hủy tín hiệu vật lý duy nhất có thể đã còn sót lại. Yêu cầu nó tạo nhãn sẽ cho ra văn bản trông có vẻ đúng nhưng không có cơ sở nào trong âm thanh. Giải pháp thay thế tiêu chuẩn là WhisperX: căn chỉnh cưỡng bức để định thời từng từ cộng với một mô hình phân tách người nói được lưu trữ riêng, được nối tại ranh giới các phân đoạn. Nó hoạt động, nó được triển khai rộng rãi, và nó gồm ba thành phần động, trong khi Nemotron 3.5 Transcribe chỉ là một.

Lợi thế cấu trúc tương tự cũng áp dụng cho âm thanh dài. Xử lý một giờ trong một lượt duy nhất tốt hơn việc ghép các cửa sổ 30 giây, và việc ghép cửa sổ có một chế độ lỗi đã biết: giải mã không có token dấu thời gian làm mất từ ở gần như mọi ranh giới — một bài nói dài 20 phút được đo đạc đã mất khoảng 3% số từ theo cách đó. Bộ tiếp hợp CTC của Nemotron 3.5 Transcribe tồn tại chính xác để tránh loại lỗi đó, tuy nhiên lưu ý rằng dấu thời gian từ không nằm trong hỗ trợ vLLM ban đầu.

Trên các tác vụ mà nó được xây dựng để thực hiện, các con số NVIDIA công bố là mạnh và do nhà cung cấp báo cáo: DER 18,26% trên 21 ngôn ngữ trong bộ đánh giá diarization David AI, được mô tả là tốt nhất trong 14 hệ thống; cpWER 32,4% trên VoiceArena, cũng tốt nhất trong 14. Danh sách thực thể theo ngữ cảnh, được cung cấp trong prompt, được ghi nhận giúp giảm sáu lần lỗi thực thể có tên trên ContextASR-Bench. Chưa có bản sao độc lập nào cho bất kỳ điều nào trong số này, và tất cả chỉ là tuyên bố về một mô hình mới ra đời được một ngày.

Nơi Whisper Large v3 Turbo vẫn thắng tuyệt đối

Độ rộng ngôn ngữ là câu trả lời đầu tiên, và nó ít nhàm chán hơn bạn tưởng. Whisper Large v3 Turbo bao phủ 99 ngôn ngữ. Nemotron 3.5 Transcribe bao phủ 40 ngôn ngữ để phiên âm, 31 để dịch và 13 để gán người nói. Nếu hàng đợi của bạn có tiếng Kazakh, Tamil, Swahili hoặc Wales, so sánh dừng ở đó: mô hình turbo phiên âm được chúng, còn mô hình mới hơn, lớn hơn thì không tuyên bố hỗ trợ.

Câu trả lời thứ hai là rào cản triển khai. Whisper Large v3 Turbo chạy dưới whisper.cpp, faster-whisper và MLX, trên CPU, trên laptop, trên Jetson. Nemotron 3.5 Transcribe yêu cầu vLLM 0.32.0 cùng plugin NeMo Speech, hoặc SGLang-Omni 0.2.0, trên H100 80GB ở BF16, L40S ở FP8, hoặc RTX 5090 ở NVFP4. Đó không phải là những cam kết vận hành có thể so sánh với nhau.

Thứ ba là giá của turbo là mức giá theo giờ được công bố, đơn điệu. Các endpoint được host tính khoảng 0,04 USD mỗi giờ âm thanh với mức tối thiểu mười giây, và nó chạy nhanh hơn khoảng 250 lần so với thời gian thực trên một endpoint nhanh. Một nghìn giờ âm thanh tốn khoảng 40 USD. Nemotron 3.5 Transcribe không có giá niêm yết được công bố cho toàn bộ checkpoint, và các endpoint được host cung cấp nó không công bố mức giá theo phút.

Hãy kiểm tra xem bạn đang benchmark Nemotron 3.5 nào

Lỗi phổ biến nhất trong phần đưa tin tuần này là so sánh sai mô hình. Phần lớn các so sánh "Nemotron 3.5" đã công bố thực chất lại đánh giá nvidia/nemotron-3.5-asr-streaming-0.6b — một mô hình streaming 0,6B có nhận biết bộ nhớ đệm từ một bản phát hành trước đó, với các con số và điểm yếu riêng của nó. Nếu một bảng có nhắc đến các đoạn chunk từ 80ms đến 1120ms, thì đó không phải là đang kiểm tra Nemotron 3.5 Transcribe. Điều đó quan trọng vì mô hình streaming này thua Whisper Large v3 Turbo về độ chính xác thô trong các so sánh thực tế (3,35% so với 2,55% trên một bảng xếp hạng đa ngôn ngữ) và thua đậm về căn chỉnh từ, trong khi mô hình được bàn đến ở đây là một hệ thống 34B khác, không streaming.

Cái bẫy thứ hai nằm ở khâu phục vụ. Con đường dễ dàng, SGLang-Omni 0.2.0, cho bạn một endpoint hoạt động mà không cần NeMo — và không có dấu thời gian, nhãn người nói hay bản dịch. Con đường đầy đủ, vLLM 0.32.0 với plugin NeMo Speech, cung cấp cả ba, nhưng dấu thời gian ở cấp độ từ đến như một phần bổ sung theo sau chứ không phải trong PR đầu tiên. Do đó, ba công thức triển khai có tên "Nemotron 3.5 Transcribe" có thể hành xử như ba sản phẩm khác nhau. Nếu việc gán nhãn người nói là lý do bạn chuyển sang, hãy xác minh con đường đó trước khi bạn dành thời gian kỹ thuật cho nó.

Nói thật, chi phí vận hành là bao nhiêu

Việc so sánh các giải pháp hosted gần như quá đơn giản: Whisper Large v3 Turbo với khoảng $0.04 mỗi giờ âm thanh tức ~$40 mỗi nghìn giờ, mà không cần sở hữu phần cứng. Nemotron 3.5 Transcribe thì chưa được bán theo cách đó, nên một đội muốn dùng nó đang phải tính chi phí một chiếc GPU chứ không phải một hóa đơn.

Tuyên bố về thông lượng của chính NVIDIA chính là giới hạn tính toán: 2.238 giây âm thanh mỗi giây thời gian GPU, với NVFP4 cùng bộ dự phóng DFlash2 trên RTX PRO 6000 Blackwell, tức là khoảng 100 giờ âm thanh trong chưa đầy ba phút. Với mức khoảng 2 đô la mỗi giờ GPU theo nhu cầu, điều đó ngụ ý một giới hạn thấp hơn đáng kể so với một xu mỗi giờ âm thanh — trong điều kiện xử lý theo lô đầy đủ, vốn không phải là cách một hàng đợi trong môi trường vận hành thực tế vận hành. Hãy coi đó là mức trần về những gì phần cứng có thể làm, chứ không phải là tốc độ bạn sẽ đạt được.

Điều đó có nghĩa là phép so sánh thực sự không phải là Whisper Large v3 Turbo với Nemotron 3.5 Transcribe. Mà là Nemotron 3.5 Transcribe với Whisper Large v3 Turbo cộng thêm một mô hình gán nhãn người nói, một bộ căn chỉnh cưỡng bức, mã hợp nhất phân đoạn và việc tinh chỉnh theo từng ngôn ngữ mà lớp keo nối đó đòi hỏi. Nếu bạn đã chạy WhisperX trong môi trường sản xuất, bạn đã trả phần lớn chi phí đó và lý do để chuyển đổi yếu hơn so với mức mà khoảng cách WER hàm ý. Nếu bạn chưa xây dựng nó, mô hình 30B đang cạnh tranh với một pipeline mà nếu không thì bạn sẽ phải tự lo nhân sự để vận hành.

Một lưu ý thực tế cho bất kỳ ai đang vận hành cả hai trong giai đoạn chuyển đổi: giữ hai backend phiên âm phía sau một endpoint tương thích OpenAI sẽ biến việc cắt chuyển thành một thay đổi cấu hình thay vì thêm một hợp đồng nhà cung cấp thứ hai. Đó chính là lớp mà OrcaRouter tồn tại để cung cấp — một khóa và một endpoint xuyên suốt các nhà cung cấp mà nó định tuyến, với giá niêm yết của nhà cung cấp được chuyển nguyên với mức markup 0% và chuyển đổi dự phòng tự động giữa chúng. Nó không thay đổi việc mô hình nào tốt hơn. Nó thay đổi chi phí để tìm ra điều đó, và chi phí khi bạn chọn sai về điều đó.

Ai nên chọn cái nào

• Bản ghi cuộc họp, pháp lý, lâm sàng hoặc trung tâm liên hệ với nhiều người nói và nhật ký kiểm toán — Nemotron 3.5 Transcribe. Việc gán người nói và mốc thời gian từng từ trong một lượt xử lý là năng lực mà nếu không có, bạn sẽ phải tự lắp ghép, và cửa sổ một giờ loại bỏ hoàn toàn logic chia đoạn.

• Âm thanh mono khối lượng lớn, bao phủ nhiều ngôn ngữ, triển khai trên laptop hoặc CPU, tính phí theo giờ ổn định — Whisper Large v3 Turbo. Với 809M tham số và $0.04 một giờ, đây là đáp án đúng rẻ nhất cho phần rất lớn lưu lượng thực tế, và nó đã được kiểm chứng qua thực chiến trong hai năm.

• Khối lượng công việc hỗn hợp — chạy turbo cho mọi thứ, và chỉ định tuyến những âm thanh cần đến người nói, danh sách thuật ngữ chuyên ngành hoặc bản dịch sang mô hình lớn hơn. Quy tắc lựa chọn dựa trên thuộc tính âm thanh, không phải uy tín của mô hình: số người nói, có bảng thuật ngữ chuyên ngành hay không, và độ dài bản ghi âm.

Những câu hỏi đáng đặt ra trước khi bạn di chuyển

Nemotron 3.5 Transcribe có thể chạy trên một GPU 24GB duy nhất không?

Không thoải mái. NVIDIA đã xác thực BF16 trên H100 80GB, FP8 trên L40S và checkpoint NVFP4 trên RTX 5090, một card 32GB. Thiết bị 24GB nằm dưới mọi cấu hình đã được xác thực, và audio tower được sao chép lên mọi rank tensor-parallel, nên việc phân mảnh đa GPU không cứu được một card đơn nhỏ.

Whisper Large v3 Turbo có gắn nhãn người nói hay dịch không?

Không cái nào. Biến thể turbo chỉ được huấn luyện để phiên âm, nên khi đưa vào tác vụ dịch, nó tạo ra đầu ra không dùng được — muốn dịch phải dùng checkpoint large-v3 đầy đủ. Nhãn người nói cần một bộ tách người nói (diarizer) riêng như pyannote, và việc ghép các lượt của nó với mốc thời gian phân đoạn thô của Whisper chính là phần trong pipeline mất nhiều thời gian nhất để làm cho đúng.

Khoảng cách tham số có thể hiện rõ dưới dạng độ trễ không?

Không tính theo từng phút âm thanh, không. Whisper Large v3 Turbo trả về một cửa sổ 30 giây trong thời gian dưới một giây trên một endpoint lưu trữ nhanh, và Nemotron 3.5 Transcribe xử lý một tệp một giờ trong một lượt với thông lượng mà NVIDIA mô tả là hàng nghìn giây âm thanh mỗi giây GPU. Khác biệt dễ thấy nằm ở chỗ khác: turbo không có chế độ truyền trực tiếp và Nemotron 3.5 Transcribe cũng vậy, nên phụ đề trực tiếp nằm ngoài phạm vi của cả hai.

Cái nào tốt hơn cho âm thanh không phải tiếng Anh?

Cả hai câu trả lời đều không an toàn. Whisper Large v3 Turbo hỗ trợ 99 ngôn ngữ với chất lượng thay đổi rất nhiều tùy theo ngôn ngữ, còn Nemotron 3.5 Transcribe hỗ trợ 40 ngôn ngữ, với kết quả đa ngôn ngữ do nhà cung cấp tự báo cáo và một công thức thích ứng — NVIDIA báo cáo một miền y tế held-out cải thiện WER từ 22.44% xuống 12.17% sau khi tinh chỉnh trên một GPU trong vài giờ. Hiện chưa có so sánh đối đầu đa ngôn ngữ độc lập nào, vì vậy với bất kỳ ngôn ngữ nào ngoài tiếng Anh, động thái có trách nhiệm là kiểm thử mù trên chính âm thanh của bạn.

Điều gì sẽ thay đổi phán quyết này

Ba điều, theo thứ tự khả năng xảy ra. Dấu thời gian cấp từ xuất hiện trong API phiên âm của vLLM sẽ khiến toàn bộ luồng phục vụ trở thành lựa chọn mặc định, và thu hẹp khoảng cách giữa ba công thức triển khai. Các checkpoint lượng tử hóa được phát hành rộng rãi sẽ hạ mức sàn phần cứng từ card 80GB xuống các thiết bị tiêu dùng. Và một cuộc so tài đa ngôn ngữ thực sự độc lập với Whisper Large v3 Turbo sẽ thay thế suy đoán bằng đo lường.

Cho đến khi một trong những điều đó thành hiện thực, quyết định này không hề nằm sát mức chênh lệch một phần mười điểm WER. Đó là một câu hỏi về âm thanh của bạn: nếu trong đó có nhiều hơn một giọng nói và bạn cần biết giọng nào đã nói điều gì, thì Nemotron 3.5 Transcribe là mô hình mở đầu tiên làm được điều đó trong một lượt xử lý mà không cần một pipeline phía sau. Nếu không, một mô hình 809M được phát hành cách đây một năm vẫn đáp ứng được yêu cầu với giá bốn mươi đô la cho một nghìn giờ, còn mô hình 34B là một khoản phần cứng lớn phải mua cho một con số thay đổi khi bạn đổi máy chủ.