Nemotron 3.5 Transcribe: LLM giọng nói của NVIDIA vượt qua chuỗi phân tách người nói — bằng 13 ngôn ngữ

NVIDIA đã phát hành Nemotron 3.5 Transcribe theo giấy phép mở, và con số xuất hiện trên mọi tiêu đề về nó là 40: bốn mươi ngôn ngữ, một checkpoint, bao gồm cả nhãn người nói. Con số thực sự thay đổi cách bạn xây dựng một ngăn xếp phiên âm là 15,80. Đó là cpWER trung bình của mô hình trên bộ đánh giá đa người nói của chính NVIDIA, so với 16,83 của chuỗi xử lý chuyên dụng tốt nhất mà công ty đã đem ra so sánh — một bộ nhận dạng giọng nói cộng với một quy trình phân tách người nói riêng biệt, được nối với nhau theo cách mà hầu hết các hệ thống phiên âm cuộc họp trong thực tế vẫn đang làm. NVIDIA tuyên bố đây là LLM giọng nói đầu tiên vượt qua cách bố trí đó, và đây là tuyên bố đáng để kiểm chứng, bởi vì nó là tuyên bố loại bỏ một thành phần khỏi kiến trúc của bạn thay vì thêm một ngôn ngữ vào danh sách.

Con số 40 ngôn ngữ là thật nhưng hẹp hơn vẻ ngoài của nó. Việc gán người nói — phần thay thế chuỗi xử lý xếp tầng — được huấn luyện cho mười ba ngôn ngữ, không phải bốn mươi. Mô hình chỉ đọc các tệp đã ghi, tối đa một giờ mỗi lần, không có luồng truyền trực tuyến. Và đây không phải bản tải xuống nhỏ: tổng cộng 34B tham số, khoảng 4,3B tham số hoạt động mỗi token, với H100 80GB là mức cơ sở được nêu để phục vụ BF16. Ba ràng buộc đó quyết định liệu kết quả phân tách người nói có phải là thứ bạn dùng được trong quý này hay chỉ là thứ bạn ghi nhận cho quý sau.

NVIDIA thực sự đã phát hành những gì

Checkpoint được công bố dưới tên NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, và khoảng cách giữa tên đó với số lượng tham số được công bố là điều đầu tiên cần làm rõ. Mô hình được xây dựng trên Nemotron 3.5 Lightning 30B-A3B, một mô hình ngôn ngữ hỗn hợp chuyên gia lai giữa Mamba-2 và Transformer; thẻ mô hình của NVIDIA nêu tổng cộng 34B tham số, với khoảng 4,3B tham số hoạt động bao gồm cả ngăn xếp âm thanh. Phần trọng số thêm so với con số 30B trong tên gọi đến từ các bộ mã hóa: khoảng 600M cho transformer ASR và khoảng 99M cho bộ mã hóa người nói, tổng cộng khoảng 800M, khiến phần xương sống ngôn ngữ còn khoảng 3,5B tham số hoạt động. Một số bài viết đã báo cáo đây là một sự không nhất quán; đây không phải là mâu thuẫn, mà là tên gọi đếm LLM còn thẻ mô hình đếm toàn bộ hệ thống.

Về mặt kiến trúc, phần đáng để hiểu chính là bộ mã hóa chuyên gia song song. Một mô hình Diarization Nemotron 3 đóng băng tạo ra các biểu diễn hoạt động của người nói, và những biểu diễn này được đưa vào đầu ra của bộ mã hóa ASR, để mô hình ngôn ngữ nhìn thấy cả từ ngữ lẫn người có khả năng đang nói chúng trong một lượt duy nhất. Sau đó, một bộ chuyển đổi CTC nhẹ căn chỉnh văn bản được tạo trở lại với âm thanh để tạo ra dấu thời gian từ gắn với người nói. Không có giai đoạn căn chỉnh thứ hai và không có lệnh gọi pyannote nào ở giữa. Dự đoán đa token gốc đồng thời đóng vai trò là bản nháp giải mã suy đoán bên trong vLLM, và NVIDIA cũng cung cấp một mô hình nháp DFlash2 được huấn luyện riêng.

• Tổng số tham số và tham số đang hoạt động — tổng 34B, ~4.3B hoạt động mỗi token, trong đó ~3.5B là phần nền tảng ngôn ngữ

• Ngữ cảnh và âm thanh — 65.536 token, bản ghi dài tới 1 giờ ở 16 kHz mono, được giải mã theo các khối nội bộ 30 giây

• Phạm vi ngôn ngữ — 40 ngôn ngữ để phiên âm, 32 ngôn ngữ để dịch sang tiếng Anh và từ tiếng Anh, 13 ngôn ngữ để phiên âm có gán người nói

Giấy phép — OpenMDW-1.1, được phép sử dụng cho mục đích thương mại và phi thương mại

• Cấu hình cơ sở phục vụ — một H100 80GB ở BF16; các bản dựng BF16, FP8 và NVFP4 đã được công bố

• Truyền phát — không; đây là mô hình đầu vào là tệp, đầu ra là bản ghi

Bản phát hành gồm một cặp sản phẩm, và đáng để tách bạch chúng vì phần lớn các bài đưa tin làm mờ nhòe sự khác biệt. Song song với mô hình, NVIDIA đã phát hành Granary v2, một bản phát hành pipeline dữ liệu giọng nói chứ không phải checkpoint: 463.062 giờ trên 48 ngôn ngữ và 16 tập dữ liệu nguồn, tăng từ 25 ngôn ngữ trong Granary v1, được xây dựng bằng NeMo Curator và phát hành kèm một manifest công khai. Mỗi bản ghi mang ba dạng bản chép lời — nguyên văn đã chuẩn hóa văn bản, chuẩn hóa nghịch đảo kèm hiện tượng ngập ngừng, và chuẩn hóa nghịch đảo không kèm chúng — cùng với nhãn tác vụ, cặp hỏi-đáp gắn với giọng nói, các thuật ngữ thiên lệch theo ngữ cảnh và cờ chất lượng cho từng bản ghi. Đây là dữ liệu mà các công thức tinh chỉnh mong đợi, không phải trọng số bạn có thể chạy. Âm thanh nguồn vẫn phải được tải xuống theo giấy phép riêng của từng tập dữ liệu, nên Granary v2 là mở theo nghĩa manifest và pipeline của nó là mở, chứ không phải theo nghĩa âm thanh được tự do phân phối lại.

Giấy phép quan trọng không kém gì trọng số. OpenMDW-1.1 cho phép sử dụng thương mại, điều này đặt nó vào cùng nhóm với dòng Voxtral của Mistral chứ không phải đầu chỉ dành cho nghiên cứu của phổ trọng số mở. Hỗ trợ runtime khi ra mắt rộng hơn so với hầu hết các bản phát hành LLM giọng nói: vLLM 0.32.0 là đường chính và là đường duy nhất mang lại toàn bộ tập tính năng, trong đó dấu thời gian theo từ yêu cầu V1 runner và timestamp middleware, và không có DFlash2. SGLang-Omni 0.2.0 trên SGLang 0.5.22 xử lý phiên âm toàn tệp thông qua endpoint âm thanh tương thích OpenAI nhưng không hỗ trợ dấu thời gian theo từ, đầu ra gán người nói, dịch hoặc giải mã suy đoán. NeMo Speech cung cấp bộ công cụ tinh chỉnh, Transformers hỗ trợ sử dụng trong tiến trình từ bản cài đặt mã nguồn, và bản dựng GGML bao phủ một số phiên bản Blackwell được chọn, gồm RTX 5090 và RTX PRO 6000.

Kết quả phân tách người nói chính là câu chuyện.

Bảng nhiều người nói của NVIDIA là nơi chứa phần so sánh hệ thống xếp tầng, và nó chi tiết bất thường đối với một bài đăng ra mắt. cpWER trung bình trên toàn bộ tập là 15,80 so với 16,83 của DiCoW v3.3 kết hợp với DiariZen. Các con số theo từng điều kiện cho thấy khoảng cách đến từ đâu và không đến từ đâu: AMI trong điều kiện nói gần đạt 10,29, AMI một micro khoảng cách 17,34, CALLHOME CH109 11,50, Mixer 6 kênh 4 14,80, NOTSOFAR-1 nói gần 14,94 và một kênh 25,91, với AISHELL-4 đạt 32,91 cpCER và AliMeeting đạt 34,95. Trường hợp cuộc họp băng rộng, đa kênh rất mạnh; âm thanh họp tiếng Trung và một micro trường xa yếu hơn nhiều, đây là mô tả công bằng về những nơi mọi hệ thống phân tách người nói đều gặp khó khăn.

Bằng chứng xác nhận trông có vẻ độc lập mà NVIDIA dựa vào là Diarization-Bench của VoiceArena's, nơi mô hình báo cáo cpWER 32,4% trên các phiên đầy đủ tiếng Anh, đứng đầu trong mười bốn hệ thống. Á quân, Multitalker Parakeet kết hợp với Nemotron 3 Diarization, đạt 34,2%, và phần còn lại của nhóm dao động từ 34,7% đến 71,9%. NVIDIA cũng báo cáo số từ bị xóa ở mức 8,32% số từ tham chiếu, so với trung vị của nhóm khoảng 31%. Con số thứ hai hữu ích hơn với bất kỳ ai đã từng đưa một bản ghi lời nói vào vận hành thực tế: cpWER có thể bị thao túng bằng cách bỏ những từ mà bạn không chắc, và một hệ thống giữ lại 92% số từ tham chiếu trong khi vẫn thắng chỉ số đang làm việc khó hơn. Cả hai đều là số liệu do nhà cung cấp báo cáo trên một benchmark của bên thứ ba, không phải đánh giá độc lập về mô hình.

Giới hạn là số lượng ngôn ngữ. Việc gán người nói được huấn luyện cho mười ba ngôn ngữ — tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Hindi, tiếng Ý, tiếng Hàn, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Nhật, tiếng Thái, tiếng Ả Rập và tiếng Trung — và hỗ trợ tối đa tám người nói. Nếu bản ghi của bạn là các cuộc họp tiếng Anh hoặc một trong mười hai ngôn ngữ kia, lập luận thay thế bằng chuỗi xếp tầng vẫn có hiệu lực. Nếu âm thanh của bạn là tiếng Ba Lan, tiếng Thổ Nhĩ Kỳ hoặc tiếng Việt, bạn chỉ nhận được phiên âm mà không có phân tách người nói và bạn vẫn cần thành phần thứ hai.

Vị trí xếp hạng thực tế của nó: ba bảng xếp hạng, ba câu trả lời khác nhau

Con số dành cho tiếng Anh phụ thuộc vào việc bạn đọc trang NVIDIA nào, và đáng để nói chính xác về điều đó thay vì chọn con số tốt hơn. Tỷ lệ lỗi từ trung bình trên chín bộ của model card là 4,71%, tiếp theo là Qwen3-ASR-1.7B với 4,94%. Bài viết của NVIDIA trên Hugging Face cùng ngày nêu 5,33% là WER trung bình trên Hugging Face Open ASR Leaderboard, với RTFx là 462,09, còn Qwen3-ASR-1.7B ở mức 5,4%. Cả hai đều là số liệu của chính nhà cung cấp, được công bố cách nhau trong vòng vài giờ, và khác biệt nằm ở việc những bộ kiểm thử nào được tính vào mức trung bình. Đừng lấy trung bình hai con số đó, đừng trừ con này cho con kia, và đừng coi chữ số thập phân là đã chốt. Điều vẫn đúng dưới cả hai cách trình bày là vị trí: đứng đầu trong số các mô hình trọng số mở trên bảng xếp hạng đó.

Phần còn lại của bộ số liệu do nhà cung cấp báo cáo có cấu trúc nhất quán. WER trung bình đa ngôn ngữ là 4,62% trên bảy ngôn ngữ, so với 6,49% của Qwen3-ASR-1.7B. Trung bình dạng dài là 10,98% so với 13,37% của Parakeet-TDT-0.6B-v3. Điểm kiểm soát phong cách là 7,56% ở chế độ mặc định và 6,16% khi có chỉ dẫn, so với Canary-Qwen ở 8,16% và 8,36%. Gợi ý theo ngữ cảnh đưa ContextASR-Bench từ 3,33% khi không có ngữ cảnh xuống 1,71% với ngữ cảnh chi tiết, và phiên âm cuộc gọi công bố kết quả kinh doanh từ 12,54% xuống 9,58% khi cung cấp ngữ cảnh cục bộ.

Cuộc kiểm tra độc lập kể một câu chuyện kém tâng bốc hơn, và đây là thứ nên đọc nếu bạn đang chọn giữa các mô hình trong tuần này. Trên chỉ số lỗi từ không truyền phát của Artificial Analysis, được kiểm tra vào ngày 29 tháng 10, Nemotron 3.5 Transcribe ghi nhận 2.8%. Voxtral Small Transcribe 3 ghi nhận 2.1% và MAI-Transcribe-2 ghi nhận 2.0% trên cùng góc nhìn, trong khi Gemini 3.5 Transcribe ở mức 2.6%. Cách diễn đạt của NVIDIA "đồng hạng nhất trong số các mô hình trọng số mở" là có thể bảo vệ được so với mô hình cụ thể mà hãng nêu tên — Voxtral Small, mô hình mà cùng chỉ số này cũng cho thấy ở mức 2.8%, và NVIDIA mô tả là mô hình 24B so với mô hình này với khoảng 4B tham số hoạt động — nhưng bảng xếp hạng đã vượt qua cặp đấu đó trước khi mô hình này ra mắt. Một người anh em Mistral mới hơn, Voxtral Small Transcribe 3, có tỷ lệ lỗi thấp hơn khoảng một phần tư trên cùng góc nhìn. Điều đó không làm kết quả tách người nói (diarisation) trở nên sai, vì Voxtral không thực hiện gán người nói trong một lượt. Điều đó có nghĩa là câu đúng là "mô hình trọng số mở tốt nhất cho ASR có gán người nói" chứ không phải "bộ phiên âm trọng số mở tốt nhất".

Phần đuôi theo từng ngôn ngữ là nơi các lần triển khai bị hỏng.

Độ phủ và tính ngang bằng là những khẳng định khác nhau, và thẻ mô hình của NVIDIA công bố đủ chi tiết theo từng ngôn ngữ để thấy khoảng cách giữa chúng. Ma trận ngôn ngữ có 41 hàng; tiếng Na Uy xuất hiện trong đó mà không có dấu kiểm tác vụ, khiến chỉ còn 40 ngôn ngữ thực sự được đánh dấu cho ASR. Trên FLEURS, tỷ lệ lỗi dao động từ 1,41% đến 63,76% — và 63,76 là tiếng Na Uy. Tiếng Ý đạt 1,41, tiếng Tây Ban Nha 2,20, tiếng Đức 2,73, tiếng Pháp 3,16, tiếng Anh 3,35, tiếng Ả Rập 6,35 và tiếng Hindi 7,47; tiếng Nhật ở mức 4,42 CER, tiếng Hàn 2,78 CER và tiếng Trung 8,62 CER. Trên điểm trung bình theo từng ngôn ngữ của bảng xếp hạng đa ngôn ngữ, tiếng Hindi là 9,15 OIWER so với tiếng Hà Lan 5,96 và tiếng Đức 2,81.

Chuyển mã ngôn ngữ, điều mà thẻ tuyên bố áp dụng cho cả 40 ngôn ngữ, cũng không đồng đều tương tự: ASCEND tiếng Quan Thoại–tiếng Anh đạt 18.74% lỗi hỗn hợp, MUCS tiếng Hindi–tiếng Anh 19.28% và MUCS tiếng Bengal–tiếng Anh 35.46%, còn Monsoon Hindi ở 9.40% OIWER. Chất lượng dịch cũng trải rộng trong một khoảng lớn — BLEU FLEURS sang tiếng Anh từ 6.40 đến 44.33, tiếng Anh sang FLEURS từ 8.70 đến 42.65, và CoVoST2 sang tiếng Anh từ 6.95 đến 54.46. Độ bền vững trên bộ HALAS là 31.50% WER, và đây là con số cần làm dịu bất kỳ kế hoạch nào được xây dựng dựa trên các bản ghi âm hiện trường có giọng hoặc nhiễu.

Cách hiểu thực tế là "40 ngôn ngữ" là một tuyên bố về độ phủ mà bạn có thể dựa vào để lập kế hoạch năng lực, chứ không phải tuyên bố về chất lượng mà bạn có thể dựa vào để lập kế hoạch sản phẩm. Hãy kiểm tra ngôn ngữ cụ thể và điều kiện ghi âm cụ thể mà bạn quan tâm trên vài trăm clip của chính bạn trước khi cam kết. Nghiên cứu điển hình về tinh chỉnh của chính model card là khuôn mẫu: trên một benchmark giọng nói y khoa Ấn Độ, lỗi mặc định là 30.8%, một prompt nêu rõ tiếng Anh và chữ Latinh đã kéo nó xuống 23.8%, và việc thích ứng trên khoảng 245 giờ dữ liệu đã kéo nó xuống 11.8% — ít hơn khoảng 62% lỗi, chỉ với 14 giờ GPU của một GB300. Những người nói thuộc tập giữ lại chuyển từ 22.44% xuống 12.17%, mức giảm tương đối 45.8%, trong khi LibriSpeech test-clean tụt từ 1.54% xuống 1.69%, dấu hiệu thường thấy của một lần thích ứng hẹp.

Chi phí vận hành là bao nhiêu, và định tuyến phù hợp ở đâu

NVIDIA chưa công bố giá cho mô hình này. Không có mức giá theo phút trên trang nghiên cứu hay thẻ mô hình, các trọng số được miễn phí theo OpenMDW-1.1, và quyền truy cập được lưu trữ khi ra mắt chạy qua endpoint NIM của chính NVIDIA cùng một số nền tảng bên thứ ba tự đặt mức giá riêng. Vì vậy, câu hỏi về chi phí là câu hỏi về GPU, và các con số cho việc đó đầy đủ một cách bất thường.

Trên một RTX PRO 6000 Blackwell Server Edition, bản dựng NVFP4 với mô hình nháp DFlash2 xử lý tới 2.238 giây âm thanh mỗi giây — bản ghi 30 giây trả về trong 0,13 giây — đưa 100 giờ âm thanh xuống dưới ba phút. Đó là đường xử lý NIM được tối ưu, và NVIDIA cho biết tích hợp vLLM mã nguồn mở chậm hơn khoảng hai lần. Trên H100 ở BF16, các chỉ số RTFx của card là 410 với suy đoán hai token, 270 với tám token, 340 với DFlash2 ở K=7 và 260 ở K=15. Ở mức cao nhất của dải đó, một giờ H100 xử lý được khoảng 410 giờ âm thanh, vì vậy một nghìn giờ phiên âm tương đương khoảng hai tiếng rưỡi giờ GPU tính toán. Liệu cách đó có rẻ hơn mức giá theo phút của dịch vụ thuê ngoài hay không phụ thuộc hoàn toàn vào việc bạn giữ card luôn bận đến mức nào: ở mức vài trăm giờ mỗi tháng, một GPU 80GB nhàn rỗi là lựa chọn đắt hơn, và phép tính chỉ đảo chiều khi hàng đợi luôn đầy.

Việc thích ứng rất rẻ theo tiêu chuẩn của loại này. NVIDIA báo cáo 0,5 đến 2,3 giờ GPU mỗi tác vụ trên một GPU cho ngôn ngữ, lĩnh vực hoặc phong cách đầu ra mới, được đánh giá trên 17 tác vụ, với LoRA trên mô hình ngôn ngữ và huấn luyện trên encoder và projection. Đó là một con số đủ nhỏ để việc thích ứng lĩnh vực nên được coi là một phần của triển khai thay vì một dự án nghiên cứu — trường hợp y tế ở trên là 14 giờ GPU từ đầu đến cuối.

Một lưu ý về kiến trúc có ý nghĩa cho những gì tiếp theo: mô hình này xuất ra văn bản, và việc tóm tắt, trích xuất thực thể cùng gắn thẻ tuân thủ sau một bản ghi là công việc LLM thông thường. Giai đoạn hạ nguồn đó chính là phần OrcaRouter bao phủ — một API cho hơn 200 mô hình với mức cộng thêm 0% so với giá niêm yết của nhà cung cấp, tự động chuyển đổi dự phòng khi nhà cung cấp suy giảm giữa pipeline, và một DSL định tuyến để gửi bản ghi dài và đoạn ngắn đến các mô hình khác nhau mà không cần tích hợp thêm lần nữa mỗi khi. Chúng tôi không lưu trữ Nemotron 3.5 Transcribe; đây là mô hình giọng nói bạn chạy trên phần cứng của mình hoặc qua endpoint của NVIDIA. Lớp định tuyến bắt đầu ở nơi bản ghi kết thúc.

Hai mô hình có cùng tên, và chỉ một trong số đó là mô hình này

Một phần những gì được viết về bản phát hành này trong ngày qua thực chất nói về một checkpoint khác. NVIDIA cũng phát hành nemotron-3.5-asr-streaming-0.6b, một checkpoint ASR dạng streaming nhỏ được xây dựng cho các runtime trên thiết bị và hướng tới CPU, với các bản dựng lượng tử hóa đủ nhỏ để đóng gói bên trong một ứng dụng. Đây không phải mô hình này, nó không thực hiện việc gán danh tính người nói, và các con số về tốc độ cùng độ chính xác của nó không thể áp dụng sang đây. Mô hình ngôn ngữ giọng nói 30B-A4B là mô hình được công bố vào ngày 28 tháng 10; còn mô hình streaming 0.6B là mô hình chạy được trên laptop. Nếu một so sánh mà bạn đang đọc trích dẫn độ trễ dưới một giây hoặc bản tải xuống một gigabyte cùng với tuyên bố về 40 ngôn ngữ, thì nó đã gộp cả hai mô hình làm một.

Ai nên hành động ngay bây giờ, và ai nên chờ đợi

Hãy hành động ngay nếu bạn xử lý các cuộc họp, cuộc gọi hoặc buổi phỏng vấn đã ghi âm bằng tiếng Anh hoặc một trong mười hai ngôn ngữ phân tách người nói khác, với các tệp dưới một giờ, và bạn đã có năng lực GPU cỡ 80GB hoặc một endpoint được lưu trữ mà bạn sẵn lòng trả tiền. Trường hợp này có lợi thế nhất khi bạn hiện đang duy trì một chuỗi hai mô hình: một checkpoint, một lượt chạy, bao gồm nhãn người nói và dấu thời gian của từng từ, theo một giấy phép cho phép sử dụng thương mại. Hãy đánh giá nó trên chính âm thanh của bạn trước khi bạn từ bỏ pyannote — các con số về trường xa và âm thanh có giọng địa phương nêu trên chính là những con số dễ khiến bạn thất vọng nhất.

Hãy khoan nếu bạn cần phát trực tuyến, vì không có đường phát trực tuyến; nếu ngôn ngữ của bạn nằm ở phần đuôi của dải FLEURS đó; nếu các bản ghi kéo dài quá một giờ; hoặc nếu bạn không có GPU và không muốn trả hóa đơn tính theo phút cho dịch vụ thuê ngoài. Cũng hãy khoan nếu hệ thống của bạn đã dùng một bộ phiên âm mới hơn có mức lỗi thấp hơn trên Artificial Analysis và không cần phân tách người nói — việc gán người nói trong một lượt là lý do để chuyển đổi, và đó là lý do duy nhất.

Những câu hỏi mở đáng theo dõi thì hẹp và có thể kiểm chứng. Đánh giá độ chính xác đầy đủ độc lập vẫn còn ít; các báo cáo ban đầu từ những người chạy lượng tử hóa 4-bit cộng đồng mô tả sự chậm lại và mất độ chính xác thường thấy, điều này nói nhiều hơn về bản lượng tử hóa so với mô hình. SGLang-Omni cần đạt ngang bằng tính năng trước khi con đường không dùng vLLM trở thành một lựa chọn thay thế thực sự. Và mười ba ngôn ngữ phân tách người nói là con số có khả năng thay đổi đầu tiên, vì đó là nơi tuyên bố kiến trúc tập trung.